A két kérdés grafikus magyarázata
Képzeljük el, hogy nagyon sok kísérletet végeztünk el, és feljegyeztük azt, hogy a találat esetén a rendszer milyen pontszámokkal (score) hozta az igazit (genuine).
Megismételjük az előbbi kísérletet, de olyan személyekkel, akik nem voltak benn az adatbázisban (impostors).
A két kísérlet eredményét ábrázoljuk egy garafikonon:
Azt tapasztaljuk, hogy a két görbe alatti területnek van közös része, és ez baj: mert az igaziak és a hamisak nem válnak el egymástól határozottan. A közös területen levők vagy igaziak, vagy hamisak (ez a lila terület), a zöld az igazi, a piros a hamis.
A kérdés, amire válaszolnunk kellene: melyik legyen az a pontszám, ami felett azt mondjuk, hogy találat van, és alatta természetesen nincs.
Látjuk az ábrán, hogy ha mindenképpen mindig be akarjuk engedni az igazit (FRR=0), akkor be fogunk engedi hamisat is (FAR>0 lesz), ha pedig semmiképpen nem akarunk beengedni hamisat (FAR=0), akkor pedig az igaziak küzül lesz olyan is, akit nem engedünk be (FAR>0).
A dilemmát mégis fel kell oldani, valahol meghúzzuk a határt, a küszöbértéket meghatározzuk. (Számos gyártó ezt az értéket állíthatóvá teszi, mintegy áthárítja a felelősséget a felhasználóra. És ez így jó is, mert a felhsználó a maga alkalmazásához tudja idomítani az eszköz működését, ha tudja.
Meghatározzuk a küszöbértéket, és így beállítottuk a FAR/FRR értékeket.
A gyártók fejlesztési törekvése is kiolvasható a grafikonból: úgy fejleszteni tovább az algoritmust, hogy a két területnek ne legyen közös része. Vajon ez elérhető? Nem.
Ennek algoritmuson túlnyúló okai is vannak:
A minta, azaz az ujjnyomat minősége ugyanazon személynél időről-időre változik, hiszen a fodorszálak a használat során folyamatosan kopnak, regenerálódnak. A kopott bőrfelületen lesznek minúciák, melyek lekoptak, és csökkentik a score-t.
Továbbá lesznek véletlenszerűen - tévesen minuciának értelmezhető szennyeződések - előforduló képhibák, melyek ugyancsak negatívan befolyásolhatják a score-t.
És természetesen az algoritmusok minőségét negatívan befolyásolja az időtényező: hiába az igényes algoritmus, ha több percig is eltart emiatt az azonosítás. Ezt a tényezőt a számítástechnika fejlődése
majd kiküszöböli, de az előző kettőt nemigen.
Error Equal Rate (optimális munkapont)
Ha a küszöbérték szerint ábrázoljuk a FAR és az FRR görbéket, akkor a következő grafikont kapjuk. A két görbe metszéspontját nevezzük Error Equal Rate-nek, mely az a küszöbérték adat, mely a két paraméter egyensúlyi, vagy optimális beállítási pontja. Esetünkben ha jobbra toljuk, akkor a FAR értékünk növekszik kedvezőtlenül (de az FRR javul), ha balra, akkor az FRR romlik, de a FAR javul.
Egy ujjnyomaton alapuló azonosító alkalmazásnál a felhasználó így tudja "hangolni" a rendszerét.
AFIS rendszerek pontosságának értékelése
AFIS rendszereknél alapvető különbséget kell tennünk a nyom-nyomat és a nyomat-nyomat pontosság mérése között. Valamint nem lehet paramétereiben sem összehasonlítást sem tenni az ujjnyomatazonosításon alapuló személyazonosító rendszerekkel.
1. Nyomat-nyomat azonosítás pontossága AFIS rendszerekben
Ellentétben az ujjnyomolvasós személyazonosító alkalmazásokkal, itt az azonosításhoz 10 ujj áll rendelkezésre, melyet vagy festékezéssel, vagy élő beforgatott ujjnyomatolvasóval vesznek fel. Ez lehetőséget biztosít többszintű azonosítás végzésére: először a 10 ujj együttes rajzolata alapján előszűrést végez, majd azt követően akár 1, vagy 2, vagy 4, vagy 6 ujj együttes azonosítására. Ez a lehetőség kiküszöböli az ujjhibát, a mintavételi hibát, és maga a rendszer robosztussága pedig az időhiányból származó algoritmus egyszerűsítéseket. Azaz elvárható a nagy AFIS rendszerektől a majdnem 100%os találati pontosság kandidátuslista nélkül, (vagy a személyazonosító rendszereknél megismert értékekkel: FRR=majdnem 0, FAR= majdnem 0).
2. Nyom-nyomat azonosítás pontossága AFIS rendszerekben
A nyom-nyomat azonosítás algoritmikus szempontból első rátekintésre nem különbözik a nyomat-nyomat összehasonlítástól. Azonban ha alaposabban elemezzük, nagyon is különbözik.
A. A nyomból egy van
B. a nyom torz, hiányos, szabad szemmel is alig felismerhető sok esetben, stb.
C. míg a nyomat hasonlóképpen áll a nyomathoz képest (mint a személyazonosító alkalmazásokban is), a kriminalisztikai elforgatva
D. a nyom töredékméretű a nyomathoz képest
A pontosságot a nehézségek miatt a következőképpen lehet értelmezni: a keresésnek kandidátuslistája van, két rendszer közül az a pontosabb, amelyik ugyanazt a találatszámot kevesebb kandidátus ellenőrzésével éri el.
(A gyakorlatban ez azt jelenti, hogy ha veszünk 100 nyomot, és megengedünk 5 hosszú kandidátuslistát (találatnak vesszük azt, hogy a személy rajta van a listán), akkor az a jobb rendszer, amelyik
egyforma találatszám esetén kevesebb kandidátus vizsgálatát igényelte.
A továbbiakban még számos esetet sorolhatnánk fel az összehasonlítás elvégzésére, de ezek változatossága nagymértékben a felhasználó lehetőségeitől, a rendelkezésére álló szakértő létszámtól, stb. függ.
