Amikor új cipőt keres az interneten, válasszon egy filmet a Netflix közvetítéséhez vagy autókölcsön igényléséhez, valószínűleg egy algoritmusnak szól az eredménye.
Az összetett matematikai képletek egyre nagyobb szerepet játszanak az élet minden területén: a bőrrákok felderítésétől kezdve az új Facebook-barátok felvetéséig, annak eldöntéséig, ki kap munkát, hogyan alkalmazzák a rendőri erőforrásokat, ki milyen áron kap biztosítást, vagy ki van légy nincs ”listán.
Algoritmusokat használnak - kísérletileg - nyers adatokból cikkek írására, míg Donald Trump elnöki kampányát olyan viselkedési marketingszakemberek segítették, akik algoritmus segítségével keresték meg a „meggyőző szavazók” legnagyobb koncentrációját.
De bár az ilyen automatizált eszközök bizonyos mértékű objektivitást tudnak beinjekciózni a szubjektív döntésekbe, az átláthatósági algoritmusok hiányával kapcsolatos félelmek fokozódnak, és egyre nagyobb nyomás nehezedik az etikai normák vagy az „elszámoltathatóság” alkalmazására.
Cathy O'Neil adattudós figyelmeztet a „vakon megbízó” formulákra a tisztességes eredmény meghatározása érdekében.
"Az algoritmusok eredendően nem igazságosak, mert a modellt felépítő személy meghatározza a sikert" - mondta.
A hátrányok erősítése
O'Neil azzal érvel, hogy míg egyes algoritmusok hasznosak lehetnek, mások aljasak lehetnek. 2016-os, „A matematikai pusztítás fegyverei” című könyvében néhány aggasztó példát hoz fel az Egyesült Államokban:
- A washingtoni állami iskolák 2010-ben több mint 200 oktatót bocsátottak el - köztük több köztiszteletben álló oktatót - a teljesítményt értékelő algoritmikus képlet pontszáma alapján.
- A bipoláris rendellenességgel diagnosztizált férfit hét fő kiskereskedőnél utasították el, mivel egy harmadik féltől származó „személyiség” teszt algoritmikus besorolása alapján magas kockázatnak ítélte meg.
- Sok joghatóság a „prediktív rendőri szolgálatot” alkalmazza az erőforrások valószínű „forró pontokra” való áttérésére. O'Neill szerint ez attól függően, hogy az adatok hogyan kerülnek a rendszerbe, több kisebb bűncselekmény felfedezéséhez és egy „visszacsatolási hurokhoz” vezethet, amely megbélyegzi a szegény közösségeket.
- Néhány bíróság számítógépes rangsorolással támaszkodik a börtönbüntetések és a feltételes szabadlábra helyezés feltételének meghatározására, amelyek diszkriminálhatják a kisebbségeket azáltal, hogy figyelembe veszik a „kockázati” tényezőket, például a környéküket és a bűncselekményhez fűződő baráti vagy családi kapcsolatokat.
- A pénzügyi világban a brókerek új módon "kaparják" az online és más forrásokból származó adatokat, hogy meghozzák a hitellel vagy a biztosítással kapcsolatos döntéseket. Ez túl gyakran erősíti a hátrányos helyzetűekkel szembeni előítéleteket - állítja O'Neil.
Megállapításait visszhangozta a Fehér Ház tavalyi jelentése, amely arra figyelmeztetett, hogy az algoritmikus rendszerek „nem tévedhetetlenek - a hiányos inputokra, logikára, valószínűségre és az őket tervező emberekre támaszkodnak”.
A jelentés megjegyezte, hogy az adatrendszerek ideális esetben segíthetnek az emberi elfogultság kiszűrésében, de figyelmeztettek az algoritmusokra, amelyek „bizonyos csoportokat szisztematikusan hátrányos helyzetbe hoznak”.