Algoritmusok hazudhatnak és megtéveszthetnek, de megállíthatók?

Az algoritmusok diktálhatják, hogy jelzálogot kap-e vagy mennyit fizet a biztosításért. De néha tévednek - és néha becsapják őket.

Sok algoritmus véletlenül rosszul megy. Néhányan bűncselekménynek minősülnek. Az algoritmusok formális szabályok, általában számítógépes kódban íródnak, amelyek történelmi minták alapján előrejelzéseket készítenek a jövőbeli eseményekről. Algoritmus kiképzéséhez be kell nyújtania korábbi adatokat, valamint a siker meghatározását.

Láttuk, hogy az elmúlt évtizedekben a finanszírozást az algoritmusok vették át. A kereskedési algoritmusok történelmi adatokat használnak a piaci mozgások előrejelzésére. Ennek az algoritmusnak a sikere egy kiszámítható piaci lépés, és az algoritmus éber azokkal a mintákkal szemben, amelyek történelmileg történtek közvetlenül az adott lépés előtt. A pénzügyi kockázati modellek a történelmi piaci változásokat is felhasználják a kataklizmikus események előrejelzésére globális értelemben, tehát nem az egyes részvényekre, hanem egy teljes piacra. A jelzáloggal fedezett értékpapírok kockázati modellje - szándékosan - híresen rossz volt, és az ezekbe a modellekbe vetett bizalmat hibáztathatják az 2008 pénzügyi válság miatti nagyságrend és az azt követő károk nagy része.

2008 óta kevesebbet hallottunk a pénzügyi algoritmusokról, és sokkal többet a big data algoritmusokról. Az algoritmusok ezen új generációjának célja az absztrakt piacokról az egyénekre vált. De a mögöttes funkcionalitás ugyanaz: gyűjtsön történeti adatokat az emberekről, alakítsa profiljukba online viselkedésüket, tartózkodási helyüket vagy kérdőívekre adott válaszokat, és használja ezt a hatalmas adatsort jövőbeli vásárlásaik, szavazási magatartásuk vagy munkamoráljuk megjóslásához.

A nagy adatmodellekben a közelmúltban történt elterjedést az átlagember nagyrészt észrevétlenül hagyta, de nyugodtan mondhatjuk, hogy a legfontosabb pillanatok, amikor az emberek nagy bürokratikus rendszerekkel lépnek kapcsolatba, ma már egy algoritmust tartalmaznak, amely pontozási rendszer formájában van jelen. Főiskolai hallgatás, álláskeresés, munkavállalói minősítés, hitelkártya vagy biztosítás megszerzése, szavazás és még a rendőrség is sok esetben algoritmikusan készülnek. Ezen felül a szisztematikus döntésekbe bevezetett technológia nagyrészt átláthatatlan, még az alkotók számára is, és eddig nagyrészt elkerülte az értelmes szabályozást, még akkor is, ha kudarcot vallott. Ezért még fontosabb és sürgetőbb kérdés, hogy ezen algoritmusok közül melyik működik a nevünkben.

Négy rétegű hierarchiám van, amikor rossz algoritmusokról van szó. A tetején vannak a nem szándékos problémák, amelyek a kulturális elfogultságot tükrözik. Például, amikor Latanya Sweeney Harvard professzora megállapította, hogy a Google a feketenek tartott neveket keresi bűncselekménnyel összekapcsolt hirdetések, feltételezhetjük, hogy nem volt olyan Google mérnök, aki rasszista kódot írt volna. Valójában a hirdetéseket a Google keresés korábbi felhasználói képezték rosszul, akik inkább a bűnügyi nyilvántartási hirdetésre kattintottak, amikor egy fekete hangú nevet kerestek. Egy másik példa: a A Google képkeresési eredménye a „nem szakszerű haj” kifejezésre, amely szinte kizárólag fekete nőket hozott vissza, hasonlóképpen képzik a keresési eredményeket feladó vagy azokra kattintó emberek egész idő alatt.

Olvassa el a teljes történetet itt ...