Amikor a nyelvi mesterséges intelligencia találkozik a propagandával, senki sincs biztonságban

Egy kényelmes széken ülsz a tűz mellett, egy hideg téli éjszakán. Talán van a kezében egy bögre tea, esetleg valami erősebb. Kinyit egy magazint egy cikkhez, amelyet el akart olvasni. A cím egy ígéretes – de egyben potenciálisan veszélyes – új technológiáról szóló történetet sugallt, amely a mainstream küszöbén áll, és néhány mondat elolvasása után azon kapja magát, hogy belerángat a történetbe. Forradalom jön a gépi intelligenciában, érvel a szerző, és nekünk, mint társadalomnak, jobban előre kell látnunk a következményeit. Ekkor azonban megtörténik a legfurcsább dolog: észreveszed, hogy az író, látszólag szándékosan, kihagyta az első legutolsó szavát.

A hiányzó szó szinte kéretlenül ugrik be a tudatodba: „az első legutolsó szava bekezdés.'' Nincs értelme belső keresési lekérdezésnek; a "bekezdés" szó csak úgy kiugrik. Másodlagos természetnek tűnhet, ez a kitöltési gyakorlat, de ha ezt megteszed, az eszedbe jut a gondolat mögötti tudásrétegek. Ismernie kell az angol helyesírási és szintaktikai mintáit; nemcsak a szavak szótári definícióit kell értenie, hanem azt is, hogy hogyan kapcsolódnak egymáshoz; kellően ismernie kell a magazinkiadás magas színvonalát ahhoz, hogy feltételezze, a hiányzó szó nem csak elírás, és a szerkesztők általában nem hajlandók kihagyni a kulcsszavakat a megjelent cikkekből, hacsak a szerző nem próbál okos lenni – esetleg megpróbálja használd a hiányzó szót, hogy érvelj a te okosság, milyen gyorsan tudja egy angolul beszélő ember elővarázsolni a megfelelő szót.

Mielőtt tovább folytatná ezt az ötletet, térjen vissza a cikkhez, ahol azt találja, hogy a szerző egy Iowa külvárosában található épületkomplexumba vitte Önt. Az egyik épület belsejében a modern technológia csodája rejlik: 285,000 XNUMX CPU mag egyetlen óriási szuperszámítógépben összekapcsolva, napelemes tömbök táplálják és ipari ventilátorok hűtik. A gépek soha nem alszanak: Minden nap minden másodpercben számtalan számítást végeznek a gépi intelligencia legkorszerűbb technikáinak felhasználásával, amelyek olyan neveken szerepelnek, mint „sztochasztikus gradiens süllyedés” és „konvolúciós neurális hálózatok”. Az egész rendszerről úgy tartják, hogy a bolygó egyik legerősebb szuperszámítógépe.

És kérdezhetik, mit csinál ez a számítási dinamó ezekkel a csodálatos erőforrásokkal? Leginkább egyfajta játékot játszik, újra és újra, másodpercenként milliárdszor. És a játék neve: Találd ki, mi a hiányzó szó.

A szuperszámítógép komplexum Iowában az OpenAI által 2015 végén létrehozott szervezet, a Szilícium-völgy maroknyi világítója, köztük Elon Musk által létrehozott program fut; Greg Brockman, aki egészen a közelmúltig az e-fizetési juggernaut Stripe technológiai igazgatója volt; és Sam Altman, az Y Combinator induló inkubátor akkori elnöke. Az OpenAI első néhány évében, amikor felépítette programozási agytrösztjét, az OpenAI technikai vívmányait többnyire beárnyékolta az alapítók sztárereje. Ez azonban megváltozott 2020 nyarán, amikor az OpenAI korlátozott hozzáférést kezdett kínálni a Generative Pre-Trained Transformer 3 nevű új programhoz, amelyet köznyelvben GPT-3-nak neveznek. Bár a platform kezdetben csak néhány fejlesztő számára volt elérhető, a GPT-3 elképesztő nyelvi képességeinek példái – és legalábbis a megismerés illúziója – elkezdtek keringeni az interneten és a közösségi médián keresztül. Siri és Alexa népszerűsítette a gépekkel való társalgás élményét, de ez a következő szintre került, és megközelítette azt a folyékonyságot, amely a sci-fi alkotásaihoz hasonlított, mint például a HAL 9000 a „2001”-ből: egy számítógépes program, amely nyílt végű összetett kérdésekre képes tökéletesen válaszolni. mondatokat alkotott.

Területként a mesterséges intelligencia jelenleg számos különböző megközelítési mód között töredezett, és különböző típusú problémákat céloz meg. Egyes rendszereket olyan problémákra optimalizáltak, amelyek fizikai téren való mozgással járnak, például az önvezető autók vagy a robotika esetében; mások kategorizálják helyetted a fotókat, ismerős arcokat, háziállatokat vagy nyaralási tevékenységeket azonosítva. A mesterséges intelligencia egyes formái – például az AlphaFold, az Alphabet (korábban Google) leányvállalatának, a DeepMindnek a projektje – olyan összetett tudományos problémákkal kezdenek foglalkozni, mint például a fehérjék szerkezetének előrejelzése, ami központi szerepet játszik a gyógyszertervezésben és -felfedezésben. E kísérletek közül sok osztozik a „mély tanulás” néven ismert mögöttes megközelítésen, amelyben az emberi agy szerkezete alapján homályosan modellezett neurális háló megtanulja azonosítani a mintákat vagy megoldani a problémákat a kísérletek és hibák végtelenül ismétlődő ciklusain keresztül, erősítve az idegi kapcsolatokat. és mások gyengítése a tréningnek nevezett folyamaton keresztül. A mély tanulás „mélysége” a neurális hálóban található mesterséges neuronok több rétegére utal, amelyek az absztrakció egyre magasabb szintjének felelnek meg: Egy látás alapú modellben például egy neuronréteg függőleges vonalakat észlelhet. , amely ezután egy, a fizikai struktúrák széleit észlelő rétegbe táplálná be, amely ezután jelentene egy olyan rétegnek, amely azonosítja a házakat, szemben a lakóházakkal.

A GPT-3 a mély tanulás kategóriájába tartozik, amelyet nagy nyelvi modellként ismernek, egy összetett neurális hálót, amelyet titáni szöveges adathalmazra képeztek ki: a GPT-3 esetében nagyjából 700 gigabájtnyi adatot vonnak le az internetről, köztük a Wikipédia, kiegészítve digitalizált könyvekből származó szövegek nagy gyűjteményével. A GPT-3 a legünnepeltebb a nagy nyelvi modellek közül, és a legtöbb nyilvánosan elérhető, de a Google, a Meta (korábbi nevén Facebook) és a DeepMind mind kifejlesztette saját LLM-jét az elmúlt években. A számítási teljesítmény fejlődése – és az új matematikai technikák – lehetővé tették a GPT-3 évjáratú LLM-ek számára, hogy sokkal nagyobb adathalmazokat nyeljenek be, mint elődeik, és sokkal mélyebb mesterséges neuronrétegeket alkalmazzanak képzésükhöz.

Valószínűleg már használta egy nagy nyelvi modellt, ha valaha is használt olyan alkalmazást – például a Gmailt –, amely tartalmaz egy automatikus kiegészítési funkciót, és a „Sajnos nyertem” mondat beírása után finoman a „részvétel” szóval jelzi. „Nem lehet…” De az automatikus kiegészítés csak a legkezdetlegesebb kifejezése annak, amire a GPT-3-hoz hasonló szoftverek képesek. Kiderült, hogy elegendő betanítási adattal és kellően mély neurális hálókkal a nagy nyelvi modellek figyelemreméltó készséget tudnak felmutatni, ha arra kérik őket, hogy ne csak a hiányzó szót töltsék be, hanem folytassák az egész bekezdések írását a kezdő prompt stílusában. Például amikor kiadtam a GPT-3 parancsot:

1958-ban Frank Rosenblatt bemutatta a Perceptront, egy neurális háló egy korai változatát, amely csak egy nyomtatott kártyán képes felismerni egy négyzet helyét. Ötven évvel később a neurális hálók képesek . . .

A szoftver kötelességtudóan befejezte a gondolatot, majd folytatta, felvéve a kiinduló szöveg történelmi kereteit:

. . . arcok észlelése és osztályozása, minták keresése az adatokban és az emberi agy emulálása. Miközben a neurális háló kifejlődött az akadémián, utat talált a technológiai iparba is. Az 1980-as évek végén és a 90-es évek elején a neurális hálókat beszédfelismerő és karakterfelismerő alkalmazásokban használták. A számítási teljesítmény növekedése és a nagyobb adathalmazok gyűjtésének lehetősége lehetővé tette más neurális hálózati alkalmazások megjelenését.

A GPT-3 megjelenése óta az internet tele van példákkal a szoftver hátborzongató nyelvi lehetőségeiről – a vak foltjaival, hibáival és más baljósabb tendenciáival együtt. A GPT-3-at arra képezték ki, hogy hollywoodi forgatókönyveket írjon és szépirodalmat írjon a Gay Talese új újságírás klasszikusának, a „Frank Sinatra megfázik” stílusának megfelelően. A GPT-3-at szimulált kazamaták mestereként alkalmazhatja, kidolgozott szövegalapú kalandokat vezetve. világokon keresztül, amelyeket a neurális háló menet közben talál fel. Mások olyan figyelmeztetéseket adtak a szoftvernek, amelyek nyilvánvalóan sértő vagy téves válaszokat generálnak, bemutatva a modell korlátait és a jelenlegi állapotában széles körben elterjedt lehetséges károkat.

Eddig a nagy nyelvi modellekkel végzett kísérletek többnyire a következők voltak: kísérletek a modellben a valódi intelligencia jeleinek vizsgálatára, kreatív felhasználási lehetőségeinek feltárására, torzításainak feltárására. De a végső kereskedelmi potenciál óriási. Ha a jelenlegi pálya folytatódik, a következő néhány évben a GPT-3-hoz hasonló szoftverek forradalmasíthatják az információkeresést. Ha ma valami bonyolult kérdésed van – mondjuk, hogyan állítsd be a házimozi-rendszeredet, vagy milyen lehetőségek vannak egy 529-es oktatási alap létrehozására gyermekeid számára –, akkor valószínűleg be kell írnod ​​néhány kulcsszót a Google-be, majd átvizsgálnod. linkek vagy javasolt videók listája a YouTube-on, mindent átfutva, hogy elérje a keresett pontos információkat. (Mondanom sem kell, hogy eszébe sem jutna megkérni Sirit vagy Alexát, hogy vigyenek végig egy ilyen összetetten.) De ha a GPT-3 igaz híveinek igazuk van, akkor a közeljövőben csak felteszi a kérdést egy LLM-nek, és megkapja a választ, meggyőzően és pontosan. Az ügyfélszolgálat teljesen átalakulhat: Bármely olyan cég, amelynek terméke jelenleg emberi technikai támogatási csapatot igényel, képes lehet LLM-t kiképezni a helyettesítésére.

Olvassa el a teljes történetet itt ...