A tudósok mesterséges intelligenciát használnak a gondolatok képpé alakítására, 80%-os pontossággal

A mesterséges intelligencia képes képeket készíteni szöveges felszólítások alapján, de a tudósok bemutattak egy galériát azokról a képekről, amelyeket a technológia az agyi tevékenység leolvasásával állít elő.

Az új, mesterséges intelligencia által vezérelt algoritmus ezekből az agybeolvasásokból mintegy 1,000 képet, köztük egy mackót és egy repülőgépet rekonstruált 80 százalékos pontossággal.

Az Osaka Egyetem kutatói a népszerű stabil diffúziós modellt használták, benne van az OpenAI DALL-E 2-ben, amely bármilyen képet készíthet szövegbevitel alapján.

A csapat egyéni képsorozatokat mutatott be a résztvevőknek, és fMRI (funkcionális mágneses rezonancia képalkotás) felvételeket gyűjtött össze, amelyek AI majd dekódolni.

Megmutatjuk, hogy módszerünk képes rekonstruálni az emberi agyi tevékenységből származó, nagy felbontású képeket nagy szemantikai hűséggel" - osztotta meg a csapat a bioRxiv.

"Eltérően a korábbi képrekonstrukciós tanulmányoktól, a mi módszerünk nem igényel képzést vagy bonyolult mélytanulási modellek finomhangolását."

A kutatást vezető Yu Takagi szerint az algoritmus információkat gyűjt az agy képészlelésben részt vevő részeiből, például az occipitalis és a halántéklebenyből.

A csapat fMRI-t használt, mert az aktív agyterületeken észleli a véráramlás változásait. Science.org jelentéseket.

Az FMRI képes kimutatni az oxigénmolekulákat, így a szkennerek láthatják, hogy az agyban neuronjaink – agyi idegsejtjeink – hol dolgoznak a legkeményebben (és szívják fel a legtöbb oxigént), miközben gondolataink vagy érzelmeink vannak.

Ebben a vizsgálatban összesen négy résztvevőt használtak, akik mindegyike 10,000 XNUMX képből álló sorozatot tekintett meg.

A mesterséges intelligencia elkezdi generálni a képeket a televíziós statikus zajhoz hasonló zajként, amelyet aztán az algoritmus által a tevékenységben meglátogatott megkülönböztethető jellemzőkkel helyettesít, hivatkozva a képre, amelyre betanították, és megtalálja a megfelelőt.

"Bemutatjuk, hogy az egyszerű keretrendszerünk képes rekonstruálni nagy felbontású (512 x 512) képeket az agyi tevékenységből, nagy szemantikai hűséggel" - áll a tanulmányban.

„Az LDM minden egyes összetevőjét idegtudományi szempontból kvantitatívan értelmezzük úgy, hogy meghatározott összetevőket különálló agyi régiókhoz rendelünk hozzá.

Objektív értelmezését mutatjuk be annak, hogy az LDM [látens diffúziós modell] által megvalósított szöveg-kép konverziós folyamat hogyan építi be a feltételes szöveg által kifejezett szemantikai információkat, miközben megőrzi az eredeti kép megjelenését.'

Olvassa el a teljes történetet itt ...