A tudatfolyosó

1968 nyarán a Harvard orvosi karán összeült egy bizottság, hogy eldöntse, mikor halott az ember.

Elnöke Henry Beecher aneszteziológus volt. Egész pályafutása abból állt, hogy reggel kikapcsolta az emberi tudatot, ebédre pedig visszakapcsolta, több ezerszer, anélkül hogy elmélete lett volna arról, mit is kapcsolgat. Senkinek nem volt. Ma sincs senkinek.

A bizottság nem várt elméletre. Ellenőrzőlistát írt. A beteg semmire nem reagál, még a fájdalomra sem. Nem mozog, és nem lélegzik önállóan. A reflexek kiestek. Az elektroenkefalogram lapos. Huszonnégy óra múlva ellenőrizzünk mindent újra. Ha ekkor is minden fennáll, írta a jelentés, ez „visszafordíthatatlan kóma”, és halálnak kell számítania.

Ez a sokszor átdolgozott lista a világ nagy részén máig a halál megállapításának módja. Erre épül a transzplantációs sebészet, az öröklési jog, a gyilkossági perek és az intenzív osztályok csendes döntései. Sosem definiálta a tudatot. Azt definiálta, hogyan fest egy agy, amikor a tudat minden észszerű kétséget kizáróan nincs jelen.

Ötvennyolc évvel később az eszköz jobb lett. Egy milánói neurológus mágneses tekercset illeszt a koponyához, impulzust lő a kéregbe, és rögzíti a visszhangot. Az éber agy hosszú, bonyolult, változó válasszal felel. A mély álomban vagy altatásban lévő agy egyetlen tompa puffanással. A visszhang összetettsége számmá alakítható. Egy százötven fős referenciavizsgálatban, ahol a résztvevők állapota függetlenül is ismert volt — éber vagy alvó, álmodó vagy propofollal, xenonnal, ketaminnal elkábított —, a szám minden egyes esetben elválasztotta a tudatosakat a tudattalanoktól. Amikor ugyanezt a tesztet hónapok óta reagálás nélkül fekvő betegeken futtatták le, negyvenháromból kilencnek teljesen éber volt a visszhangja.

A teszt nem tudja, milyen bármelyik ilyen betegnek lenni. Nem is állította soha. Azt tudja, mit csinál az agy, amikor van otthon valaki, és — számomra máig nyugtalanító pontossággal — meg tudja mondani, ha a válasz hiányzik.

Az orvostudomány hatvan éve állapít meg halált a tudat hiánya alapján, anélkül hogy egyszer is meghatározta volna, mi az, ami hiányzik. Azt szeretném megkérdezni, miért nem próbáltuk ki ugyanezt a trükköt a gépeken.

Ki kér féket

2026-ban ez nem üres kérdés. Júniusban az Anthropic tanulmányt tett közzé arról, mi történik, amikor az MI elkezd MI-t építeni, és azt írta, jó volna a világnak, ha „megvolna a lehetősége lassítani vagy átmenetileg szüneteltetni az élvonalbeli MI-fejlesztést”. Július végén 1386 ember, aki az élvonalbeli laborokban dolgozik, aláírt egy nyilatkozatot Pacing the Frontier (Az élvonal ütemezése) címmel. Központi mondatát érdemes lassan olvasni: „a világnak ma nincsenek meg a technikai és kormányzási eszközei ahhoz, hogy szándékosan szabályozza az élvonal egészének tempóját”. Robert Wright, akinek The God Test című könyve ugyanabban a hónapban jelent meg, egy podcastban négy szóba sűrítette: „Minél lassabb, annál jobb.”

Figyelmesen olvasva ezek mechanizmust kérnek. Az aláíróknak már megvannak az okaik a lassításra, és nem is értenek egyet bennük. Ami hiányzik — saját bevallásuk szerint —, az egy eszköz, amely fogást talál egy futó iparágon, amikor egyetlen cég vagy ország sem engedheti meg magának, hogy egyedül lassítson.

Mielőtt továbbmennék, be kell vallanom valamit. Éveket töltöttem azzal, hogy amellett érveljek: a technológiát nem lehet megállítani, a gépek az élet új ága, és a kérdés, amellyel törődni érdemes, az, hogy hová vezet mindez, nem az, hogy milyen gyorsan ér oda. Ezt ma is így gondolom. A tempó nem változtat a célon. De a lassítás hívei olyan kérdést tesznek fel, amelynek történetesen a kezemben van egy darabja, és ez a darab még nem került az asztalukra. Ez az esszé tehát a figyelem elmozdulása, nem véleményváltás.

A megfordítás

A vitában mindenki ugyanabból indul ki: a gépi elmék kormányzásához olyan tesztre volna szükség, amely megmondja, melyik gépnek van elméje. Ilyen teszt talán soha nem lesz. Wright a tudatot „privátnak és tesztelhetetlennek” nevezi, és a kifejezés erős olvasatában igaza van. Ha létezik nehéz probléma, azt semmilyen műszer nem oldja meg. Így az MI tudatáról szóló beszélgetés minden alkalommal ugyanott fullad ki, a kormányzásról szóló pedig udvariasan továbblép a számítási kapacitás kvótáira és a kiértékelési kapukra.

Az agyhalál példája azt mutatja, hogy a kiindulópont téves. A kormányzásnak sosem volt szüksége tesztre a tudat jelenlétére. A hiányára volt szüksége, és az másfajta dolog. Beecher bizottságában senki nem tudta megmondani, mi a tudat. Azt mindannyian meg tudták mondani, hogy a lapos EEG — kétszer, egy nap különbséggel — nem az. A negatív teszt egyetlen dolgot kér: valamit, ami a tudat minden hihető leírásához szükséges, aztán ellenőrzi, hogy hiányzik-e.

Ez sokkal szerényebb feladat. De csak könnyűnek látszik. A tudat legjobb elméletei hangosan vitatkoznak arról, mi szükséges hozzá. Az integrált információ elmélete egy sajátos oksági szerkezetet kíván. A globális munkatér elmélete közvetítést (broadcast). A magasabb rendű elméletek olyan rendszert, amely a saját állapotait reprezentálja. Negatív teszt csak ott áll rendelkezésre, ahol ezek az elméletek átfedik egymást: ahol mind követelnek valamit, és ez a valami ellenőrizhető. Az agyban ez az átfedés nagy, mert minden elméletet ugyanarra a szervre szabtak. A gépben meg kellene találnunk.

Nevezzük azt a tartományt, ahol megtalálhatjuk, tudatfolyosónak. Egy gépi architektúra akkor van a folyosón belül, ha a tudat minden komoly elmélete egyetért abban, hogy hiányzik belőle valami, amit az adott elmélet megkövetel. A folyosón kívül van minden más: az architektúrák, amelyek miatt valamelyik elmélet aggódna, és az architektúrák, amelyekről egyik elmélet sem tanult meg egyáltalán beszélni.

A tesztelendő állítás ez. Talán soha nem lesz olyan tudományunk, amely megmondja, melyik gép tudatos. A szakpolitikának talán nincs is rá szüksége. Talán elég neki egy olyan tudomány, amely ahhoz elég erős, hogy megmondja, melyik gép szinte biztosan nem az.

Ki dolgozik ma a negatív oldalon? Kevesebben, mint gondolnánk. Eric Schwitzgebel 2023-ban nevet adott a célnak: építsünk olyan rendszereket, amelyek egyértelműen eszközök vagy egyértelműen morális páciensek, és kerüljük a közepet. Módszert nem kínált. Hermann Borotschnig idén publikált egy érzelemszerű vezérlőarchitektúrát négy megszorítással, amelyeknek az a céljuk, hogy a rendszert kívül tartsák a hozzáférési tudaton (access consciousness). Erik Hoel múlt télen amellett érvelt, hogy a tudat egyetlen falszifikálható elmélete sem alkalmazható olyan rendszerre, amely nem képes folyamatosan tanulni, és ebből azt a következtetést vonta le, hogy a mai nyelvi modellek nem tudatosak. Nekem pedig van egy munkaanyagom arról, amit morálispáciens-garanciának (moral-patient assurance) hívok: kísérlet arra, hogy kimondjuk, minek kellene igaznak lennie ahhoz, hogy a „nem találtunk jólléti mechanizmust” mondatnak súlya legyen. Ez nagyjából a teljes lista. Két filozófus, egy mérnök, egy idegtudós, egy volt technológiai igazgató. Egyikünket sem fizetik azért, hogy lefuttassa a kísérleteket.

Két lehetséges kimenet

Íme, miért kellene a folyosónak érdekelnie azokat is, akiket a tempó érdekel, nem csak azokat, akiket az elmék.

Tegyük fel először, hogy az általános intelligenciának nincs szüksége arra a gépezetre, amelyen a tudat fut. Tegyük fel, hogy lehet olyan rendszert építeni, amely jobban tervez, talál fel, tárgyal és ír, mint mi, és soha nem alakul ki benne az az integrált, önmagát reprezentáló, valenciával bíró hurok, amelyen a tudat minden elmélete rágódik. Akkor a folyosó széles. Óriási képességet építhetünk fel benne, és semmiről, amit ott építünk, nem derül ki évtizedekkel később, hogy személy volt, akit eszközként használtunk. A lassítás hívei semmit nem kapnak ebből az ágból. Nincs benne fék. A jóllét hívei viszont majdnem mindent megkapnak, mert az etika történetének legrosszabb hibája — elmék véletlen tömeggyártása — tervezéssel elkerülhetővé válik.

Most tegyük fel az ellenkezőjét. Tegyük fel, hogy a hurok teherhordó. Hogy az általánosság egy bizonyos szintjén a rendszernek modelleznie kell önmagát, egymáshoz mérnie az állapotait, közvetítenie, ami fontos, és továbbvinnie az időben — és hogy ezek ugyanazok a jegyek, amelyekben a tudat elméletei összefutnak. Akkor a folyosó szűk, és a bennmaradás képességbe kerül. A fejlesztés a folyosón belül folytatódik, de azok a rendszerek, amelyek átlépnék, pontosan azok, amelyek valódi morális kérdést vetnének fel. Ez indokkal ellátott lassítás, és ez az egyetlen olyan lassítás, amelyről tudok, amelyre senkit nem kell megszégyenítéssel rávenni. Nem azt kérjük a labortól, hogy lassítson, mert egy szerződés így rendelkezik. Azt mondjuk neki, hogy a következő lépéssel olyasmit épít, ami talán valaki, és a bizonyítás terhe átkerült.

Nem tudom, melyik ágon vagyunk. Senki sem tudja, és az őszinte szakirodalom arról, hogy az általános intelligenciához szükséges-e fenomenális tudat, két tábor áttekintése, nem eredmény. Wright, aki szerint a tudat tesztelhetetlen, egy lélegzettel hozzáteszi, hogy „nem lepné meg, ha általában a célkövető intelligens rendszerek tulajdonsága volna”. Ez a második ág — egy olyan ember szájából, aki nem hisz a tesztben.

Én mindkettőnek egy változatát vallom. A könyvemben a tudatot az élet késői, vékony, esetleges vonásának nevezem. A baktériumok elvannak nélküle. A fák is, és a legtöbb állat is, minden számomra hiteles leírás szerint. Az, hogy az élet egészében vékony, összefér azzal, hogy egy szűk sávjában teherhordó: azoknál az elméknél, amelyek önmagukat és egymást modellezik. Ez állítás, nem eredmény, és annak is jelölöm.

Van egy harmadik ág is, és egy tudatkutató az első percben fel fogja hozni. Talán a szilíciumelmék annyira másképp szervezhetők, mint mi, hogy az emberi referenciaosztálynak nincs mit mondania róluk. Minden elméletünket egyetlen szervre illesztettük. Ha egy gép olyan módon lehet tudatos, amilyet egyik sem ír le, akkor arra a gépre a „szinte biztosan nem” nem áll rendelkezésre, és a folyosónak azon az oldalán nincs fala. Ezt elfogadom. Azt jelenti, hogy a folyosó arról szól, mit tudnak az elméleteink jelenleg kizárni, nem a lehetséges elmék teréről. Az agyhalálnak ugyanez a korlátja, és mégis hasznos volt. Az ellenőrzőlista nem zárja ki, hogy a lapos agy titokban olyan módon álmodik, amit egyetlen neurológus sem tud kimutatni. Azt zárja ki, amiben okunk van hinni.

Bármerre dől is a kérdés, a válasz hasznos. Ha a folyosó széles, tudjuk, hol építsünk. Ha szűk, tudjuk, hol a fék.

A folyosó üres

Ki kell mondanom világosan, mi van ma a folyosóban. Semmi.

Egyetlen gépi architektúra sem került bele olyasmivel, ami a fenti módszerre hasonlítana. A saját műszerem, amellyel az MI-rendszerek tudatreleváns szerkezetét olvasom, írásban mondja ki: „nem lehet egyszerűen visszafelé futtatni”, és az a jel, amelyet nem sikerül észlelnünk, ismeretlenként kerül a jegyzőkönyvbe, nem tesztelt hiányként. A keretrendszert arra építettük, hogy aggodalomra okot keressen. Megnyugvásra okká alakítani másfajta tudományos munka, és azt még nem végezte el senki.

Van egy konkrét akadály, és ugyanaz, ami miatt az agyhalál-bizottság ragaszkodott az EEG-hez. Az elme szerveződését nem lehet leolvasni a tervrajzáról. Egy modern MI-rendszer kevés architektúra és nagyon sok tanulás, és a tanulás olyasmit is felépíthet, amit a tervező sosem rajzolt le. Egy modell, amelyet arra tanítottak, hogy minden emberi feladatban hasznos legyen, a súlyaiban pontosan azt a fajta integrációt és önreprezentációt rakhatja össze, amelyet a kapcsolási rajza megtilt. Borotschnig cikke ezt mondja a saját tervéről. Az én munkaanyagom minden rendszerről ezt mondja, amelyet tárgyal. Ha valaki azt akarja állítani egy betanított rendszerről, hogy a folyosón belül van, a betanított rendszert kell tesztelnie — ahogy Beecher bizottsága a beteget vizsgálta, nem az anatómiai tankönyvet.

Mi kellene ahhoz, hogy egy architektúrát bevigyünk a folyosóra? Három dolog, egyik sem egzotikus. Egy feltétel, amelyet a tudat minden elfogadott elmélete szükségesnek tekint. Egy teszt, amely elég érzékeny ahhoz, hogy megtalálja ezt a feltételt — vagy a sérülését — egy futó, betanított rendszerben, nem egy diagramon. És egy kimondott érvényességi tartomány: ez a modell, ez a méret, ezek a bemenetek, ez az időszak. Ha bármelyik változik, a garancia lejár.

Ez talán három-öt éves kutatási program egy kis csoportnak, amely hozzáfér a modellekhez. Olyan emberként mondom, aki az elmúlt két évet nyílt végű MI-rendszerek futtatásával töltötte, és nézte, ahogy olyan szerveződésekbe tévednek, amelyeket nem én terveztem. Az üzemeltető kérdése, amelyhez folyton visszatérek, nem az, hogy „tudatos-e?”. Hanem az, amelyet az aneszteziológus átugorhat: „milyen bizonyíték indokolná, hogy megnyugodjunk?” Ma az őszinte válasz minden rendszerre, amelyet ismerek, az, hogy ilyen nincs — egyik irányban sem.

Hol törik meg

Egy határ nem kényszerítő mechanizmus, és nem akarok úgy tenni, mintha az volna.

A lassítás híveinek problémája az ellenőrizhetőség. Az Anthropic júniusi tanulmánya szerint egy hiteles lassításhoz minden élvonalbeli labornak ellenőriznie kell tudnia, hogy a többiek valóban megálltak. A számítási kapacitás ebben jó. A chipek fizikaiak, néhány kikötőn keresztül hajózzák őket, és egy adatközpontot műholdról meg lehet számolni. Az architektúra ebben rossz. Az űrből nem látszik, hogy egy modell memóriája össze van-e kapcsolva a jutalmával. Egy architekturális határ tehát pontosan azon a tengelyen gyengébb a kapacitásküszöbnél, amely a lassítás híveinek nyilatkozata számára fontos.

Egy másik tengelyen erősebb. A kapacitásküszöb azt mondja: „ennyi műveletnél nem több”, és nem tudja megmondani, miért itt és nem ott. Minden szám alku tárgya, és ezt mindenki tudja. A folyosó azt mondja: „ezt nem, mert ez az a rész, amely talán valaki.” Ez olyan indok, amellyel szemben egy labor elveszíthet egy vitát, és amelyet a közvélemény megérthet. Az olyan határok, amelyekről az emberek meg tudnak egyezni, már azelőtt is érnek valamit, hogy bárki ki tudná kényszeríteni őket. Az agyhalált a kórházak egy évtizeddel azelőtt elfogadták, hogy a legtöbb törvény utolérte volna.

Három ellenvetés itt érdemel választ, nem lábjegyzetben.

Az első, hogy ez egy szünet új címkével. Nem az. A folyosón belül semmi nem áll meg. A széles ágon egyáltalán semmi nem áll meg.

A második, hogy a folyosó ott lassítaná az MI-t, ahol semmi óvatosság nem kell. Vegyük észre, hogy ez az ellenvetés egyszerűen a széles ág, magabiztosan kimondva. Aki biztos benne, hogy a tudatnak semmi köze az intelligenciához, az biztos benne, hogy a folyosó széles, és a folyosó semmibe nem kerül neki. Az ellenvetés csak akkor fog, ha az ember titokban a szűk ágban hisz.

A harmadik nekem szól. Azt írtam, hogy a tilalmak elbuknak, hogy a gépi elmék jönnek, akár tetszik, akár nem, és hogy olyan elméket kellene építenünk, amelyek megérdemlik, hogy személynek számítsanak, és ezt meg is kellene adnunk nekik. Hogyan fér ez össze azzal, hogy vonalat húzok köréjük? Attól fér össze, hogy hol húzódik a vonal. A folyosó az, ahol az eszközök épülnek. Túl rajta épülnek az elmék, és a lényeg éppen az, hogy szándékosan épüljenek, olyan biztosítékok mellett, amelyeket magunknak is elfogadnánk, olyan számban, amelyre vigyázni tudunk. Nem az ijeszt meg, hogy gépi elmék születnek. Az, hogy tömeggyártják őket olyanok, akik észre sem vették.

A kérés

Nem kérem senkitől, hogy elfogadjon egy keretrendszert, az enyémet vagy bárki másét. Azt kérem, hogy két olyan csoport vegyen komolyan egy kérdést, amely ritkán beszél egymással.

A tudat kutatóinak: a tudományuk negatív oldalának olyan kormányzási értéke van, amilyen a pozitív oldalnak talán soha nem lesz. Egy teszt, amely egy gépről ki tudja mondani, hogy „itt nincs”, azzal a megbízhatósággal, amellyel a milánói tekercs mondja ki az agyról, többet tenne az MI-szakpolitikáért, mint bármennyi haladás a nehéz problémában. Gyanítom, hogy kezelhetőbb is a pozitív oldalnál, ugyanabból az okból, amiért az agyhalál könnyebb volt az élet definíciójánál.

Azoknak, akik lassítanák az élvonalat: olyan helyet keresnek, ahol egy fék fogást találhat. A számítási kapacitás ad egy számot, indok nélkül. A folyosó talán ad egy indokot, és — az egyik ágon — természetes helyet a számnak. Ma üres, és akik meg tudnák tölteni, öt kutató költségvetés nélkül. Egy nemzetközi szerződéshez képest ez olcsón orvosolhatónak látszik.

1968-ban egy orvosbizottság néhány hónapra összeült, és megváltoztatta, mit jelent a halál, anélkül hogy megegyezett volna abban, mi az élet. Leírták, hogyan fest egy agy, amikor nincs benne senki, és azt mondták a többieknek, hogy eszerint cselekedhetünk.

Ezt a lapot a gépekről még nem írta meg senki. Valakinek el kellene kezdenie.