Az Anthropic kutatói megvizsgálták a Claude 3.5 Haiku azon képességét, hogy eldöntse, mikor kell megszakítania egy szövegsort egy meghatározott szélességen belül. Ez a feladat megköveteli, hogy a modell nyomon kövesse a helyzetét írás közben. A tanulmány azt a meglepő eredményt hozta, hogy a nyelvi modellek belső mintákat alkotnak, amelyek hasonlítanak arra a tértudatosságra, amelyet az emberek a fizikai térben való elhelyezkedés nyomon követésére használnak.
Andreas Volpini Twitteren írt erről az újságról, és analógiát mutatott be a mesterséges intelligencia felhasználására szánt tartalom darabolásával. Tágabb értelemben megjegyzése metaforaként működik arra vonatkozóan, hogy az írók és a modellek egyaránt eligazodnak a struktúrában, koherenciát találva azokon a határokon, ahol az egyik szegmens véget ér, és a másik kezdődik.
Ez a kutatás azonban nem a tartalom olvasásával foglalkozik, hanem a szöveg generálásával és annak meghatározásával, hogy hol kell beszúrni a sortörést, hogy a szöveg tetszőleges rögzített szélességbe illeszkedjen. Ennek célja az volt, hogy jobban megértsük, mi történik az LLM-ben, mivel az írás közben nyomon követi a szöveg pozícióját, a szóválasztást és a sortörés határait.
A kutatók kísérleti feladatot hoztak létre egy meghatározott szélességben sortöréssel rendelkező szöveg létrehozására. A cél az volt, hogy megértsük, hogyan dönti el a Claude 3.5 Haiku a szavakat, hogy illeszkedjenek-e egy meghatározott szélességbe, és mikor kell beilleszteni a sortörést, amihez a modellnek nyomon kellett követnie az aktuális pozíciót az általa generált szövegsorban.
A kísérlet bemutatja, hogy a nyelvi modellek hogyan tanulják meg a struktúrát a szövegben lévő mintákból kifejezett programozás vagy felügyelet nélkül.
A vonaltörő kihívás
A sortörés feladathoz a modellnek el kell döntenie, hogy a következő szó belefér-e az aktuális sorba, vagy újat kell kezdenie. A siker érdekében a modellnek meg kell tanulnia a vonalszélesség-korlátozást (azt a szabályt, amely korlátozza, hogy hány karakter fér el egy sorba, például a papírlap fizikai terében). Ehhez az LLM-nek nyomon kell követnie a beírt karakterek számát, ki kell számítania, hogy hány karakter marad, és el kell döntenie, hogy a következő szó belefér-e. A feladat érvelést, memóriát és tervezést igényel. A kutatók attribúciós grafikonokat használtak annak megjelenítésére, hogy a modell hogyan koordinálja ezeket a számításokat, külön belső jellemzőket mutatva a karakterszám, a következő szó és a sortörés szükségességének pillanatában.
Folyamatos számlálás
A kutatók megfigyelték, hogy a Claude 3.5 Haiku a vonalkarakter-számlálást nem lépésről lépésre történő számlálásként jeleníti meg, hanem egy sima geometriai struktúraként, amely folyamatosan ívelt felületként viselkedik, lehetővé téve a modell számára, hogy folyékonyan (menet közben) kövesse a pozíciót, ahelyett, hogy szimbólumról szimbólumra számolna.
Még valami érdekes, hogy felfedezték, hogy az LLM kifejlesztett egy határfejet (egy „figyelemfejet”), amely a vonalhatár észleléséért felelős. A figyelemmechanizmus mérlegeli annak fontosságát, amit figyelembe veszünk (jelzők). A figyelemfej az LLM figyelemmechanizmusának speciális összetevője. A határfej, amely egy figyelemfej, arra a szűk feladatra specializálódott, hogy észlelje a vonalvéghatárt.
A kutatási cikk a következőket írja:
„A vonalkarakterek számának ábrázolásának egyik lényeges jellemzője, hogy a „határfej” elcsavarja az ábrázolást, lehetővé téve, hogy minden számláló egy kicsit nagyobb számmal párosuljon, jelezve, hogy a határ közel van. Vagyis van egy lineáris QK térkép, amely a karakterszámlálási görbét maga mentén csúsztatja. Az ilyen műveletet nem engedi meg az általános nagy görbületű modell, vagy az intervallumba ágyazott fizikai kör. De jelen van mind a sokrétűben, amelyet a Haiku-ban megfigyelünk, és amint most megmutatjuk, a Fourier-konstrukcióban is.
Hogyan működik a határérzékelés
A kutatók két belső jel összehasonlításával azt találták, hogy a Claude 3.5 Haiku tudja, ha egy szövegsor majdnem a végéhez ér:
- Hány karaktert generált már, és
- Milyen hosszúnak kell lennie a sornak.
A fent említett határfigyelő fejek döntik el, hogy a szöveg mely részeire fókuszáljanak. Néhány ilyen fej arra specializálódott, hogy észrevegye, amikor a vonal eléri a határát. Ezt a két belső jel (a karakterszám és a maximális sorszélesség) enyhén elforgatásával vagy egymásba rendezésével teszik, így amikor azok majdnem megegyeznek, a modell figyelme a sortörés beszúrása felé fordul.
A kutatók megmagyarázzák:
„A közeledő vonalhatár észleléséhez a modellnek két mennyiséget kell összehasonlítania: az aktuális karakterszámot és a vonalvastagságot. Olyan figyelemfelkeltő fejeket találunk, amelyek QK-mátrixa elforgatja az egyik számlálócsövet, hogy egy adott eltolásban igazítsa a másikhoz, és nagy belső szorzat jön létre, amikor a számok különbsége egy céltartományba esik. Több különböző eltolású fej együtt dolgozik a fennmaradó karakterek pontos becsléséhez.
Végső szakasz
A kísérlet ezen szakaszában a modell már meghatározta, hogy milyen közel van a vonal határához, és milyen hosszú lesz a következő szó. Az utolsó lépés az információ felhasználása.
Íme, hogyan magyarázható:
„A sortörési feladat utolsó lépése a vonalhatár becslésének és a következő szó előrejelzésének kombinálása annak meghatározására, hogy a következő szó belefér-e a vonalba, vagy meg kell-e törni a vonalat.”
A kutatók azt találták, hogy a modell bizonyos belső jellemzői akkor aktiválódnak, amikor a következő szó hatására a vonal túllépi a határt, és gyakorlatilag határérzékelőként szolgál. Amikor ez megtörténik, a modell növeli az újsor szimbólum előrejelzésének esélyét, és csökkenti egy másik szó előrejelzésének esélyét. Más funkciók az ellenkezőjét teszik: akkor aktiválódnak, amikor a szó még belefér, csökkentve a sortörés beszúrásának esélyét.
Ez a két erő – az egyik a sortörést szorgalmazza, a másik pedig visszatartja – együtt egyensúlyoz a döntés meghozatalához.
A modelleknek lehetnek vizuális illúziói?
A kutatás következő része azért hihetetlen, mert megpróbálták megvizsgálni, vajon a modell érzékeny-e olyan vizuális illúziókra, amelyek megbotránkoztatnák. Abból az ötletből indultak ki, hogy az embereket hogyan lehet becsapni olyan vizuális illúziókkal, amelyek hamis perspektívát mutatnak be, és az azonos hosszúságú vonalak különböző hosszúságúnak tűnnek, egyik rövidebb a másiknál.
Képernyőkép egy vizuális illúzióról
A kutatók mesterséges jelzőket, például „@@” szúrtak be, hogy lássák, hogyan zavarják meg a modell pozícióérzékét. Ezek a tesztek eltéréseket okoztak a modell belső mintáiban, amelyeket a pozíció követésére használ, hasonlóan az emberi észlelést megtévesztő vizuális illúziókhoz. Emiatt a modell vonalhatár-érzékelése megváltozott, megmutatva, hogy a struktúra érzékelése a kontextustól és a tanult mintáktól függ. Annak ellenére, hogy az LLM-ek nem látnak, belső szervezetükben olyan torzulásokat tapasztalnak, mint ahogy az emberek rosszul ítélik meg a látottakat azáltal, hogy megzavarják a megfelelő figyelemfejeket.
Elmagyarázták:
„Úgy találjuk, hogy modulálja a megjósolt következő tokent, ami megzavarja az újsor jóslatát! Ahogy az előrejelzés volt, a megfelelő fejek elvonódnak: míg az eredeti promptnál a fejek újsorról újsorra vesznek részt, a módosított promptban a fejek a @@-ra is figyelnek.”
Arra voltak kíváncsiak, hogy van-e valami különleges a @@ karakterekben, vagy bármilyen más véletlenszerű karakter megzavarná a modell képességét a feladat sikeres végrehajtásában. Így 180 különböző szekvenciával teszteltek, és azt találták, hogy ezek többsége nem zavarta meg a modell azon képességét, hogy előre jelezzék a vonaltöréspontot. Felfedezték, hogy a kóddal kapcsolatos karaktereknek csak egy kis csoportja volt képes elterelni a megfelelő figyelemfelkeltő fejeket és megzavarni a számolási folyamatot.
Az LLM-ek vizuálisan érzékelik a szöveget
A tanulmány bemutatja, hogy a szövegalapú jellemzők hogyan fejlődnek sima geometriai rendszerré egy nyelvi modellen belül. Ebből is látszik, hogy a modellek nem csak a szimbólumokat dolgozzák fel, hanem észlelés alapú térképeket is készítenek belőlük. Ez az észlelésről szóló rész számomra az, ami igazán érdekes a kutatásban. Folyamatosan visszakanyarodnak az emberi észleléssel kapcsolatos analógiákhoz, és ahhoz, hogy ezek az analógiák hogyan illeszkednek bele abba, amit látnak az LLM-en belül.
Azt írják:
„Bár a nyelvi modellek korai rétegeit olykor úgy írjuk le, hogy azok felelősek a bemenet „detokenizálásáért”, talán inkább felkelti ezt az észlelést. A modell eleje valójában a bemenet meglátásáért felelős, és a korai áramkörök nagy része a szöveg érzékelését vagy észlelését szolgálja, hasonlóan ahhoz, ahogy a látásmodellek korai rétegei alacsony szintű észlelést valósítanak meg.”
Aztán kicsit később ezt írják:
„Az általunk megfigyelt geometriai és algoritmikus minták szuggesztív párhuzamot mutatnak a biológiai idegrendszeri észleléssel. …Ezek a jellemzők kitágulást mutatnak – egyre nagyobb karakterszámot jelentenek, amelyek egyre nagyobb tartományokban aktiválódnak –, ami tükrözi a számábrázolások dilatációját a biológiai agyban. Sőt, a tulajdonságok alacsony dimenziós sokaságon való szerveződése analóg módon nem egy biológiai motívum példája. még mindig gyümölcsöző fogalmi átfedés van az idegtudomány és az értelmezhetőség közötti fokozott együttműködésből.
Következmények a SEO számára?
Arthur C. Clarke azt írta, hogy a fejlett technológia megkülönböztethetetlen a mágiától. Úgy gondolom, hogy ha egyszer megértünk egy technológiát, az sokkal jobban összevethető és kevésbé hasonlít a varázslatra. Nem minden tudásnak van haszonelvű haszna, és úgy gondolom, hogy megérteni, hogyan érzékeli az LLM a tartalmat, akkor hasznos, ha az már nem mágikus. Ez a kutatás jobb keresőoptimalizálást tesz lehetővé? Elmélyíti annak megértését, hogy a nyelvi modellek hogyan szervezik és értelmezik a tartalomszerkezetet, érthetőbbé és kevésbé varázslatossá teszi azt.
A kutatásról itt olvashat:
Amikor a modellek manipulálják az elosztókat: A számlálási feladat geometriája
