Ha egy mesterséges intelligencia modellnek nincs semmije a cégénél, akkor nem árulja el senkinek. Nem hanyatlik, nem fedezi, és nem jelöli meg azt a helyet, ahol a bizonyítékai elfogytak. A legközelebbi, jól dokumentált dologhoz nyúl, ami általában egy versenytárs, egy kategóriaátlag vagy egy három évvel ezelőtti változat, és ezt a helyettesítést ugyanabban a magabiztos regiszterben szállítja, amelyet akkor használ, amikor ténylegesen tudja.
Ennyit megbeszéltek. Amiről még nem esett szó, az az a rész, amely a munkavégzőket aggodalommal tölti el: ezt nem találhatja meg saját tartalom auditálásával. Minden valaha készített tartalom-ellenőrzés megvizsgálja, hogy mi létezik: oldalak, szerkezet, lefedettség, pontosság, frissesség. Ez a kudarc abban él, ami nem létezik, egy olyan helyen, ami nincs a tulajdonodban, és csak abban a pillanatban válik láthatóvá, amikor valaki feltesz egy kérdést, amit soha nem fogsz látni.
Tehát az audit tisztán jön vissza. Az oldalak jók. A séma érvényesít. A lefedettség ésszerűnek tűnik a versenytársakhoz képest. És a modell továbbra is elmond az embereknek valamit a cégéről, amit egyetlen oldala sem támogat, és egyetlen oldala sem akadályozhatta volna meg.
Miért pótolja a modell a hiányt ahelyett, hogy elhagyná?
A mechanizmus jól dokumentált, és elégszer támaszkodtam Mallenre és kollégáira ebben a hírlevélben ahhoz, hogy a rendszeres olvasók átfuthassák ezt a részt: a modellek kifejezetten a kevésbé népszerű tényismeretekkel küszködnek, és ezek nagyobbítása főként javítja a népszerű tények felidézését, miközben nagyon keveset tesz a farkáért. A Scale nem a középpiaci gyártót vagy a regionális szolgáltató céget akarja megmenteni. Az eloszlás vékony része vékony marad.
Az érdekes kérdés, hogy mi történik ezen a vékony részen. Longpre és munkatársai a tudáskonfliktusokkal foglalkozó EMNLP 2021-es munkájuk során azt mérték, hogy a modellek mennyire támaszkodnak a megjegyzett információkra, ahelyett, hogy elolvasnák azt, ami valójában előttük van, és a gyakorló kérdését úgy fogalmazták meg, hogy a modell hajlamos-e hallucinálni, mint olvasni. A viselkedés nem a tartózkodás. Magabiztos termelés, bármit is tartanak a súlyok.
Különítsd el ezt a hallucinációtól, ahogy ezt a kifejezést általában használják, mert az ipar lelapította a kettőt, és az ellaposodás a diagnózis felállításába kerül. Az általános hallucináció véletlenszerű. Hamis eseti idézetet, koholt statisztikát, hihetően hangzó papírt készít, ami nem létezik, és ezt elég kiszámíthatatlanul teszi ahhoz, hogy a jobb modellek mérhetően csökkentsék azt. Amit leírok, az nem véletlen. Szisztematikus, irányított és a bizonyítékok alakja alapján kiszámítható. Egy ritka entitás és egy sűrű szomszéd mellett a modell megbízhatóan a szomszéd felé sodródik, és ezt minden alkalommal ugyanabba az irányba teszi, mert az erre mutató gradiens a betanítási eloszlás tulajdonsága, nem pedig a mintavétel hibája. Éppen ezért itt nem érvényes az a szokásos megnyugtatás, hogy az újabb modellek kevésbé hallucinálnak. A modellek egyre jobban nem találnak ki dolgokat. Nem egyre jobban tudnak olyan cégekről, amelyekről senki sem írt.
Egy működő példa, megjelent idén júniusban
Jelenleg egy gyártói cikk kering a mesterséges intelligencia hallucinálásával foglalkozó termékrészletekről, amely a márkacsapatokat célozza, figyelmeztetve őket, hogy a modellek állítanak elő állításokat a termékeikről. Hozzáértő írás egy valós problémáról.
Érvelését egy közvetlen idézettel indítja, amelyet Percy Liangnek tulajdonítanak, akit helyesen a Stanfordi Alapítványi Modellek Kutatási Központ igazgatójaként neveztek meg, arról, hogy a modellek hogyan konfabulálnak kereskedelmi kontextusban. Sehol máshol nem találom ezt az idézetet. Sem egy újságban, sem egy beszélgetésben, sem egy interjúban, sem a weben más oldalon. Ugyanebben a cikkben két jól ismert médiaszereplő idézetei vannak, amelyeket szintén nem találok. A hallucinációs ráta tartományát a Stanford HAI AI-indexnek tulajdonítja, és a jelentés bejárati ajtajára hivatkozik, nem pedig a benne lévő oldalra. Aztán nagyjából még egy tucatszor megcsinálja ugyanezt. A Nielsen fogyasztói bizalmi jelentés. A Gartner kockázati jelentése. Az IAB munkacsoport jelentése. Az MIT Sloan értékelő tanulmánya. Minden cím pontosan úgy hangzik, mint egy igazi riport. Minden link egy szervezet kezdőlapjára mutat, soha nem egy dokumentumra.
Olvassa el újra annak fényében, hogy miről szól a darab. Ez a cikk arra figyelmezteti a márkákat, hogy a mesterséges intelligencia rendszerek magabiztos állításokat találnak ki róluk, és magabiztos állításokat találnak ki kutatókról és intézményekről, hogy ezt állítsák. A mechanizmus nem maradt a gépben. Megjelent a másik oldalon, közzétették, indexelték, és most benne van a korpuszban, amelyből a modellek következő generációja tanulni fog.
A méltányos ellenvetés az, hogy a kutatások nagy része fizetőfal mögött húzódik, és egy Gartner- vagy Forrester-előfizetéssel nem rendelkező író valóban nem tudja mélylinkelni. Ez lefedi a lista egy részét. Nem fedi le a Stanford indexet, amely egy ingyenes nyilvános letöltés. Nem terjed ki az ACL Antológiára, amely ingyenes, nyitott és teljesen indexelt, és ahol a jelek szerint nem létezik olyan taxonómiai papír, amely a márka hallucinációit négy megnevezett típusba sorolja. És ez nem vonatkozik az idézetre, mert az ember vagy mondott valamit nyilvánosan, vagy nem, és ezen semmilyen előfizetés nem változtat. Van egy konvenció a zárt művek idézésére is: nevezze meg a jelentést, a szerzőt és a dátumot, így a hozzáféréssel rendelkező olvasó megtalálhatja, a nem olvasó pedig megerősítheti, hogy valódi. Ehelyett az oldalon egy cím található, amely tökéletesen illeszkedik az állításhoz, és nincs alatta.
Valójában nem érdekel az eladó, és szándékosan nem nevezem meg őket, mert a példány számít, a cég pedig nem. Az számít, hogy pontosan ez az egy szinttel feljebb működő hiba. Aki összeállította ezt a darabot, annak hiteles alátámasztására volt szüksége a márkaszintű hallucinációs rátákkal kapcsolatos állításokhoz, és ezeknek a konkrét állításoknak a hiteles alátámasztása nem létezik a szükséges érvben. Így a rés megtelt bizonyíték formájú dolgokkal. Valódi intézménynevek, hihető jelentéscímek, helyesen azonosított Stanford-igazgató, működő kapcsolatok, amelyek valódi szervezetekre utalnak. Minden felszíni szigor jele, semmi lényege.
És vegyük figyelembe a marketingigazgatót, aki elolvassa, elhiszi a számokat, és megismétli őket egy táblapakliban. A helyettesítés a modellről, cikkre, személyre, döntésre vált, anélkül, hogy a láncban bárki bármi nyilvánvalóan rosszat tett volna.
4 Alakzatok, 1 Viselkedés
A helyettesítés nem jelenik meg kétszer ugyanúgy, ezért is marad láthatatlan. Ennek négy felismerhető formája van, és általában mindegyiket valami másként diagnosztizálják.
Az első az néma hasonlatahol a modell a legközelebbi, jól dokumentált szomszédhoz nyúl, és Önként írja le. Az Ön árazási modellje a legnagyobb versenytárs árazási modelljévé válik. Az Ön megvalósítási idővonala lesz a kategória megvalósítási idővonala. A válaszban semmi nem jelzi, hogy csere történt, mert a modell oldaláról nem történt csere. Ez hozta létre a legvalószínűbb leírást egy olyan cégről, mint az Öné.
A második az pénzként bemutatott állottság. A modell a vállalat egy olyan verzióját tartalmazza, amely valamikor pontos volt, és jelen időben mondja ki. Megszűnt termékek, távozott vezetők, egy régi pozicionálási nyilatkozat, egy piac, ahonnan kilépett. A parametrikus memórián nincs időbélyeg, és nincs hozzá lejárati figyelmeztetés sem.
A harmadik a vékony bizonyíték, amelyet a vastag bizonyítékok magabiztosságával kezelnek. Egy kereskedési leírás és negyven független forrás egyforma válaszokat ad. A modell nem fedi fel, hogy mekkora anyagon áll, így egy-egy blogbejegyzésen nyugvó állítás konszenzusként hangzik.
A negyedik egy adott cégnél alkalmazott kategóriaismeret. A modell nagyon sokat tud az Ön iparágáról, és nagyon keveset Önről, ezért megválaszolja az iparág kérdését, és hozzáfűzi az Ön nevét. Ezt a legnehezebb észrevenni, mert a válasz általában igaz a kategóriára vonatkozóan, ami azt jelenti, hogy túlél egy véletlenszerű pontossági ellenőrzést.
Miért törli mindegyik a tartalom-ellenőrzést
Itt van az a rész, amely működési szempontból számít. A tartalom-ellenőrzés szabvány szerint vizsgálja oldalait. A négy kudarc közül egyiknek sincs köze az oldalaihoz. A bizonyítékokat, amelyek mindegyiküket megakadályozták volna, többnyire mások írták, éveken keresztül, és nem te. A saját anyagának áttekintése nem tárja fel ezt a hiányt, mert a hiány nem az Ön anyagában van.
A természetes válasz az, hogy többet publikálunk. Írja meg az oldalakat, fedje le a hiányosságokat, keresse meg, és hagyja, hogy a visszakeresés javítsa ki a súlyokat. Ez az ösztön érthető, és gyengébb, mint amilyennek hangzik. Sciavolino és munkatársai az EMNLP 2021 entitásközpontú kérdésekkel foglalkozó munkájában azt találták, hogy a sűrű retrieverek rosszul teljesítenek a ritka módszereknél az entitásokban gazdag kérdésekben, és megbízhatóan csak a közös entitásokra általánosítanak. Ugyanaz a népszerűségi gradiens, amely ritkítja az Ön jelenlétét a súlyzókban, újra megjelenik a letöltött tartalmakban. A visszakeresés az elfogultság második alkalmazása, nem pedig annak korrekciója, ami azt jelenti, hogy a legtöbb taktikai tanács jelenleg ugyanazon a szűk ajtón keresztül fut át, mint minden más.
Tehát az audit tiszta, a tartalom rendben van, a több tartalom a legjobb esetben is részleges válasz, és a hiba egyébként is megtörténik, lekérdezésenként egyszer, privátban, olyan hangerőn, amelyet senki nem számol.
Az egyetlen hely, ahol ez láthatóvá válik
A helyettesítést a kimenetek figyelésével találja meg, nem a bemenetek ellenőrzésével. Ez az egész váltás, és ez kényelmetlen, mert a diagnosztikai felület olyasvalami, ami nem az Ön tulajdona, és nem tud teljes mintát venni.
Amit keresel, az konkrét, és nem a hétköznapi értelemben vett pontosság. Bármilyen olyan állítást tesz egy modell a cégedről, amelyet egyetlen forrásod sem támaszt alá. Nem rossz állítások, bár ezek számítanak. Olyan követelések, amelyeknek nincs nyomon követhető eredete az Ön által közzétett vagy Önről szóló információkban. Egy olyan képesség, amellyel nem rendelkezik, magabiztos részletességgel leírva. Egy idővonal, amit soha nem idéztél. Versenytársak összehasonlítása olyan feltételekkel, amelyeket soha nem állított fel. Ezek mindegyike olyan hely, ahol a modellnek bizonyítékra volt szüksége Önről, nem rendelkezett vele, és egyébként is produkált valamit.
A mintavétel módja többet számít, mint a mintavétel mennyisége. A legkevésbé informatív teszt, ha felkérünk egy modellt, hogy írja le a cégét név szerint, mert a promptban szereplő neve önmagában is egy visszakeresési jelzés, amely a létező vékony anyagot közvetlenül a kontextusba vonja. A helyettesítések azokon a kérdéseken jelennek meg, ahol az Ön neve hiányzik, és a modellnek kell megadnia. Kategória kérdések minősítővel. Összehasonlító kérdések, amelyek csak a versenytársat nevezik meg. Inkább képességekkel, mint vállalattal kapcsolatos kérdések. Ezek azok a feltételek, amelyek mellett a modell dönti el, hogy egyáltalán beletartozik-e a válaszba, és mit mondjon rólad, ha már eldöntötte. Ez az a döntés, ahol a szomszéd kölcsönt kap.
Futtassa ezt a vevők által ténylegesen feltett kérdések valódi skáláján, ismételten, mert a helyettesítések mozognak. Ezután kezelje az eredményeket térképként, ahol a harmadik fél leírása hiányzik, nem pedig a javítandó oldalak listájaként, mert ez az. Nyilvánvalóan megmondom, hogy ennek mérési oldalán én vezetek egy céget, szóval mindehhez hozzátartozom, és egyedi szemszögből látom a dolgokat. Ez nem változtat a mögöttes lényegen, vagyis azon, hogy a teljes mértékben az Ön tulajdonának auditálása köré épülő diszciplína szerkezetileg vak az olyan kudarcokkal szemben, amelyek teljesen kívül esnek az Ön tulajdonában.
A kényelmetlen verzió: a valaha futtatott legtisztább tartalom-ellenőrzés semmit sem mond erről, és soha nem is így volt.
Ha rajtakapott egy modellt, aki olyasmit mond a cégéről, ami semmire sem vezethető vissza, amit nem talált volna, szívesen hallanék róla. Írd meg kommentben, hogy mit és hogyan vettél észre, vagy fordulj közvetlenül hozzá. A példák hasznosabbak, mint az itteni elmélet, és még nincs belőlük jó nyilvános gyűjtemény.
Tovább folytatom azt, hogy ezek a rendszerek hogyan építik fel és tartják meg a vállalatról alkotott képüket A gépi rétegitt érhető el.
Ez a bejegyzés eredetileg a Duane Forrester Decodes oldalon jelent meg.
