Zahir Hasannak nem kellett elmondania, hogy a cége számai rosszak.
Elküldtem Hasannak, az oslói székhelyű kutatócég, a Clovion AI vezérigazgató-helyettesének a módszertani kérdések listáját a „Túlélés az AI-tölcsérről”, a Clovion új tanulmányáról, amely arról szól, hogy Claude, ChatGPT és Gemini hogyan ajánl márkákat egy beszélgetés során. A tízes kérdés rutinszerű volt, olyasmi, amit minden kutatócsoport feltesz. A jelentés szerint a három mesterséges intelligencia asszisztens az esetek 15%-ában határozottan ellentmond egymásnak a márkával kapcsolatos tények alapján, 33 ellenőrzött ellentmondás alapján. Valóban elég volt a 33 ahhoz, hogy alátámassza azt az állítást, hogy melyik modell hajlamos alulértékelni a márka jellemzőit, és melyik az, amely túladja azokat?
Hasan válasza nem a szám védelme volt. Korrekció volt. „A valós szám 330” – írta vissza. „Egy tervező nullát dobott az elrendezésben.” Ugyanez az elcsúszott tizedesjegy – mondta – 2040 márkát is „204”-re változtatott a PDF hetedik oldalán, amelyet a publikálása előtt küldtek el. A héten megjelenik a javított verzió. Tehát először megkaptam a javított számokat.
Ez egy furcsa módja annak, hogy egy MI-kutatási jelentésről szóló rovatot indítsunk, mindenek előtt elismerve, hogy a jelentéstervezetben hiba van. De ez a legőszintébb módja, mert a korrekció olyasmit mond, amit a tanulmány főcímstatisztikái soha nem tudtak. A mesterséges intelligencia válaszainak helyes elolvasása, akár marketingszakember, aki megpróbálja kideríteni, hogy a ChatGPT az Ön termékét ajánlja-e, vagy egy kutató, aki tanulmányt készít róla, a tizedesvessző megfogásán múlik, mielőtt stratégiát építene rá.
A tölcsér, összefoglalva
Tedd félre a gépelési hibát egy pillanatra, és a mögöttes kutatás kitart. Clovion 69 120 többfordulós beszélgetést folytatott a három asszisztens között 36 B2B szoftver és fintech kategóriában, és egy nyitó kérdést tett fel, mint például a „legjobb CRM-eszközök?” majd egyetlen reális követés. Ugyanannak a kérdésnek az újrafeltevése az ajánlott lista 90%-át érintetlenül hagyta. Egy közönséges vásárlói részletet hozzáadva, ami olyan egyszerű, mint „egy kis csapat számára”, csak 28% maradt meg. Az első választ adó márkák 62 százaléka eltűnt a másodiknál.
Megkérdeztem Hasant, hogy „kis csapatot” választottak-e ki, hogy elkészítsék ezt a cseppet. Nem volt az. Csapata is tesztelt „nagyvállalatra”, és majdnem azonos lemorzsolódást ért el, mindkét irányban 72% körüli, míg a kérdés egyszerűen megismétlésekor nagyjából 10%. A lista nem instabil. Reszponzív, és leginkább arra, hogy a modell eldöntötte-e, hogy valójában kinek szól egy márka.
Ez az a rész, ahol érdemes leülni, ha keresőoptimalizálással vagy márkastratégiával foglalkozik. A mesterséges intelligencia válaszában szereplő név nem ugyanaz, mint abban, hogy megbíznak benne. Az a modell, amelyik az első CRM-listáján szerepel, továbbra is csökkentheti Önt abban a pillanatban, amikor a vevő konkrét választ kap, és a Clovion adatai szerint ez legtöbbször megtörténik, nem pedig bizonyos esetekben.
A javítás megváltoztatja a legkisebb, legtöbbet idézett szám alakját
Itt van az, ahol a rögzített tizedesjegy valójában számít a tanulmány olvasásához. A régi, 33 ellentmondásos figura elég kicsi volt ahhoz, hogy minden modellenkénti állítás vékony jégen álljon. Javítva, ez 330, és a Hasan által megosztott modellenkénti bontás sokkal beszédesebb, mint a jelentéstervezetben szereplő összesített 15%-os adat: Claude 160-szor aláírja a márka saját jellemzőit, szemben 10 túligénnyel. A ChatGPT 70-szer alulköveteli, és soha nem követeli túl. A Gemini a másik irányba fut, 80-szoros túlkövetelést 30 alulköveteléssel szemben.
Hasan munkaelmélete, amely egy különálló, még nem publikált Clovion-tanulmányból származik, amely szerint az egyes modellek honnan merítik a válaszaikat, az, hogy a Gemini nagyobb mértékben támaszkodik a marketinganyagokra és a videókra, ezért hajlamos a márkának tulajdonítani bármit is, amit felkapott. A Claude és a ChatGPT jobban támaszkodik a dokumentációra és a termékoldalakra, pontosan leírja az alapterméket, és elkerüli a „nincs neki” lehetőséget, ha egy újabb funkció nincs megfelelően dokumentálva. Ha ez megállja a helyét a Clovion által még nem publikált tanulmány szerint, az azt jelenti, hogy az AI-asszisztens termékével kapcsolatos hibájának iránya attól függ, hogy milyen tartalmat tettél elé, és hol található a tartalom.
Több mint 20 évet töltöttem azzal, hogy elmondjam az ügyfeleknek, hogy a jó rangsorolás és a pontos leírás két különböző probléma. Ez a legvilágosabb bizonyíték, amit láttam, hogy most ugyanaz a probléma, egyetlen beszélgetésben játszódnak le, és hogy a javítás attól függ, melyik asszisztens írja le a félreértést.
Miért nem fogja senki a hiányzó nullát?
Frederick Vallaeys „The AI-Amplified Marketer” című könyvében található egy történet, amely pontosan megmagyarázza, miért marad fenn a kiesett tizedesjegy egészen a megjelenésig. Egy automatizált jelentés egyszer „nagy teljesítményt” jelölt meg egy kulcsszónál, mivel az ügyfélszerzésenkénti költség sokkal magasabb volt, mint a cél. Valahol a rendszerben a magas értéket jóra cserélték, amikor a magas CPA rossz hír, nem jó hír. Bárki, aki átfutotta az összefoglalót, bólintott volna, mert a mondat simán olvasható volt, annak ellenére, hogy a jelentése megfordult.
Vallaeys ezt a prediktív feldolgozás kutatásával köti össze, azzal az elképzeléssel, hogy a folyékony olvasók nem dekódolnak minden szót, hanem a kontextus és a továbblépés alapján jósolják meg, mi következik. Így a „teh” „a”-ként olvasható, a hiányzó „nem” pedig elsuhan melletted. Ahogy Vallaeys fogalmaz, a mondat mentális modellje felülírja az előttünk álló szöveget. Egy magabiztos, jól formázott PDF a világ legegyszerűbb helye, ahol ez megtörténhet, és egy elrendezési fájlban leesett nulla ugyanazon hiba sokkal kisebb, sokkal megbocsáthatóbb változata.
Ez az oka annak is, hogy a javítás nem az, hogy „kevésbé bízz a jelentésben”. Ez „tartsa figyelemmel az emberi pilótát, aki a számot ellenőrzi a körülötte lévő bekezdés hangulata helyett”. Harminchárom és 330 ellentmondás nem csak tízszeres. Teljesen eltérő megbízhatósági szinteket támogatnak azzal kapcsolatban, hogy egy modellenkénti minta valódi-e. A kétszáznégy márka és a 2040 márka nem ugyanaz a tanulmány. Ha Clovion nem értette volna meg, és ha nem kérdezek, a kisebb, ingatagabb számok tényként keringtek volna, pontosan az a fajta szaksajtó idézi, amelyik ezt felfogja.
Amit Clovion nem állít, és miért ez az őszinte rész
A jelentés gondosan kijelenti, hogy a kapcsolat aközött, ahogy egy modell érzékeli az Ön illeszkedését, és az, hogy Önt ajánlja-e, „erős, következetes kapcsolat, nem pedig bizonyított ok-okozati törvény”. Rádöbbentem Hasant arra, hogy hogyan nézne ki egy igazi oksági teszt. Válasza: változtasson egy dolgot, egy márka nyilvános pozicionálási tartalmát, hagyjon békén minden mást, és nézze meg, hogy a modellek viselkedése elmozdul-e azokhoz a márkákhoz képest, amelyeket senki sem érintett. Clovion még nem futotta le ezt a tesztet. Közvetlenül elismerte azt a kényelmetlenebb lehetőséget is, hogy egy márka tényleges valós pozicionálása valószínűleg befolyásolja mind azt, hogy a modell hogyan írja le, és azt, hogy az ajánlott-e, ami miatt a valódi kar pozicionálása és a modell „érzékelése” csak tünet, nem pedig ok.
Ez egy szokatlanul őszinte válasz egy mesterséges intelligencia láthatósági felügyeletét értékesítő cégtől, és pontosan ezért bízom a többiben, amit Hasan mondott. Arról sem rendelkezett adatokkal, hogy egy mesterséges intelligencia milyen gyorsan változik a márkáról, miután a márka megváltoztatja a saját tartalmát. „Nem végeztünk előtte-utána tesztet” – mondta. „Kezeld úgy, hogy érdemes kipróbálni, nem garantált X hét múlva.” Bárki, aki azt mondja, hogy konkrét ütemtervet ígérhet Claude vagy Gemini véleményének a márkáról való mozgatására, Clovion saját bevallása szerint találgat.
Mit kell tenni valójában
Három dolgot kell tennie annak alapján, amit Hasan mondott nekem, és amit a javított adatok támogatnak.
Először is kövesse nyomon az egész beszélgetést, ne az első választ. Ha a mesterséges intelligencia láthatóságát egyetlen felszólítással figyeli, akkor egy olyan tölcsér tetejét méri, amely egy mondattal később elveszíti tartalmának 62%-át. Építse fel monitorozását a valódi vásárlói által feltett további kérdések köré.
Másodszor, rögzítse az asszisztenseket egyenként, sorrendben. Hasan egyenesen kijelentette, hogy egyetlen tartalommódosítás nem mozgatja egyszerre mindhárom modellt, mert különböző forrásokból származnak. Az általa javasolt sorrend: először javítsa ki a lapos ténybeli hibákat, mivel ezek olcsó nyeremények, majd folytassa a folyamat szempontjából legfontosabb szegmens-illesztési kombinációkat, és ellenőrizze az egyes asszisztenseket több futáson keresztül, ahelyett, hogy egyetlen válaszban bízna.
Harmadszor, ne hivatkozzon olyan statisztikai adatokra, amelyek forrását nem találta meg, beleértve ezt is. Clovion saját jelentésének javításra szorult a legtechnikaibb, leginkább idézhető száma. Mielőtt oszlopot, klienscsomagot vagy tartalmi összefoglalót építene az AI-kutatási százalékok köré, kérdezze meg, honnan származik a mögöttes szám, és hogy ellenőrizte-e valaki a matematikát, mióta az elhagyta a tervezőszoftvert.
Néztem, ahogy a SEO keresztülment néhány ilyen pillanaton, a Pandától a mobil-első indexelésen át a nulla kattintásos keresés lassú kiáramlásáig. Mindegyik jutalmazta azokat a gyakorlókat, akik a címsorszám ismétlése helyett az elsődleges forrást ellenőrizték. Az AI láthatósága ugyanúgy alakul. Nem azok a márkák, amelyek megnyerik a Clovion által dokumentált eltűnést, nem a legjobb sajtóközleményt kapják az AI áttekintések stratégiájukról. Ők lesznek azok, akik elég figyelmesen elolvassák a jelentést ahhoz, hogy megkérdezzék, mit is jelent valójában a „33”, és akik ezt követően is felteszik ezt a kérdést.
Zahir Hasan a Clovion AI vezérigazgatója, székhelye Oslóban, Norvégiában található. A Clovion javított változata a „Túlélni az AI-tölcsért”, amely az ebben az oszlopban szereplő számadatokat tükrözi, ezen a héten várható.
