Az AI láthatósági nyomkövetési adatai nem teljesen megbízhatóak. Mivel a generatív modellek gyakran különböző válaszokat adnak, az irányítópulton látható hivatkozási arányok és rangsorok csupán pillanatfelvételek egy folyamatosan változó célról, nem pedig rögzített tények.
A különbség Ön és a versenytárs között lehet valódi, vagy csak a mérések közötti ingadozás. A jövő héten megjelenő új IQRush-papír (kiadás előtti hozzáférésünk volt) módszert ad ezek megkülönböztetésére, megmutatva, hogy semmilyen rögzített adatmennyiség nem tudja véglegesen eldönteni a kérdést.
Az újságot Ron Sielinski írta, aki az IQRush társalapítója, aki olyan szoftvereket ad el, amelyek a mesterséges intelligencia láthatóságát mérik, ahogy a lap állítja. Azért érdemes rászánni az időt, mert egy külön csapat áprilisban közzétett egy hasonló ismételt mérési eredményt, így nem az IQRush az egyetlen, aki ezt az esetet meghozta.
Mennyit mozognak ezek a számok
Ha ismételten lekérdezi a SearchGPT-t, a Geminit vagy a Perplexityt ugyanazzal a kérdéssel, akkor minden alkalommal más-más forrásból származhat. Úgy készültek, hogy minden válaszhoz némi véletlenszerűséget adnak, így minden hivatkozás csak egy a sok lehetséges URL közül, amelyeket lehívhattak volna. Ugyanennek a szerzőnek egy korábbi tanulmánya megvizsgálta ezt a változatot, és kimutatta, hogy például a SearchGPT futófelszerelésen történő tesztelésekor a Tom’s Guide az idézetek körülbelül 9,5%-át tette ki, míg a Runner’s World nagyjából 6,0%-át. A műszerfalon a Tom’s Guide gyakrabban jelent meg, de a nagy hibahatár miatt a számok átfedték egymást. Egyetlen mintával nem volt pontos azt állítani, hogy a Tom’s Guide jobban teljesített, mint a Runner’s World, mivel a 3,5 pontos különbség a hibahatáron belül volt. Az új dokumentum egy egyszerű, de gyakran figyelmen kívül hagyott kérdés megválaszolásával kívánja megelőzni ezt a hibát: Mennyi adatra van szükség ahhoz, hogy a rangsor valóban értelmes legyen?
Amikor egy rangsorban érdemes bízni
A válasz két részből áll, és mindkettőnek igaznak kell lennie ahhoz, hogy a rangsor megbízható legyen. Először is, a sorrendnek le kell állítania a változást.
Kezdetben a rangsor gyakran változhat az új válaszok hozzáadásával, mivel még egyetlen webhelynek sincs egyértelmű előnye. Csak miután elegendő választ gyűjtöttünk össze, a legnépszerűbb webhelyek kezdenek egyértelműen kiemelkedni, lehetővé téve a sorrend stabilizálását. Ezenkívül fontos, hogy a legnépszerűbb webhelyek jó távolságra legyenek egymástól; ha nagyon közel vannak, akkor a helyezésnek talán nincs értelme, mivel a szoros verseny nem igazán mutatja meg, hogy ki áll valójában. A tanulmány megvizsgálja, hogy a legjobb webhelyek közötti különbség nagyobb-e, mint az egyes helyek hibahatára. Ha igen, a rangsor valós különbséget tükröz. Ha nem, az valószínűleg csak statisztikai zaj. Mindkét feltételnek egyszerre kell igaznak lennie, önmagában egyik sem elég. 30 platform-téma tesztben a mindkét feltétel teljesítéséhez szükséges válaszok száma 33 és 94 között mozgott, csak az idézetekkel ellátott válaszokat számolva.
30-ból hárman még 125 kérdés után sem jutottak el idáig, mind a SearchGPT-n, ahol a legnépszerűbb webhelyek túlságosan hasonlóak voltak ahhoz, hogy meg lehessen különböztetni egymástól. Nincs mindenhol alkalmazható egyetlen korlát; ami az egyik platformon és témán működik, nem biztos, hogy megfelel a másiknak.
Ezt körbejártuk
Januárban megvitattam a SparkToro felfedezését, miszerint az AI-eszközök az esetek több mint 99%-ában eltérő listát adnak az ajánlott márkákról. Ez a cikk egy kérdést megválaszolatlanul hagyott: hányszor kell feltennie, hogy az eredmények stabilizálódjanak? Ez az írás kínálja a legvilágosabb választ, amellyel találkoztam.
Rand Fishkin, a tanulmány vezetője, néhány hasznos tanácsot oszt meg. Mielőtt pénzt költene az AI láthatóságának nyomon követésére, azt javasolja, győződjön meg arról, hogy a szolgáltató „megmutatja a matematikáját”. Az IQRush papír nagyszerű módja ennek, mert egyszerű leállítási szabályt ad, így nem kell pusztán az intuícióra hagyatkoznia, hogy hány futás elegendő.
A SEJ által az elmúlt év során végzett tanulmányok sorozatához is illeszkedik, és mindegyik olyan AI hivatkozási számot közöl, mintha rögzítettek volna. Ez megfordul, megvizsgálja magát a mérést, és megkérdezi, hogy ezek a számok elég stabilak-e az összehasonlításhoz.
Mit változtat ez a jelentéstételen
Az irányítópulton lévő szám csak egy példa. Mielőtt megbízik benne, ellenőrizze, hogy a nyomkövető ismételten elvégzi-e ugyanazt az ellenőrzést, és jelent-e egy tartományt, vagy egyszer lekéri az adatokat, és tiszta ábrát mutat. A tiszta alak valójában intő jel lehet, nem megnyugtatás.
A tartalomváltozás utáni nyereség könnyen félreértelmezhető. Például a SearchGPT hivatkozási arányának hárompontos növekedése annak bizonyítékának tűnhet, hogy erőfeszítései kifizetődtek, de az eredeti cikk adatai szerint ez a változás az egymást követő futtatások természetes változékonyságába eshet.
A nyeremény megszerzéséhez mérje meg többször is előtte és utána. Egyetlen előtte-utána leolvasás nem tudja elválasztani a változást a szokásos zajtól.
A mért platform megváltoztatja a szükséges adatmennyiséget, és nem úgy, ahogy azt sejtené. Az attól függ, hogy az egyes válaszok mennyi független információt hordoznak, nem pedig az, hogy hány idézetet adnak át. Az Ikrek egyetlen válaszon belül ugyanarra a maroknyi webhelyre halmoz fel idézeteket, így sok ilyen idézet ugyanazt mondja. A SearchGPT válaszonként kevesebb idézetet ad, de szétszórja azokat, így minden válasz több független információt hordoz, mint amennyit a nyers szám sugall. Ugyanannyi válasz két motoron nem ad ugyanannyi magabiztosságot, és a Geminit kiegyenlítő költségvetéssel találgathatsz a SearchGPT-n.
Néha az őszinte válasz az, hogy még nem tudod megmondani. A 30 tesztből három soha nem választotta el egyértelműen a legjobb webhelyeket a költségvetésen belül. Azok számára a helyes felhívás a tartás, nem pedig egy olyan rangsor közzététele, amelyet az adatok nem támogatnak. Egy olyan nyomkövető, amely képes megmondani, hogy „nincs elég adat”, többet ér, mint az, amely minden alkalommal magabiztos rendelést nyomtat ki, amikor csak kéri.
A rangsor teteje az a rész, amelyet leginkább meg tud védeni. Elegendő válasz esetén a vezetők elhúzódnak a középtől és a farktól, bár még ezek sem pontosak. A hibahatárok gyorsan kiszélesednek az eleje alatt, egészen addig, amíg a szomszédos pozíciók érmefelhajtást nem mutatnak, és még az első 10 sem volt makulátlan, a tipikus hibahatár a top 10-es oldalon körülbelül öt pozícióval fut, és minden ötödik szélesebb, mint 10. Bízz a vezetőkben, tekintsd a középső és alsó részeket durvanak, és ne jelentsd a pontos pozíciókat a lista elején túl.
Amit a papír nem bizonyít
Ezek egyike sem egy kész, lektorált tanulmányból származik. Ez egy előnyomtatás, amely 30 platform-témakörű tesztre épül, három motoron keresztül, a ChatGPT által generált kérdéseket használva valódi felhasználói keresések helyett, egyetlen gyűjteményszakaszban. A pontos számok nem fognak egyértelműen átkerülni a témáiba, ezért kezelje őket a probléma alakjaként, nem pedig keresőtáblázatként.
Ezek a számok csak azokat a válaszokat tartalmazzák, amelyek hivatkozásokat tartalmaztak, ami a SearchGPT-n a legfontosabb, mivel a kérdések egy része egyáltalán nem ad vissza idézést. Egy témakörben 125 kérdés 104 használható választ eredményezett, ami 17%-os hiányosság, tehát több kérdést kell beküldenie, mint amennyit az összesített számok javasolnak.
A módszer ellenőrzése is belső. A lap a korai rangsort hasonlítja össze ugyanannak a gyűjteménynek a végső rangsorával, nem pedig bármilyen külső igazsággal. Ez azt teszteli, hogy a leállítási szabály összhangban van-e önmagával, ezért a nem kapcsolódó csapat egyezési eredménye itt valóban működik. Az áprilisi cikk szerzői, Julius Schulte, Malte Bleeker és Philipp Kaufmann a St. Gallen Egyetem kutatói. Külön adatkészletet futtattak, és ugyanarra az ítéletre jutottak, miszerint egyetlen leolvasás megbízhatatlan, és ismételten mintát kell venni egy motorból, hogy megbízhasson abban, amit mond.
Merre tart ez
Az újság nem éri el azt, amit a legtöbb ember kívánni fog, ami egy módja annak, hogy megismerje a futási költségvetését, mielőtt elkezdené a gyűjtést. Sielinski ezt későbbi munkára hagyja, és megjegyzi, hogy a szám az egyes platformok idézési mintájának alakjától függ, így valószínűleg nem jön egyetlen univerzális költségvetés.
A nagyobb változás az, hogy a mesterséges intelligencia láthatósági jelentései a hirdetések és az analitikai jelentések irányába haladnak, olyan számok felé, amelyek hamis tizedesvessző helyett hibahatárt hordoznak. Ez akkor történik, amikor az alapvető vízvezetékek még mindig hiányoznak, mivel a Search Console továbbra sem fogja megmondani, hogy mely kattintások származtak az AI-tól. Amíg ez megtörténik, az Ön feladata, hogy többször futtassa le az ellenőrzést, és jelentse a tartományt, nem pedig azt a számot, amelyet az irányítópult átad.
