Júliusban három héten át végeztem egy felmérést, amelyben megkérdeztem az AI-keresés láthatóságával foglalkozó embereket, mit gondolnak a mérésére épített platformokról. 163 válasz. Ez egy önválogatott minta, amelyet a saját hálózatomon és annak újramegosztásán keresztül (valamint a LinkedIn és az X fizetett hirdetései között) toboroztam, tehát az iparág egy szegletében és környékén elkötelezett szakembereket ír le, nem az egész iparágat. A százalékok itt nagyjából hét pontos különbséget hordoznak, és a végén visszatérek a minta méretére, mert kiderült, hogy ez a történet része.
Íme, mi sült ki belőle.
A szakadék
Arra kértem az embereket, hogy értékeljék, mennyire értékesek lennének a különböző típusú mesterséges intelligencia láthatósági adatok: A lekérdezések összehangolása a kulcsszavakon túl. Versenytárs összehasonlítás. Függetlenül attól, hogy az említés képzésből vagy visszakeresésből származik. Csonkszintű hozzárendelés. Idézet állapota.
Ezen az ötön az átlag az volt 4,20 az 5-ből.
Aztán megkérdeztem, hogy most érdemes-e befektetni a költségvetést egy erre a célra szolgáló platformba.
3.19.
Ez a felmérés két számban. A válaszadók harmada értékelte az adatokat rendkívül értékesnek, a platformbefektetést pedig langyosnak vagy még rosszabbnak ítélte, ugyanazon ülésen, perc különbséggel. Csupán 44%-uk gondolja úgy, hogy egyáltalán megéri az ebbe a kategóriába tartozó eszközt vásárolni. Csaknem egyharmaduk 1-re vagy 2-re értékeli (az 5 a legmagasabb).
Az adatokat négy pillanatfelvételben gyűjtöttem össze, ahogy beérkeztek a válaszok: 36, majd 75, majd 100, majd 163. Egyik szám sem mozdult el a pont tizedénél többet a teljes futás során. Bármi is legyen ez, nem mintavételi műtárgy. Korán leülepedt, és ott maradt, míg a minta megnégyszereződött.
Amit Ők Mondtak
123 ember (75%) írt valamit a nyitott szövegdobozba. Megkérdeztem, mi volt a legnagyobb megválaszolatlan kérdésük, vagy mi a legnagyobb problémájuk a kipróbált platformokkal. Szolgáltatáskérés listára számítottam. Nem ezt kaptam.
- Felvetett témák és a válaszok százaléka:
- Bizalom, pontosság, átláthatatlan módszertan – 24%
- ROI és az üzleti értékhez való hozzárendelés – 20%
- Nem-determinizmus, variancia, személyeskedés – 15%
- Szintetikus felszólítások vs valós felhasználói igény – 11%
- Nem intézhető: „Most mit csináljak” – 9%
- Ár vagy költség – 7%
- Idézet vs említés vs ajánlás – 4%
- Egy adott szövegrészhez való hozzárendelés – 4%
- Prompt-count limits – 4%
- Nincs GSC megfelelője az LLM-eknek – 3%
(Sokan egynél több problémát is felvetettek, és mindegyiket minden érintett téma alá beszámították, így ezek több mint 100%-ot tesznek ki.)
A válaszok textúrája szerintem többet számít, mint a számok.
Többen leírták ugyanazt a strukturális problémát a prompt-lista követéssel: kiválasztod a promptokat, ami azt jelenti, hogy előre eldöntöd, hogy minek látszódj, majd a saját listádhoz méred magad. Az egyik önbeteljesítő jóslatnak nevezte.
Kapcsolódó, és élesebb: ezeknek az eszközöknek nincs nevezőjük. A pontszámok kitalált prompt listákból származnak, nem pedig megfigyelt lekérdezések mennyiségéből, így a szokásos modellvarianciát a rendszer nyerésként vagy veszteségként jelenti az ügyfélnek, és nincs alatta, hogy melyiket.
Az egyik válaszadó azzal érvelt, hogy az idézőeszközök alapvetően különböznek a rangkövetőktől: nem lehet visszafejteni, hogy mi működik, ha a válasz minden kérdésnél megváltozik, így ami marad, az közelebb áll a márkaismertség jeléhez, mint a diagnosztikához.
Az egyik ügynökség fizető előfizetője azt mondta, hogy amikor megnyomták a platformokat, hogy megmutassák matematikájukat, pontosan az egyikük húzta le a rolót.
Egy több mint 50 ügyfelet működtető ügynökség egyértelműen megfogalmazta a nyomást: nem tudják eladni az AI láthatóságát szolgáltatásként mérőeszközök nélkül, és nem tudják igazolni az eszközöket, amíg el nem adják a szolgáltatást.
Egy ember, aki két évtizeddel az iparágban dolgozott, egyenletesebben fogalmazta meg, mint bárki más: a harmadik felektől származó SEO-adatok mindig irányadóak voltak, nem pedig az evangélium, és ez rendben is van, amíg senki nem tesz mást.
És a legélesebb, amely egyenesen a gyártókat célozza meg: Nem teheti meg azt, amit ezek az eszközök akarnak, mert minden modell minden felhasználója más élményt kap. Kígyó olaj. Varázsbab.
Nem fogok itt semmivel sem vitatkozni. Ezt mondják a gyakorlók, amikor megkérdezik, és a kérdezés értéke lecsökken, ha azt a teret töltöm, hogy elmagyarázzam, miért tévednek.
Az ár nem kifogás
7%-kal emelkedett a költség. 57% azt emelte ki, hogy „nem hiszem el a számot”, vagy „nem tudom ezt a pénzzel összekapcsolni”.
Ez az arány a leghasznosabb a felmérésben. Bármi is hátráltatja ezt a kategóriát, a válasz nem az, hogy az eszközök túl drágák.
Amit a válaszok mutatnak egymásról
Az egyéni válaszok olvasása panaszokat okoz. A kereszthivatkozások valami mást adnak, és három minta megmaradt, amikor teszteltem őket.
Azok, akik bizalmi aggályokat vetnek fel, pontosan annyira értékelik az adatokat, mint mindenki más, és pontosan annyit költenek. A mögöttes adatértékre vonatkozó értékelésük: 4,20, szemben a többiek 4,19-cel (századpont eltérés). Költségvetésük: statisztikailag megkülönböztethetetlen. De a platformba való befektetési hajlandóságuk 2,76-ra csökken, szemben a többiek 3,36-tal, és jóval kevésbé valószínű, hogy bármiért is fizetnek.
Ugyanaz az értékelés. Ugyanaz a pénz áll rendelkezésre. Más következtetés. Bármi is blokkolja ezt a szegmenst, nem az a fontos, hogy mennyit érnek az adatok, és nem azt engedhetik meg maguknak. Az, hogy elhiszik-e.
Szinte senki sem építi az alternatívát. A válaszadók 8%-a építette meg saját szerszámát. A bizalmat vagy a nem-determinizmust felkeltő emberek 9%-a. A 78%-ban, akik a pontosságot elengedhetetlennek nevezik egy eladónál, 6%.
Nem olvasom ezt képmutatásnak. Ennek felépítése valóban nehéz (tudom!), és a legtöbb gyakorlónak nem mérnöki munkája van, de átfogalmazza az ellenvetést. „A számokban nem lehet megbízni” nem működik diagnózisként, amely alapján bárki fellép. Ez egy kérés, hogy valaki más oldja meg rendesen.
Az adatok értékelése és a platform finanszírozása közötti szakadék minden szerepkörben azonos. Az ügynökségek, a házon belüli csapatok, a független tanácsadók mind kerekítési hibán belül vannak egymáshoz képest. Nem az ügynökségek olcsók, vagy a házon belüli csapatok el vannak kényeztetve. Ez az egész piac.
Ami mozgatja, az az, hogy vásárolt-e. A jelenlegi előfizetők között a különbség szinte eltűnik. Mindenki máshoz képest háromszor nagyobb.
Nem tudom megmondani, melyik irányba halad. A vásárlás eloszlathatja a kétséget, vagy kétségtelen emberek lehetnek azok, akik vásárolnak. A felmérés nem tudja megkülönböztetni ezeket, és nem is fogok másként tenni. De ez az egyetlen legnagyobb rész az adatkészletben, és ez arra utal, hogy a kifogás az előfizetésen belül másképp néz ki, mint az előfizetésen kívül.
A témákban is van erre utalás, bár a számok elég kicsik ahhoz, hogy inkább szuggesztívnek, semmint megalapozottnak nevezzem: az előfizetők nagyobb valószínűséggel mondták azt, hogy az adatok nem mondják meg nekik, mit tegyenek, és kevésbé valószínű, hogy kételkednek az adatokban. Azok, akik nem vásároltak, kételkednek a számokban. Azok, akik vásároltak, elfogadják a számokat, és nem tudnak cselekedni. Hogy ez strukturális-e vagy a tapasztalat vagy tudás hiánya, azt nem tudom megmondani.
Amit valójában akarnak
Rangsorolás a részesedés értékelése szerint, mindegyik 4 vagy 5: a lekérdezések igazodása a kulcsszavakon túl, 90%. Versenytárs összehasonlítás ugyanabban a lekérdezésben, 83%. Akár képzésből, akár visszakeresésből származik az említés, 83%. Részletszintű hozzárendelés, 75%. Hivatkozási státusz, 71%.
A fontos rendszerek: a Google AI áttekintései és AI-módja 95%, ChatGPT 94%, Gemini 75%, Claude 64%, Perplexity 34%, másodpilóta 25%. Semmi más nem törölte az 5%-ot. Ezt a kérdést öt kiválasztásra korlátoztam, és a válaszadók 46%-a mind az ötöt használta, ezért kezelje ezeket padlóként.
87%-a úgy írja le gyakorlatát, hogy ezen aktívan dolgozik, vagy bevált a munkája során. Ez nem egy közönség, akinek meg kell győznie a probléma valódiságáról.
A Kérdezz senkit, amit nem tud kitölteni
A legtöbbet felhozott kifogás a módszertani átláthatatlanság volt: Mutasd meg, honnan származnak ezek az adatok, és miért higgyem el.
Ésszerű dolog, amit akarni. Amint már említettük, ezt a kategóriába tartozó szállítók sem adhatják Önnek.
Most mindenkit emlékeztetnem kell arra, hogy én készítettem egy ilyen platformot. Ez konfliktus, és ennek tudatában el kell olvasnia a következőket. Emiatt van véleményem arról is, hogy az eladók mit árulhatnak el és mit nem, mivel nekem magamnak kellett ezt felhívnom.
Egy kockázati alapú vállalatnál a módszertan van az eszköz. Közzététele a terméket ingyenes eszközzé alakítja égési sebességgel és táblával. Bármelyik eladó, aki úgy tűnik, kinyitotta a dobozt, megmutatott Önnek egy kiválasztott részhalmazt, ami azt jelenti, hogy az Ön által kért közzététel vagy kereskedelmi szempontból végzetes, vagy színházi jellegű, és nincs harmadik lehetőség. Ez nem csak a GEO eszközökre jellemző. Ez igaz minden valaha létezett mérési vállalkozásra, beleértve azokat a kulcsszóeszközöket is, amelyekben az iparág húsz éve megbízik anélkül, hogy valaha is látott volna bennük. Közel egy évtizedig dolgoztam az egyik ilyen rendszerben, így nem találgatom, ha azt mondom, hogy tudom a különbséget.
Azt is szeretném tisztázni, hogy ez így van az én érv, nem megállapítás. A felmérés nem mérte. A felmérés azt mutatja, hogy az ezt kifogásoló embereknek ugyanolyan költségvetésük van, mint mindenki másnak, ami azt jelenti, hogy nem keresnek okot arra, hogy ne vásároljanak. Ez valódi ellenvetés. Egyszerűen nincs elérhető válasz abban a formában, ahogy kérdezik.
Ami egy nehezebb kérdést hagy maga után: ha nem rendelkezel a módszertannal, akkor valójában mi késztetné elhinni egy számot? Reprodukálhatóság? Közzétett eltérés? Harmadik fél auditja? A válaszokban senki sem javasolta. Úgy tűnik, hogy ez a szakadék több figyelmet érdemel, mint amennyire most kerül.
A rész, amelyen folyton gondolkodom
Több válaszadó is felhozott egy olyan esetet, amit nem utasíthatok el: lehet, hogy ez elvileg nem mérhető. A rendszerek nem determinisztikusak. Minden felhasználói élmény személyre szabott. Egy pillanatfelvétel arról, amit egy modell kedden mondott egy szintetikus felszólításra, lehet, hogy semmit sem mér, ami bármire általánosítana.
Szerintem ez nem helyes. De nem tudom bizonyítani, hogy nem, és senki sem tudja, aki műszerfalat ad el neked.
Ez elvezet ahhoz a számhoz, amelyet elkerültem. Az IBISWorld nagyjából 715 000 embert foglalkoztat SEO és internetes marketing tanácsadás területén csak az Egyesült Államokban. Közülük 163-an válaszoltak erre a felmérésre. Egy a 4400-ból.
Hétszer osztottam meg. Kétszer jelent meg a hírlevelemben, megjelent két elismert iparági hírlevélben, körülbelül húsz emberrel erősítették meg ezen a helyen, és fizettem egy hét promóciót két platformon. Mindegyik kérdés udvarias volt. A válasz csordogált.
Az egyetlen leghatékonyabb dolog, amit tettem, az volt, hogy abbahagytam az udvarias kérdezést, és rámutattam, milyen kevesen zavartak, ami két nap alatt több választ adott, mint az előző héten összesen.
Nincs tiszta olvasatom, hogy ez mit jelent. Lehet, hogy a hírfolyam mennyisége meghaladja a nyomon követési képességet. Előfordulhat, hogy a részvételi kérelmeket a regisztráció előtt mintaegyezteti és szűri. Lehetséges, hogy az AI-keresés körüli diskurzus hangosabb, mint annak gyakorlata. Egyszerűen személyesebb lehet, hogy a saját hatóköröm csökken. Őszintén szólva, lehet, hogy ezek közül az összes vagy egyik sem.
De nehéz összehozni egy olyan iparágat, amely ezt egzisztenciális fenyegetésként írja le egy ilyen nehezen összeállítható mintával. Ez a szakadék aközött, hogy mennyit beszélnek erről, és aközött, hogy mennyit csinálnak belőle, a legőszintébb megállapítás lehet itt.
Az adat 4,20/5. A platformok értéke 3,19/5. És a 715 000-ből 163 ember adott rá három percet erre.
Ez a bejegyzés eredetileg a Duane Forrester Decodes oldalon jelent meg.
