Az AI feltérképező robotok adják a Googlebot forgalmának 28%-át, a tanulmány eredményei

A Vercel által közzétett jelentés kiemeli az AI-botok növekvő hatását a webes feltérképezésben.

Az OpenAI GPTBot és az Anthropic Claude havonta közel 1 milliárd kérést generál a Vercel hálózatán.

Az adatok azt mutatják, hogy a GPTBot 569 millió kérést intézett az elmúlt hónapban, míg Claude 370 milliót.

Ezenkívül a PerplexityBot 24,4 millió lekéréssel, az AppleBot pedig 314 millió kéréssel járult hozzá.

Ezek a mesterséges intelligencia-robotok együttesen körülbelül 28% a Googlebot teljes mennyiségéből, ami 4,5 milliárd letöltés.

Íme, mit jelenthet ez a SEO számára.

Főbb megállapítások a mesterséges intelligencia feltérképező robotjairól

Az elemzés a Vercel hálózatának forgalmi mintáit és a különféle webarchitektúrákat vizsgálta. Megtalálta az AI-robotok néhány kulcsfontosságú funkcióját:

• A fő mesterséges intelligencia-robotok nem jelenítik meg a JavaScriptet, bár JavaScript-fájlokat lehívnak.
• A mesterséges intelligencia feltérképező robotjai gyakran nem hatékonyak, a ChatGPT és a Claude túlköltekezett 34% kéréseikről 404 oldalon.
• Az, hogy ezek a feltérképező robotok milyen típusú tartalomra összpontosítanak, változó. A ChatGPT előnyben részesíti a HTML-t (57,7%), míg Claude inkább a képekre koncentrál (35,17%).

Földrajzi eloszlás

A hagyományos keresőmotoroktól eltérően, amelyek több régióból működnek, az AI-robotok jelenleg koncentráltan jelen vannak az Egyesült Államokban:

• A ChatGPT Des Moines-ből (Iowa) és Phoenixből (Arizona) működik.
• Claude Columbusból (Ohio) működik

Webes almanach korreláció

Ezek a megállapítások összhangban vannak a Web Almanach SEO fejezetében megosztott adatokkal, amelyek az AI-robotok növekvő jelenlétére is utalnak.

A jelentés szerint a webhelyek a robots.txt fájlokat használva szabályokat állítanak fel az AI-botokra vonatkozóan, megmondva nekik, hogy mit tudnak és mit nem tudnak feltérképezni.

A GPTBot a legtöbbet emlegetett bot, amely a következő helyen jelenik meg 2,7% a vizsgált mobilwebhelyek közül. A Common Crawl botot is gyakran használják nyelvi modellek képzési adatainak gyűjtésére.

Mindkét jelentés hangsúlyozza, hogy a webhelytulajdonosoknak alkalmazkodniuk kell az AI-robotok viselkedéséhez.

3 optimalizálási módszer a mesterséges intelligencia robotokhoz

A Vercel és a Web Almanach legfrissebb adatai alapján három módszert mutatunk be az AI-robotokhoz való optimalizálásra.

1. Szerveroldali renderelés

Az AI-robotok nem hajtanak végre JavaScriptet. Ez azt jelenti, hogy minden olyan tartalom, amely ügyféloldali megjelenítésre támaszkodik, láthatatlan lehet.

Javasolt műveletek:

• Szerveroldali renderelés megvalósítása kritikus tartalom esetén
• Győződjön meg arról, hogy a fő tartalom, metainformációk és navigációs struktúrák jelen vannak a kezdeti HTML-ben
• Ha lehetséges, használjon statikus helygenerálást vagy növekményes statikus regenerálást

2. Tartalom szerkezete és megjelenítése

A Vercel adatai eltérő tartalomtípus-preferenciákat mutatnak az AI-robotok között:

ChatGPT:

• A HTML tartalmat részesíti előnyben (57,70%)
• A letöltések 11,50%-át JavaScript-fájlokra költi

Claude:

• Erősen a képekre fókuszál (35,17%)
• A letöltések 23,84%-át JavaScript-fájloknak szenteli

Optimalizálási javaslatok:

• A HTML tartalmat világosan és szemantikailag strukturálja
• Optimalizálja a képmegjelenítést és a metaadatokat
• Tartalmazzon leíró alternatív szöveget a képekhez
• Megfelelő fejléc-hierarchia megvalósítása

3. Műszaki megfontolások

A mesterséges intelligenciarobotok magas 404-es aránya azt jelenti, hogy a következő technikai szempontokat kell szem előtt tartania:

• Karbantartja a frissített webhelytérképeket
• Megfelelő átirányítási láncok megvalósítása
• Használjon következetes URL-mintákat
• A 404-es hibák rendszeres ellenőrzése

Előre tekintve

A keresőmarketingesek számára az üzenet egyértelmű: az AI chatbotok új erőt jelentenek a webes feltérképezésben, és a webhelyeknek ennek megfelelően kell módosítaniuk a SEO-jukat.

Bár az AI-botok jelenleg a gyorsítótárban tárolt vagy dátumozott információkra támaszkodhatnak, az internetről származó friss tartalom elemzésére való képességük növekedni fog.

Szerveroldali megjelenítéssel, tiszta URL-struktúrákkal és frissített webhelytérképekkel segíthet abban, hogy tartalma feltérképezve és indexelve legyen.

---