A weboldal -operátorok az interneten keresztül jelentik az AI web -robotok megnövekedett tevékenységét. Ez a túlfeszültség aggodalomra ad okot a webhelyteljesítmény, az elemzés és a szerver erőforrások miatt.
Ezek a botok jelentős sávszélességet fogyasztanak a nagy nyelvi modellek adatgyűjtésére, amelyek befolyásolhatják a keresési rangsorban releváns teljesítménymutatókat.
Itt van, amit tudnod kell.
Hogyan befolyásolhatják a helyszíni teljesítményt az AI robotok
A SEO szakemberek rendszeresen optimalizálják a hagyományos keresőmotorok robotjait, de az AI robotok egyre növekvő jelenléte olyan vállalatoktól, mint az Openai, az Antropic és az Amazon új technikai szempontokat mutat be.
Számos webhely -operátor számolt be a teljesítményproblémákról és a megnövekedett szerverterhelésről, amely közvetlenül az AI Crawler tevékenységnek tulajdonítható.
„A SourceHut továbbra is zavarokkal szembesül az agresszív LLM-robogók miatt”-jelentette be a GIT-háziasszony-szolgáltatás az állapotoldalán.
Erre válaszul a SourceHut „egyoldalúan blokkolta számos felhőszolgáltatót, beleértve a GCP -t [Google Cloud] és [Microsoft] Azure, a hálózatukból származó nagy mennyiségű bot forgalom számára. ”
A Cloud Hosting Service Vercel adatai megmutatják ennek a forgalomnak a skáláját: az Openai GPTBOT 569 millió kérelmet generált egy hónap alatt, míg az Antropic’s Claude 370 millió.
Ezek az AI mászók ugyanebben az időszakban képviselték a Google keresési vászon mennyiségének kb. 20 % -át.
Az elemzési adatokra gyakorolt potenciális hatás
A jelentős BOT -forgalom befolyásolhatja az elemzés adatait.
A DoubleVerify szerint egy AD -metrikás cég: „Általános érvénytelen forgalom – más néven GIVT, olyan botok, amelyeket nem szabad hirdetési nézeteknek számolni – 86 százalékkal emelkedett 2024 második felében az AI robotok miatt.”
A cég megjegyezte, hogy „az ismert bot benyomásokból származó 2024-ben a GIVT rekord 16 % -át az AI kaparókkal, például a GPTBOT, a Claudebot és az AppleBot-hoz kapcsolódóak.”
A Read the Docs projekt megállapította, hogy az AI robotok blokkolása 75 százalékkal csökkentette forgalmát, 800 GB -ról 200 GB -ra, napi mintegy 1500 dollárt takarítva meg a sávszélesség költségeiben.
Az AI lengőminták azonosítása
Az AI lengő viselkedés megértése segíthet a forgalom elemzésében.
Ami az AI robotokat különbözteti meg a hagyományos robotoktól, az azok frekvenciája és mélysége. Míg a keresőmotor -robotok általában kiszámítható mintákat követnek, addig az AI rászorulók agresszívebb viselkedést mutatnak.
Dennis Schubert, aki a diaszpóra közösségi hálózatának infrastruktúráját tartja fenn, megfigyelte, hogy az AI robotok „ne csak egyszer másznak fel egy oldalt, majd továbbmozdulj. Ó, nem, 6 óránként visszatérnek, mert LOL miért nem.”
Ez az ismételt mászás megsokszorozza az erőforrás -fogyasztást, mivel ugyanazok az oldalak többször hozzáférhetők egyértelmű indoklás nélkül.
A gyakoriságon túl az AI robotok alaposabbak, és több tartalmat fedeznek fel, mint a tipikus látogatók.
Drew DeVault, a SourceHut alapítója megjegyezte, hogy a rugókhoz hozzáfér a „minden egyes GIT-napló minden oldala és minden kötelezettségvállalás a tárolóban”, amely különösen erőforrás-igényes lehet a tartalom nehéz webhelyek számára.
Noha a nagy forgalom are vonatkozóan vonatkozik, ezen rugók azonosítása és kezelése további kihívásokat jelent.
Ahogy a Crawler Technology fejlődik, a hagyományos blokkoló módszerek egyre hatástalanabbak.
Xe Ioo szoftverfejlesztő megjegyezte: „Hiábavaló az AI Crawler botok blokkolása, mert hazudnak, megváltoztatják a felhasználói ügynöküket, a lakossági IP -címeket meghatalmazottként használják és így tovább.”
A láthatóság kiegyensúlyozása az erőforrás -kezeléssel
A weboldaltulajdonosok és a SEO szakemberek gyakorlati szempontból szembesülnek: az erőforrás-igényes rugók kezelése, miközben fenntartják a legitim keresőmotorok láthatóságát.
Annak meghatározására, hogy az AI robotok jelentősen befolyásolják -e az Ön webhelyét:
- A szokatlan forgalmi minták kiszolgálónaplóinak áttekintése, különösen a Cloud szolgáltató IP tartományaiból
- Keressen olyan sávszélességű tüskéket, amelyek nem felelnek meg a felhasználói tevékenységeknek
- Ellenőrizze, hogy nincs-e nagy forgalom az erőforrás-igényes oldalakhoz, például az archívumokhoz vagy az API végpontokhoz
- Figyelemmel kíséri a szokatlan mintákat az alapvető webes Vitals mutatókban
Számos lehetőség áll rendelkezésre azok számára, akiket a túlzott AI Crawler forgalom befolyásol.
A Google bevezette a Google-Extended nevű megoldást a robots.txt fájlban. Ez lehetővé teszi a webhelyek számára, hogy abbahagyják a tartalmat a Google Ikrek és Vertex AI szolgáltatásainak kiképzéséhez, miközben lehetővé teszik ezeknek a webhelyeknek a keresési eredmények megjelenését.
A Cloudflare nemrégiben bejelentette „AI Labirintus”, magyarázva: „Amikor a kérés blokkolása helyett jogosulatlan mászást észlelünk, ahelyett, hogy blokkolnánk a kérelmet, egy olyan AI-generált oldal sorozatához kapcsolódunk, amelyek elég meggyőzőek ahhoz, hogy egy lánctalpasokat vonzzanak.”
Előre nézve
Mivel az AI integrálódik a keresésbe és a felfedezésbe, a SEO szakembereknek gondosan kezelniük kell a robotokat.
Íme néhány gyakorlati következő lépés:
- AZ AUDIT SERVER naplók az AI CRAWLER hatásainak felmérésére az Ön konkrét webhelyein
- Fontolja meg a Google-kiterjesztett robots.txt alkalmazását a keresési láthatóság fenntartása érdekében, miközben korlátozza az AI képzés hozzáférését
- Állítsa be az analitikai szűrőket a bot -forgalom elválasztásához a pontosabb jelentéstétel érdekében
- A súlyosan érintett helyszíneken vizsgálja meg a fejlettebb enyhítési lehetőségeket
A legtöbb webhely rendben lesz a standard robots.txt fájlokkal és a megfigyeléssel. A nagy forgalmú helyek azonban előnyösek lehetnek a fejlettebb megoldásokból.
