A Hostinger 66 milliárd botkérést elemzett több mint 5 millió webhelyen, és megállapította, hogy az AI-robotok két különböző utat követnek.
Az LLM oktatórobotok elveszítik hozzáférésüket az internethez, mivel egyre több webhely blokkolja őket. Eközben az olyan mesterséges intelligencia asszisztens robotok, amelyek olyan keresőeszközöket hajtanak végre, mint a ChatGPT, egyre szélesebb körben terjednek.
Az elemzés három 6 napos ablak anonimizált szervernaplóira támaszkodik, és a robotok besorolása az AI.txt projektbesorolásokhoz van hozzárendelve.
A gyakorlóbotok blokkolva vannak
A legszembetűnőbb felfedezés az OpenAI GPTBotja, amely adatokat gyűjt a modellképzéshez. A weboldal lefedettsége 84%-ról 12%-ra esett vissza a vizsgált időszakban.
A Meta ExternalAgent volt a legnagyobb képzési kategóriájú bejáró kérések mennyisége alapján a Hostinger adatai között. A Hostinger szerint ez az oktatóbot-csoport mutatja a legerősebb visszaesést összességében, részben az AI-oktató robotokat blokkoló webhelyek miatt.
Ezek a számok összhangban vannak azokkal a mintákkal, amelyeket több tanulmány során követtem nyomon. A BuzzStream azt találta, hogy a vezető híradók 79%-a már letilt legalább egy oktatóbotot. A Cloudflare Year in Review kimutatta, hogy a GPTBot, a ClaudeBot és a CCBot rendelkezik a legtöbb teljes tiltó direktívával a legnépszerűbb tartományok között.
Az adatok számszerűsítik azt, amit ezek a tanulmányok sugalltak. A Hostinger a tréningbotok lefedettségének csökkenését annak jeleként értelmezi, hogy egyre több webhely blokkolja ezeket a bejárókat, még akkor is, ha a kérések száma továbbra is magas.
Az asszisztens botok más történetet mesélnek el
Míg a kiképző botok ellenállással szembesülnek, a mesterséges intelligencia keresési eszközeit működtető botok egyre bővítik a hozzáférést.
Az OpenAI OAI-SearchBotja, amely a ChatGPT keresési funkciójához tölti le a tartalmat, 55,67%-os átlagos lefedettséget ért el. A TikTok botja 1,4 milliárd kéréssel 25,67%-ra nőtt. Az Apple botja 24,33%-os lefedettséget ért el.
Ezeket a segédfeltérképezéseket a felhasználók indítják el, és célzottabbak. A képzési adatok gyűjtése helyett közvetlenül szolgálják ki a felhasználókat, ami magyarázatot adhat arra, hogy a webhelyek miért kezelik őket eltérően.
A klasszikus keresés stabil marad
A hagyományos keresőrobotok kitartottak a vizsgálat során. A Googlebot átlagosan 72%-os lefedettséget tartott fenn 14,7 milliárd kéréssel. A Bingbot 57,67%-os lefedettségnél maradt.
A stabilitás ellentétben áll az AI kategória változásaival. A Google fő bejárója egyedi helyzetben van, mivel a blokkolás befolyásolja a keresés láthatóságát.
A SEO eszközök csökkenést mutatnak
A keresőoptimalizálási és marketingrobotok csökkenő lefedettséget tapasztaltak. Az Ahrefs megtartotta a legnagyobb lábnyomot 60%-os lefedettséggel, de a kategória összességében csökkent. A Hostinger ezt két tényezőnek tulajdonítja. Ezek az eszközök egyre inkább azokra a webhelyekre összpontosítanak, amelyek aktívan végeznek SEO munkát. A webhelytulajdonosok pedig blokkolják az erőforrás-igényes bejárókat.
Beszámoltam az erőforrásokkal kapcsolatos aggályokról, amikor a Vercel adatai szerint a GPTBot egyetlen hónap alatt 569 millió kérelmet generált. Egyes kiadók számára a sávszélesség költségei üzleti problémává váltak.
Miért számít ez?
Az adatok megerősítik azt a mintát, amely az elmúlt évben kialakult. A webhelyek üzemeltetői határvonalat húznak az általuk engedélyezett és a nem engedélyezett mesterséges intelligenciarobotok között.
A döntés a működésen múlik. Az oktatóbotok tartalmat gyűjtenek a modellek fejlesztése érdekében anélkül, hogy a forgalmat visszaküldenék. Az asszisztens robotok tartalmat kérnek le, hogy megválaszolják a konkrét felhasználói kérdéseket, ami azt jelenti, hogy megjeleníthetik az Ön tartalmát az AI keresési eredményei között.
A Hostinger középutat javasol: blokkolja az oktatóbotokat, miközben engedélyezi a felfedezést elősegítő segédbotokat. Ez lehetővé teszi, hogy részt vegyen az AI-keresésben anélkül, hogy hozzájárulna a modellképzéshez.
Előre tekintve
Az OpenAI javasolja az OAI-SearchBot engedélyezését, ha azt szeretné, hogy webhelye megjelenjen a ChatGPT keresési eredményei között, még akkor is, ha letiltja a GPTBotot.
Az OpenAI dokumentációja tisztázza a különbséget. Az OAI-SearchBot szabályozza a ChatGPT keresési eredményeiben való megjelenést, és tiszteletben tartja a robots.txt fájlt. A ChatGPT-User kezeli a felhasználó által kezdeményezett böngészést, és előfordulhat, hogy a robots.txt nem szabályozza ugyanúgy.
A Hostinger azt javasolja, hogy ellenőrizze a szervernaplókat, hogy megtudja, valójában mi üti meg webhelyét, majd hozzon blokkolási döntéseket a célok alapján. Ha aggódik a szerverterhelés miatt, használhat CDN-szintű blokkolást. Ha potenciálisan szeretné növelje a mesterséges intelligencia láthatóságát, tekintse át a jelenlegi AI-robot felhasználói ügynököket, és csak azokat a bizonyos robotokat engedélyezze, amelyek támogatják stratégia.
