A Cloudflare közzétette hatodik éves Éves áttekintését, amely átfogó áttekintést nyújt az internetes forgalomról, a biztonságról és a mesterséges intelligencia feltérképezési tevékenységéről 2025-ben.
A jelentés a Cloudflare hálózatának adataira támaszkodik, amely 125 ország több mint 330 városát fedi le, és átlagosan több mint 81 millió HTTP-kérést kezel másodpercenként.
A mesterséges intelligencia bejáró felfedezései kiemelkednek. A Googlebot sokkal több weboldalt térképezett fel, mint bármely más mesterséges intelligenciabot, ami a Google kettős célú feltérképezési megközelítését tükrözi mind a keresési indexelés, mind az AI-oktatás terén.
Googlebot Top AI Crawler Traffic
A Cloudflare 2025 októberében és novemberében elemezte a vezető mesterséges intelligenciarobotok sikeres HTML-tartalom iránti kérelmeit. Az eredmények szerint a Googlebot a mintában szereplő egyedi weboldalak 11,6%-át érte el.
Ez több mint háromszorosa az OpenAI GPTBotja által látott oldalak 3,6%-ának. Ez közel 200-szor több, mint a PerplexityBot, amely az oldalak mindössze 0,06%-át térképezte fel.
A harmadik a Bingbot 2,6%-kal, majd a Meta-ExternalAgent és a ClaudeBot 2,4%-kal.
A jelentés megjegyezte, hogy mivel a Googlebot a keresési indexelés és a mesterséges intelligencia modellek képzése céljából is feltérképez, a webes megjelenítők nehéz döntés előtt állnak. A Googlebot mesterséges intelligencia képzésének blokkolása a keresési felfedezhetőség kockázatát jelenti.
Cloudflare írta:
„Mivel a Googlebotot a keresési indexelés és a mesterséges intelligencia modellek betanítása céljából tartalom feltérképezésére használják, valamint a Google régóta fennálló dominanciája miatt a keresésben, a webhelyek üzemeltetői lényegében nem tudják blokkolni a Googlebot mesterséges intelligencia képzését a keresés felfedezhetőségének kockáztatása nélkül.”
Összefüggő: Teljes bejárólista AI felhasználói ügynökökhöz
Az AI-botok jelenleg a HTML-kérések 4,2%-át teszik ki
2025-ben az AI-botok (a Googlebot kivételével) a HTML-kérelmek átlagosan 4,2%-át tették ki a Cloudflare ügyfélbázisában. Az arány április eleji 2,4% és június végi 6,4% között ingadozott.
A Googlebot egyedül a HTML-kérelmek 4,5%-át tette ki, valamivel többet, mint az összes többi AI-bot együttvéve.
Az ember által generált HTML-forgalom részaránya 2025-ben hét százalékponttal alacsonyabb volt, mint a nem mesterséges intelligencia-bot forgalom. Szeptemberre az emberi forgalom néhány napon meghaladta a nem mesterséges intelligencia bot általi forgalmat. December 2-án a HTML-kérelmek 47%-át emberek generálták, míg a nem mesterséges intelligencia-botok 44%-át.
A feltérképezéstől a hivatkozásig terjedő arányok széles eltérést mutatnak
A Cloudflare nyomon követi, hogy a mesterséges intelligencia és a keresőplatformok milyen gyakran küldenek forgalmat a webhelyekre ahhoz képest, hogy milyen gyakran feltérképeznek. A magas arány nehéz feltérképezést jelent anélkül, hogy a felhasználókat visszaküldenék a forrásoldalakra.
A mesterséges intelligencia platformok között az Anthropic volt a legmagasabb, körülbelül 25 000:1 és 100 000:1 között mozog az év második felében, miután a korábbi volatilitás miatt stabilizálódott.
Az OpenAI arányai márciusban elérték a 3700:1-et. A Perplexity tartotta a legalacsonyabb arányt a vezető mesterséges intelligencia platformok között, általában 400:1 alatt, és szeptembertől 200:1 alatt.
Összehasonlításképpen: a Google keresési feltérképezési és hivatkozási aránya jóval alacsonyabb maradt, általában 3:1 és 30:1 között volt az év során.
A felhasználói műveletek által végzett feltérképezés több mint 20-szorosára nőtt
Nem minden AI-kúszás modellképzésre szolgál. „Felhasználói művelet” feltérképezésre kerül sor, amikor a botok felkeresik a webhelyeket a chatbotoknak feltett felhasználói kérdésekre válaszolva.
Ebben a kategóriában volt a leggyorsabb növekedés 2025-ben. A felhasználói műveletek által végzett feltérképezés mennyisége több mint 15-szörösére nőtt januártól december elejéig. A trend szorosan megegyezett az OpenAI ChatGPT-User botjának forgalmi mintájával, amely oldalakat látogat meg, amikor a felhasználók ChatGPT-vel kapcsolatos kérdéseket tesznek fel.
A növekedés heti rendszerességű használati mintát mutatott február közepétől, ami az iskolai és munkahelyi használat megnövekedésére utal. Júniustól augusztusig csökkent az aktivitás, amikor a diákok szünetet tartottak, és a szakemberek szabadságot tartottak.
A Robots.txt fájlban leginkább blokkolt mesterséges intelligencia-robotok
A Cloudflare a robots.txt fájlokat a 10 000 legnépszerűbb domain közül közel 3900-ban elemezte. Az AI-robotok voltak a leggyakrabban blokkolt felhasználói ügynökök.
A GPTBot, a ClaudeBot és a CCBot rendelkezik a legtöbb teljes tiltó direktívával. Ezek az utasítások arra utasítják a feltérképező robotokat, hogy maradjanak távol a teljes webhelyektől.
A Googlebot és a Bingbot eltérő mintát mutatott. Disallow direktíváik erősen a részleges blokkolások felé hajlottak, valószínűleg a bejelentkezési végpontokra és a nem tartalmi területekre összpontosítottak, nem pedig a teljes webhelyblokkolásra.
A civil társadalom a leginkább támadott szektor lett
Először az „Emberek és Társadalom” vertikumba tartozó szervezetek voltak a támadások leginkább célpontjai. Ebbe a kategóriába tartoznak a vallási intézmények, a nonprofit szervezetek, a civil szervezetek és a könyvtárak.
Az ágazat a globális mérsékelt forgalom 4,4%-át fogadta, szemben az év eleji 2%-kal. A támadások aránya március végén 17% fölé ugrott, és július elején 23,2%-on tetőzött.
E szervezetek közül sokat a Cloudflare Galileo projektje véd.
2024-ben a legtöbbet támadott szerencsejáték és játékok részesedése több mint felére, 2,6%-ra esett vissza.
Egyéb kulcsfontosságú megállapítások
A Cloudflare jelentése több további megállapítást is tartalmazott a forgalom, a biztonság és a kapcsolat terén.
A globális internetes forgalom 19%-kal nőtt az előző év azonos időszakához képest. A növekedés április közepéig viszonylag egyenletes maradt, majd augusztus közepe után felgyorsult.
A kvantum utáni titkosítás mára az emberi forgalom 52%-át biztosítja a Cloudflare számára, ami közel kétszerese az év eleji 29%-os részesedésnek.
A ChatGPT továbbra is a legjobb generatív AI szolgáltatás világszerte. A Google Gemini, a Windsurf AI, a Grok/xAI és a DeepSeek új belépők voltak a top 10-be.
A Starlink forgalma 2025-ben megduplázódott, és a szolgáltatás több mint 20 új országban indult.
A világszerte megfigyelt 174 nagyobb internetkimaradás közel felét a kormány által irányított leállások okozták. A kábelkimaradások közel 50%-kal csökkentek, míg az áramkimaradások megduplázódtak.
Az európai országok uralták az internet minőségi mérőszámait. Spanyolország vezette a listát az általános internetminőség tekintetében, 300 Mbps feletti átlagos letöltési sebességgel.
Miért számít ez?
A mesterséges intelligencia bejáró adatainak hatással kell lenniük arra, hogyan gondolja a bot-hozzáférést és a forgalmat.
A Google kettős célú bejárója versenyelőnyt teremt. Letilthat más mesterséges intelligencia-feltérképező robotokat, miközben a Googlebot hozzáférést biztosít a keresés láthatósága érdekében, de nem választhatja el a Google keresési feltérképezését az AI betanítási feltérképezésétől.
A feltérképezés és a hivatkozás aránya segít számszerűsíteni, hogy a megjelenítők mire gyanakodtak. Az AI-platformok erősen másznak, de kevés forgalmat küldenek vissza. A feltérképezés és a hivatkozás közötti szakadék platformonként nagyon eltérő.
A civil társadalom támadási adatok számítanak, ha nonprofit szervezetekkel vagy érdekvédelmi szervezetekkel dolgozik együtt. Ezeket a csoportokat érik most a legmagasabb támadási arány.
Előre tekintve
A Cloudflare arra számít, hogy a mesterséges intelligencia mutatói megváltoznak, ahogy a tér folyamatosan fejlődik. A vállalat több új, mesterséges intelligenciával kapcsolatos adatkészletet is hozzáadott az idei jelentéshez, amelyek a korábbi kiadásokban nem voltak elérhetők.
A feltérképezés és a hivatkozás aránya változhat, ahogy az AI-platformok módosítják keresési funkcióikat és hivatkozási viselkedésüket. Az OpenAI arányai már némi csökkenést mutattak az év során, ahogy a ChatGPT keresési használata nőtt.
A robots.txt kezeléséhez az adatok azt mutatják, hogy a legtöbb megjelenítő részleges blokkolást választ a főbb keresőrobotoknál, miközben teljesen blokkolja a csak mesterséges intelligencia által használt feltérképező robotokat. Ezen irányelvek év végi állapota kiindulási alapként szolgál a kiadói irányelvek 2026-os alakulásának nyomon követéséhez.
