A Cloudflare frissíti az AI-robotok azonosítására és blokkolására vonatkozó módszerét, ami azt eredményezheti, hogy a Googlebot blokkolja az AI-oktatást megakadályozó webhelyeket. A vállalat a második tartalomfüggetlenség napja részeként jelentette be a frissítést.
Az új vezérlők lehetővé teszik a webhelyek számára, hogy az automatizált forgalmat három viselkedésmód alapján kezeljék, egyetlen „intelligens robotok blokkolása” kapcsoló helyett. Jelenleg minden ügyfél számára elérhetők, beleértve az ingyenes szintet is. Az alapértelmezett változtatások külön csoportja lép hatályba szeptember 15-én.
Három módszer az AI-robotok rendezésére
A Cloudflare most már aszerint rendezi a robotokat, hogy mit csinálnak a webhelyen, nem pedig az, hogy „MI”-nek számítanak-e. A vállalat az AI-használati eseteket három kategóriába sorolja:
- A keresés indexel egy webhelyet, hogy később válaszoljon a kérdésekre, és a Cloudflare ezt a viselkedést a hivatkozási forgalomhoz köti.
- Ügynök, valós idejű robotok, amelyek egy személy számára hatnak, például a ChatGPT-User vagy böngészőügynökök, mint a Gemini vagy Claude, amely a Chrome-ot üzemelteti.
- Képzés, kúszás, amely tartalmat gyűjt a modell betanításához vagy finomhangolásához.
A Cloudflare szerint a bot-üzemeltetőknek külön bejárókat kell futtatniuk minden egyes viselkedéshez, hogy a webhelyek láthassák, miért látogat el egy bot, és eldönthetik, hogy engedélyezik vagy blokkolják.
Mi változik szeptember 15-én?
Szeptember 15-én két alapértelmezett változás lép életbe. Az új ügyfelek és a meglévő ügyfelek új webhelyei esetében a Képzési és Ügynöki feltérképező robotok alapértelmezés szerint le vannak tiltva a hirdetéseket megjelenítő oldalakon, míg a Keresés engedélyezett marad. A Cloudflare sajtóközleményében az is szerepel, hogy a meglévő ingyenes ügyfelek, akik szeptember 15-ig nem változtatták meg beállításaikat, átkerülnek ezekre az alapértelmezett értékekre.
A második változás még tovább megy. A Cloudflare elkezdi kezelni a többcélú bejárókat általános viselkedésük alapján, a legszigorúbb szabályt alkalmazva. Például a keresést és a képzést is végrehajtó bejáró blokkolva lesz, ha egy webhely blokkolja a képzést. A Cloudflare a Googlebotot, az Applebotot és a Bingbotot használja példaként, mivel mindegyik feltérképezi a keresést és a mesterséges intelligencia képzését is. Ha egy webhely már engedélyezte a régebbi „Block AI botok” beállítást, akkor ez az új szabály vonatkozik rá.
Ha meg szeretné tartani ezeket a bejárókat, szeptember 15-e előtt bármikor áttekintheti vagy módosíthatja ezeket a beállításokat a Cloudflare irányítópultján. A Cloudflare azt állítja, hogy továbbra is értesíti az ügyfeleket a dátum előtt.
Új jelek a botok tartalomhasználatához
A Cloudflare egy tartalomhasználati jelet is tesztel, amely kiterjeszti a tartalomjeleket a robots.txt fájlban. Három értéket hordoz, a legtöbbtől a legkevésbé korlátozóig: azonnali, amely semmit sem tárol; hivatkozás, amely indexel és visszahivatkozik, és ez az új alapértelmezett; és teljes, amely összefoglalja és reprodukálja. A Cloudflare szerint ezek preferenciát jelentenek, és önmagukban nem blokkolnak.
A vállalat felülvizsgálta a robotokra vonatkozó „ellenőrzött” definíciót. Nos, az ellenőrzött bot nem mindenhol engedélyezett automatikusan; ehelyett a hozzáférése a kategóriájától függ. Ezenkívül a tartalmat teljes egészében replikáló robotok nem jogosultak az ellenőrzésre. A Cloudflare bevezetett egy kereshető könyvtárat, a BotBase-t az Enterprise Bot Management felhasználók számára, amely minden nyomon követett bot besorolását és egy másolható észlelési azonosítót jelenít meg a biztonsági szabályokhoz.
A jelentés a változások mögött
A frissítés egy Cloudflare-jelentéssel érkezett, amely az első Content Independence Day egy éves évfordulója alkalmából készült. A jelentés szerint ma már a mesterséges intelligencia képzése teszi ki a hálózaton a feltérképező kérések többségét, ami a 2025 tavaszi durván 20%-hoz képest. A jelentés azt is megjegyzi, hogy az AI-ügynökök napi kérelmei több mint 1700%-kal nőttek az év során. Ezek a statisztikák a Cloudflare hálózati forgalmán alapulnak, és nem reprezentálják a teljes webet.
Miért számít ez?
A szeptember 15-i szabály összekapcsolja az AI képzési blokkokat a Cloudflare hálózatán végzett keresési feltérképezéssel. Ha egy webhely blokkolja a Képzést, hogy megvédje tartalmát az AI-modellektől, akkor véletlenül is blokkolhatja a Googlebotot, mivel a Cloudflare-blokk hálózati szinten működik, így nehezebb megkerülni, mint egy egyszerű robots.txt-sor, amelyet a Google figyelmen kívül hagyhat, mivel a Cloudflare-blokk hálózati szinten működik, mivel a robots.txt egy tanácsadó utasítás a feltérképezéshez. A Googlebot hozzáférésének elvesztése azt jelenti, hogy a webhely nem lesz feltérképezve olyan hatékonyan, ami végül befolyásolhatja annak láthatóságát a keresési eredmények között.
Nyomon követtem a megjelenítőket, akik áttérnek az alapértelmezett megtagadási beállításokra, és blokkolják a visszakeresést és a képzést botok vége az elmúlt év. Az expozíció minden alkalommal ugyanaz. A képzési réteg blokkolása blokkolhatja azt a keresési réteget is, amely egy webhelyet megtalálhat.
Előre tekintve
A Cloudflare-t használó webhelyeknek szeptember 15-ig felül kell vizsgálniuk az AI-blokkoló beállításaikat, és el kell dönteniük, hogy engedélyezik-e a keresőrobotokat. A kombinált feltérképezés szabálya elsősorban azokat érinti, akik korábban bekapcsolták a „Block AI botok” funkciót, és azóta nem módosították a beállításaikat. Azok az ingyenes felhasználók, akik nem változtatják meg beállításaikat, ezen a napon frissítik őket az új alapértelmezett értékekre.
A Cloudflare azt akarja, hogy a vegyes célú bejárók üzemeltetői viselkedésük szerint különítsék el ezeket a robotokat a következő évben. Az, hogy a főbb üzemeltetők viselkedésük alapján megkülönböztetik-e robotjaikat, eldönti, hogy ez valódi választás lesz-e, nem pedig kompromisszum az AI képzés blokkolása és a keresés láthatóságának fenntartása között.
