Egy jelentés szerint a mesterséges intelligencia oktatórobotjainak blokkolása a Cloudflare segítségével egyben megakadályozza a jogos Googlebot és Bingbot webhelyek indexelését is. A Cloudflare nemrég bejelentette, hogy ez szeptembertől fog megtörténni. Nem világos, hogy véletlen vagy felhasználói hiba-e, de emlékeztetőül szolgál, hogy ismerje a függőben lévő változást, és ennek megfelelően módosítsa a beállításokat.
A Redditor azt állítja, hogy a Cloudflare blokkolta a Googlebotot
Az r/SEO közösség egyik Redditorja megkérdezte, hogy valaki más is tapasztalta-e, hogy a Cloudflare blokkolja a Googlebotot AI-oktatóként.
Megkérdezték:
„Van valaki, aki belefutott a Googlebot/Bingbot blokkoló Cloudflare AI feltérképező robotjaiba?
A Cloudflare új AI Crawlers & Scrapers funkcióját tesztelem, és valami váratlanra lettem figyelmes.Ha beállítom az AI Training = blokkolást, a Googlebot és a Bingbot is HTTP 403-as válaszokat kap, amikor megpróbálja lekérni a webhelytérképemet. Amint letiltom az AI Training blokkot, a webhelytérkép újra elérhető.
Ha jól értem, a Cloudflare a Googlebotot és a Bingbotot a „Search + Training” robotok közé sorolja, így a képzési blokk engedélyezése rájuk is hatással van.
Ezzel egy dilemma előtt állok:
- Engedélyezze az AI-képzést, hogy a keresőmotorok hozzáférhessenek a webhelytérképemhez.
- Blokkolja az AI-képzést, és kockáztassa, hogy a Google/Bing megkapja a 403-asokat.
Talált valaki tiszta megoldást?”
John Mueller, a Google munkatársa válaszolt egy DM-re, hogy közelebbről megvizsgálhassák. Egy másik Redditor megkérdezte, hogy a Cloudflare esetleg blokkolja-e azokat a szélhámos robotokat, amelyek meghamisítják a Googlebot felhasználói ügynökét.
Az eredeti poszter azt válaszolta, hogy ez nem így van, és további információkat kínált:
„Megértem, hogy a Cloudflare blokkolja a hamis Googlebotokat, de az én esetemben arra gondolok, amit maga a Cloudflare mutat az irányítópulton.
Amikor engedélyezem a Bot Fight módot, a webhelytérképem feltöltése 403-as hibát ad vissza. Amint letiltom, a 403 eltűnik.
Ezenkívül az AI feltérképező robotok részben a Cloudflare a Googlebot és a Bingbot automatikusan blokkoltként jeleníti meg. Ezért kíváncsi vagyok, hogy a Bot Fight Mode zavarja-e a törvényes bejárókat, vagy az irányítópult valami mást jelent.
A Cloudflare hivatalos dokumentációja
A hivatalos közleményben az áll, hogy szeptember 15-től a Cloudflare blokkolni kezdi a vegyes használatú robotokat, amelyek olyan robotok, mint a Googlebot, amelyek egyidejűleg indexelnek webhelyeket kereséshez és adatokat gyűjtenek a mesterséges intelligencia képzéséhez. A hatás az, hogy a Cloudflare blokkolja a Googlebotot.
A Cloudflare közleménye kifejti:
„2026. szeptember 15-én a Cloudflare frissített alapértelmezéseket állít be az új domainekhez: a Training vagy Agent besorolású robotokat letiltják a hirdetéseket megjelenítő oldalakon, a Keresés pedig engedélyezett marad.
A keresést és a képzést kombináló vegyes célú bejárókat is blokkolja az összes konfiguráció, hogy blokkolja a mesterséges intelligencia képzését, beleértve a régi „Block AI bots” opciót is. Szeptember 15. előtt minden ügyfél leiratkozhat ezekről az új alapértelmezett beállításokról.”
Ez a fajta letiltás állítólag szeptemberben lép életbe, ezért kíváncsi, hogy valaki bejelenti, hogy ez most történik.
