Jelentse, hogy a Cloudflare AI-botblokkolás megakadályozza, hogy a Googlebot indexelje a webhelyeket

Egy jelentés szerint a mesterséges intelligencia oktatórobotjainak blokkolása a Cloudflare segítségével egyben megakadályozza a jogos Googlebot és Bingbot webhelyek indexelését is. A Cloudflare nemrég bejelentette, hogy ez szeptembertől fog megtörténni. Nem világos, hogy véletlen vagy felhasználói hiba-e, de emlékeztetőül szolgál, hogy ismerje a függőben lévő változást, és ennek megfelelően módosítsa a beállításokat.

A Redditor azt állítja, hogy a Cloudflare blokkolta a Googlebotot

Az r/SEO közösség egyik Redditorja megkérdezte, hogy valaki más is tapasztalta-e, hogy a Cloudflare blokkolja a Googlebotot AI-oktatóként.

Megkérdezték:

„Van valaki, aki belefutott a Googlebot/Bingbot blokkoló Cloudflare AI feltérképező robotjaiba?
A Cloudflare új AI Crawlers & Scrapers funkcióját tesztelem, és valami váratlanra lettem figyelmes.

Ha beállítom az AI Training = blokkolást, a Googlebot és a Bingbot is HTTP 403-as válaszokat kap, amikor megpróbálja lekérni a webhelytérképemet. Amint letiltom az AI Training blokkot, a webhelytérkép újra elérhető.

Ha jól értem, a Cloudflare a Googlebotot és a Bingbotot a „Search + Training” robotok közé sorolja, így a képzési blokk engedélyezése rájuk is hatással van.

Ezzel egy dilemma előtt állok:

• Engedélyezze az AI-képzést, hogy a keresőmotorok hozzáférhessenek a webhelytérképemhez.
• Blokkolja az AI-képzést, és kockáztassa, hogy a Google/Bing megkapja a 403-asokat.

Talált valaki tiszta megoldást?”

John Mueller, a Google munkatársa válaszolt egy DM-re, hogy közelebbről megvizsgálhassák. Egy másik Redditor megkérdezte, hogy a Cloudflare esetleg blokkolja-e azokat a szélhámos robotokat, amelyek meghamisítják a Googlebot felhasználói ügynökét.

Az eredeti poszter azt válaszolta, hogy ez nem így van, és további információkat kínált:

„Megértem, hogy a Cloudflare blokkolja a hamis Googlebotokat, de az én esetemben arra gondolok, amit maga a Cloudflare mutat az irányítópulton.

Amikor engedélyezem a Bot Fight módot, a webhelytérképem feltöltése 403-as hibát ad vissza. Amint letiltom, a 403 eltűnik.

Ezenkívül az AI feltérképező robotok részben a Cloudflare a Googlebot és a Bingbot automatikusan blokkoltként jeleníti meg. Ezért kíváncsi vagyok, hogy a Bot Fight Mode zavarja-e a törvényes bejárókat, vagy az irányítópult valami mást jelent.

A Cloudflare hivatalos dokumentációja

A hivatalos közleményben az áll, hogy szeptember 15-től a Cloudflare blokkolni kezdi a vegyes használatú robotokat, amelyek olyan robotok, mint a Googlebot, amelyek egyidejűleg indexelnek webhelyeket kereséshez és adatokat gyűjtenek a mesterséges intelligencia képzéséhez. A hatás az, hogy a Cloudflare blokkolja a Googlebotot.

A Cloudflare közleménye kifejti:

„2026. szeptember 15-én a Cloudflare frissített alapértelmezéseket állít be az új domainekhez: a Training vagy Agent besorolású robotokat letiltják a hirdetéseket megjelenítő oldalakon, a Keresés pedig engedélyezett marad.

A keresést és a képzést kombináló vegyes célú bejárókat is blokkolja az összes konfiguráció, hogy blokkolja a mesterséges intelligencia képzését, beleértve a régi „Block AI bots” opciót is. Szeptember 15. előtt minden ügyfél leiratkozhat ezekről az új alapértelmezett beállításokról.”

Ez a fajta letiltás állítólag szeptemberben lép életbe, ezért kíváncsi, hogy valaki bejelenti, hogy ez most történik.