A Cloudflare elindított egy olyan funkciót, amely a HTML-oldalakat leértékelésre konvertálja, amikor az AI-rendszerek ezt kérik. A hálózatán lévő webhelyek mostantól könnyebb tartalmat szolgálhatnak ki a robotoknak anélkül, hogy külön oldalakat építenének.
A Markdown for Agents nevű szolgáltatás HTTP-tartalom egyeztetésen keresztül működik. Egy AI bejáró kérést küld a következővel: Accept: text/markdown a fejlécben. A Cloudflare elfogja, lekéri az eredeti HTML-kódot az eredeti kiszolgálóról, leértékeléssé konvertálja, és kézbesíti az eredményt.
Az indítás napokkal azután érkezik, hogy a Google munkatársa, John Mueller „hülye ötletnek” nevezte az AI-botok leértékelésének ötletét, és megkérdőjelezte, hogy a robotok képesek-e megfelelően elemezni a leértékelési hivatkozásokat.
Újdonságok
A Cloudflare úgy jellemezte a funkciót, hogy a mesterséges intelligencia ügynökeit „első osztályú állampolgárként” kezeli az emberi látogatók mellett. A cég saját blogbejegyzését használta példaként. A HTML verzió 16 180 tokent, míg a leértékelés 3 150 tokent használt fel.
„Nyers HTML-t táplálni egy mesterséges intelligencia számára olyan, mintha szóval fizetnénk, hogy a csomagolást elolvassuk, a benne lévő betű helyett” – írta a vállalat.
Az átalakítás a Cloudflare peremhálózatán történik, nem az eredeti kiszolgálón. A webhelyek zónánként engedélyezik az irányítópulton keresztül, és bétaverzióban további költségek nélkül elérhető a Pro, Business és Enterprise csomagot használó ügyfelek számára, valamint SSL a SaaS ügyfelek számára.
A Cloudflare megjegyezte, hogy egyes AI kódoló eszközök már elküldik a Accept: text/markdown fejléc. A cég a Claude Code-ot és az OpenCode-ot nevezte meg példaként.
Minden konvertált válasz tartalmaz egy x-markdown-tokens fejléc, amely megbecsüli a leértékelési verzió tokenszámát. A fejlesztők ezt használhatják kontextusablakok kezelésére vagy darabolási stratégiák tervezésére.
Tartalom-jel alapértékei
A konvertált válaszok közé tartozik a Content-Signal fejléc beállítva ai-train=yes, search=yes, ai-input=yes alapértelmezés szerint a tartalom jelzése felhasználható mesterséges intelligencia képzésére, keresésre és mesterséges intelligencia bevitelére (beleértve az ügynöki felhasználást is). Az, hogy egy adott bot tiszteletben tartja-e ezeket a jeleket, a bot kezelőjétől függ. A Cloudflare azt mondta, hogy a funkció a jövőben egyéni tartalomjel-szabályokat kínál majd.
A Content Signals keretrendszer, amelyet a Cloudflare a 2025-ös születésnapi hét során jelentett be, lehetővé teszi a webhelytulajdonosok számára, hogy beállítsák a tartalmaik használatának módját. A leértékelés-konverzió engedélyezése az alapértelmezett használati jelet is alkalmazza, nem csak a formátummódosítást.
Miben különbözik ez attól, amit Mueller bírált
Mueller egy másik gyakorlatot kritizált. Egyes webhelytulajdonosok külön árleíró oldalakat hoznak létre, és köztes szoftveren keresztül szolgálják ki őket az AI felhasználói ügynökei számára. Mueller aggodalmát fejezte ki az álcázás és a hibás hivatkozások miatt, és megkérdőjelezte, hogy a robotok képesek-e megfelelően elemezni a leértékelést.
A Cloudflare funkciója más mechanizmust használ. A felhasználói ügynökök észlelése és az alternatív oldalak kiszolgálása helyett a tartalom egyeztetésére támaszkodik. Ugyanaz az URL különböző reprezentációkat szolgál ki attól függően, hogy az ügyfél mit kér a fejlécben.
Mueller megjegyzései a felhasználói ügynök alapú kiszolgálásra vonatkoztak, nem a tartalomtárgyalásra. Egy Reddit szálban Cloudflare funkciójával kapcsolatban Mueller ugyanezzel az állásponttal válaszolt. Azt írta: „Miért kellene még bonyolultabbá tenni a dolgokat (párhuzamos verzió csak a robotokhoz), ahelyett, hogy egy kis időt töltenének azzal, hogy mindenki számára javítsák az oldalt?”
A Google úgy határozza meg az álcázást, mint a különböző tartalmak megjelenítését a felhasználók és a keresőmotorok számára azzal a céllal, hogy manipulálják a rangsorokat és félrevezessék a felhasználókat. Az álcázással kapcsolatos aggályok itt eltérőek lehetnek. A felhasználói ügynök szippantásával a szerver a kérdező alapján dönti el, hogy mit jelenítsen meg. A tartalom egyeztetés során az ügyfél formátumot kér, és a szerver válaszol. A tartalom ugyanaz az információ más formátumban, nem pedig a különböző látogatók számára eltérő tartalom.
A gyakorlati eredmény továbbra is hasonló a lánctalpas szemszögéből. A szabványos HTML-kódot kérő Googlebot egy teljes weboldalt fog látni. A leértékelést kérő AI-ügynök ugyanannak az oldalnak a lecsupaszított szöveges változatát látja.
Új radarkövetés
A Cloudflare a tartalomtípus-követést is hozzáadta a Cloudflare Radarhoz az AI-botforgalomhoz. Az adatok az AI-ügynököknek és feltérképező robotoknak visszaküldött tartalomtípusok megoszlását mutatják MIME-típusok szerinti bontásban.
Az egyes robotok szerint szűrhet, hogy megtudja, milyen tartalomtípusokat kapnak az adott feltérképező robotok. A Cloudflare példaként bemutatta az OAI-SearchBotot, amely megjeleníti az OpenAI keresőrobotja számára kiszolgált leértékelési válaszok mennyiségét.
Az adatok a Cloudflare nyilvános API-jain és a Data Exploreren keresztül érhetők el.
Miért számít ez?
Ha már a Cloudflare-en keresztül futtatja webhelyét, a leértékelési konverziót egyetlen kapcsolóval is engedélyezheti, ahelyett, hogy külön leíró oldalakat hozna létre.
A Markdown for Agents engedélyezése beállítja a Content-Signal fejlécet ai-train=yes, search=yes, ai-input=yes alapértelmezés szerint. Azoknak a megjelenítőknek, akik körültekintően jártak el a tartalomhoz való mesterséges intelligencia elérésével kapcsolatban, felül kell vizsgálniuk ezeket az alapértelmezett beállításokat, mielőtt bekapcsolnák a funkciót.
Előre tekintve
A Cloudflare azt mondta, hogy a jövőben egyéni Content-Signal házirend-beállításokat kíván hozzáadni a Markdown for Agents szolgáltatáshoz.
Mueller kritikája a különálló árleíró oldalakra összpontosult, nem pedig a szokásos tartalomtárgyalásra. A Google nem foglalkozott azzal, hogy a tartalomtárgyaláson keresztül történő leértékelés az álcázási irányelvei hatálya alá tartozik-e.
A funkció választható, és a fizetett Cloudflare-csomagokra korlátozódik. Tekintse át a Content-Signal alapértelmezett beállításait, mielőtt engedélyezné.
