2026. március 20-án a Google csendben felvett egy új bejegyzést a weblekérők hivatalos listájára. Nem csúszómászó. Nem edzőbot. Egy ügynök.
A Google-Agent egy felhasználói ügynök karakterlánc a Google infrastruktúrájában futó mesterséges intelligencia rendszerek számára, amelyek a felhasználók nevében böngésznek webhelyeket. Amikor valaki megkér egy mesterséges intelligencia asszisztenst, hogy kutasson egy terméket, töltsön ki egy űrlapot, vagy hasonlítsa össze a lehetőségeket a webhelyek között, a Google-Agent az, amely ténylegesen felkeresi az oldalt. A Project Mariner, a Google kísérleti mesterséges intelligencia-böngészőeszköze az első olyan termék, amely ezt használja.
Ez nem a Googlebot. A Googlebot folyamatosan feltérképezi az internetet, és indexeli az oldalakat a kereséshez. A Google-ügynök csak akkor jelenik meg, ha egy ember kéri. Ez a megkülönböztetés mindent megváltoztat a működésében.
A Robots.txt nem érvényes
A Google a Google-ügynököt a felhasználó által kiváltott lekérőnek minősíti. A kategória olyan eszközöket tartalmaz, mint a Google Read Aloud (szövegfelolvasó), a NotebookLM (dokumentumelemzés) és a Feedfetcher (RSS). Mindegyikük egy tulajdonságon osztozik: egy ember kezdeményezte a kérést. A Google álláspontja az, hogy a felhasználó által kiváltott lekérők „általában figyelmen kívül hagyják a robots.txt szabályait”, mivel a lekérést egy személy kérte.
A logika: Ha beír egy URL-t a Chrome-ba, a böngésző lekéri az oldalt, függetlenül attól, hogy mit mond a robots.txt. A Google-Agent ugyanezen az elven működik. Az ügynök a felhasználó proxyja, nem önálló bejáró.
Ez jelentős eltérés attól, ahogy az OpenAI és az Anthropic kezeli a hasonló forgalmat. A ChatGPT-User és a Claude-User egyaránt felhasználó által kiváltott lekérőként működnek, de tiszteletben tartják a robots.txt direktívákat. Ha letiltja a ChatGPT-User alkalmazást a robots.txt fájlban, a ChatGPT nem fogja lekérni az oldalt, amikor a felhasználó böngészésre kéri. A Google egy másik hívást kezdeményezett.
Azok a webhely-tulajdonosok, akik a robots.txt fájlt univerzális hozzáférés-szabályozási mechanizmusként támaszkodták, most résen vannak. Ha korlátoznia kell a Google-Agent hozzáférését, akkor szerveroldali hitelesítésre vagy hozzáférés-vezérlésre lesz szüksége. Ugyanazok az eszközök, amelyeket egy emberi látogató blokkolására használ.
Kriptográfiai azonosító: Web Bot Auth
A jelentősebb fejlesztés a Google dokumentációjának egyetlen sorában van eltemetve: a Google-Agent kísérletezik a web-bot-auth az identitást használó protokoll https://agent.bot.goog.
A Web Bot Auth egy IETF szabványtervezet, amely úgy működik, mint a robotok digitális útlevele. Minden ügynök magánkulccsal rendelkezik, nyilvános kulcsát közzéteszi egy könyvtárban, és kriptográfiailag aláír minden HTTP-kérést. A weboldal ellenőrzi az aláírást, és kriptográfiai biztonsággal tudja, hogy a látogató az, akinek állítja magát.
A felhasználói ügynök karakterláncokat bárki meghamisíthatja. A Web Bot Auth nem tud. A Google, ha kísérletileg is elfogadja ezt a protokollt, jelzi, merre halad az ügynökazonosság. Az Akamai, a Cloudflare és az Amazon (AgentCore Browser) már támogatja. A Google hozza a kritikus tömeget.
Ez azért fontos, mert a weben identitásprobléma lesz. Az ügynökforgalom növekedésével a webhelyeknek különbséget kell tenniük a valódi felhasználók nevében eljáró törvényes mesterségesintelligencia-ügynökök és az ügynöknek kiadó kaparók között. Az IP-ellenőrzés segít, de a kriptográfiai aláírások jobban méretezhetők, és nehezebb hamisítani őket.
Mit jelent ez az Ön webhelye számára
A Google-Agent háromszintű látogatói modellt hoz létre a weben:
- Ember látogatók közvetlen böngészés.
- Bejárók tartalom indexelése kereséshez és képzéshez (Googlebot, GPTBot, Google-Extended).
- Ügynökök adott emberek nevében valós időben eljárva (Google-ügynök, ChatGPT-felhasználó, Claude-User).
Minden szinthez más hozzáférési szabályok, más szándékok és elvárások tartoznak. Egy feltérképező robot indexelni szeretné a tartalmat. Egy ügynök el akar végezni egy feladatot. Ez lehet egy termékoldal olvasása, árak összehasonlítása, kapcsolatfelvételi űrlap kitöltése vagy időpontfoglalás.
Most a következőket kell tennie:
Figyelje a naplókat. A Google-Agent a következőt tartalmazó felhasználói ügynök karakterlánccal azonosítja magát compatible; Google-Agent. A Google ellenőrzés céljából IP-tartományokat tesz közzé. Kezdje el nyomon követni, hogy az ügynökök milyen gyakran látogatnak el, mely oldalakat keresik fel, és mit próbálnak tenni.
Ellenőrizze a CDN-t és a tűzfalszabályokat. Ha a biztonsági eszközei agresszíven blokkolják a nem böngésző forgalmat, előfordulhat, hogy a Google-ügynök elutasításra kerül, mielőtt elérné a szerverét. Ellenőrizze, hogy a Google által közzétett IP-tartományok engedélyezettek-e.
Tesztelje a formákat és a folyamatokat. A Google-Agent űrlapokat küldhet be és navigálhat a többlépcsős folyamatokban. Ha a fizetési, foglalási vagy kapcsolatfelvételi űrlapok JavaScript-mintákra támaszkodnak, amelyek megzavarják az automatizált rendszereket, az ügynöklátogatók csendben megbuknak. A szemantikus HTML és az egyértelmű címkék továbbra is az alapot jelentik.
Fogadja el, hogy a robots.txt már nem teljes körű hozzáférés-vezérlő eszköz. Azon tartalmak esetében, amelyeket valóban korlátozni kell, használjon hitelesítést. A robots.txt feltérképező robotokhoz készült. Az ügynökkorszaknak más határokra van szüksége.
A hibrid web nem jön. Naplózva van
Egy évvel ezelőtt az az ötlet, hogy az AI-ügynökök emberek mellett böngésznek majd webhelyeket, egy konferencia-előrejelzés volt. Ma már rendelkezik felhasználói ügynök karakterlánccal, közzétett IP-tartományokkal, kriptográfiai azonosító protokollal és bejegyzéssel a Google hivatalos dokumentációjában.
A háló nem vált szét emberre és gépre. Összeolvadt. Mostantól minden közzétett oldal egyszerre szolgálja ki mindkét közönséget, és a Google lehetővé tette, hogy pontosan lássa, mikor jelenik meg a nem emberi közönség.
Ez a bejegyzés eredetileg a No Hacks oldalon jelent meg.
