Egy Google mérnök figyelmeztette, hogy az AI ügynökei és az automatizált botok hamarosan elárasztják az internetet a forgalommal.
Gary Illyes, aki a Google Keresési Kapcsolat -csapatán dolgozik, azt mondta: „Mindenki és a nagymamám indít egy feltérképezést” egy nemrégiben készült podcast során.
A figyelmeztetés a Google legfrissebb kereséséből származik, amely a Record Podcast epizódját elhelyezi.
Az AI -szerek megszüntetik a webhelyeket
A keresési kapcsolatokkal foglalkozó csapat tagjával, Martin Flitt -rel folytatott beszélgetés során Illyes figyelmeztette, hogy az AI ügynökei és az „AI Shenanigans” az új webes forgalom jelentős forrásai lesznek.
Illyes mondta:
„Az internet zsúfolódik … Ez nem olyan, amit az internet nem tudja kezelni … Az internetet úgy tervezték, hogy képes legyen minden forgalom kezelésére, még akkor is, ha automata.”
Ez a túlfeszültség akkor fordul elő, amikor a vállalkozások AI eszközöket telepítenek a tartalom létrehozásához, a versenytársak kutatásához, a piaci elemzéshez és az adatgyűjtéshez. Minden eszköznek a mászó webhelyek működését megkövetelik, és az AI -elfogadás gyors növekedésével ez a forgalom várhatóan növekszik.
Hogyan működik a Google Crawler System -je
A podcast részletes megbeszélést nyújt a Google mászó beállításáról. Ahelyett, hogy az egyes termékekhez különféle robotokat alkalmazna, a Google kifejlesztett egy egységes rendszert.
A Google Search, az AdSense, a Gmail és más termékek ugyanazt a Crawler infrastruktúrát használják. Mindegyik egy másik felhasználói ügynök nevével azonosítja magát, de mindegyik tartja be ugyanazokat a protokollokat a robots.txt és a szerver egészségére.
Illyes magyarázta:
„Beolvashatja az internetről, de meg kell adnia a saját felhasználói ügynök karakterláncát.”
Ez az egységes megközelítés biztosítja, hogy az összes Google robotja ugyanazokat a protokollokat tartsa be, és visszatérjen, amikor a webhelyek nehézségekbe ütköznek.
Az igazi erőforrás -disznó? Nem mászik
Illyes potenciálisan ellentmondásos állítással vitatta a hagyományos SEO bölcsességet: A mászás nem fogyaszt jelentős erőforrásokat.
Illyes kijelentette:
„Nem mászik fel az erőforrásokat, az indexelés és potenciálisan kiszolgálás, vagy az adatokkal.”
Még azt is viccelődött, hogy „kiabál az interneten”, mert ezt elmondta.
Ez a perspektíva azt sugallja, hogy az oldalak letöltése minimális erőforrásokat használ fel az adatok feldolgozásához és tárolásához képest. A feltérképezés költségvetésével kapcsolatos személyek számára ez megváltoztathatja az optimalizálási prioritásokat.
Ezrektől trillióig: a web növekedése
A Googlers történelmi kontextust nyújtott. 1994 -ben a World Wide Web Worm keresőmotor mindössze 110 000 oldalt indított, míg a WebCrawlernek 2 millió indexelése volt. Manapság az egyes webhelyek meghaladhatják az oldalak millióit.
Ez a gyors növekedés szükségessé tette a technológiai evolúciót. A rugókernyékek az alapvető HTTP 1.1 protokollokról a modern HTTP/2 -re haladtak a gyorsabb kapcsolatokhoz, a HTTP/3 támogatással a horizonton.
A Google hatékonysági csata
A Google tavaly arra törekedett, hogy csökkentse a mászó lábnyomát, elismerve a helyszíntulajdonosok terheit. Azonban továbbra is új kihívások merülnek fel.
Illyes elmagyarázta a dilemmát:
„Minden kérésből hét bájtot mentett el, majd ez az új termék nyolc visszaad.”
Minden hatékonyságnövekedést ellensúlyoz az új AI termékek, amelyek több adatot igényelnek. Ez egy olyan ciklus, amely nem mutatja a megállás jeleit.
Mit kell tennie a webhelytulajdonosoknak
A közelgő forgalmi hullám több területen fellépést igényel:
- Infrastruktúra: Az aktuális tárhely nem támogathatja a várt terhelést. Értékelje a szerver kapacitását, a CDN opciókat és a válaszidőket a beáramlás bekövetkezése előtt.
- Hozzáférés -ellenőrzés: Tekintse át a robots.txt szabályokat annak ellenőrzésére, hogy mely AI robotok férhetnek hozzá az Ön webhelyén. Blokkolja a felesleges robotokat, miközben lehetővé teszi a legitimek megfelelő működését.
- Adatbázis -teljesítmény: Illyes kifejezetten a „drága adatbázis -hívásokra” rámutatott. Optimalizálja a lekérdezéseket és hajtsa végre a gyorsítótárazást a szerver törzsek enyhítésére.
- Ellenőrzés: Különbséget kell különböztetni a legitim robotok, az AI -ágensek és a rosszindulatú botok között alapos naplóelemzés és teljesítménykövetés révén.
Az út előre
Illyes rámutatott a közönséges mászásra, mint potenciális modellre, amely egyszer mászik és nyilvánosan megosztja az adatokat, csökkentve a felesleges forgalmat. Hasonló együttműködési megoldások jelentkezhetnek, amikor a web adaptálódik.
Míg az Illyes bizalmat fejezte ki a webes megnövekedett forgalom kezelésének képességében, az üzenet egyértelmű: az AI -ügynökök hatalmas számban érkeznek.
Azok a webhelyek, amelyek most megerősítik az infrastruktúrájukat, jobban fel vannak szerelve a vihar időjárása érdekében. Azok, akik várnak, eláraszthatják magukat, amikor a hullám teljes ereje eltalál.
Hallgassa meg a teljes podcast epizódot az alábbiakban:
https://www.youtube.com/watch?v=igguggonz1e
