A Google elindította a Crawler dokumentációjának jelentős átalakítását, csökkentve a fő áttekintő oldalt, és három új, fókuszáltabb oldalra bontva a tartalmat. Bár a változásnapló lekicsinyli a változtatásokat, van egy teljesen új szakasz, és alapvetően a teljes bejáró áttekintő oldal átírása. A további oldalak lehetővé teszik a Google számára, hogy növelje az összes feltérképező oldal információsűrűségét, és javítsa a téma lefedettségét.
Mi változott?
A Google dokumentációs változásnaplója két változást jegyez, de valójában sokkal több van.
Íme néhány változtatás:
- Frissített felhasználói ügynök karakterlánc hozzáadva a GoogleProducer feltérképező robothoz
- Tartalomkódolási információk hozzáadva
- Új rész a műszaki tulajdonságokról
A műszaki tulajdonságok szakasz teljesen új információkat tartalmaz, amelyek korábban nem léteztek. A feltérképező robot viselkedése nem változott, de három témaspecifikus oldal létrehozásával a Google több információt tud hozzáadni a bejáró áttekintő oldalához, ugyanakkor csökkenti azt.
Ez az új információ a tartalomkódolásról (tömörítésről):
„A Google feltérképező robotjai és lekérői a következő tartalomkódolásokat (tömörítéseket) támogatják: gzip, deflate és Brotli (br). Az egyes Google-felhasználói ügynökök által támogatott tartalomkódolásokat minden egyes kérés Accept-Encoding fejlécében hirdetik. Például Accept-Encoding: gzip, deflate, br.
További információk találhatók a HTTP/1.1-en és HTTP/2-n keresztül történő feltérképezésről, valamint egy nyilatkozat arról, hogy céljuk a lehető legtöbb oldal feltérképezése a webhelyszerver befolyásolása nélkül.
Mi a felújítás célja?
A dokumentációban bekövetkezett változás annak köszönhető, hogy az áttekintő oldal nagyra nőtt. A további feltérképező információk még nagyobbá teszik az áttekintő oldalt. Döntés született arról, hogy az oldalt három altémára bontják, hogy a konkrét feltérképező tartalom tovább növekedhessen, és teret adjon az általánosabb információknak az áttekintő oldalon. Az altémák saját oldalakra való kipörgetése zseniális megoldás a felhasználók legjobb kiszolgálásának problémájára.
A dokumentáció változásnaplója így magyarázza a változást:
„A dokumentáció nagyon hosszúra nőtt, ami korlátozta azon képességünket, hogy bővítsük feltérképező robotjainkkal és a felhasználó által aktivált lekérőinkkel kapcsolatos tartalmat.
…Újraszervezte a Google feltérképező robotjainak és a felhasználó által indított lekérőknek a dokumentációját. Explicit megjegyzéseket tettünk arra vonatkozóan is, hogy az egyes feltérképező robotok mely terméket érintik, és minden robothoz hozzáadtunk egy robots.txt kódrészletet, amely bemutatja a felhasználói ügynök tokenek használatát. A tartalomban egyébként nem történt érdemi változás.”
A változásnapló lekicsinyli a változtatásokat azáltal, hogy átszervezésként írja le őket, mivel a bejáró áttekintése lényegesen át van írva, három vadonatúj oldal létrehozása mellett.
Bár a tartalom lényegében változatlan marad, altémákra való felosztása megkönnyíti a Google számára, hogy további tartalmat adjon hozzá az új oldalakhoz anélkül, hogy tovább bővítené az eredeti oldalt. Az eredeti oldal, a Google feltérképező robotjainak és lekérőinek (felhasználói ügynökeinek) áttekintése, most valóban egy áttekintés, ahol a részletesebb tartalom az önálló oldalakra került át.
A Google három új oldalt tett közzé:
- Közös bejárók
- Speciális bejárók
- Felhasználó által aktivált lekérők
1. Közös bejárók
Ahogy a címben is szerepel, ezek általános bejárók, amelyek közül néhány a GoogleBothoz kapcsolódik, beleértve a Google-InspectionTool-t, amely a GoogleBot felhasználói ügynököt használja. Az ezen az oldalon felsorolt összes bot betartja a robots.txt szabályait.
Ezek a dokumentált Google feltérképező robotok:
- Googlebot
- Googlebot kép
- Googlebot Videó
- Googlebot News
- Google StoreBot
- Google-InspectionTool
- GoogleOther
- GoogleOther-Image
- GoogleOther-Video
- Google-CloudVertexBot
- Google-Extended
3. Különleges esetek feltérképező robotjai
Ezek olyan feltérképező robotok, amelyek meghatározott termékekhez vannak társítva, és az adott termékek felhasználóival kötött megállapodás alapján feltérképezhetők, és olyan IP-címekről működnek, amelyek különböznek a GoogleBot feltérképező robot IP-címeitől.
Speciális feltérképező robotok listája:
- AdSense
Felhasználói ügynök a Robots.txt fájlhoz: Mediapartners-Google - AdsBot
Felhasználói ügynök a Robots.txt fájlhoz: AdsBot-Google - AdsBot Mobile Web
Felhasználói ügynök a Robots.txt fájlhoz: AdsBot-Google-Mobile - API-k – Google
Felhasználói ügynök a Robots.txt fájlhoz: APIs-Google - Google-Biztonság
Felhasználói ügynök a Robots.txt fájlhoz: Google-Safety
3. Felhasználó által kiváltott lekérők
A Felhasználó által kiváltott lekérők oldal azokat a robotokat fedi le, amelyek felhasználói kérésre aktiválódnak, a következőképpen magyarázva:
„A felhasználók által indított lekérőket a felhasználók kezdeményezik, hogy lekérési funkciót hajtsanak végre egy Google-terméken belül. Például a Google Site Verifier a felhasználó kérésére jár el, vagy a Google Cloud (GCP) szolgáltatásban tárolt webhely rendelkezik olyan funkcióval, amely lehetővé teszi a webhely felhasználóinak, hogy külső RSS-hírcsatornát kérjenek le. Mivel a lekérést egy felhasználó kérte, ezek a lekérők általában figyelmen kívül hagyják a robots.txt szabályait. A Google feltérképező robotjainak általános műszaki tulajdonságai a felhasználó által aktivált lekérőkre is vonatkoznak.”
A dokumentáció a következő robotokra vonatkozik:
- Feedfetcher
- Google Kiadói Központ
- Google Felolvasás
- Google Site Verifier
Elvihető:
A Google bejáró áttekintő oldala túlságosan átfogó és valószínűleg kevésbé hasznos lett, mert az embereknek nem mindig van szükségük átfogó oldalra, csak konkrét információk érdeklik őket. Az áttekintő oldal kevésbé konkrét, de könnyebben is érthető. Mostantól belépési pontként szolgál, ahol a felhasználók részletezhetik a háromféle feltérképező robothoz kapcsolódó konkrétabb altémákat.
Ez a változtatás betekintést nyújt abba, hogyan frissítheti fel az oldalt, amely esetleg alulteljesít, mert túl átfogóvá vált. Egy átfogó oldal önálló oldalakra bontása lehetővé teszi, hogy az altémák konkrét felhasználói igényeket kielégítsenek, és esetleg hasznosabbá tegyék őket, amennyiben a keresési eredmények között szerepelnek.
Nem mondanám, hogy a változás bármit is tükrözne a Google algoritmusában, csak azt tükrözi, hogy a Google hogyan frissítette a dokumentációját, hogy hasznosabb legyen, és hogyan állította be a még több információ hozzáadására.
Olvassa el a Google új dokumentációját
A Google feltérképező robotjai és lekérői (felhasználói ügynökök) áttekintése
A Google általános feltérképező robotjainak listája
A Google speciális eseteket használó feltérképező robotjainak listája
A Google felhasználó által aktivált lekérők listája
