A Google fejlesztői ügyvédje, Martin Splitt arra figyelmezteti a webhelytulajdonosokat, hogy legyenek óvatosak a Googlebottól érkező forgalommal kapcsolatban. Sok olyan kérés, amely Googlebotnak adja ki magát, valójában harmadik felek kaparóitól származik.
Ezt osztotta meg a Google SEO Made Easy sorozatának legújabb epizódjában, hangsúlyozva, hogy „nem mindenki Googlebot, aki azt mondja, hogy Googlebot”.
Miért számít ez?
A hamis feltérképező robotok torzíthatják az elemzéseket, erőforrásokat fogyaszthatnak, és megnehezíthetik webhelye teljesítményének pontos felmérését.
Így lehet megkülönböztetni a jogos Googlebot-forgalmat és a hamis robottevékenységet.
Googlebot ellenőrzési módszerek
Megkülönböztetheti a valódi Googlebot forgalmat a hamis feltérképező robotoktól, ha a szokatlan kérések helyett az általános forgalmi mintákat nézi.
A valódi Googlebot-forgalom általában konzisztens kérések gyakorisággal, időzítéssel és viselkedéssel rendelkezik.
Ha hamis Googlebot-tevékenységre gyanakszik, a Splitt a következő Google-eszközök használatát javasolja ennek ellenőrzésére:
URL-ellenőrző eszköz (Search Console)
- Ha konkrét tartalmat talál a megjelenített HTML-ben, megerősíti, hogy a Googlebot sikeresen hozzáfér az oldalhoz.
- Élő tesztelési lehetőséget biztosít az aktuális hozzáférési állapot ellenőrzéséhez.
Gazdag eredmények teszt
- A Googlebot-hozzáférés alternatív ellenőrzési módszereként működik
- Megmutatja, hogy a Googlebot hogyan jeleníti meg az oldalt
- Search Console hozzáférés nélkül is használható
Feltérképezési statisztika jelentés
- Részletes szerverválaszadatokat jelenít meg kifejezetten az ellenőrzött Googlebot kérésekből
- Segít azonosítani a jogszerű Googlebot viselkedési mintákat
Érdemes megjegyezni egy kulcsfontosságú korlátot: ezek az eszközök ellenőrzik, hogy a valódi Googlebot mit lát és csinál, de nem azonosítják közvetlenül a megszemélyesítőket a szervernaplókban.
A hamis Googlebotok elleni teljes védelem érdekében a következőket kell tennie:
- Hasonlítsa össze a szervernaplókat a Google hivatalos IP-tartományaival
- Hajtsa végre a fordított DNS-keresés ellenőrzését
- Használja a fenti eszközöket a Googlebot alapszintű, legitim viselkedésének megállapításához
Szerverválaszok figyelése
Splitt azt is hangsúlyozta, hogy fontos figyelni a szerver válaszait a feltérképezési kérésekre, különösen:
- 500-as sorozatú hibák
- Hibák lekérése
- Időtúllépések
- DNS problémák
Ezek a problémák jelentősen befolyásolhatják a feltérképezés hatékonyságát és a keresés láthatóságát a több millió oldalt tároló nagyobb webhelyek esetében.
Splitt azt mondja:
„Figyeljen arra, hogy a szerver milyen válaszokat adott a Googlebotnak, különösen a nagy számú 500 válaszra, a lekérési hibákra, az időtúllépésekre, a DNS-problémákra és egyéb dolgokra.”
Megjegyezte, hogy bár egyes hibák átmenetiek, a tartós problémákat „talán tovább kell vizsgálni”.
Splitt a kiszolgálónapló-elemzés használatát javasolta a kifinomultabb diagnózis felállításához, bár elismerte, hogy ez „nem alapvető dolog”.
Hangsúlyozta azonban ennek értékét, megjegyezve, hogy „a webszerver naplóinak megtekintése… hatékony módja annak, hogy jobban megértsük, mi történik a szerveren”.
Lehetséges hatás
A biztonságon túl a hamis Googlebot-forgalom befolyásolhatja a webhely teljesítményét és a keresőoptimalizálási erőfeszítéseket.
Splitt hangsúlyozta, hogy a webhely böngészőben való elérhetősége nem garantálja a Googlebot hozzáférését, és számos lehetséges akadályra hivatkozott, többek között:
- A Robots.txt korlátozásai
- Tűzfal konfigurációk
- Bot védelmi rendszerek
- Hálózati útválasztási problémák
Előre tekintve
A hamis Googlebot-forgalom bosszantó lehet, de Splitt szerint nem kell túl sokat aggódnia a ritka esetek miatt.
Tegyük fel, hogy a hamis bejáró tevékenység problémát okoz, vagy túl sok szerverenergiát használ fel. Ebben az esetben olyan lépéseket tehet, mint a kérések gyakoriságának korlátozása, adott IP-címek blokkolása vagy jobb botészlelési módszerek alkalmazása.
Ha többet szeretne megtudni erről a problémáról, tekintse meg az alábbi teljes videót:
