Óvakodjon a hamis Googlebot-forgalomtól

A Google fejlesztői ügyvédje, Martin Splitt arra figyelmezteti a webhelytulajdonosokat, hogy legyenek óvatosak a Googlebottól érkező forgalommal kapcsolatban. Sok olyan kérés, amely Googlebotnak adja ki magát, valójában harmadik felek kaparóitól származik.

Ezt osztotta meg a Google SEO Made Easy sorozatának legújabb epizódjában, hangsúlyozva, hogy „nem mindenki Googlebot, aki azt mondja, hogy Googlebot”.

Miért számít ez?

A hamis feltérképező robotok torzíthatják az elemzéseket, erőforrásokat fogyaszthatnak, és megnehezíthetik webhelye teljesítményének pontos felmérését.

Így lehet megkülönböztetni a jogos Googlebot-forgalmat és a hamis robottevékenységet.

Googlebot ellenőrzési módszerek

Megkülönböztetheti a valódi Googlebot forgalmat a hamis feltérképező robotoktól, ha a szokatlan kérések helyett az általános forgalmi mintákat nézi.

A valódi Googlebot-forgalom általában konzisztens kérések gyakorisággal, időzítéssel és viselkedéssel rendelkezik.

Ha hamis Googlebot-tevékenységre gyanakszik, a Splitt a következő Google-eszközök használatát javasolja ennek ellenőrzésére:

URL-ellenőrző eszköz (Search Console)

• Ha konkrét tartalmat talál a megjelenített HTML-ben, megerősíti, hogy a Googlebot sikeresen hozzáfér az oldalhoz.
• Élő tesztelési lehetőséget biztosít az aktuális hozzáférési állapot ellenőrzéséhez.

Gazdag eredmények teszt

• A Googlebot-hozzáférés alternatív ellenőrzési módszereként működik
• Megmutatja, hogy a Googlebot hogyan jeleníti meg az oldalt
• Search Console hozzáférés nélkül is használható

Feltérképezési statisztika jelentés

• Részletes szerverválaszadatokat jelenít meg kifejezetten az ellenőrzött Googlebot kérésekből
• Segít azonosítani a jogszerű Googlebot viselkedési mintákat

Érdemes megjegyezni egy kulcsfontosságú korlátot: ezek az eszközök ellenőrzik, hogy a valódi Googlebot mit lát és csinál, de nem azonosítják közvetlenül a megszemélyesítőket a szervernaplókban.

A hamis Googlebotok elleni teljes védelem érdekében a következőket kell tennie:

• Hasonlítsa össze a szervernaplókat a Google hivatalos IP-tartományaival
• Hajtsa végre a fordított DNS-keresés ellenőrzését
• Használja a fenti eszközöket a Googlebot alapszintű, legitim viselkedésének megállapításához

Szerverválaszok figyelése

Splitt azt is hangsúlyozta, hogy fontos figyelni a szerver válaszait a feltérképezési kérésekre, különösen:

• 500-as sorozatú hibák
• Hibák lekérése
• Időtúllépések
• DNS problémák

Ezek a problémák jelentősen befolyásolhatják a feltérképezés hatékonyságát és a keresés láthatóságát a több millió oldalt tároló nagyobb webhelyek esetében.

Splitt azt mondja:

„Figyeljen arra, hogy a szerver milyen válaszokat adott a Googlebotnak, különösen a nagy számú 500 válaszra, a lekérési hibákra, az időtúllépésekre, a DNS-problémákra és egyéb dolgokra.”

Megjegyezte, hogy bár egyes hibák átmenetiek, a tartós problémákat „talán tovább kell vizsgálni”.

Splitt a kiszolgálónapló-elemzés használatát javasolta a kifinomultabb diagnózis felállításához, bár elismerte, hogy ez „nem alapvető dolog”.

Hangsúlyozta azonban ennek értékét, megjegyezve, hogy „a webszerver naplóinak megtekintése… hatékony módja annak, hogy jobban megértsük, mi történik a szerveren”.

Lehetséges hatás

A biztonságon túl a hamis Googlebot-forgalom befolyásolhatja a webhely teljesítményét és a keresőoptimalizálási erőfeszítéseket.

Splitt hangsúlyozta, hogy a webhely böngészőben való elérhetősége nem garantálja a Googlebot hozzáférését, és számos lehetséges akadályra hivatkozott, többek között:

• A Robots.txt korlátozásai
• Tűzfal konfigurációk
• Bot védelmi rendszerek
• Hálózati útválasztási problémák

Előre tekintve

A hamis Googlebot-forgalom bosszantó lehet, de Splitt szerint nem kell túl sokat aggódnia a ritka esetek miatt.

Tegyük fel, hogy a hamis bejáró tevékenység problémát okoz, vagy túl sok szerverenergiát használ fel. Ebben az esetben olyan lépéseket tehet, mint a kérések gyakoriságának korlátozása, adott IP-címek blokkolása vagy jobb botészlelési módszerek alkalmazása.

Ha többet szeretne megtudni erről a problémáról, tekintse meg az alábbi teljes videót:

https://www.youtube.com/watch?v=e0wnYVsIrF0

---