A Google John Mueller válaszolt egy kérdésre a Reddit-en egy látszólag hamis „NoIndexről, amelyet az X-robots-címkén HTTP fejlécben észleltek a Google Search Console-ban, amelyek nem rendelkeznek olyan konkrét X-robots-címkével vagy bármely más kapcsolódó irányelvvel vagy blokkkal. Mueller néhány lehetséges okot javasolt, és a több redditor ésszerű magyarázatot és megoldást adott.
NoIndex észlelt
Az a személy, aki elindította a Reddit -beszélgetést, leírta egy olyan forgatókönyvet, amely sokak számára ismert. A Google Search Console jelentése szerint nem tudott indexelni egy oldalt, mert nem blokkolta az oldal indexelését (ami különbözik a mászás blokkolásától). Az oldal ellenőrzése nem mutatja a NoIndex meta elem jelenlétét, és nincs robot.txt, amely blokkolja a feltérképezést.
Itt van az, amit a leírt helyzetüknek neveznek:
- „A GSC a„ NoIndex detektálta az X-robots-címkén HTTP fejlécben ”nagy részét az URL-ek nagy részében. Viszont:
- Nem talál semmilyen noIndex -et a HTML forrásban
- Nincs noindex a robots.txt -ben
- Nincs noindex látható a válasz fejlécekben a tesztelés során
- Az élő teszt a GSC -ben az oldal indexelhetőként jelenik meg
- A webhely a CloudFlare mögött található (ellenőriztük az oldalszabályokat/waf stb.) ”
Azt is beszámolták, hogy megpróbálták hamisítani a GoogleBot-ot, és különféle IP-címeket teszteltek, és a kérés fejléceket, és még mindig nem találtak nyomot az X-Robots-Tag forrására.
A CloudFlare gyanúja
Az egyik Redditor a vitában kommentálta, hogy javasolja a hibaelhárítást, ha a probléma a CloudFlare -ből származik.
Átfogó lépésről lépésre felajánlották a diagnosztizálást, ha a CloudFlare vagy bármi más megakadályozta a Google -t az oldal indexálásában:
„Először hasonlítsa össze az élő tesztet és a GSC -ben a mászott oldalt, hogy ellenőrizze, hogy a Google lát -e elavult választ. Ezután ellenőrizze a CloudFlare átalakítási szabályait, a válaszfejléceket és a munkavállalókat a módosítások szempontjából. Használja a CURL-t a GoogleBOT User-Agent és a Cache Bypass (Cache-Control: No-Cache) segítségével a szerver válaszok ellenőrzéséhez. A WordPress használata esetén tiltsa le a SEO beépülő modulokat a dinamikus fejlécek kizárására. Ezenkívül naplózza a GoogleBOT kéréseit a szerveren, és ellenőrizze, hogy megjelenik-e az X-robots-tag. Ha minden kudarcot vall, akkor kerülje be a CloudFlare -t úgy, hogy a DNS -t közvetlenül a szerverre mutatja és újbóli újbóliséget mutatja. ”
Az OP (ültetvény plakát, aki elindította a beszélgetést), azt válaszolta, hogy tesztelték az összes megoldást, de nem tudtak tesztelni a webhely gyorsítótárát a GSC -n keresztül, csak az élő webhelyen (a tényleges szerverről, nem pedig a CloudFlare -ről).
Hogyan lehet tesztelni egy tényleges googlebot -szal
Érdekes módon az OP kijelentette, hogy nem tudják tesztelni webhelyüket a GoogleBot segítségével, de valójában van egy módja annak.
A Google Rich Eredmények Testerje a GoogleBOT felhasználói ügynököt használja, amely szintén a Google IP -címéből származik. Ez az eszköz hasznos annak ellenőrzésére, hogy mit lát a Google. Ha egy kizsákmányolás arra készteti a webhelyet, hogy megjelenítse az övezett oldalt, akkor a gazdag eredmények tesztelője pontosan feltárja, mit indexel a Google.
A Google gazdag eredmények támogatási oldala megerősíti:
„Ez az eszköz a GoogleBOT -ként fér hozzá az oldalhoz (azaz nem az Ön hitelesítő adatait használja, hanem a Google -ként).”
401 Hiba válasz?
A következők valószínűleg nem a megoldás, de ez egy érdekes műszaki SEO ismeretek.
Egy másik felhasználó megosztotta a szerver tapasztalatát, amely válaszolt egy 401 hibaválaszokkal. A 401 -es válasz azt jelenti, hogy „jogosulatlan”, és ez akkor fordul elő, amikor az erőforrás iránti kérelem hiányzik a hitelesítési hitelesítő adatokban, vagy a megadott hitelesítő adatok nem a megfelelő. A Google Search Console -ban az indexelés blokkolt üzeneteinek megoldásának megoldása az volt, hogy egy jelölést adjanak a robots.txt fájlba, hogy blokkolják a bejelentkezési oldal URL -eket.
A Google John Mueller a GSC hibáján
John Mueller belevetette a vitát, hogy segítséget nyújtson a probléma diagnosztizálásának. Azt mondta, hogy látta, hogy ez a kérdés felmerül a CDN -kkel kapcsolatban (tartalomszállítási hálózatok). Érdekes dolog azt mondta, hogy látta, hogy ez is nagyon régi URL -ekkel történik. Nem részletezte ezt az utolsóat, de úgy tűnik, hogy valamiféle indexelési hibát jelent a régi indexelt URL -ekkel kapcsolatban.
Itt van, amit mondott:
„Örülök, hogy megnézem, ha szeretne nekem néhány mintát. Láttam a CDN-kkel, láttam igazán régi mászással (amikor a probléma régen ott volt, és egy webhelyen csak sok ősi URL indexelt), talán van valami új itt … ”
Kulcsfontosságú felvételek: A Google Search Console Index NoIndex észlelve
- A Google Search Console (GSC) jelentheti a „NoIndex detektálva az X-robots-Tag HTTP fejlécben”, még akkor is, ha a fejléc nincs jelen.
- A CDN -k, például a CloudFlare, zavarhatják az indexelést. Lépéseket osztottak meg annak ellenőrzésére, hogy a CloudFlare transzformációs szabályait, a válaszfejléceket vagy a gyorsítótár befolyásolja -e a GoogleBot látását.
- Az elavult indexelési adatok a Google oldalán szintén tényező lehetnek.
- A Google gazdag eredménytesztelője ellenőrizheti, hogy mit lát a GoogleBot, mert használja a GoogleBot felhasználói ügynökét és IP -jét, feltárva olyan eltéréseket, amelyek valószínűleg nem láthatók a felhasználói ügynök hamisításából.
- 401 A jogosulatlan válaszok megakadályozhatják az indexelést. Egy felhasználó megosztotta, hogy a problémájuk bejelentkezési oldalakat tartalmazott, amelyeket a robots.txt -en keresztül kellett blokkolni.
- John Mueller javasolta a CDN -eket és a történelmileg mászott URL -eket.
