John Mueller, a Google munkatársa válaszolt arra a furcsa körülményre, hogy a Search Console több ezer URL-t jelentett indexeltként annak ellenére, hogy a robots.txt blokkolta őket. Mueller segített elmagyarázni, hogyan történik ez, és mit kell tenni ellene.
A tartalom indexelve annak ellenére, hogy a Robots.txt blokkolta
Egy Redditor tanácsot kért, mert a Google Search Console több mint 51 000 oldalt jelentett „Indexelt, bár a robots.txt által blokkolva” állapotú. Az érintett URL-ek elsősorban a WooCommerce termék URL-jei voltak, amelyek a kosárba helyezés URL-paramétereit tartalmazták, például „?add-to-cart=”.
Mivel a probléma hirtelen megjelent, a webhely tulajdonosa megkérdőjelezte, hogy maguk a robots.txt szabályai felelősek-e a probléma létrejöttéért. Azt is tudni akarták, hogy a szabályok eltávolítása segít-e a Google-nak feldolgozni a kanonikus jeleket, és eltávolítani a jelentett URL-eket a Search Console-ból.
Az illető megkérdezte:
„Van WooCommerce webhelyem, és az elmúlt hónap óta hirtelen ezzel a problémával szembesülünk: „Indexelve, bár a robots.txt blokkolta”
összesen „Érintett oldalak 51 ezer oldal”
az url végén többnyire ezt látom: ?page&post_type=product&product=slug&add-to-cart=98063,
Miután megvizsgáltam ezeket az URL-eket, megállapítottam, hogy be vannak állítva az indexcímkék, és a robots.txt is rendelkezik
* Disallow: /*?add-to-cart=
* Disallow: /*?*add-to-cart=Eltávolítottam ezt a két szabályt a robots.txt fájlból, és remélem, hogy ezek az oldalak javítva vannak, mert gyűjtőbeállítással rendelkeznek a termék helyesbítésére, ez megoldja a problémát?
vagy be kell állítani a noindex szabályokat is? ez okozza nekünk a feltérképezési költségkeretünket? ez egy elég nagy woocommerce webhely, szóljatok nekem, ha valakinek van tapasztalata ilyen probléma megoldásában? és mi lesz a megfelelő módszer a SEO vagy a funkcionalitás elvesztésének megelőzése nélkül.”
A Google szerint a kosárba helyezhető URL-eket nem kell indexelni
Mueller azt válaszolta, hogy a kosárba helyezhető URL-eket nem kell indexelni, és a robots.txt fájlon keresztüli blokkolása elfogadható megközelítés.
Kifejtette, hogy még akkor sem, ha a Google indexeltként jelzi ezeket az URL-eket, nem valószínű, hogy megjelennek a normál keresési eredmények között, mert a robots.txt blokkolja őket. Mueller szerint a felhasználók általában nem keresnek közvetlenül ezekre az URL-ekre, így rossz jelöltek a keresési láthatóság szempontjából.
John Mueller így válaszolt:
„Nem kell indexelnie a kosárba helyezhető URL-eket. A robots.txt fájllal történő blokkolása rendben van. Még ha „indexelve” is lesznek, mivel a robots.txt blokkolja őket, nem valószínű, hogy megjelennek a keresésben (hacsak nem végez konkrét lekérdezéseket ezekre az URL-ekre, amit a felhasználók nem tesznek meg).”
Kicsit nem vagyok hajlandó arra, hogy Mueller mit mondott a „robots.txt”-ről, ami miatt „nem valószínű”, hogy az URL-ek megjelennek a Keresésben. Ennek az az oka, hogy a robots.txt nem akadályozza meg, hogy egy weboldal megjelenjen a Google Keresésben. Csak megakadályozza, hogy a Googlebot feltérképezze ezeket az oldalakat. Tehát technikailag ez nem egészen helyes, és kissé meglepett, hogy Mueller ezt mondja.
A Noindex valószínűleg nem megoldás
Az egyik Redditor, aki válaszolt a kérdésre, azt javasolta, hogy a paraméterezett URL-ekhez egy noindex robots címkét adjanak hozzá. De lehet, hogy ez nem járható megoldás, mert az URL-paramétereket tartalmazó és anélküli oldalak lényegében ugyanazok. Ugyanazzal a sablonnal jelennek meg egy adott oldalon. Tehát hacsak a WooCommerce nem kezeli őket másként, és nem tudja renderelni a paraméterezett URL-eket noindexszel, a normál oldalt pedig a noindex nélkül, ez nem igazi megoldás.
Miért jelent a Google olyan indexelt URL-eket, amelyeket nem tud feltérképezni?
Egy másik Redditor lehetséges magyarázatot adott arra, hogy miért jelent meg annyi URL a Search Console-ban. Azt javasolták, hogy a Google valószínűleg felfedezte a kosárba tétel paramétereit tartalmazó linkeket valahol a webhelyen, és hozzáadta ezeket az URL-eket rendszereihez.
Azt javaslom annak, aki eredetileg feltette ezt a kérdést, hogy térképezze fel a webhelyet a Screaming Frog segítségével, nézze át a belső hivatkozásokat, hogy azonosítsa, honnan hivatkoznak ezekre az oldalakra, majd tegyen valamit, például távolítsa el ezeket a linkeket vagy adjon hozzá egy rel=”nofollow” link attribútumot.
Valószínűleg a legjobb megoldás a robots.txt blokk használata a feltérképezés megakadályozására, feltéve, hogy ez minden. Ha a személy biztosra akar menni, be tudja azonosítani, hol léteznek ezek a linkek, majd hozzáadhatja a nofollow link attribútumot extra rétegként, utalásként a Google számára. A Nofollow nem direktíva, de erős utalás.
A Search Console figyelmeztetései nem mindig jeleznek keresési problémát
A Search Console-jelentésekkel kapcsolatos egyik visszatérő kihívás az, hogy olyan technikai feltételeket fedhetnek fel, amelyek aggasztónak tűnnek, de valójában alig vagy nullára hatnak a keresési teljesítményre. Például a 404-es hibajelentések számos okból hasznosak, de sokszor a 404-es kiszolgáló válasza a helyes válasz, és ez valójában nem olyan „hiba”, amelyet javítani kell.
Elvihető
Mueller válasza megerősíti azt a következtetést, hogy nem minden Search Console-figyelmeztetésre van szükség, hogy valamit kijavítsunk, bár ebben a konkrét esetben lehet valamit javítani a bevásárlókosár URL-paramétereit használó weboldalakra mutató belső linkek formájában. Ha ezek a linkek a bevásárlókosár URL-paramétereivel feltétlenül szükségesek, akkor a rel=”nofollow” link attribútum használata erős tippet ad a Google-nak, hogy ne kövesse ezt a linket. A technikai SEO öröme!
