A Google munkatársa, John Mueller válaszolt a robots.txt-vel kapcsolatos kérdésre, és elmagyarázott egy könnyen kihagyható hibát, amely hatással lehet az Ön SEO és webhelyindexelési céljaira. A konkrét probléma azzal kapcsolatos, hogy a Google indexelte a keresőmező spamjét, de ez a hiba általában bárkivel, bármilyen kontextusban előfordulhat.
Weboldal keresőmezője Spam
Az a személy, aki feltette a kérdést a Redditen, a keresősáv spamtámadásától szenvedett. A spamküldők olyan lekérdezéssel keresnek, amely tükrözi a spam jellegű rést, és hozzáadnak egy hivatkozást vagy egy webhely nevét. A következő lépés az, hogy a keresősáv létrehoz egy URL-t, amelyre hivatkozva a spam jellegű keresési eredmény generálható.
És ez történt azzal a személlyel, aki feltette a kérdést. A válaszuk az volt, hogy a robots.txt fájlba egy sort adtak, ami megakadályozza, hogy a Google indexelje a fájlt. De a Google egyébként is indexelte ezeket a spam jellegű keresés által generált URL-eket.
A Robots.txt által letiltott Google indexelt oldalak
Valaki közzétette a Redditen, hogy ügyfele Shopify keresőmezője spam jellegű weboldalakat generált spamküldő lekérdezésekre, és hogy a Google indexeli ezeket annak ellenére, hogy egy robots.txt fájl megtiltotta a Google-nak az oldalak indexelését. Az ügyfél azt tette, hogy átirányította a spam jellegű URL-eket egy másik weboldalra. A kérdést feltevő személy nem kérdezte meg, hogyan lehet leállítani az oldalak indexelését (ezt kellett volna megkérdeznie); megkérdezték, hogy az átirányított URL-eket 404-es jelöléssel kell-e megjelölni.
Az illető megkérdezte:
„Egy ügyfél Shopify áruházában dolgozunk, ahol a /search letiltásra került a robots.txt fájlba, de ezek a keresési eredmények továbbra is a Google-on belül vannak indexelve.
Ha azonban megpróbálom megnyitni az egyik oldalt, akkor átirányítás van beállítva, és átirányítanak egy másik gyűjteményoldalra az áruházban. Mutassunk inkább egy 404-es oldalt? Mi a legegyszerűbb módja ennek a megoldásának?”
Miért indexelte a Robots.txt fájl a spameket?
John Mueller, a Google megtette az extra lépést az ügyfél robots.txt fájljának azonosítására és ellenőrzésére, és olyan hibát talált, amely miatt a Google figyelmen kívül hagyta azt az irányelvet, amely megtiltja a Googlebotnak a keresési eredményoldalak indexelését.
Mueller így válaszolt:
„Azt sem tudom biztosan, hogy az Ön webhelye-e, de azon, amelyet hasonló indexelt URL-ekkel találtam, a „user-agent: Googlebot” részek voltak (a megjegyzések „START: Egyéni szabályok” blokkjában), valamint még sok más a lentebb található „user-agent: *” szakaszban. A robots.txt esetén a konkrétabb szabályok nyernek, tehát ha van egy user-agent, akkor a következőt fogja használni a Google. a „user-agent: *” szakaszban található összes szabály alkalmazásához másolja azokat, ha ez az Ön webhelye, akkor felsorolhatja az összes felhasználói ügynököt, amelyekhez közös szabályokat szeretne alkalmazni, pl.
user-agent: googlebot
user-agent: otherbot
user-agent: imgsrc
user-agent: somethingpt
disallow: /halak
disallow: /narancs-macskák
… stb…”
A felhasználói ügynökspecifikus irányelvek elsőbbséget élveznek
Az történt, hogy az ügyfél arra támaszkodott, hogy a Google követi az utasításokat az összes felhasználói ügynökre vonatkozó „user-agent: *” sorban, de mivel a robots.txt fájlnak van egy másik része is, amely kifejezetten a Googlebotra vonatkozik, a Google figyelmen kívül hagyta a „user-agent: *” utasításokat, és betartotta azt, amely kifejezetten a Googlebotnak szólt.
Ez furcsának tűnhet a robots.txt működésében, de valójában logikus, mert ez lehetővé teszi a felhasználók számára, hogy meghatározott feltérképező robotokat célozzanak meg egyedi szabályokkal, és mindenki mást más szabályokkal.
Hogyan lehet megvédeni a keresőmező spamjét
A WordPress és a Shopify egyaránt rendelkezik módokkal a keresőmezők spamének csökkentésére.
A WordPress és a Shopify egyaránt rendelkezik módokkal a keresőmezők spamének csökkentésére.
Shopify keresőmező spamcsökkentés
A Shopify webhelyén található egy oktatóanyag arról, hogyan adhat hozzá automatikusan noindex direktívát az összes keresési eredményhez. Ez hatékonyan megakadályozza az összes keresési eredményoldal indexelését. Ahhoz azonban, hogy ez működjön, nem kell blokkolni a keresőoldalakat a robots.txt fájllal.
A noindex direktíva használata hatékonyabb, mint a robots.txt használata, mivel a robots.txt nem szabályozza az indexelést; csak a bejárást vezérli.
A Shopify utasításokat ad:
„A robots.txt.liquid fájlban nem szereplő oldalakat elrejtheti a
üzlete theme.liquid elrendezési fájljának részét. Az egyes oldalak indexelésének leállításához be kell adnia néhány metatag kódot.
A Shopify adminisztrátorában lépjen az Online Áruház > Témák menüpontra.
Keresse meg a szerkeszteni kívánt témát, kattintson a … gombra a műveletek menü megnyitásához, majd kattintson a Kód szerkesztése lehetőségre.
Az elrendezés mappában kattintson a theme.liquid fájlra.
A keresési sablon kizárásához illessze be a következő kódot egy üres sorba a
szakasz:
{% if template include ‘search’ %}
{% endif %}”
WordPress keresőmező spamcsökkentés
A WordPress segítségével meglehetősen könnyű csökkenteni a keresőmezők spamjét. A Yoast, Rank Math és AIOSEO SEO beépülő modulok felhasználói a keresési eredményoldalakat alapértelmezés szerint automatikusan noindexre állítják. Ezenkívül egyes oldalkészítők és témák, például a Divi (és annak Extra témája) automatikusan nem generálnak spam jellegű szavakat és URL-eket a keresésekre válaszul, hanem beszúrnak néhány mondatot, amely szerint a keresés nem hozott eredményt.
Robots.txt tudás
A hatékony SEO széles körű ismereteket igényel. A Robots.txt tartalmaz néhány furcsaságot, amelyek miatt a szándékoltnál kevésbé hatékony, ezért hasznos, ha elolvassa a hivatalos specifikációkat, hogy naprakész legyen.
