A Google közzétett egy új robot.txt frissítőt, amelyben elmagyarázza, hogy a robots.txt lehetővé teszi a kiadók és a SEO -k számára, hogy vezéreljék a keresőmotorok robotjait és más botokat (amelyek betartják a robots.txt -t). A dokumentáció példákat tartalmaz a konkrét oldalak (például a bevásárlókocsik) blokkolására, az egyes botok korlátozására és a mászó viselkedés egyszerű szabályokkal történő kezelésére.
Az alapoktól a fejlettig
Az új dokumentáció gyors bevezetést kínál a robots.txt számára, és fokozatosan tovább halad, hogy egyre fejlettebb lefedettséggel rendelkezzen arról, hogy a kiadók és a SEO -k mit tudnak tenni a robotok.txt -rel, és hogyan előnyös.
A dokumentum első részének fő lényege, hogy a robots.txt -t stabil webes protokollként vezesse be, amelynek 30 éves története van, amelyet széles körben támogatnak a keresőmotorok és más robotok.
A Google Search Console 404 hibaüzenetet fog jelenteni, ha a robots.txt hiányzik. Rendben van, hogy ez megtörténjen, de ha becsapja, hogy a GSC -ben 30 napot várhat, és a figyelmeztetés leesik. Az Alteratív egy üres robot.txt fájl létrehozása, amely a Google számára is elfogadható.
A Google új dokumentációja magyarázza:
„Hagyhatja a robotok.txt fájlt üresen (vagy egyáltalán nincs ilyen), ha az egész webhelye feltérképezhető, vagy szabályokat adhat hozzá a mászás kezeléséhez.”
Innentől az olyan alapokra terjed ki, mint például az egyedi oldalak vagy szakaszok korlátozására szolgáló egyedi szabályok.
A Robots.txt fejlett felhasználásai fedezik ezeket a képességeket:
- Megcélozhatja a különböző szabályokkal rendelkező konkrét robotokat.
- Engedélyezi az URL -minták, például a PDF -ek vagy a keresési oldalak blokkolását.
- Engedélyezi a szemcsés vezérlést az adott robotok felett.
- Támogatja a belső dokumentáció megjegyzéseit.
Az új dokumentáció úgy fejeződik be, hogy leírja, milyen egyszerű a robots.txt fájl szerkesztése (ez egy szöveges fájl egyszerű szabályokkal), tehát csak egy egyszerű szövegszerkesztőre van szüksége. Számos tartalomkezelő rendszernek lehetősége van szerkeszteni, és vannak olyan eszközök, amelyek tesztelhetők, ha a robots.txt fájl a megfelelő szintaxist használja.
Olvassa el az új dokumentációt itt:
Robotok Frissítő: Robots.txt – Rugalmas módja annak, hogy ellenőrizze, hogyan fedezi fel az Ön webhelyét
