A Google csendesen frissítette a felhasználó által kiváltott szerelők listáját a Google NotebookLM új dokumentációjával. Ennek a látszólag kisebb változásnak az a fontossága, hogy egyértelmű, hogy a Google NotebookLM nem engedelmeskedik a robots.txt -nak.
Google NotebookLM
A NotebookLM egy AI kutatási és írási eszköz, amely lehetővé teszi a felhasználók számára, hogy hozzáadhassanak egy weboldal URL -jét, amely feldolgozza a tartalmat, majd lehetővé teszi számukra, hogy számos kérdést feltessenek és összefoglalókat generáljanak a tartalom alapján.
A Google eszköze automatikusan létrehozhat egy interaktív elme térképet, amely egy weboldalról szervezi a témákat, és kivonja az ebből.
A felhasználó által kiváltott szerelők figyelmen kívül hagyják a robots.txt-t
A Google felhasználó által kiváltott szerelők olyan webes ügynökök, amelyeket a felhasználók kiváltnak, és alapértelmezés szerint figyelmen kívül hagyják a robots.txt protokollot.
A Google felhasználó által kiváltott Fetchers dokumentációja szerint:
„Mivel a felhasználót egy felhasználó kérte, ezek a szerelők általában figyelmen kívül hagyják a robotok.txt szabályokat.”
A Google-notebookLm figyelmen kívül hagyja a robots.txt
A robots.txt célja, hogy a kiadóknak ellenőrizzék a weboldalak indexelését. De az olyan ügynökök, mint a Google-NotebookLM Fetcher, nem indexálják a webtartalmat, hanem azoknak a felhasználóknak a nevében, akik a Google NotebookLM-en keresztül kölcsönhatásba lépnek a weboldal tartalmával.
Hogyan lehet blokkolni a notebookLm -t
A Google a Google-NotebookLM Felhasználói ügynök a webhely tartalmának kinyerésekor. Tehát lehetséges, hogy a kiadók, akik el akarják akadályozni a felhasználókat, hogy hozzáférjenek a tartalomhoz, olyan szabályokat hozhatnak létre, amelyek automatikusan blokkolják a felhasználói ügynököt. Például egy egyszerű megoldás a WordPress Publishers számára az, hogy a WordFence felhasználásával egyéni szabályt hozzon létre, hogy blokkolja az összes webhely látogatóját, akik a Google-NotebookLM felhasználói ügynököt használják.
Egy másik módja annak, hogy a .htaccess a következő szabályt használja:
RewriteEngine On RewriteCond %{HTTP_USER_AGENT} Google-NotebookLM [NC] RewriteRule .* - [F,L]
