A Google John Mueller válaszolt egy kérdésre az LLMS.TXT -ről, amely a duplikált tartalommal kapcsolatos, kijelentve, hogy nincs értelme, hogy ezt másolatú tartalomnak tekintik, de azt is kijelentette, hogy értelme lehet lépéseket tenni az indexelés megelőzésére.
Llms.txt
Az LLMS.TXT egy új tartalmi formátum-szabvány létrehozására irányuló javaslat, amelyet a nagy nyelvi modellek felhasználhatnak a weboldal fő tartalmának lekérésére anélkül, hogy más nem tartós adatokkal, például hirdetésekkel, navigációval és bármi máskal kellene foglalkozniuk, amely nem a fő tartalom. A webes kiadók számára lehetőséget kínál arra, hogy a legfontosabb tartalom kurátus, Markdown-formátumú változatát biztosítsák. Az llms.txt fájl egy webhely gyökérszintjén helyezkedik el (példa.com/llms.txt).
Az llms.txt -rel kapcsolatos egyes állításokkal ellentétben, a robots.txt céljából semmilyen módon nem hasonló. A robots.txt célja a robot viselkedésének ellenőrzése, míg az llms.txt célja a nagy nyelvi modellek tartalmának biztosítása.
Vajon a Google az llms.txt -t duplikált tartalomként tekinti?
Valaki a Bluesky -n megkérdezte, hogy a Google látható -e az LLMS.TXT -t duplikált tartalomként, ami jó kérdés. Előfordulhat, hogy a weboldalon kívüli személyek összekapcsolódhatnak az llms.txt -hez, és hogy a Google elkezdi a tartalmat a HTML -tartalom helyett vagy azon kívül felszínre.
Ez a kérdés:
„A Google az llms.txt fájlokat duplikált tartalomként fogja megtekinteni? Úgy tűnik, hogy merev nyakú, mivel tudják, hogy nem, és mi valójában.
Adjon hozzá egy „noindex” fejlécet az llms.txt számára a googlebothoz? ”
A Google John Mueller válaszolt:
„Ez csak akkor lenne másolat, ha a tartalom megegyezik a HTML -oldallal, amelynek nem lenne értelme (feltételezve, hogy a fájl hasznos volt).
Ennek ellenére a NoIndex használata értelmes lehet, mivel a webhelyek összekapcsolódhatnak vele, és egyébként indexelhetnek, ami furcsa lenne a felhasználók számára. ”
NoIndex for llms.txt
A NoIndex fejléc használata az llms.txt számára jó ötlet, mivel megakadályozza a tartalom megadását a Google indexébe. A robots.txt használata a Google blokkolásához nem szükséges, mert ez csak megakadályozza a Google -t abban, hogy mászja a fájlt, amely megakadályozza a NoIndex látását.
