![Complete Crawler List For AI User-Agents [Dec 2025]](https://eoldal.hu/wp-content/uploads/2025/12/Teljes-felterkepezo-lista-az-AI-felhasznaloi-ugynokokhoz-Dec-2025.jpg)
A mesterséges intelligencia láthatósága döntő szerepet játszik a keresőoptimalizálók számára, és ez az AI-robotok vezérlésével kezdődik. Ha a mesterséges intelligenciarobotok nem férnek hozzá az oldalaihoz, Ön láthatatlan az AI-felderítő motorok számára.
A másik oldalon a nem felügyelt mesterséges intelligencia bejárók túlzott kérésekkel terhelhetik meg a szervereket, összeomlásokat és váratlan tárhelyszámlákat okozva.
A felhasználói ügynök karakterláncok nélkülözhetetlenek annak szabályozásához, hogy mely mesterséges intelligenciarobotok férhessenek hozzá webhelyéhez, de a hivatalos dokumentáció gyakran elavult, hiányos vagy teljesen hiányzik. Ezért hasznos referenciaként összeállítottuk az AI-robotok ellenőrzött listáját a tényleges szervernaplóinkból.
Minden felhasználói ügynök hitelesítésre kerül a hivatalos IP-listák alapján, ha rendelkezésre állnak, így biztosítva a pontosságot. Karbantartjuk és frissítjük ezt a listát, hogy elkapjuk az új feltérképező robotokat és a meglévők módosításait.
A teljes ellenőrzött mesterségesintelligencia-feltérképező lista (2025. december)
| Név | Cél | SEJ feltérképezési sebessége (oldal/óra) | Ellenőrzött IP-lista | A Robots.txt letiltása | Teljes felhasználói ügynök |
|---|---|---|---|---|---|
| GPTBot | AI képzési adatgyűjtés GPT modellekhez (ChatGPT, GPT-4o) | 100 | Hivatalos IP-lista | Felhasználói ügynök: GPTBot Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, mint a Gecko; kompatibilis; GPTBot/1.3; +https://openai.com/gptbot) |
| ChatGPT-Felhasználó | AI-ügynök valós idejű webböngészésre, amikor a felhasználók interakcióba lépnek a ChatGPT-vel | 2400 | Hivatalos IP-lista | User-agent: ChatGPT-User Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, mint a Gecko); összeegyeztethető; ChatGPT-Felhasználó/1.0; +https://openai.com/bot |
| OAI-SearchBot | AI keresési indexelés a ChatGPT keresési funkcióihoz (nem képzéshez) | 150 | Hivatalos IP-lista | Felhasználói ügynök: OAI-SearchBot Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, mint a Gecko) Chrome/131.0.0.0 Safari/537.36; összeegyeztethető; OAI-SearchBot/1.3; +https://openai.com/searchbot |
| ClaudeBot | AI képzési adatgyűjtés Claude modellekhez | 500 | Hivatalos IP-lista | Felhasználói ügynök: ClaudeBot Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, mint a Gecko; kompatibilis; ClaudeBot/1.0; +claudebot@anthropic.com) |
| Claude-User | AI-ügynök a valós idejű web-hozzáféréshez, amikor Claude-felhasználók böngésznek | <10 | Nem elérhető | User-agent: Claude-User Disallow: /sample-mappa |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, mint a Gecko; kompatibilis; Claude-User/1.0; +Claude-User@anthropic.com) |
| Claude-SearchBot | AI keresési indexelés a Claude keresési képességeihez | <10 | Nem elérhető | Felhasználói ügynök: Claude-SearchBot Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, mint a Gecko; kompatibilis; Claude-SearchBot/1.0; +https://www.anthropic.com) |
| Google-CloudVertexBot | AI-ügynök a Vertex AI Agent Builderhez (csak a webhelytulajdonosok kérésére) | <10 | Hivatalos IP-lista | Felhasználói ügynök: Google-CloudVertexBot Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36 (KHTML, mint a Gecko) Chrome/141.0.7390.122 Mobile Safari/537.36 (kompatibilis; Google-CloudVertexBloot).search/ |
| Google-Extended | A Googlebot által feltérképezett tartalom mesterséges intelligenciájának oktatását vezérlő token. | User-agent: Google-Extended Engedélyezés: / Disallow: /private-folder |
|||
| Gemini-Deep-Research | AI kutatóügynök a Google Gemini Deep Research funkciójához | <10 | Hivatalos IP-lista | Felhasználói ügynök: Gemini-Deep-Research Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, mint a Gecko; kompatibilis; Gemini-Deep-Research; +https://gemini.google/overview/deep-research/) Chrome/135.0.0.0 Safari/537.36 |
| Ikrek csevegése, amikor a felhasználó weboldal megnyitását kéri | <10 | ||||
| Bingbot | A Bing Search és a Bing Chat (másodpilóta) AI válaszol | 1300 | Hivatalos IP-lista | Felhasználói ügynök: BingBot Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, mint a Gecko; kompatibilis; bingbot/2.0; +http://www.bing.com/bingbot.htm) Chrome/116.0.1938.76 Safari/537.36 |
| Applebot-Extended | Nem feltérképezi, hanem szabályozza, hogy az Apple hogyan használja fel az Applebot adatait. | <10 | Hivatalos IP-lista | Felhasználói ügynök: Applebot-Extended Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/605.1.15 (KHTML, mint a Gecko) Verzió/17.4 Safari/605.1.15 (Applebot/0.1; +http://www.apple.com/go/applebot) |
| PerplexityBot | AI keresési indexelés a Perplexity válaszmotorjához | 150 | Hivatalos IP-lista | Felhasználói ügynök: PerplexityBot Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, mint a Gecko; kompatibilis; PerplexityBot/1.0; +https://perplexity.ai/perplexitybot) |
| Zavartság-Felhasználó | AI-ügynök valós idejű böngészéshez, amikor a Perplexity-felhasználók információkat kérnek | <10 | Hivatalos IP-lista | User-agent: Perplexity-User Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, mint a Gecko; kompatibilis; Perplexity-User/1.0; +https://perplexity.ai/perplexity-user) |
| Meta-ExternalAgent | AI képzési adatgyűjtés a Meta LLM-eihez (Lámák stb.) | 1100 | Nem elérhető | User-agent: meta-externalagent Engedélyezés: / Disallow: /private-folder |
meta-externalagent/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler) |
| Meta-WebIndexer | szokott javítja a Meta AI keresést. | <10 | Nem elérhető | User-agent: Meta-WebIndexer Engedélyezés: / Disallow: /private-folder |
meta-webindexer/1.1 (+https://developers.facebook.com/docs/sharing/webmasters/crawler) |
| Bytespider | AI képzési adatok a ByteDance LLM-ei számára olyan termékekhez, mint a TikTok | <10 | Nem elérhető | User-agent: Bytespider Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 (Linux; Android 5.0) AppleWebKit/537.36 (KHTML, mint a Gecko) Mobile Safari/537.36 (kompatibilis; Bytespider; https://zhanzhang.toutiao.com/) |
| Amazonbot | AI képzés az Alexa és más Amazon AI szolgáltatások számára | 1050 | Nem elérhető | Felhasználói ügynök: Amazonbot Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, mint a Gecko; kompatibilis; Amazonbot/0.1; +https://developer.amazon.com/support/amazonbot) Chrome/119.0.6045.214 Safari/537.36 |
| DuckAssistBot | AI keresési indexelés a DuckDuckGo keresőmotorhoz | 20 | Hivatalos IP-lista | Felhasználói ügynök: DuckAssistBot Engedélyezés: / Disallow: /private-folder |
DuckAssistBot/1.2; (+http://duckduckgo.com/duckassistbot.html) |
| MistralAI-Felhasználó | A Mistral valós idejű idézet-lekérője a „Le Chat” asszisztens számára | <10 | Nem elérhető | User-agent: MistralAI-User Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 AppleWebKit/537.36 (KHTML, mint a Gecko; kompatibilis; MistralAI-User/1.0; +https://docs.mistral.ai/robots) |
| Webz.io | Más mesterséges intelligenciát oktató cégek által használt adatkinyerés és webkaparás. Korábban Omgili néven ismerték. | <10 | Nem elérhető | User-agent: webzio Engedélyezés: / Disallow: /private-folder |
webzio (+https://webz.io/bot.html) |
| Diffbot | Adatkinyerés és webkaparás, amelyet a vállalatok világszerte használnak. | <10 | Nem elérhető | Felhasználói ügynök: Diffbot Engedélyezés: / Disallow: /private-folder |
Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.1.2) Gecko/20090729 Firefox/3.5.2 (.NET CLR 3.5.30729; Diffbot/0.1; +http://www.diffbot.com) |
| ICC-Crawler | AI és gépi tanulási adatgyűjtés | <10 | Nem elérhető | User-agent: ICC-Crawler Engedélyezés: / Disallow: /private-folder |
ICC-Crawler/3.0 (Mozilla-kompatibilis; ; https://ucri.nict.go.jp/en/icccrawler.html) |
| CCBot | Nyílt forráskódú webarchívum, amelyet több mesterségesintelligencia-cég képzési adatként használ | <10 | Hivatalos IP-lista | Felhasználói ügynök: CCBot Engedélyezés: / Disallow: /private-folder |
CCBot/2.0 (https://commoncrawl.org/faq/) |
A fenti felhasználói ügynök karakterláncok mindegyikét ellenőrizték a Search Engine Journal szervernaplóiban.
Népszerű AI-ügynökrobotok azonosíthatatlan felhasználói ügynökkel
Azt találtuk, hogy a következők nem azonosították magukat:
- you.com.
- A ChatGPT ügynöke, operátor.
- A Bing másodpilóta chatje.
- Grok.
- DeepSeek.
A bejáró weboldalak elérését más módon nem lehet nyomon követni, mint az explicit IP-cím azonosítását.
Felállítottunk egy csapdaoldalt (e.g., /specific-page-for-you-com/) és az oldalon található csevegés segítségével felszólította a you.com webhelyet, hogy látogassa meg, lehetővé téve számunkra, hogy megtaláljuk a megfelelő látogatási rekordot és IP-címet a szervernaplókban. Alább látható a képernyőkép:
Mi a helyzet az Agentic AI böngészőkkel?
Sajnos az olyan mesterséges intelligencia böngészők, mint például a Comet vagy a ChatGPT’s Atlas, nem különböztetik meg magukat a felhasználói ügynök karakterláncban, és nem lehet őket azonosítani a szervernaplókban, és nem keverednek a normál felhasználók látogatásaival.
Ez kiábrándító a keresőoptimalizálók számára, mert az ügynökböngészős webhelylátogatások nyomon követése fontos a POV jelentése szempontjából.
Hogyan lehet ellenőrizni, hogy mi térképezi fel a szerverét
Egyes tárhelyszolgáltatók olyan felhasználói felületet (UI) kínálnak, amely megkönnyíti a szervernaplók elérését és megtekintését, attól függően, hogy milyen tárhelyszolgáltatást használ.
Ha az Ön tárhelye ezt nem kínálja, szerezhet be szervernaplófájlokat (általában ezek találhatók /var/log/apache2/access.log Linux alapú szervereken) FTP-n keresztül, vagy kérje a szerver támogatásától, hogy küldje el Önnek.
Ha megvan a naplófájl, megtekintheti és elemezheti azt a Google Sheetsben (ha a fájl CSV formátumú), a Screaming Frog’s naplóelemzőben, vagy ha a naplófájl 100 MB-nál kisebb, megpróbálhatja elemezni a Gemini AI segítségével.
Hogyan lehet ellenőrizni a jogos vs. Hamis Botok
A hamis feltérképező robotok meghamisíthatják a jogos felhasználói ügynököket, hogy megkerüljék a korlátozásokat és agresszíven lekaparják a tartalmat. Például bárki kiadhatja magát ClaudeBotnak a laptopjáról, és feltérképezési kérelmet kezdeményezhet a terminálról. A szervernaplójában látni fogja, ahogy Claudebot feltérképezi:
curl -A 'Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)' https://example.comAz ellenőrzés segíthet megtakarítani a szerver sávszélességét, és megakadályozhatja a tartalom illegális begyűjtését. Az alkalmazható legmegbízhatóbb ellenőrzési módszer a kérés IP-címének ellenőrzése.
Ellenőrizze az összes IP-címet, és ellenőrizze, hogy megfeleljen-e a fent felsorolt hivatalosan bejelentett IP-címeknek. Ha igen, engedélyezheti a kérést; ellenkező esetben blokkolja.
Különböző típusú tűzfalak segíthetnek ebben az engedélyezési listán ellenőrzött IP-címeken keresztül (amelyek lehetővé teszik a legitim botkérések átjutását), és minden más kérés, amely az AI-robotokat megszemélyesítő felhasználói ügynök-karakterláncukban blokkolva van.
Például a WordPressben használhatja a Wordfence ingyenes beépülő modulját, hogy engedélyezőlistára helyezze a legitim IP-címeket a hivatalos listákról (mint fent), és blokkoló egyéni szabályokat adhat hozzá az alábbiak szerint:
Az engedélyezési lista szabálya jobb, és lehetővé teszi, hogy a legitim bejárók áthaladjanak, és blokkolják a különböző IP-címekről érkező megszemélyesítési kérelmeket.
Azonban vegye figyelembe, hogy lehetséges az IP-cím meghamisítása, és ebben az esetben, ha a bot felhasználói ügynököt és az IP-címeket hamisítják, nem tudja letiltani.
Következtetés: Maradjon kézben az AI-robotok a megbízható mesterségesintelligencia-láthatóság érdekében
A mesterséges intelligenciarobotok ma már webes ökoszisztémánk részét képezik, és az itt felsorolt robotok az internetet jelenleg indexelő fő mesterséges intelligencia-platformokat képviselik, bár ez a lista valószínűleg bővülni fog.
Rendszeresen ellenőrizze a szervernaplókat, hogy megtudja, valójában mi üti meg webhelyét, és győződjön meg arról, hogy véletlenül nem blokkolja az AI-robotokat, ha az AI keresőmotorokban való láthatóság fontos vállalkozása számára. Ha nem szeretné, hogy mesterséges intelligenciarobotok hozzáférjenek tartalmaihoz, blokkolja őket a robots.txt fájlon keresztül a felhasználói ügynök nevével.
Ezt a listát folyamatosan frissítjük, amint új feltérképező robotok jelennek meg, és frissítjük a meglévőket, ezért javasoljuk, hogy vegye fel a könyvjelzők közé ezt az URL-t, vagy rendszeresen olvassa el ezt a cikket, hogy az AI-robotok listája naprakész legyen.
