A Google közzétett egy magyarázatot, amely azt tárgyalja, hogy a tartalomszolgáltató hálózatok (CDN-ek) hogyan befolyásolják a keresési feltérképezést és javítják a SEO-t, de azt is, hogyan okozhatnak néha problémákat.
Mi az a CDN?
A Content Delivery Network (CDN) egy olyan szolgáltatás, amely gyorsítótáraz egy weboldalt, és egy olyan adatközpontból jeleníti meg, amely a legközelebb van az adott weboldalt kérő böngészőhöz. Egy weboldal gyorsítótárazása azt jelenti, hogy a CDN másolatot készít egy weboldalról, és eltárolja azt. Ez felgyorsítja a weboldalak kézbesítését, mivel most egy olyan szerverről szolgálják ki, amely közelebb van a webhely látogatójához, és kevesebb „ugrást” igényel az interneten a kiindulási szervertől a célállomásig (a webhely látogatójának böngészője).
A CDN-k további feltérképezést tesznek lehetővé
A CDN használatának egyik előnye, hogy a Google automatikusan növeli a feltérképezési sebességet, ha azt észleli, hogy a weboldalakat egy CDN-ről szolgálják ki. Ez vonzóvá teszi a CDN használatát a keresőoptimalizálók és a megjelenítők számára, akik aggódnak a Googlebot által feltérképezett oldalak számának növelése miatt.
Általában a Googlebot csökkenti a szerverről érkező feltérképezések számát, ha azt észleli, hogy az elér egy bizonyos küszöböt, ami a szerver lelassulását okozza. A Googlebot lelassítja a feltérképezés mértékét, amit fojtásnak neveznek. A „szabályozás” küszöbértéke magasabb, ha a rendszer CDN-t észlel, ami több oldal feltérképezését eredményezi.
Az oldalak CDN-ről történő kiszolgálásával kapcsolatban meg kell érteni, hogy az oldalak első kiszolgálásakor közvetlenül a szerverről kell kiszolgálni. A Google egy több mint millió weboldalt tartalmazó webhely példáját használja:
„Azonban az URL első elérésekor a CDN gyorsítótára „hideg”, ami azt jelenti, hogy mivel még senki nem kérte ezt az URL-t, a tartalmát a CDN még nem gyorsítótárazta, így a kiindulási szervernek továbbra is ki kell szolgáltatnia ezt az URL-t. legalább egyszer, hogy „felmelegítse” a CDN gyorsítótárát. Ez nagyon hasonlít a HTTP-gyorsítótárazás működésére is.
Röviden, még akkor is, ha a webáruházat CDN támogatja, a szerverének legalább egyszer ki kell szolgálnia ezt az 1 000 007 URL-t. Csak a kezdeti kiszolgálás után tud a CDN segíteni a gyorsítótáraival. Ez jelentős terhet jelent a „feltérképezési költségkeretre”, és a feltérképezési arány valószínűleg magas lesz néhány napig; ezt tartsa szem előtt, ha több URL-t tervez egyszerre elindítani.”
CDN-ek használatakor a feltérképezés visszafelé gyújtása
A Google azt tanácsolja, hogy vannak esetek, amikor a CDN feketelistára teheti a Googlebotot, és ezt követően blokkolja a feltérképezést. Ezt a hatást kétféle blokkként írják le:
1. Kemény blokkok
2. Puha blokkok
Kemény blokkolások történnek, amikor a CDN azt válaszolja, hogy szerverhiba történt. A rossz szerverhiba-válasz lehet 500 (belső szerverhiba), ami azt jelzi, hogy komoly probléma történik a szerverrel. Egy másik rossz szerverhiba válasz az 502 (rossz átjáró). Mindkét szerverhiba-válasz hatására a Googlebot lelassítja a feltérképezési sebességet. Az indexelt URL-eket a Google belsőleg menti, de a folyamatos 500/502 válaszok miatt a Google végül kihagyhatja az URL-eket a keresési indexből.
Az előnyben részesített válasz az 503 (a szolgáltatás nem elérhető), ami átmeneti hibát jelez.
Egy másik kemény blokk, amire figyelni kell, az, amit a Google „véletlenszerű hibáknak” nevez, vagyis amikor a szerver 200-as válaszkódot küld, ami azt jelenti, hogy a válasz jó volt (annak ellenére, hogy hibaoldalt jelenít meg ezzel a 200-as válasszal). A Google ismétlődőként értelmezi ezeket a hibaoldalakat, és kidobja őket a keresési indexből. Ez nagy probléma, mert időbe telhet az ilyen jellegű hibák helyreállítása.
Lágy blokk történhet, ha a CDN az „Ember vagy?” előugró ablakok (bot közbeiktatott hirdetések) a Googlebot számára. A közbeiktatott robotoknak 503-as szerverválaszt kell küldeniük, hogy a Google tudja, hogy ez átmeneti probléma.
A Google új dokumentációja kifejti:
„…amikor megjelenik a közbeiktatott hirdetés, csak ezt látják, nem az Ön fantasztikus webhelyét. Ezen bot-ellenőrző közbeiktatott hirdetések esetében erősen javasoljuk, hogy küldjön egyértelmű jelzést egy 503-as HTTP-állapotkód formájában az automatizált ügyfeleknek, például a feltérképező robotoknak, hogy a tartalom átmenetileg nem érhető el. Ez biztosítja, hogy a tartalom ne kerüljön automatikusan eltávolításra a Google indexéből.”
Lásd még: 9 tipp a feltérképezési költségkeret optimalizálásához SEO-hoz
Hibakeresési problémák az URL-ellenőrző eszközzel és a WAF-vezérlőkkel
A Google azt javasolja, hogy használja a Search Console URL-ellenőrző eszközét, hogy megtudja, hogyan szolgálja ki a CDN az Ön weboldalait. Ha a CDN tűzfal, az úgynevezett Web Application Firewall (WAF), IP-cím alapján blokkolja a Googlebotot, akkor képesnek kell lennie arra, hogy ellenőrizze a blokkolt IP-címeket, és hasonlítsa össze őket a Google hivatalos IP-listájával, hogy megtudja, valamelyikük szerepel-e a listán. .
A Google a következő CDN-szintű hibakeresési tanácsokat kínálja:
„Ha arra van szüksége, hogy webhelye megjelenjen a keresőmotorokban, erősen javasoljuk, hogy ellenőrizze, hogy az Önt érdeklő robotok hozzáférhetnek-e webhelyéhez. Ne feledje, hogy az IP-címek automatikusan blokkollistára kerülhetnek, anélkül, hogy tudná, ezért érdemes időnként bejelentkezni a tiltólistára, hogy webhelye sikeres legyen a keresésben és azon túl is. Ha a tiltólista nagyon hosszú (nem ellentétben ezzel a blogbejegyzéssel), próbálja meg csak az IP-tartományok első néhány szegmensét keresni, például a 192.168.0.101 helyett csak a 192.168-at keresse.”
További információért olvassa el a Google dokumentációját:
December feltérképezése: CDN-ek és feltérképezés
