A Google Keresőközpont új sorozatot indított „Crawling December” néven, hogy betekintést nyújtson abba, hogy a Googlebot hogyan térképezi fel és indexeli a weboldalakat.
A Google ebben a hónapban minden héten új cikket tesz közzé, amelyben a feltérképezési folyamat különböző aspektusait tárja fel, amelyekről nem esik szó gyakran, de jelentős hatással lehetnek a webhelyek feltérképezésére.
A sorozat első bejegyzése a feltérképezés alapjait ismerteti, és rávilágít a lényeges, de kevésbé ismert részletekre arról, hogy a Googlebot hogyan kezeli az oldal erőforrásait és a feltérképezési költségkereteket.
Feltérképezés alapjai
A mai webhelyek összetettek a fejlett JavaScript és CSS miatt, így nehezebb feltérképezni őket, mint a régi, csak HTML-t tartalmazó oldalakat. A Googlebot úgy működik, mint egy webböngésző, de eltérő ütemezéssel.
Amikor a Googlebot meglátogat egy weboldalt, először letölti a HTML-t a fő URL-ről, amely JavaScriptre, CSS-re, képekre és videókra hivatkozhat. Ezután a Google Web Rendering Service (WRS) a Googlebot segítségével tölti le ezeket az erőforrásokat a végső oldalnézet létrehozásához.
Íme a lépések sorrendben:
- Kezdeti HTML letöltés
- Feldolgozás a Web Rendering Service által
- Erőforrás lekérése
- Az utolsó oldal felépítése
Költségkeret-kezelés feltérképezése
Az extra erőforrások feltérképezése csökkentheti a fő webhely feltérképezési költségkeretét. Ennek elősegítésére a Google azt mondja, hogy „A WRS megpróbál gyorsítótárba helyezni az általa megjelenített oldalakon használt összes erőforrást (JavaScript és CSS).
Fontos megjegyezni, hogy a WRS gyorsítótár legfeljebb 30 napig működik, és nem befolyásolják a fejlesztők által beállított HTTP-gyorsítótárszabályok.
Ez a gyorsítótárazási stratégia segít megtakarítani a webhely feltérképezési költségkeretét.
Ajánlások
Ez a bejegyzés tippeket ad a webhelytulajdonosoknak a feltérképezési költségkeret optimalizálásához:
- Az erőforrás-felhasználás csökkentése: Használjon kevesebb erőforrást a jó felhasználói élmény megteremtéséhez. Ez segít megtakarítani a feltérképezési költségkeretet az oldal megjelenítése során.
- Host erőforrások külön: Helyezze el az erőforrásokat egy másik gazdagépnévre, például CDN-re vagy aldomainre. Ez segíthet elhárítani a feltérképezési költségkeretet a fő webhelyről.
- Használja bölcsen a gyorsítótár-lebontási paramétereket: Legyen óvatos a gyorsítótár-busting paraméterekkel. Az erőforrás-URL-ek megváltoztatásával a Google újraellenőrzi azokat, még akkor is, ha a tartalom ugyanaz. Ez elpazarolhatja a feltérképezési költségkeretet.
A Google arra is figyelmeztet, hogy az erőforrás-feltérképezés blokkolása a robots.txt fájllal kockázatos lehet.
Ha a Google nem tud hozzáférni a megjelenítéshez szükséges erőforrásokhoz, akkor gondjai lehetnek az oldal tartalmának beolvasásával és megfelelő rangsorolásával.
Összefüggő: 9 tipp a feltérképezési költségkeret optimalizálásához SEO-hoz
Monitoring eszközök
A Search Central csapata szerint a legjobb módja annak, hogy megtudja, milyen erőforrásokat térképez fel a Googlebot, ha ellenőrzi a webhely nyers hozzáférési naplóit.
A Googlebotot az IP-címe alapján azonosíthatja a Google fejlesztői dokumentációjában közzétett tartományok segítségével.
Miért számít ez?
Ez a bejegyzés három kulcsfontosságú pontot tisztáz, amelyek hatással vannak arra, hogy a Google hogyan találja meg és dolgozza fel webhelye tartalmát:
- Az erőforrás-kezelés közvetlenül befolyásolja a feltérképezési költségkeretet, így a szkriptek és stílusok CDN-eken való tárolása segíthet megőrizni azt.
- A Google 30 napig gyorsítótárazza az erőforrásokat a HTTP-gyorsítótár beállításaitól függetlenül, ami segít megőrizni a feltérképezési költségkeretet.
- A kritikus erőforrások letiltása a robots.txt fájlban visszaüthet, mivel megakadályozza, hogy a Google megfelelően jelenítse meg az oldalakat.
Ezeknek a mechanizmusoknak a megértése segít a keresőoptimalizálóknak és a fejlesztőknek jobb döntéseket hozni az erőforrás-tárhelyről és a kisegítő lehetőségekről – ezek a döntések közvetlenül befolyásolják, hogy a Google milyen jól tudja feltérképezni és indexelni webhelyeiket.
Összefüggő: Google figyelmeztet: Az URL-paraméterek feltérképezési problémákat okoznak
