Google Recommends Using 304 Status Code To Conserve Crawl Budget

A Google a 304-es állapotkód használatát javasolja a feltérképezési költségkeret megtakarításához

A Google frissítette feltérképezési költségkeretét, új információkkal arról, hogy a Google különböző feltérképező robotjai hogyan osztják meg a webhely feltérképezési kapacitását, és hozzáadott egy 304-es szerverválasz használatára vonatkozó ajánlást a feltérképező robotok által használt szervererőforrások mennyiségének csökkentése érdekében.

Mindkét kiegészítés a Google Optimalizálja a feltérképezési költségkeretét, amely a több mint egymillió oldalt tartalmazó vállalati webhelyekre és a gyorsan változó, több mint 10 000 weboldalt tartalmazó, közepes méretű webhelyekre vonatkozik. Bár a dokumentáció nem minden webhelyre vonatkozik, az ezen az oldalon található információk hasznosak a feltérképezés működésének megértéséhez.

A Google feltérképező robotjai megosztják a webhely feltérképezési kapacitását

A Google hozzáadta a következő részt:

"Bár minden bejárónak más a feltérképezési igénye, a feltérképezési kapacitás korlátja megoszlik az összes bejáró között. Ez azt jelenti, hogy az egyik bejáró nagy kereslete csökkentheti a többiek számára rendelkezésre álló kapacitást."

Ez azt jelenti, hogy ha egy webhelyet a Googlebot-Image és a Googlebot feltérképez, akkor mindkét feltérképező robot megosztja a webhely feltérképezési költségkeretét. A hatás az, hogy az egyik bot által végzett magas feltérképezési arány csökkentheti a többi Google-robot számára rendelkezésre álló kapacitást.

A Google 304-es szerverválaszt ajánl

A másik érdekes javaslat, amelyet a Google adott, a 304-es nem módosított szerver válaszkód használatára tett javaslat. A Mozilla Developer Network webes dokumentációja szerint:

"A HTTP 304 nem módosított átirányítási válasz állapotkódja azt jelzi, hogy nincs szükség a kért erőforrások újraküldésére."

A 304 Not Modified válaszkóddal az a helyzet, hogy nem történik átirányítás, bár technikailag minden 3xx szerver válaszkód átirányítási kódnak minősül. A technikai részletek ellenére semmi sem kerül átirányításra.

A Google frissített dokumentációja szerint:

"HTTP-gyorsítótár használata: Támogassa a 304-es (nem módosított) HTTP-állapotkódokat. Ha egy oldal nem változott a Google legutóbbi feltérképezése óta, a 304-es kód visszaadásával a Google újra használja a gyorsítótárazott verziót, ezzel megtakarítva a szerver sávszélességét és erőforrásait."

A 304-es nem módosított válasz azt jelzi a Google feltérképező robotjainak, hogy az oldal nem változott az utolsó feltérképezés óta. Ennek eredményeként a szerver nem szolgálja ki az oldalt a Googlebotnak, és a Googlebot más oldalak indexelésére összpontosíthat.

Olvassa el a Google frissített dokumentációját itt. Az itt leírt két változás az egyetlen új kiegészítés. Vannak más változtatások is, amelyek itt-ott pontosítják a Google dokumentációját, amelyeket itt dokumentálunk.