爬取預算（Crawl Budget）是什麼？用 Google Search Console 診斷網站爬取效率的完整指南

你的網站，Googlebot 可能正在「白跑一趟」

如果你的網站有上千個頁面，但 Google 搜尋結果中卻只有幾百個被收錄，或者重要的新內容遲遲不出現，問題很可能出在「爬取預算」。這篇文章不會只告訴你定義，而是帶你用 GSC 診斷出根本原因，並一步步修復。

想像一下，Googlebot 就像一位快遞員，而爬取預算就是你分配給他每天的工作時間。如果這位快遞員把大部分時間都花在尋找和派送大量不重要的促銷傳單（低價值頁面），那真正重要的包裹（你的核心產品頁、新發布的文章）就可能因為時間不夠而延遲送達，甚至被擱置。爬取預算管理的目的，就是確保 Googlebot 能把寶貴的時間，用在派送最重要的「包裹」上。

一、爬取預算是什麼？為什麼它對你的網站很重要？

爬取預算是 Googlebot 在一段時間內，願意花多少「時間與資源」爬取你網站的配額。如果預算被浪費在低價值頁面上，你的重要頁面（如新產品、核心業務頁）就可能來不及被發現和收錄。根據 Google 的說明，這並非一個固定數字，而是由爬行速率限制（伺服器能多快回應）和爬行需求（Google 認為你的頁面多值得爬）動態決定的。

對台灣許多電商或大型內容網站而言，這個概念會從抽象理論變為真實的索引速度問題。當你的網站擁有數千甚至上萬個由篩選器、分頁參數產生的 URL 時，Googlebot 可能將大量配額耗費在這些重複性高、價值低的頁面上，導致真正希望被搜尋到的核心頁面遲遲無法進入索引。這直接影響了你的搜尋可見度與流量獲取效率。

二、如何用 GSC 診斷爬取預算問題？（逐步操作指南）

診斷的第一步是查看 Googlebot 實際的爬取行為。打開 Google Search Console（GSC），點選左側選單的「設定」，然後在頁面中找到「爬取」區塊，點擊「開啟爬取統計資料」報告。這裡是你觀察 Googlebot 現場工作狀態的最佳窗口。請著重觀察以下三個核心指標的趨勢，而不是單日數字：已爬取的請求總數、下載的位元組量，以及平均回應時間。

異常模式通常藏在趨勢裡。如果「已爬取的請求總數」很高，但「下載的位元組量」卻很低，這往往意味著 Googlebot 花費了大量請求去爬取很多「空洞」或價值極低的頁面，例如只返回一小段程式碼的 JavaScript 渲染頁面、大量 404 錯誤頁，或是充滿重複參數的 URL。另一種關鍵異常是「平均回應時間」持續偏高，這代表你的伺服器響應速度可能拖慢了 Googlebot 的工作節奏，導致它主動降低了爬取頻率以避免癱瘓你的伺服器。

三、哪些因素會消耗你的爬取預算？

大量低品質頁面、無限滾動網址、帶有太多參數的篩選頁面（常見於電商分面導航，指的是消費者篩選顏色、尺寸等條件後，網址產生如 ?color=red&size=M 這類大量參數的情況）、過慢的伺服器回應（TTFB，即 Time To First Byte，衡量伺服器回應速度的關鍵指標），以及未經優化的 JavaScript 渲染，都是預算的隱形殺手。我們在診斷客戶網站時，常見的「預算盜賊」包括：已下架商品但未返回正確 404 狀態的頁面、網站內的搜尋結果頁面、會員專屬頁面，以及因為網址參數（如 ?color=red&size=M）而生成的無數幾乎相同的列表頁。

以台灣電商為例，分頁問題尤為突出。假設一個分類有 500 個商品，系統自動產生了 10 頁列表（?page=1 到 ?page=10）。如果沒有妥善處理，Googlebot 可能會將爬取配額分散在這些分頁上，甚至重複爬取各分頁中重複出現的商品。更糟的是，如果每個商品頁因為排序、篩選又產生多個 URL 變體，頁面總數可能輕易突破萬計，迅速耗盡爬取配額，讓新品無法被及時發現。

四、優化爬取預算的具體策略與優先順序

修復的優先順序建議是：首先處理能立即釋放配額的技術問題，再進行結構性優化。立即行動的項目包括清理或修復所有 4xx 錯誤頁面，確保它們返回正確的 404 或 410 狀態碼，並更新指向它們的內部連結；同時，修復任何超過兩跳的重定向鏈，讓舊網址直接跳轉至最終目標頁面。

接下來，根據不同場景，使用合適的工具處理低價值頁面：1. 使用 noindex 標籤：適用於允許爬取但不希望出現在搜尋結果的頁面（例如站內搜尋結果、會員專屬頁面）。其作用機制是讓 Googlebot 在爬取時讀取到此指令後決定不將其索引。但請注意，noindex 本身不節省爬取預算，因為爬取動作仍會發生。2. 使用 robots.txt：適用於完全不希望 Googlebot 爬取的 URL（例如網站後台管理頁面、帶有大量篩選參數的無限列表頁）。其 Disallow 指令能在爬取階段就阻止 Googlebot 訪問這些 URL，從根本上節省配額。以台灣電商為例，可將分面篩選產生的 URL（如 ?color=red&size=M）加入 Disallow。3. 使用 canonical 標籤：用於處理重複或非常相似的頁面（例如帶有不同參數但內容實質相同的產品頁）。它能告訴 Googlebot 哪個是首選版本，讓其集中資源爬取與索引該版本，從而提升效率。

結構性優化方面，應確保網站架構清晰，讓重要頁面有良好的內部連結支持。例如，確保產品分類頁能有效連結到其下的所有商品頁。最後，提交一份準確的 XML Sitemap 至 GSC。Sitemap 的作用是主動向 Googlebot 提供你認為重要且應優先爬取的頁面清單，有助於引導其爬取資源的分配。在提交前，請確認 Sitemap 不包含被 noindex 或 Disallow 的頁面，保持其淨度。

五、快速自查：你的網站需要擔心爬取預算嗎？

在深入診斷前，你可以先快速回答以下三個問題：1. 你的網站總頁面數是否超過數千頁？2. 你是否頻繁發布新內容但 Google 收錄速度明顯很慢？3. 在 GSC 的爬取統計資料中，已爬取的請求總數與下載的位元組量的比例是否異常（例如請求數極高但位元組量很低）？

如果以上任何一個問題的答案是「是」，那麼你的網站很可能存在爬取效率問題，值得花時間按照本指南進行深入排查。反之，如果你的網站規模較小（例如頁面數在數百頁以內），且技術架構簡單，Googlebot 通常有足夠的資源在短時間內爬完全站，爬取預算可能不是你需要優先擔心的議題。

常見誤區與提醒

許多人對爬取預算管理存在誤解。第一個常見誤區是認為「只有超大型網站才需要管理爬取預算」。事實上，任何存在大量重複、無價值或錯誤頁面的網站，無論整體規模大小，都可能因為這些頁面過度消耗配額，導致重要內容收錄困難。第二個誤區是「盲目使用 robots.txt 封鎖大量頁面」，這可能導致依賴連結爬取的潛在重要頁面無法被發現，形成死角。正確做法是結合使用 robots.txt（阻止爬取）、noindex 標籤（允許爬取但阻止索引）與 Sitemap（引導爬取），並理解它們各自的適用場景。

例如，noindex 標籤的目的是阻止頁面被收錄在 Google 搜尋結果中，但 Googlebot 仍然需要消耗爬取配額去讀取帶有 noindex 的頁面，才能獲取這個指令。因此，noindex 本身並不能節省爬取預算。如果你的目標是讓 Googlebot 根本不去爬取某些 URL 以節省配額，應該使用 robots.txt 的 Disallow 指令。而 Sitemap 的作用則是主動告訴 Googlebot 你認為哪些頁面重要，建議它優先爬取，從而間接優化配額的分配效率。