robots.txt 是放在網站根目錄的說明檔，用來告訴搜尋引擎機器人哪些頁面可以爬取，在進行網站 SEO 優化時，也是很重要的技術檢測門檻。

設定好 robots.txt，更是管理爬取預算、讓網站能被正確收錄，確保重要頁面被精準索引的關鍵第一步。

這篇文章就帶你搞懂 robots.txt 的運作原理、常見語法，以及實務上的設定教學，讓你的網站跟搜尋引擎溝通無礙：）

• 什麼是 robots.txt？
• robots txt 用途：對 SEO 有什麼影響？
• GEO 興起後，robots.txt 怎麼改變策略？
• robots.txt 基本設定流程（SEO 人員操作指南）
• robots.txt 常見指令一次搞懂
• WordPress 網站的 robots.txt 怎麼設定？
• 常見問題
• 聯絡犬哥網站

---

介紹 robots.txt

robots.txt 是一個放在網站 根目錄 下的純文字檔案，作用是告訴搜尋引擎和其他網路爬蟲：哪些網頁可以存取、哪些不應該被存取。

不過要特別注意，robots.txt 這個「 爬蟲排除協議 」不是強制規範。合規爬蟲會遵守，但 robots.txt 沒有技術限制能力，去阻止惡意爬蟲無視協議，強行抓取資料。

robots.txt 的運作原理

當搜尋引擎的爬蟲準備造訪一個網站時，通常會先讀取根目錄底下的 robots.txt 檔案，像是 Googlebot、Bingbot 這類合規爬蟲，會確實遵守裡面設定的規則，該避開的就不會爬取。

延伸閱讀：《 Googlebot 是什麼？網路爬蟲 & AI 爬蟲對 SEO / GEO 的影響 》。

但如果是一些惡意爬蟲，例如專門蒐集資料、發送垃圾訊息的程式，就可能完全無視這份告示牌，直接闖進去抓取內容。

robots.txt 阻擋爬蟲的 3 大正確認知

一、擋爬蟲 ≠ 不會被收錄

不是在 robots.txt 設定 Disallow，就絕對不會出現在搜尋結果裡。

如果有其他外部連結指向這個頁面，搜尋引擎還是有可能把這個網址收錄進索引裡，只是不會顯示網頁的內容摘要而已。

如果你的目的是要完全阻止某個頁面被收錄，正確做法應該是使用 meta robots noindex 標籤阻擋，或是在 GSC 工具裡設定移除索引。更多《 GSC 教學＋關鍵字技巧 》。

二、管理爬取 ≠ 排名優化

robots.txt 的核心作用是 管理爬取效率，引導爬蟲把資源花在真正重要的頁面上，並不會直接影響你的關鍵字排名。

三、不建議過度封鎖

不要因為想保護網站，就盲目地把太多頁面設定為 Disallow，或是把 CSS、JavaScript、圖片資料夾封鎖起來。

這樣做可能會不小心擋到重要網頁，導致這些頁面無法被正常爬取或顯示，長期下來反而會影響網站在搜尋引擎上的整體表現。

---

robots txt 用途：對 SEO 有什麼影響？

robots.txt 雖然不會直接影響排名，但正確設定，能讓你的網站在搜尋引擎眼中更有效率、更聚焦。

影響一：控制爬取預算

每個網站每天被搜尋引擎分配到的檢索資源，其實是有限的，這就是所謂的 爬取預算（Crawl Budget）。

透過 robots.txt 適當地阻擋這些非必要頁面，就能把爬取預算集中留給真正重要的內容，讓核心頁面優先被搜尋引擎發現與收錄。

影響二：避免重複內容與低價值頁被收錄

網站經營久了，難免會出現一些 重複內容 或 低價值頁面，像是列印用頁面、搜尋結果頁、標籤分類頁等，如果放任這些頁面被大量爬取，可能稀釋掉重要頁面的權重。

這時候透過 robots.txt 限制爬取這些頁面，就能有效減輕伺服器壓力，也讓搜尋引擎更容易分辨出網站真正有價值的內容在哪裡。

影響三：阻擋特定機器人

除了管理主流搜尋引擎的爬取範圍，robots.txt 也能用來 管理特定機器人 的訪問權限。

近年隨著 生成式 AI 越來越普及，許多 AI 爬蟲會蒐集網路上的內容來訓練模型，如果你不希望自己的原創內容被拿去訓練 AI，就可以透過 robots.txt 指定阻擋。

或是你的網站主要客群集中在特定市場，也可以選擇性地限制某些不必要的搜尋引擎爬蟲造訪，避免資源被不相關的機器人佔用。

---

GEO 興起後，robots.txt 怎麼改變策略？

隨著 AI 搜尋越來越普及，搜尋引擎的運作模式正在改變，robots.txt 的角色也開始出現新的變化。

GEO 與傳統 SEO 的差異

主要差別在於，SEO 優化的是排名，GEO 優化的則是「 被 AI 引用的機率 」。

過往我們習慣針對 Google、Bing 等傳統搜尋引擎做優化，但現在使用者越來越習慣直接向 AI 提問並取得整合好的答案，被 AI 引用 變成一種新的曝光戰場。

robots.txt 現在不只是在跟傳統搜尋引擎溝通，也變成你要不要讓 AI 模型認識你、引用你的其中一道關卡。

認識常見 AI 爬蟲

每個 AI 爬蟲的用途不同，有些是用於長期模型訓練，抓取的內容可能會變成 AI 知識庫的一部分；有些則是用在即時搜尋引用，用 RAG 技術 去網站抓取最新資訊來組成答案。

• GPTBot：用來蒐集網路內容，協助訓練 OpenAI 旗下的模型。
• ClaudeBot：Anthropic 的爬蟲，同樣用於蒐集資料供模型訓練使用。
• Google-Extended：專屬 Google 的 AI 功能（如 Gemini、AI Overviews），與一般 Googlebot 是分開管理的。
• PerplexityBot：Perplexity 用來即時搜尋、整理答案的爬蟲，跟訓練型爬蟲的用途不太一樣。

robots.txt 該怎麼針對 AI 爬蟲設定？

這些 AI 爬蟲到底該開放還是封鎖，沒有標準答案，需要依照 產業特性、內容類型與品牌經營方向 綜合判斷。

如果你希望被 AI 搜尋引擎引用、增加品牌曝光機會，就應該開放讓 AI 爬蟲能順利讀取你的內容。

如果你擔心辛苦產出的內容被過度擷取，或因為零點擊搜尋，讓流量被 AI 生成的答案取代，那就可以考慮封鎖部分 AI 爬蟲。

如果你是內容型媒體，可能更在意流量與原創內容保護；但如果你是專業服務業，被 AI 引用反而是建立權威感、增加信任度的好機會，這時候開放反而更有利。

除了 robots.txt，近期也出現了一種針對 AI 爬蟲的「 llms.txt 」檔案，告訴它哪些頁面內容最完整、最值得被引用，幫助 AI 更精準理解你的網站重點。

如果你想更深入了解 llms.txt 的用途與寫法，可以參考這篇《 生成式引擎優化必備！llms.txt 是什麼？ 》。 

AI 搜尋時代的應對

目前市面上大多數網站的 robots.txt，其實都還是舊時代設定的，很多網站可能在完全不知情的狀況下，就拒絕了被 AI 引用、搶佔 GEO 曝光機會的可能性。

如果你也不確定自己的網站目前對 AI 爬蟲是開放還是封鎖、也還沒有一套完整的 GEO 策略，其實可以找專業團隊協助盤點。

像是犬哥網站曾協助一家「 汽車零件製造商 」，主要服務 B2B 產業，因為零組件類型眾多，大量尺寸、型號的重複頁面耗費了大量爬取預算。

我們首先進行 robots.txt 設定更新，並調整內容結構讓 AI 更容易理解，最後成功將 SEO 搜尋流量提升 7 倍，海外諮詢量提升 3 倍，開拓歐美與東南亞新客源！

犬哥網站提供完整的 SEO & GEO 服務，從 網站結構 到 內容優化，協助你在傳統搜尋與 AI 搜尋時代同步佈局，歡迎點下方諮詢，聊聊你的網站現況：）

---

robots.txt 基本設定流程（SEO 人員操作指南）

這裡整理了一份完整的操作流程，就算你不是工程師，跟著步驟走，也能安心完成 robots.txt 基本設定。

Step 1：確認網站是否已有 robots.txt

在動手修改之前，先確認網站目前有沒有這個檔案。直接在瀏覽器輸入「 網域/robots.txt 」查看，例如：https://frankknow.com/robots.txt，就能看到目前的設定內容。

如果頁面顯示 404 錯誤，代表網站目前還沒有 robots.txt；如果有內容跑出來，就可以先檢查現有的規則，是不是符合你目前的需求。

Step 2：盤點該封鎖與該開放的路徑

接下來要做的是 盤點網站架構，列出哪些路徑該開放、哪些該封鎖。常見需要考慮封鎖的路徑類型包括：

• 後台管理頁：CMS 登入頁、管理系統相關路徑，這些對搜尋引擎和一般使用者來說都沒有意義，也可能涉及資安考量。

• 會員系統：會員登入、個人資料、訂單查詢等頁面，涉及個資，不適合被搜尋引擎爬取或收錄。

• 購物車：結帳流程、購物車頁面通常會產生大量動態參數，收錄了也沒有實際搜尋價值。

• 內部搜尋結果頁：使用者在網站內搜尋後產生的結果頁，內容重複性高，容易被視為低品質頁面。

Step 3：撰寫 robots.txt 檔案

撰寫 robots.txt 時注意，要使用 純文字編輯器 撰寫，例如記事本、VS Code，避免用 Word 這類會自動加入格式標記的軟體。

檔案編碼必須是 UTF-8、檔名是小寫的 robots.txt，避免出現亂碼或無法被爬蟲正確讀取的狀況。

Step 4：上傳至網站根目錄

檔案寫好之後，接下來要把 robots.txt 放在網站的根目錄底下，也就是路徑要是「 https://網域/robots.txt 」，如果放在子目錄裡（https://網域/blog/robots.txt），搜尋引擎不會去讀取。

如果你的網站結構是 「 子網域 」（blog.example.com），每個子網域都要有一個專屬的 robots.txt。

上傳完成後，建議再用瀏覽器直接輸入網址確認一次，確保檔案真的有成功被放到正確位置，而且能被正常開啟。

Step 5：用 Google Search Console 測試與驗證

設定完成後可以透過 Google Search Console，檢查確認語法是否正確，有沒有打錯規則或格式錯誤。

或是希望被收錄的重要頁面，沒有不小心被 Disallow 規則擋掉，讓網站流量下滑。

Step 6：定期追蹤索引狀態

robots.txt 設定完成後，建議要透過 Google Search Console 的涵蓋率報告定期檢查，觀察網站頁面的索引狀態是否符合預期。

尤其當網站架構調整、新增功能，或是加入了 AI 爬蟲相關規則之後，更需要回頭確認索引狀態有沒有跟著預期變化，才能確保 robots.txt 持續發揮應有的效果。

---

robots.txt 常見指令一次搞懂

robots.txt 的指令其實不多，每一個都有固定的用途，搞懂這幾個關鍵字，你就能看懂、也能自己動手寫規則了。

robots.txt 常見指令與符號

指令	用途
User-agent	指定規則適用的爬蟲對象
Disallow	禁止爬取的路徑
Allow	允許爬取的路徑（常用於例外情況）
Sitemap	告知網站地圖位置

除了上面幾個基本指令，robots.txt 也支援一些特殊符號，讓規則可以寫得更精準。

• 任意字元（ * ）：代表可以匹配任何一段文字，適合用來一次性地封鎖某一類型的路徑，不用每個網址都寫一行。

• 網址結尾（ $ ）：加在路徑最後面，代表「 網址必須完全以這段結尾 」，可以用來精準指定某種副檔名或特定結尾的頁面，避免誤傷其他相似路徑。

• 註解（ # ）：在規則前面加上井字號，代表這一行是給人看的「 註解說明 」，爬蟲會直接忽略，通常用來替自己或團隊成員標註每段規則的用途，方便日後維護。

常見寫法範例

1. 封鎖單一資料夾

網站後台、系統測試區或敏感資料夾（例如 /admin/），通常不希望被搜尋引擎抓取甚至公開在搜尋結果中：

這代表告訴所有爬蟲，不要爬取 /admin/ 這個資料夾底下的任何內容。

2. 封鎖所有爬蟲（整站封鎖）

當網站還在開發測試階段、或是內部測試機不想被搜尋引擎收錄時，可以使用這個設定：

這是最極端的寫法，/ 代表網站根目錄，等於告訴所有爬蟲「 整個網站都不要爬 」，正式上線後記得一定要拿掉。

3. 全站開放

如果你的網站已經正式上線，希望所有搜尋引擎爬蟲都能順暢抓取全站內容，可以這樣寫：

4. 只針對特定 AI 爬蟲設定規則

如果不希望自己的內容被 AI 爬蟲抓去當作訓練模型（LLM）的素材，但同時又希望網站能在 Google 正常被搜尋到，可以針對不同的 User-agent 分別設定：

熟悉這幾個符號的用法，就能讓你的 robots.txt 規則寫得更靈活、更精準，不用每次都寫一長串重複的路徑。

---

WordPress 網站的 robots.txt 怎麼設定？

如果你是用 WordPress 架站，robots.txt 設定更簡單，系統已經幫你做好了基本準備，只需要再針對不須爬取的頁面排除就好。

WordPress 預設的虛擬 robots.txt

就算你從來沒有手動建立過 robots.txt 檔案，WordPress 其實在架站一開始就會自動產生一份基本版本。

這份檔案通常會包含最基本的規則，例如封鎖後台管理相關路徑，同時開放大部分的公開內容給搜尋引擎爬取。

不過這份預設版本比較陽春，沒辦法針對你自己的網站架構、AI 爬蟲管理需求做客製化調整，如果想要更完整的控制權，還是建議進一步手動設定。

WordPress 外掛設定方式

WordPress 幾款熱門的 SEO 外掛，像是 Yoast SEO、Rank Math 等 SEO 外掛，都內建了 robots.txt 的編輯功能。

你只要登入 WordPress 後台，就能直接在外掛的設定介面裡，編輯 robots.txt 的內容。

這種方式不需要透過 FTP 上傳檔案，也不用擔心自己手動操作伺服器時，不小心把其他檔案搞壞，對非技術背景的人來說，操作門檻明顯降低不少。

如果不清楚該選擇哪一款，可以看看之前分享的比較文章《 Yoast vs Rank Math ：WordPress SEO 外掛比較，哪個更好？ 》。

---

常見問題

---

聯絡犬哥網站

在網頁設計＋AI SEO 行銷的過程中，或許會遇到一些解決不了問題，可以在下方留言給我，我會盡力協助解答！

接下來，額外分享 2 個實用資源，可有效幫助大家解決問題。

資源一：犬哥網站（專業 WordPress 網頁設計＆ AI SEO 行銷公司）

如果你沒時間自己架站，或是遇到網站沒有流量、Google 網站排名不理想，或是沒有被 AI 提及你的品牌。歡迎洽詢 犬哥網站（WordPress 網頁設計＆ AI SEO 行銷公司），請專家協助你會更容易！

我們有多年網頁設計、AI SEO 行銷經驗，加上上百個實戰案例，絕對能滿足您的需求！

資源二：WordPress 高手架站課＋SEO 排名飆升課（線上課程）

如果想學習更深入的 WordPress 架站技巧，或是想透過 SEO 關鍵字提升網站流量？

可以參考犬哥近期推出的這兩門課程，課程非常的扎實，都是犬哥自己實戰出來的經驗分享，不打高空只教你做出成績！