劉宇 · Tianwen SEO Research 研究筆記本
llms.txt 是什麼：要不要給 AI 爬蟲寫說明書
每隔一陣就會冒出一個「不做就落後」的新東西，llms.txt 是最近的一個。我的態度是先看清它的證據，再決定投多少時間。結論是：可以寫，但別把它當救命稻草。
先帶走這幾個判斷
- llms.txt 是在網站根目錄放一個 Markdown 檔案，列出你希望大模型優先讀的頁面。
- 它目前不是官方標準，也沒有主流模型公開承諾會讀。寫它的收益沒有可靠證據支撐。
- Ahrefs 2026-10-12 的 1500 萬查詢研究顯示，模型檢索時會拆成多路子查詢去抓真實頁面，這決定了內容本身比清單更重要。
- Semrush 2026-10-12 講 AI 可見度儀表板時，重點是測量而不是設定檔。
- 我的建議：花半小時加一個可以，但不要為了它推遲內容更新。
權威站最近測到了什麼？
先說一件很重要的事：在我看到的 2026 年公開研究裡，主流機構談 AI 搜尋時，重點都放在內容和測量上，而不是某個設定檔。Ahrefs 在 2026-10-12 的《How ChatGPT Does Query Fan-Out（1500 萬查詢研究）》裡，分析的是模型怎麼拆問題、檢索哪些頁面。這直接影響 llms.txt 的價值判斷：如果模型是按子查詢去抓真實網頁，那麼一個首頁清單能起的作用是有限的。
Semrush 在 2026-10-12 的《How to build an AI visibility dashboard》講的是怎麼把 AI 可見度變成能日常看的指標。這類工作的前提是承認可見度來自內容被採用，而不是來自一份聲明檔案。
Ahrefs 2026-07-06 那篇 33.1 萬頁的研究也是同一個方向：被處理的是壞內容。把這三篇放在一起，你會看到一個共同的落點——AI 搜尋的勝負手在內容品質與可存取性，不在是否存在某個新檔案。
llms.txt 到底是什麼？
它是在你網站根目錄放一個純文字 Markdown 檔案，路徑寫成 /llms.txt。裡面用列表列出你最重要的頁面，每條給一個標題和一句說明，讓大模型比較容易找到「這站有什麼值得讀的」。
提出這個想法的邏輯是合理的：模型的上下文有限，如果有份現成的清單，就不用從頭爬。但合理不等於被採用。搜尋引擎當年接受 sitemap，是因為主流引擎一起支援；llms.txt 目前沒有走到這一步，各家的抓取和檢索策略也不公開。
所以它現在的實際狀態是一個「低成本可選動作」：做了不一定有回報，不做也看不出損失。凡是這種狀態的東西，都不值得你在上面下重注。相關背景可以對照sitemap 是什麼來理解標準和非標準的區別。
目前的證據有多少？
我沒有找到可信的來源，能證明加了 llms.txt 之後 AI 引用或引薦流量出現穩定提升。也沒有主流模型廠商公開說明會優先讀取這個檔案。這不是說它一定沒用，而是說目前證據不足。
反過來，關於內容與可抓取性的證據是充分的。Ahrefs 2026-10-12 的查詢扇出研究、2026-07-06 的 33.1 萬頁研究，都指向內容本身。Semrush 2026-05-06 講 ChatGPT 流量追蹤時，也是從數據側入手。
還有一個常被忽略的點：如果模型根本抓不到你的頁面，寫再好的清單也沒用。你可以先確認基礎項——頁面可存取、沒有誤攔爬蟲、主要內容不是靠腳本才顯示。這些檢查比新增一個檔案重要得多。相關做法見Googlebot 內容可存取性和WordPress 攔 AI 爬蟲這件事。
我自己做過一個很小的檢查：把主力頁面的 HTML 抓下來，看正文在不執行 JavaScript 的情況下能不能讀到。結果有幾頁的產品參數是腳本渲染的，直接抓只拿到一個空殼。這類問題比有沒有 llms.txt 重要得多，因為模型拿不到內容，後面所有討論都沒有意義。修法通常不複雜，讓主題或外掛把關鍵內容輸出成靜態 HTML 即可。可結合JavaScript 與 SEO一起排查。
它和 sitemap、robots 是什麼關係？
| 檔案 | 給誰看 | 成熟度 | 優先做 |
|---|---|---|---|
| robots.txt | 所有爬蟲，控制能不能抓 | 業界標準 | 必須先做對 |
| sitemap.xml | 搜尋引擎，幫助發現頁面 | 業界標準 | 必須做 |
| llms.txt | 大模型，建議讀哪些頁 | 社群約定 | 有餘力再做 |
順序就是這麼清楚。robots.txt 寫錯會直接擋掉爬蟲，這是真損失；sitemap 能幫搜尋引擎發現新頁面，這是基礎；llms.txt 屬於錦上添花。有人把 llms.txt 說成「AI 時代的 robots.txt」，這個類比不準確——robots 是控制，llms.txt 是建議，兩者的強制力完全不同。相關規範見robots、noindex、canonical 與 sitemap 的用法。
要寫的話，怎麼寫才不浪費時間？
如果你決定加一個，控制在半小時內。結構很簡單：頂部一句網站說明，下面按類別列頁面，每條格式是「標題：連結：一句話說明」。挑 20 到 40 個頁面，選真正重要的：主力產品頁、核心問答頁、公司介紹、認證頁。不要全站上。
寫完就放著，不要每週維護。它不像 sitemap 那樣需要跟著內容自動更新；如果維護成本超過收益，那就乾脆別加。把時間省下來改一頁有曝光沒點擊的內容，回報更確定，具體做法見可被引用的答案段落怎麼寫。
有一類站值得稍微重視這件事：產品線很多、頁面結構複雜、模型容易抓錯重點的站。這時一份清單確實能幫助指路。但它仍然是輔助，不是決定性因素。可配合結構化資料一起梳理網站結構。
最後提醒一句：不要把 llms.txt 寫成一個行銷頁面。有些站把它做成「我們公司多優秀」的簡介，那就走偏了。它的作用是導覽，不是說服。連結要指向真實的、能被抓到的頁面，說明要寫這一頁回答什麼問題，不要寫形容詞。如果某條連結指向 404 或需要登入，反而會浪費一次被讀的機會。
還有一個更樸素的判斷：如果這份檔案刪掉之後，你的站沒有任何變化，那它大概只是心理安慰。真正有用的技術動作，刪掉之後會立刻出問題，比如 sitemap、robots、網站地圖提交。用這個標準去衡量，你會更清楚該把時間放在哪裡。可以把省下的時間用來更新三頁有曝光沒點擊的內容，回報更確定。
低成本落地清單
三步，總共不超過一小時。
- 先查 robots 和可存取性：確認沒有誤攔主要爬蟲，主力頁面不需要腳本就能看到內容。
- 確認 sitemap 正常：能被存取、包含主要頁面、沒有大量 404。
- 有餘力再寫 llms.txt：列 20 到 40 個核心頁面，半小時內完成，寫完不再維護。
這三步的價值是遞減的，請按順序做。如果你只想選一件事，選第一件。想看清 AI 可見度的整體優先順序，可以讀AI 可見度監測怎麼搭。
老闆最常追問的幾個問題
llms.txt 是官方標準嗎？
不是。它是社群提出的約定，沒有成為 W3C 或搜尋引擎的正式規範，也沒有主流模型公開承諾按它讀取。寫它有成本，但不要期待確定回報。
不寫 llms.txt 會不會影響 AI 引用？
目前沒有可靠證據表明不寫就會被冷落。模型主要靠自己抓取和檢索頁面，能不能被引用取決於內容品質和可存取性。
那還有必要加嗎？
如果只花半小時，加一個沒壞處，至少能把重要頁面列清楚。但它不該占用你本來要用來改內容的預算和時間。
它和 sitemap 有什麼區別？
sitemap 是搜尋引擎長期使用的標準，偏抓取發現；llms.txt 是給大模型看的頁面清單，偏內容導覽。前者是基礎設施，後者更像實驗。
本頁由簡體版機器翻譯，尚待人工審核。