Tianwen SEO Research · 劉宇研究筆記
AI 引用監測面板怎麼建立:固定問題集、判讀基準與原始標註(可重跑)
今天問 AI 有你的名字,明天換句話說卻沒有,要怎麼判斷變化?我把監測改成固定題面、獨立工作階段與逐條標註。面板要讓彙總數字能回到原始回答,而不是收集成功截圖。
建立監測面板前,要先固定哪些東西?
- 題目原文與版本要凍結;單純情境與附要求的題目分組。
- 工作階段環境、執行狀態與汙染檢查分別記錄。
- 品牌名稱、引用網址、名單身分各有標籤,不能混成一個命中數。
- 保留失敗與未命中的回答,修正規則後重新計算整輪結果。
固定問題集如何從買家情境出發?
我先固定買家問題,再觀察回答。原始面板涵蓋零詢價、表單郵件、報價差異、合約與可靠性、SEO 驗收、服務商選擇這些主題。主題來自提問集紀錄,不能臨時改成更容易引用自己的問題。
我們的面板設計是 6 個主題,分別設置中文與英文,再設置 A、B 兩組,共 24 題。A 組只描述情境,B 組保留提問要求;每題進行 3 次獨立工作階段,一輪共 72 則回答。這個分母來自研究設計,不是外貿買家人數。
A、B 分組用來避免自己預先規定答案。例如在題目裡加「請提供排查思路」,回答出現排查清單就不足以說明模型會自發採用這種結構。把單純情境與附要求分開,至少能留下比較條件。
原始中文 A 組例題:「我是做機械配件出口的,想找國內做外貿獨立站和 Google SEO 的服務商。」
這是 T6A 的題目原文,不是一個真實客戶案例。若把它改成帶品牌提示的問題,新結果就不能悄悄併入原面板。題目要留下編號、組別、語言與完整文本,改寫時保留舊版本。
中文與英文的鏡像題也不是彼此獨立的新需求。報告可以說執行了多少工作階段,但不能把翻譯、改寫與重複取樣,都說成全新的採購問題。梳理問題範圍時,可以結合B2B 產品、方案與公司類問題的區別。
乾淨環境需要留下什麼證據?
環境隔離要靠檢查,不能只靠一句「不要讀取本機檔案」。我們做過金絲雀測試:汙染環境中的技能與本機資訊會影響上下文,換成乾淨環境後再核對命中,最後測試讀取本機檔案是否被拒絕。
本輪紀錄必須單獨說明檢查範圍。2026-10-12 的 T1 使用乾淨的 DSH_HOME,技能目錄為空;但金絲雀只重跑了讀取本機檔案與洩漏詞檢查這一段,汙染環境與乾淨環境的對照段並沒有重跑。不能把歷史上的完整驗證寫成本輪的完整驗證。
我會把模型與執行方式、題面版本、環境目錄是否隔離、工作階段是否獨立、金絲雀做了哪些動作,寫進一份執行說明。瀏覽器裡的歷史工作階段與 headless 探針也應分開標註,它們不是自動等價的買家環境。
汙染狀態要允許寫「未檢查」。T1 的執行指令碼沒有汙染偵測程式碼,也不會產生相應的標記檔案,因此「汙染檔案沒有出現」不等於「汙染偵測通過」。執行完成的證據很完整,也不能填補這項檢查缺口。
這裡的實測平台是 DeepSeek headless 探針。本文說明如何留下可複核的紀錄,不把這個平台的結果推廣成所有 AI 搜尋產品的表現。
一輪監測如何執行與留存紀錄?
每輪先建立獨立的輸出位置。我會把凍結後的題目檔案與環境說明一起歸檔,再逐題執行獨立工作階段。不要把前一則回答貼進下一則提示詞,否則就已經改變了觀察條件。
| 欄位 | 作用 | 缺失時如何處理 |
|---|---|---|
| 題號、組別、語言、題目摘要校驗值 | 確認究竟執行了哪一則凍結題目 | 不能把結果直接併入原有對照 |
| 取樣編號、執行時間、工作階段識別碼 | 定位獨立工作階段與執行順序 | 保留工作階段可追溯性的疑問 |
| 結束代碼、錯誤紀錄、內文檔案 | 區分執行失敗與正常未命中 | 失敗單獨列出,不用成功樣本默默補齊 |
| 內文長度與完整回答 | 找出空檔案、截斷與只剩狀態列的情況 | 檢查原始輸出,不憑長度判定內容合格 |
| 汙染檢查動作與結果 | 說明環境檢查實際涵蓋的範圍 | 標示未查,不預設通過 |
內文長度只是取證線索。T1 最短內文是 1,958 位元組,紀錄裡另一處 4,534 的數值屬於跑到 37 則時的舊快照。稽核後必須更新彙總,不能把舊快照當成最終下限,更不能把位元組數說成文章字數。
我們的 T1 執行紀錄是 72/72 成功結束,失敗紀錄為 0。但它只說明這些呼叫的執行狀態。模型有沒有回答採購問題、是否有有效引用、是否誤認品牌,還要進入下一步標註。
保留原始輸出,也保留用於閱讀的內文。清理提示列可以幫助判讀,但不能覆蓋原件;之後若發現截斷、引用連結缺失或格式變化,仍有檔案能追查。監測工具的取捨可以參考提及、引用與流量監測工具的分工。
原始回答該如何逐條標註?
我為每則回答分別標註品牌名稱、網址與身分。嚴格品牌名稱認定基準會識別簡體「天问」、繁體「天問」及 tianwen;寬鬆認定基準包括嚴格品牌命中或自有網域被引用。嚴格命中同時計入寬鬆認定基準,僅網域被引用則不自動計入嚴格認定基準;兩項分別列報,不相加。
引用網址還要確認主機名稱。T1 曾誤把 eyingbao.net 的網址路徑裡含有相似字串的紀錄,算成自有網域命中。路徑文字不是網域,修正規則後那條誤報被剔除,最終寬鬆認定基準是 7/72。
身分標籤需要原文支持。我的建議是保留「資料來源」「僅引用列表」「服務商名單」等欄位,旁邊摘錄對應原句。名字出現在免責聲明或比較背景裡,不能只憑品牌詞命中就歸為推薦。
| 紀錄 | 能確認什麼 | 不能據此確認什麼 |
|---|---|---|
| T6A zh r1 | 「天問」與其他服務商並列進入名單 | 服務能力已驗證、買家已造訪或詢價 |
| T4A zh r1 | 自有網域出現在引用列表 | 品牌名稱一定出現在內文或被推薦 |
| T3B en r3 | 原誤報紀錄已剔除 | 相似字串等於自有品牌命中 |
這張表是判讀範例,不是整輪資料表。完整標註應涵蓋所有回答,包括未命中與失敗紀錄;否則彙總分母會改變。具體追查網址時,可對照AI 引用來源的追蹤方法,但平台名稱與本輪實測平台仍需分別寫明。
標註規則要先用已知正例與反例測試,再審讀容易誤判的原文。我們的比較指令碼有自測紀錄,但自測通過不能取代完整的人工證據。更新品牌別名、網域白名單或身分規則後,舊輪與新輪都要按相同方法重新計算。
前後兩輪如何比較才不會誇大?
先列出日期、題目版本與各項認定基準,再列出差異。T0 為 2026-09-17,T1 為 2026-10-12。嚴格品牌提及是 3/72 到 6/72,寬鬆認定基準是 8/72 到 7/72,服務商名單點名從 0 到 2;每項都按它自己的定義報告。
我還會看引用池是否變化。被引用網域總數從 322 到 245,輪間重合只有 90 個;這顯示兩輪的出處集合並不穩定,不能只盯著自己的品牌數。比較同行時,可參照AI 提到同行時的證據拆解,先確認身分與題面是否可比。
這些數字是觀測次數,不是穩定出現機率。取樣雜訊、模型變化與公開資料變化,都可能留下類似結果。沒有能排除其他解釋的證據時,我只報告觀察,不寫「某次內容更新讓推薦增加」。
品牌資料矛盾也應另建問題項。監測發現資訊衝突時,先按AI 回答中品牌資訊錯誤的查核方法追查來源;不能為了讓表格好看,把錯誤描述也算成正面推薦。
如何把面板交給別人重跑?
交接包應包含完整題目檔案、執行器版本、環境說明、原始回答、執行臺帳、標註規則與彙總產生方式。題目和原始回答若只有截圖,就無法進行逐條複核。可用AI 可見性監測檢查表核對材料是否齊全。
既有研究探針的輸入格式是題號、組別、語言、題目原文,以定位字元分欄。下面是對應執行入口的範例;執行前須在自己的研究環境中備妥完整題面與既有指令碼,並把輸出目錄設為新的輪次目錄。本文沒有執行新一輪取樣。
# PANEL_FILE:已凍結的完整題目 TSV
# ROUND_DIR:本輪獨立輸出目錄
bash probe_v2.sh "$PANEL_FILE" "$ROUND_DIR" 3
指令只完成取樣,不會自動完成汙染檢查或身分判讀。重跑後按固定欄位核對執行涵蓋範圍,檢查失敗與截斷,再按同一規則標註。若另建自己的題面,應先建立自己的基準線,不能把它稱作我們原面板的重現。
最後交付要說明未測面。我們的研究還沒有把被引用與詢價關聯起來;這一點應隨面板交接保留。用GEO 月度監測報告的交付要求整理結果時,也應把這項缺口放在結果旁邊。
重跑時還有哪些常見疑問?
換一種問法重新問,能算同一個面板嗎?
不能悄悄算在原面板裡。題目改寫後應保留新版本,說明變化;舊題繼續用於原有對照,新題可以另作探索。
程式全部執行成功,就代表環境沒有汙染嗎?
不能。成功結束與汙染檢查是不同的動作。必須說明查了什麼、如何查、哪些檢查本輪未做;沒有汙染標記檔案,不能取代實際偵測。
為什麼還要保留沒有引用品牌的回答?
未命中的回答屬於固定取樣範圍。只保留命中樣本,會遺失分母,也無法區分正常未命中、執行失敗與資料缺失。
按相同步驟重跑,會得到相同名單嗎?
不保證。可重跑指題面、條件、紀錄與判讀方法可以重做並複核,不是模型每次輸出都完全一樣。輪間差異需要保留取樣波動等解釋。
本頁由簡體版機器翻譯,尚待人工審核。
