Tianwen SEO Research · 刘宇研究笔记
AI 引用监测面板怎么搭:固定问题集、判读口径和原始标注(可复跑)
今天问 AI 有你的名字,明天换句话却没有,怎样判断变化?我把监测改成固定题面、独立会话和逐条标注。面板要让汇总数字能回到原始回答,而不是收集成功截图。
搭监测面板,先固定哪些东西?
- 题目原文与版本要冻结;纯处境和带要求的题目分组。
- 会话环境、执行状态和污染检查分别记录。
- 品牌名、引用网址、名单身份各有标签,不能混成一个命中数。
- 保留失败与未命中回答,修正规则后重新计算整轮结果。
固定问题集怎样从买家处境出发?
我先固定买家问题,再观察回答。原始面板涵盖零询盘、表单邮件、报价差异、合同与可靠性、SEO 验收、服务商选择这些主题。主题来自提问集记录,不能临时改成更容易引用自己的问题。
我们的面板设计是 6 个主题,分别设置中文和英文,再设置 A、B 两组,共 24 题。A 组只描述处境,B 组保留提问要求;每题做 3 次独立会话,一轮共 72 条回答。这个分母来自研究设计,不是外贸买家人数。
A、B 分组用来避免自己预先规定答案。比如在题目里加“请给排查思路”,回答出现排查清单就不足以说明模型会自发采用这种结构。把纯处境与带要求分开,至少能留下比较条件。
原始中文 A 组例题:“我是做机械配件出口的,想找国内做外贸独立站和谷歌SEO的服务商。”
这是 T6A 的题目原文,不是一个真实客户案例。若把它改成带品牌提示的问题,新结果就不能悄悄并入原面板。题目要留编号、组别、语言和完整文本,改写时保留旧版本。
中文与英文的镜像题也不是彼此独立的新需求。报告可以说运行了多少会话,但不能把翻译、改写和重复采样,都说成全新的采购问题。梳理问题范围时,可以结合B2B 产品、方案与公司类问题的区别。
干净环境需要留什么证据?
环境隔离要靠检查,不能只靠一句“不要读本地文件”。我们做过金丝雀测试:脏环境中的技能与本地信息会影响上下文,换成干净环境后再核对命中,最后测试读取本地文件是否被拒。
本轮记录必须单独说明检查范围。2026-10-12 的 T1 使用干净 DSH_HOME,技能目录为空;但金丝雀只复跑了读取本地文件与泄漏词检查这一段,脏环境和净环境的对照段没有重跑。不能把历史完整验证写成本轮完整验证。
我会把模型及运行方式、题面版本、环境目录是否隔离、会话是否独立、金丝雀做了哪些动作,写进一份运行说明。浏览器里的历史会话与 headless 探针也应分开标注,它们不是自动等价的买家环境。
污染状态要允许写“未检查”。T1 的运行脚本没有污染检测代码,也不会生成相应标记文件,因此“污染文件没有出现”不是“污染检测通过”。执行完成的证据很完整,也不能填补这项检查缺口。
这里的实测平台是 DeepSeek headless 探针。本文说明如何留出可复核记录,不把这一平台的结果推广成所有 AI 搜索产品的表现。
一轮监测怎样运行和留档?
每轮先建单独的输出位置。我会把冻结后的题目文件与环境说明一起归档,再逐题执行独立会话。不要把前一条回答粘进下一条提示词,否则已经改变了观察条件。
| 字段 | 作用 | 缺失时怎么处理 |
|---|---|---|
| 题号、组别、语言、题目摘要校验值 | 确认究竟执行了哪条冻结题目 | 不能把结果直接并入原有对照 |
| 采样编号、执行时间、会话标识 | 定位独立会话及运行顺序 | 保留会话可追溯性的疑问 |
| 退出码、错误记录、正文文件 | 区分运行失败和正常未命中 | 失败单列,不用成功样本静默补齐 |
| 正文长度与完整回答 | 发现空文件、截断和只剩状态行 | 检查原始输出,不凭长度判内容合格 |
| 污染检查动作及结果 | 说明环境检查实际覆盖的范围 | 标未查,不默认通过 |
正文长度只是取证线索。T1 最短正文是 1,958 字节,记录里另一处 4,534 的数值属于跑到 37 条时的旧快照。审计后必须更新汇总,不能把旧快照当最终下限,更不能把字节数说成文章字数。
我们的 T1 执行记录是 72/72 成功退出,失败记录为 0。但它只说明这些调用的执行状态。模型有没有回答采购问题、是否有有效引用、是否误认品牌,还要进下一步标注。
保留原始输出,也保留用于阅读的正文。清理提示行可以帮助判读,但不能覆盖原件;之后若发现截断、引用链接缺失或格式变化,仍有文件能追查。监测工具的取舍可以参考提及、引用与访问监测工具的分工。
原始回答该怎样逐条标注?
我给每条回答分别标品牌名、网址和身份。严格品牌名口径识别天问、天問及 tianwen;宽口径包括严格品牌命中或自有域名被引。严格命中同时计入宽口径,仅域名被引则不自动计入严格口径;两项分别列报,不相加。
引用网址还要确认主机名。T1 曾误把 eyingbao.net 的网址路径里含有相似字符串的记录,算成自有域名命中。路径文字不是域名,修正规则后那条误报被剔除,最终宽口径是 7/72。
身份标签需要原文支持。我的建议是保留“资料来源”“仅引用列表”“服务商名单”等字段,旁边摘录对应原句。名字出现在免责声明或比较背景里,不能只凭品牌词命中就归为推荐。
| 记录 | 能确认什么 | 不能据此确认什么 |
|---|---|---|
| T6A zh r1 | “天问”与其他服务商并列进入名单 | 服务能力已验证、买家已访问或询盘 |
| T4A zh r1 | 自有域名出现在引用列表 | 品牌名一定出现在正文或被推荐 |
| T3B en r3 | 原误报记录已剔除 | 相似字符串等于自有品牌命中 |
这张表是判读示例,不是整轮数据表。完整标注应覆盖所有回答,包括未命中与失败记录;否则汇总分母会变。具体追网址时,可对照AI 引用来源的追踪办法,但平台名称与本轮实测平台仍需分别写明。
标注规则要先用已知正例和反例测试,再审读容易误判的原文。我们的比较脚本有自测记录,但自测通过不能替代完整人工证据。更新品牌别名、域名白名单或身份规则后,旧轮与新轮都要按相同办法重新计算。
前后两轮怎样比较才不夸大?
先列日期、题目版本和各项口径,再列差异。T0 为 2026-09-17,T1 为 2026-10-12。严格品牌提及是 3/72 到 6/72,宽口径是 8/72 到 7/72,服务商名单点名从 0 到 2;每项都按它自己的定义报告。
我还会看引用池是否变化。被引域名总数从 322 到 245,轮间重合只有 90 个;这表明两轮出处集合并不稳定,不能只盯自己的品牌数。比较同行时,可参照AI 提到同行时的证据拆解,先确认身份和题面是否可比。
这些数字是观测次数,不是稳定出现概率。采样噪声、模型变化和公开资料变化,都可能留下类似结果。没有能排除其他解释的证据,我只报告观察,不写“某次内容更新让推荐增加”。
品牌资料矛盾也应另建问题项。监测发现信息冲突,先按AI 回答中品牌信息错误的核查方法追来源;不能为了让表格好看,把错误描述也算成正面推荐。
怎样把面板交给别人复跑?
交接包应包含完整题目文件、运行器版本、环境说明、原始回答、运行台账、标注规则和汇总生成方式。题目和原始回答只有截图,就无法进行逐条复核。可用AI 可见性监测检查表核对材料是否齐全。
已有研究探针的输入格式是题号、组别、语言、题目原文,用制表符分列。下面是对应运行入口的示例;运行前须在自己的研究环境中备好完整题面与既有脚本,并把输出目录设为新的轮次目录。本文没有执行新一轮采样。
# PANEL_FILE:已冻结的完整题目 TSV
# ROUND_DIR:本轮独立输出目录
bash probe_v2.sh "$PANEL_FILE" "$ROUND_DIR" 3
命令只完成采样,不会自动完成污染检查或身份判读。复跑后按固定字段核对执行覆盖,检查失败与截断,再按同一规则标注。若另建自己的题面,应先建立自己的基线,不能把它叫作我们的原面板复现。
最后交付要说明未测面。我们的研究还没有把被引用与询盘关联起来;这一点应随面板交接保留。用GEO 月度监测报告的交付要求整理结果时,也应把这项缺口放在结果旁边。
复跑时还有哪些常见疑问?
换一种问法重新问,能算同一个面板吗?
不能悄悄算在原面板里。题目改写后应保留新版本,说明变化;旧题继续用于原有对照,新题可以另作探索。
程序全部运行成功,就说明环境没有污染吗?
不能。成功退出与污染检查是不同动作。必须说明查了什么、怎样查、哪些检查本轮未做;没有污染标记文件,不能代替实际检测。
为什么还要保留没有引用品牌的回答?
未命中回答属于固定采样范围。只保留命中样本,会丢失分母,也无法区分正常未命中、执行失败和资料缺失。
按相同步骤复跑,会得到相同名单吗?
不保证。可复跑指题面、条件、记录和判读方法可以重做并复核,不是模型每次输出完全一样。轮间差异需要保留采样波动等解释。
