实验 / 001
检索质量对照实验
固定一组问题与资料，记录命中文档、引用与回答正确性；对比无检索和有检索。
实验结果
01 / 问题
固定一组问题与资料，记录命中文档、引用与回答正确性；对比无检索和有检索。
02 / HYPOTHESIS
在资料确实包含答案的问题上，固定生成模型后，加入检索可能改善可追溯回答；资料缺失时不一定改善。
03 / VARIABLES
- 自变量
- 是否检索；检索参数作为后续单独对照，首轮不同时改变。
- 控制变量
- 问题集、资料快照、生成模型版本、提示词、采样参数与评分规则。
- 因变量
- 命中文档、引用支持程度、回答正确性与耗时。
04 / DATASET
尚未确定。执行前记录数据来源、许可、样本与划分。
05 / BASELINE
同一模型不使用检索，使用相同问题与输出格式。
06 / METRICS
计划记录 Recall@k（需相关性标注）、引用支持率、人工评分以及每题耗时；保留逐题原始记录。
07 / SUCCESS CRITERIA
在相同问题上比较成对结果与不确定性；仅当改善稳定且引用确有支撑时支持假设。先确定样本量与判定阈值，再运行。
08 / RISKS
数据泄漏、相关性标注偏差、生成随机性和小样本会影响结论；资料缺失题单独分析。
09 / REPRODUCE
执行后补充代码、配置、数据版本与运行命令。
方法
保留 A4 的 10 篇合成语料/14 题 BM25 基线；A5 新增 22 个闭合配置声明案例，独立检查引用、修订、范围、字段与完整性。
结果
A4：12 道有答案题中 11 题命中 top1/top3，一道无答案题仍返回候选。A5：引用存在基线接受 13/22，其中 10 个违反契约；完整契约的 22 个状态均符合冻结标签。
局限
没有生成模型或在线请求；字段规范匹配不是通用语义蕴含。完整有无 RAG 回答对照仍未执行，注册表与请求范围是可信前提。
实验记录
- · 12道有答案题top1/top3均11题；两道无答案题有一道仍返回候选。
- · A5：22 个冻结案例与独立审计；引用存在放过 10 个契约违规。
继续探索