實驗 / 001
檢索品質對照實驗
固定一組問題與資料，記錄命中文件、引用與回答正確性，比較有無檢索的差異。
實驗結果
01 / 問題
02 / HYPOTHESIS
在资料确实包含答案的问题上，固定生成模型后，加入检索可能改善可追溯回答；资料缺失时不一定改善。
03 / VARIABLES
- 自变量
- 是否检索；检索参数作为后续单独对照，首轮不同时改变。
- 控制变量
- 问题集、资料快照、生成模型版本、提示词、采样参数与评分规则。
- 因变量
- 命中文档、引用支持程度、回答正确性与耗时。
04 / DATASET
尚未确定。执行前记录数据来源、许可、样本与划分。
05 / BASELINE
同一模型不使用检索，使用相同问题与输出格式。
06 / METRICS
计划记录 Recall@k（需相关性标注）、引用支持率、人工评分以及每题耗时；保留逐题原始记录。
07 / SUCCESS CRITERIA
在相同问题上比较成对结果与不确定性；仅当改善稳定且引用确有支撑时支持假设。先确定样本量与判定阈值，再运行。
08 / RISKS
数据泄漏、相关性标注偏差、生成随机性和小样本会影响结论；资料缺失题单独分析。
09 / REPRODUCE
执行后补充代码、配置、数据版本与运行命令。
方法
保留 A4 的 10 篇合成語料/14 題 BM25 基線；A5 新增 22 個閉合配置聲明案例，獨立檢查引用、修訂、範圍、欄位與完整性。
結果
A4：12 道有答案題中 11 題命中 top1/top3，一道無答案題仍返回候選。A5：引用存在基線接受 13/22，其中 10 個違反契約；完整契約的 22 個狀態均符合凍結標籤。
限制
沒有生成模型或在線請求；欄位規範匹配不是通用語義蘊含。完整有無 RAG 回答對照仍未執行，註冊表與請求範圍是可信前提。
繼續探索