AI研究者如何用日志+预测校准直觉：建立可复盘的实验习惯
做完这篇教程，你会拥有一个能自动校准判断力的研究日志模板，并跑通第一个“预测-实验-复盘”闭环——从写下假设到更新信念，全程不超过30分钟。适合刚入行的AI研究助理或自学中的初学者：如果你常凭感觉调参
做完这篇教程，你会拥有一个能自动校准判断力的研究日志模板，并跑通第一个“预测-实验-复盘”闭环——从写下假设到更新信念，全程不超过30分钟。适合刚入行的AI研究助理或自学中的初学者：如果你常凭感觉调参、被审稿人问“基线够强吗”时心虚、或者发现自己的“直觉”总在事后打脸，这套方法就是为你设计的。但如果你已经有一套稳定的实验记录流程（比如用Weights & Biases自动追踪所有指标），这篇对你价值有限。现在做这件事的关键在于：研究直觉不是天赋，而是靠“预测+修正”重复几百次训练出来的内部模型——而日志就是你的训练数据集。
创建你的研究日志模板（含预测字段）
打开你常用的笔记工具（Notion/Obsidian/本地Markdown都行），新建一页，按这个结构填空：
## 实验编号：[日期]-[简短关键词，如"lora-rank-sweep"]
### 假设
> 如果我 [具体操作]，那么 [预期结果]，因为 [推理依据]
### 预测（必须写！）
- 主指标会达到：______（例：准确率82.3%）
- 最可能失败的环节：______
- 与基线相比，提升幅度：______（例：+1.2pp）
### 实验设置
- 数据集：______
- 基线模型：______（版本/commit ID）
- 关键超参：______
- 运行命令：______
### 实际结果
- 主指标：______
- 意外现象：______
### 信念更新
> 原先我认为______，现在证据表明______，因此我调整判断为______
为什么必须单独列出“预测”？因为人类记忆会自动扭曲事实来匹配结果（心理学叫“后见之明偏差”）。把预测写下来，等于给未来的自己埋了一个校准锚点。我见过太多人复盘时说“我早觉得会这样”，但翻出日志一看，当初写的预测完全相反。做完这步，你应该看到一个带强制预测字段的空白模板——别跳过预测栏直接填结果，那等于没做。
在下次实验前，强制写下三项预测
下次跑任何实验前（哪怕只是微调学习率），停下手里的代码，在日志里填满“预测”部分。参考这个真实案例（来自养料库方法1）：
预测
- 主指标会达到：78.5%（当前基线76.1%）
- 最可能失败的环节：小样本类别过拟合
- 与基线相比，提升幅度：+2.4pp（因新增了类别平衡采样）
关键动作是：预测必须包含具体数值和失败点，不能写“应该会变好”。为什么？模糊预测无法验证，也就无法训练直觉。做完这步，你应该有一条带数字的预测记录。常见翻车点：预测时偷偷看一眼基线结果再写——这等于作弊。关掉所有结果页面，凭当前认知盲猜。
实验跑完后，用“差距分析”更新信念
拿到实际结果后，不要只记数字。在“信念更新”栏回答三个问题（融合自十页的记忆[2]）：
- 这次我想要什么？得到什么？差距在哪？
- 这次它的“状态”怎么样？（例：收敛曲线抖动大/显存溢出频繁）
- 下次如何调整？（具体到参数或数据操作）
然后写成一段连贯的信念更新，例如：
原先我认为类别平衡采样能稳定提升小样本性能，现在证据表明它反而导致多数类欠拟合（主指标仅+0.7pp，且小样本类别F1下降），因此我调整判断为：在当前数据分布下，过采样引入的噪声大于收益，下次应尝试focal loss替代。
为什么强调“连贯段落”？碎片化笔记无法传递推理链条。rereading last month's entries is humbling in a way no reviewer can match（养料库方法2）——只有看到自己完整的逻辑漏洞，才能真正校准。做完这步，你的日志应包含一段有因果链的反思。翻车点：把“信念更新”写成借口（如“数据质量差”），而不关联自身假设错误。
每月回看日志，计算预测命中率
每月固定一天（比如发薪日前），打开上个月的所有日志，统计：
- 数值预测误差绝对值平均值（例：|预测82.3% - 实际79.1%| = 3.2pp）
- 失败点预测命中次数 / 总实验数
不用追求高命中率——重点是识别系统性偏差。比如你总高估数据增强效果，或总忽略学习率敏感度。养料库方法1提到：记录对论文影响力的长期预判并复盘，同理适用于实验预测。做完这步，你应该有一个简单的命中率表格。翻车点：只挑“猜对”的日志看——必须全量回顾。
完成自检
- 日志模板包含独立“预测”字段（非合并到假设中）
- 最近一次实验的预测包含具体数值和失败点描述
- 信念更新段落明确写出“原先认为X，现在证据表明Y”
- 上月日志已统计至少两项预测误差指标
最后提醒：AI的历史判断绝不能自动回流成“事实”（十页的记忆[4]）。你的日志里可以记录AI建议，但预测和信念更新必须由你亲手写——人是闸门，直觉只能靠人脑的预测-修正循环训练出来。Pasteur说得对：幸运偏爱有准备的头脑，而准备就是每天写下那几行预测。
素材来源
本文由十页AI从以下原始素材延展整理：
- how to be good at research · X · vivek