← Notes
GRPO
- Common Crawl：爬虫，把绝大多数网页都爬下来了
- fastText-based classifier：简单的神经网络，快速筛选文本类型
- MMLU：是包含广泛知识点的纯文本 benchmark，全称是 Massive Multitask Language Understanding
- program-of-thought：把推理写成程序，让程序完成计算
- tool-integrated reasoning：推理过程中动态调用一个或多个工具，再根据结果继续推理
- instruction tuning：指令微调，用大量“指令—回答”示例继续训练模型，让它更会理解并遵循人类的任务指令
- PPO 下的 四个 model：
- policy / actor model：负责生成回答的 model
- value / critic model：用当前状态 预测最终的 得分
- reward model：给完整回答打分
- reference model：训练开始前的 模型副本
- Rejection Sampling Fine-Tuning：生成多个答案，扔掉不好的答案，然后重新 SFT
- Direct Preference Optimization：生成多个答案，学会偏好 好的答案（需要给每个答案标分数）