呃，这新闻是哪个平行时空新闻，当前一堆美国大学实验室都已经成功用其他小型模型像ll ama或Qwen 复刻R1实验了，而且也事实证明模型只要有办法再训练的时候尽可能要求模型更 长更多轮的思考时间那就必然会让模型依据上下文涌现出推理能力。无论模型大小或是否用 deepseek的模型架构。 一堆知名的框架也开始尝试复刻开源版的R1 Code，我觉得R1几个比较可行的思路就是改用 了一些模板式的奖励机制，这点是之前一些TTT或其他scaling time computing 没尝 试过的思路，一般像之前的Process reward model在构造的时候会需要人工标注加验证器再 加树搜索取样出一堆推理步骤但R1直接给予一条很棒的思路就是你不必这样做就直接RL下去 也不用做搜索了，关键在怎麽设计奖励函数就好。然後GRPO的方法近一步减少了传统PPO要 去算value function 的部分，确实省掉很多记忆体跟算力。但我觉得PPO的硬伤不好训练还 是没解掉，所以DS才改用拒绝采样跟多段微调去弄检查点避免模型跑偏。 我觉得依据这个思路过不久大家都可以复刻出自己的版本，很多开源模型也在动作，小规模 验证也证明可行，那就可以scaling model跟data size就好了。 --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 59.115.66.147 (台湾) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Tech_Job/M.1738136010.A.EA4.html ※ 编辑: sxy67230 (59.115.66.147 台湾), 01/29/2025 15:34:33 R1的技术文件有如实说他们是从Deepseek v3调过来的吧，openAI也是有在某次技术人员访 谈说o1是从4o调过来的（当前OpenAI最让人诟病的就是o1连技术报告中的训练方法都闭源） ，这点站在不错的起点继续做下去应该是整个LLM领域的共识，要完全从零是不太可能的。 不过你要说成本要从前一个模型开始算的那就不太合理了，像台湾很多实验室自己调的语言 模型也是从llama这些基础开始调的（你要用蒸馏说也没什麽意见），这样要把Meta训练这 个模型的成本叠上去也是蛮怪的。但我这边就单就R1的训练方法讨论确实他省去很多之前te st time computing的方法中需要一堆人工跟算力搜索的麻烦这个倒是无需质疑。至於训练 数据集没开源，我觉得这个毕竟是人家的智慧财需要经过公司许可吧？毕竟llama也没开源 自己全部的训练数据要要求一家私企去做这件事有点太苛刻了。我的想法还是技术上DS确实 值得令人夸赞，其他的就让子弹飞一点吧。毕竟工程人员还是讲技术比较务实，人家优秀的 地方本来就值得学习。 ※ 编辑: sxy67230 (59.115.66.147 台湾), 01/29/2025 16:11:25 蒸馏不一定要有模型输出完整机率分布就是了，但是Deepseek真的有用GPT 4o或o1蒸馏还是 需要有关键模型大量输出统计证据，不然当前都是猜测而已。仅凭很多人随意测试是很难说 是真的有蒸馏的，毕竟LLM其实真的有心是很容易用Prompt变造出恶意虚假事实的（像先催 眠模型是chatGPT，然後再问他是谁，然後把结果截图），还是一句话，让子弹再飞一会儿 。 ※ 编辑: sxy67230 (223.118.50.65 香港), 01/30/2025 00:51:45