Note 1. Ilya Sutskever, OpenAI-2023.1 A Survey of Reasoning with Foundation Models https://arxiv.org/abs/2312.11562 Learning to reason with LLMs - introduce o1 https://openai.com/index/learning-to-reason-with-llms/ Deliberative alignment: reasoning enables safer language models https://openai.com/index/deliberative-alignment/ 通过更好的reward model, 经由更多的训练数据，更好的强化学习流程，构建一个具有内在推理链的模型。

Note 2. OpenAI-2024.6

Note 3. Google DeepMind-2024.9

Note 4. Google DeepMind-2024.8 selfplay的关键是 generator 和 verifier 的对抗，verifier 可以使用 LLM-as-a-judge的模式，verifier 要和 generator 同时更新。论文提出了一种增强生成式 RM 作为 Verifier 的方法. GenRM-CoT在传统 RewardModel(GenRM)的 verify过程中加了 CoT思想，不仅评估解决方案的正确性，而且还通过生成中间推理步骤来详细解释为什么解决方案是正确或错误的。

Note 5. Google DeepMind-2024.8 基座模型对推理模型的影响， 提出了 3 中 PRM 的搜索方法：Best-of-N Weighted Search, Beam Search, Lookahead Search https://arxiv.org/abs/2211.14275 Solving math word problems with process- and outcome-based feedback 论文比较了 ORM和 PRM，结论是效果相差不大，现在看结论不太 solid

Note 6. Google-2022.3

Note 7. Stanford-2024.3

Note Google/han jiawei-2022

Note Apple-LLM's cannot reason-2024.10

Note Meta-Code RL- 2024.10

Note Marco-o1 - Alibaba

Note Google Introduces a neural long-term memory module to memorize historical context and help attention to attend to the current context while utilizing long past information. -> Faster training and maintaining fast inference. The neural memory module acts as a long-term, more persistent memory than just using attention alone (considered more short-term). > based on neural memory, shows good results in LLM, common-sense reasoning, genomics, time series task. scale to larger than 2M context windw

Note OpenAI

Note AlphaGo Zero Paper-DeepMind Self-Play and MCTS

Note Google, Verifier判别的负例使用，在强化学习中加入负例可以有效的提升 LLM 的推理强度，数据利用效率更是达到了仅用正例的 8 倍。

Note Google DeepMind

Note Google DeepMind 为了解决标注昂贵的问题，用基于 MCTS 的方式来自动化判断输出过程哪里出了问题，来生成训练数据训练过程奖励模型 Multi-step Problem Solving Through a Verifier: An Empirical Analysis on Model-induced Process Supervision https://arxiv.org/abs/2402.02658 Math-Shepherd: Verify and Reinforce LLMs Step-by-step without Human Annotations https://arxiv.org/abs/2312.08935

Note OpenAI: 奖励模型效果、奖励模型大小、数据量之间的关系 Rule Based Rewards for Language Model Safety https://arxiv.org/abs/2411.01111 介绍如何将规则应用于训练数据产出一个奖励模型，这个奖励模型参与后续的policy model的强化学习过程。论文观点：通过数据学习，LLM可以学习到reward model所表征的逻辑，无论这个逻辑是来自于人类的标注数据，还是来自于逻辑规则。同时进一步的思考点在于，将规则应用在prompt中，和通过 规则-reward model-policy model 训练的强化学习流程，是否存在差别。

Note Meta: 论文的重点在于通过训练集的设置，利用模型对于模式（pattern）的学习和识别，可以让模型自主选择是否展开cot， 提供了一个非常好的实践. 主要思路是对reasoning的过程 做一定程度的裁剪，来让模型在复杂问题的推理过程中，能有通过类似直觉的快速思考能力,也就是在一个system2 的思考模式中 引入了 system1 的快速跳过能力。该思路有来自于两个观测：一个是search transformer (用完整的trace做训练的)在inference 阶段， 会产生比a*更短的推理过程。 第二个是他认为人类在某些pattern下会产生 直觉/短路，也就是人思考是混合了系统1/系统2.

Note Stanford, doctor LiFeifei 方法：让 AI 在推理时“多想几秒”，自动检查自己的答案，从而减少错误，提高正确率！结果证明，这种方法比 OpenAI o1-preview 还要好！ 最重要的是：而且只用了 1000 道题！ 这比一般 AI 训练的数据少了 800 倍，但效果仍然很强！该模型可以在笔记本电脑上运行，并且其训练成本仅为 6 美元。

Note OpenAI CodeI/O: Condensing Reasoning Patterns via Code Input-Output Prediction https://arxiv.org/abs/2502.07316 DeepSeek Code