---
title: "我对 LLM 推理能力的一些思考"
date: "2024-08-19"
author: "涂津豪"
site: "涂津豪的空间"
url: "https://www.tujinhao.com/blog/my-few-thoughts-on-llms-reasoning-ability"
language: "zh"
---

# 我对 LLM 推理能力的一些思考

最近 X 上关于这个话题吵得热火朝天。一边的人觉得 LLM 当然能推理——你看它确实能帮我们做数学、写代码；另一边坚持认为 LLM 根本不会推理，它压根就不是干这个的，它做的不过是把训练数据里的东西"背"出来。

说实话，我不觉得 LLM 完全没有推理能力。实际上，我觉得至少有三条路可以帮它们获得这种能力：

1. **继续 Scale 就够了：** 什么都不用动，照着当前的路线继续扩——算力、数据、模型参数全部拉满，让模型在不断变大变复杂的过程中，自己去学会理解训练数据背后的深层逻辑和语法结构。然后等"奇迹"降临就好。当然，这个奇迹估计得等到那条可能是指数级的 Scaling 曲线走到尽头才会出现。

2. **借鉴人类思维就够了：** 把 System 1 和 System 2 的思维模式用到 LLM 上。System 1 快而直觉，擅长速决，跟目前的 LLM 挺像；System 2 慢而深思，恰好可以成为 LLM 攻克复杂推理任务的完美补充。

3. **树搜索就够了：** 把树搜索机制融入现有的 LLM。deepseek-prover-v1.5 靠 MCTS 做出了很好的成绩，AlphaProof-2 通过结合树搜索的混合方案同样亮眼——两者都证明了树搜索对提升模型复杂问题求解能力确实有效。（这块我自己了解不算深，强烈推荐 [Aidan Mclau](https://x.com/aidan_mclau) 写的 ["The Bitter-er Lesson"](https://www.notion.so/44c11acd27294f4495c3de778cd09c8d?pvs=21)，对理解树搜索的重要性和潜力帮助很大！）