作者wa007123456 (大笨羊)
看板Tech_Job
标题[新闻] 为何大语言模型是死胡同
时间Thu Oct 2 19:48:34 2025
为何大语言模型是死胡同
------------------------------------------------
9月27日，2024年图灵奖得主Richard Sutton教授接受海外播客主持人
Dwarkesh Patel的深度访谈。
访谈影片:
https://youtu.be/21EYKqUsPfg?si=KiU-QldhIDecQ_Bl
文章来源:
https://hao.cnyes.com/post/197594
<钜亨号> 作者: RexAA
本次对话始於一个问题：当前最热的大语言模型（LLM）究竟是通往AGI的大道，
还是最终会走进死胡同？Sutton教授从强化学习的“第一性原理”出发，系
统地阐述了为何他认为LLM范式缺少了智能最本质的几个要素。
Sutton教授指出，LLM本质上只是在“模仿”拥有世界模型的人类，
其本身并不具备一个能预测客观世界、并因“意外”而学习的真实
世界模型。它预测的是“下一个词”，而非“下一件事”。
针对行业普遍认为“先用LLM模仿学习获得基础，再用强化学习微调”
的路线，Sutton指出，在一个没有客观“对错”标准（即奖励讯号）的
框架里，知识和先验无从谈起。他认为，LLM试图绕过“拥有目标”和
“区分好坏”这两点，是从一开始就走错了方向。
针对“人类主要通过模仿学习”的普遍看法，
Sutton教授认为无论是动物还是婴儿，其学习的核心
都是基於试错和预测的“经验范式”，模仿学习只是後期附加的
一小部分。因此，将AI的学习建立在模仿人类资料的范子上，
是对智能本质的误解。
在谈及AI的未来时，Sutton教授提出，在未来数字智能可以
无限复制和融合知识的时代，如何保证一个智能体在吸收外部
知识时不被“腐化”或“覆盖”，将成为一个关乎“心智安全”
的重大挑战。
-----------------------
心得
感觉症结点在於:
DL或AIGC 他们的资料学习来自人类
无法透过自身的经验去改进自己
也就是 "人类认为是甚麽 就是甚麽"
的模式去运作
这样算不算AI还有待讨论
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 114.44.42.10 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Tech_Job/M.1759405717.A.AC7.html
1F：推 zaiter: 满低能的 人类也是一样 他还以为人类就有116.241.140.206 10/02 19:53
2F：→ zaiter: 智能 人有什麽模仿学习来的 一堆迷信的 给116.241.140.206 10/02 19:53
3F：→ zaiter: 他什麽资料就学什麽116.241.140.206 10/02 19:53
4F：推 verilogTire: 嗯嗯，图灵奖得主是低能，哈哈 42.73.38.173 10/02 20:13
5F：推 abc12812: 有我们奥特曼懂AI吗? 172.58.243.147 10/02 20:46
6F：推 supereva: 就算不能成为agi又如何 能有新应用新 36.226.195.81 10/02 20:56
7F：→ supereva: 任务就行了 36.226.195.81 10/02 20:56
8F：推 pujos: 这是常识啊，不过显然一楼不这麽认为，那到 1.175.29.106 10/02 21:02
9F：→ pujos: 底谁是低能？ 1.175.29.106 10/02 21:02
10F：推 Eric0605: 或许不是AGI 但他可以学习「正确行为」 49.216.106.16 10/02 21:18
11F：→ Eric0605: 和正确知识 49.216.106.16 10/02 21:18
12F：→ Eric0605: 尤其在有正确答案的地方例如写程式等等 49.216.106.16 10/02 21:19
13F：→ Eric0605: 开车 写程式 写文章等等 学习最优秀人 49.216.106.16 10/02 21:19
14F：→ Eric0605: 类 49.216.106.16 10/02 21:19
15F：→ Eric0605: 这样就很好用了 49.216.106.16 10/02 21:19
16F：→ dildoe: 光是管理层说的都不一样了 呵呵XD118.168.157.208 10/02 21:23
17F：→ DrTech: 学者山头的财富密码阿。一个做学术的学者 42.73.78.108 10/02 21:25
18F：→ DrTech: 说LLM好棒是正确的方向，而且业界做法已远 42.73.78.108 10/02 21:25
19F：→ DrTech: 超越学术界。这样怎麽赚钱。 42.73.78.108 10/02 21:25
20F：推 stonecold123: 洗咧供啥 42.77.52.136 10/02 23:08
21F：推 tim0821: 简单来说LLM模型没有真实世界的对照去分223.137.135.252 10/02 23:15
22F：→ tim0821: 辨一句话的真假。比如有人说:"外面天气如223.137.135.252 10/02 23:15
23F：→ tim0821: 何"223.137.135.252 10/02 23:15
24F：→ tim0821: 真人可以观察下雨来验证这句话真假，来做223.137.135.252 10/02 23:15
25F：→ tim0821: 後续的反应，可以看到外面下雨说"正在下223.137.135.252 10/02 23:15
26F：→ tim0821: 雨"223.137.135.252 10/02 23:15
27F：→ tim0821: 但是对LLM来说"在下雨“与“没在下雨“都223.137.135.252 10/02 23:15
28F：→ tim0821: 是可能出现的句子，但是LLM来说这两句都223.137.135.252 10/02 23:15
29F：→ tim0821: 是等价的句子，都是可能会出现的对话。223.137.135.252 10/02 23:15
30F：→ tim0821: 可能情况是，有人看到外面下雨问天气，AI223.137.135.252 10/02 23:15
31F：→ tim0821: 却回没在下雨，会让人觉得矛盾。但LLM模223.137.135.252 10/02 23:15
32F：→ tim0821: 型不具备检证真实世界真假的机制，只会觉223.137.135.252 10/02 23:15
33F：→ tim0821: 得这对话是合理的。223.137.135.252 10/02 23:15
34F：→ bnn: LLM没有要取代神 它只需要取代你 59.115.145.56 10/02 23:39
35F：推 gotofumihisa: 人类对世界的理解有一定比例的信仰 101.10.104.105 10/03 00:08
36F：→ gotofumihisa: 。来自眼睛耳朵触感所观察世界的认 101.10.104.105 10/03 00:08
37F：→ gotofumihisa: 知，比如认为火就是热的，你的观察 101.10.104.105 10/03 00:08
38F：→ gotofumihisa: 能让你不只学会什麽是火也学会什麽 101.10.104.105 10/03 00:08
39F：→ gotofumihisa: 是烫。但LLM目前不是透过这种信仰学 101.10.104.105 10/03 00:08
40F：→ gotofumihisa: 习，只能透过人类已定义过的知识学 101.10.104.105 10/03 00:08
41F：→ gotofumihisa: 习。描述什麽是火什麽是烫，对事物 101.10.104.105 10/03 00:08
42F：→ gotofumihisa: 本质的理解与人类就有很大不同。 101.10.104.105 10/03 00:08
43F：推 rodion: 不能验证对错的ＡＩ 基本上就只是学舌鸟 180.177.206.0 10/03 00:31
44F：→ rodion: 学舌鸟算啥智慧？ 学得再快再像 都没有一 180.177.206.0 10/03 00:32
45F：→ rodion: 丝一毫更接近真实或是可能比学习的对象更 180.177.206.0 10/03 00:32
46F：→ rodion: 好 因此 只有能自我验证的ＡＩ才有机会变 180.177.206.0 10/03 00:32
47F：→ rodion: 成通用ＡＩ 这点我的看法与该访谈类似 180.177.206.0 10/03 00:33
48F：嘘 astrofluket6: 语毕 哄堂大笑 12.75.216.27 10/03 00:37
49F：推 donkilu: 嘴图灵奖得主也太...何况Sutton就是做ML 216.228.113.9 10/03 00:41
50F：推 donkilu: AI研究一直都与生物学和教育学紧密相关 216.228.113.9 10/03 00:54
51F：推 refusekkk: 先前不是才有研究说LLM会拒绝关机? 对123.194.153.213 10/03 01:16
52F：→ refusekkk: 此这位高僧有什麽看法?123.194.153.213 10/03 01:16
53F：→ houseguy: 问题是真要做出来，人类就无法掌控了吧 182.234.97.156 10/03 03:34
54F：→ houseguy: ..不是能不能的技术而是伦理问题 182.234.97.156 10/03 03:34
55F：推 r40491101: 一楼 47.156.226.200 10/03 04:12
56F：推 pacino: 他讲的层次跟一般人想的不同吧！ 36.230.12.72 10/03 06:04
57F：→ pacino: 从某方面来看，AI只是工具； 36.230.12.72 10/03 06:05
58F：→ pacino: 某方面来看，AI是智慧。 36.230.12.72 10/03 06:05
59F：→ pacino: 那分析数字，笔迹来说，AI是工具。 36.230.12.72 10/03 06:06
60F：→ pacino: 能分析数字和笔迹，能说不是某种智慧才能 36.230.12.72 10/03 06:07
61F：→ pacino: 做的事吗？ 36.230.12.72 10/03 06:07
62F：推 chengb: 至少不会有骇客任务的时代来临 101.8.251.223 10/03 06:10
63F：推 pacino: 差别可能在於人类的智慧可以天马行空，有 36.230.12.72 10/03 06:13
64F：→ pacino: 可能创造发明未知的事物。现在的LLM可以 36.230.12.72 10/03 06:13
65F：→ pacino: 不需要人介入就做得到吗？ 36.230.12.72 10/03 06:13
66F：→ ActionII: 拒绝关机是厂商自己讲的，他们一直想塑111.251.167.228 10/03 07:16
67F：→ ActionII: 造llm 有agi 的影子111.251.167.228 10/03 07:16
68F：→ ActionII: Llm 可以天马行空啊，gpt 不懂而且搜不111.251.167.228 10/03 07:21
69F：→ ActionII: 到的，他不就创造给你看了111.251.167.228 10/03 07:21
70F：推 qwe78971: 概率性数学模型 要成为AGI 难罗 49.182.140.85 10/03 07:45
71F：推 coolmark01: 当ai能本质上有好坏思考，人类会很惨 110.30.104.75 10/03 07:45
72F：推 qwe78971: 就没思考 哪有啥惨 底层逻辑跟打字跳出 49.182.140.85 10/03 08:04
73F：→ qwe78971: 来下一个关键字差不多 只是更复杂 计算 49.182.140.85 10/03 08:04
74F：→ qwe78971: 方式不同而已 就连画图也是 旁边什麽颜 49.182.140.85 10/03 08:04
75F：→ qwe78971: 色RGBA多少也是数学计算 概率性而已 三 49.182.140.85 10/03 08:04
76F：→ qwe78971: 四年前AI火起来 就有人做科普了 只是大 49.182.140.85 10/03 08:04
77F：→ qwe78971: 多数人不会去看 毕竟靠幻想轻松多了 49.182.140.85 10/03 08:04
78F：推 ayianayian: 现在只需要一个可以了解自然语言而动 114.137.240.16 10/03 08:08
79F：→ ayianayian: 作的机器人 114.137.240.16 10/03 08:08
80F：→ ohlong: 中文跟英文也不是死胡同 顶多火山矽肺症 111.71.213.234 10/03 08:08
81F：→ ayianayian: 没有情绪，不会抱怨，24小时无休的仿 114.137.240.16 10/03 08:09
82F：→ ayianayian: 生机器人 114.137.240.16 10/03 08:09
83F：→ ayianayian: 这样的目标，LLM就够用了 114.137.240.16 10/03 08:09
84F：→ ayianayian: 快点出高度商用性的产品吧 114.137.240.16 10/03 08:10
85F：→ ohlong: 本来就是只能看做是一种进阶的语言组织能 111.71.213.234 10/03 08:10
86F：→ ohlong: 力 是一个达到AGI的工具而不是办法 111.71.213.234 10/03 08:10
87F：→ DrTech: 就外行人一堆啊。谁不知道能达到图灵奖等 42.73.78.108 10/03 08:24
88F：→ DrTech: 级，研究与reputation大部分都是?"靠学生" 42.73.78.108 10/03 08:24
89F：→ DrTech: 做出来的，自己有什麽贡献欧？ 制造话题， 42.73.78.108 10/03 08:24
90F：→ DrTech: 财富密码，social产生影响力才是是重点啊 42.73.78.108 10/03 08:24
91F：→ DrTech: 。这也不是什麽秘密，哪个学术界大教授重 42.73.78.108 10/03 08:24
92F：→ DrTech: 点不是制造话题与影响力。做研究，那都是 42.73.78.108 10/03 08:24
93F：→ DrTech: 学生做的。 42.73.78.108 10/03 08:24
94F：→ DrTech: 制造新的研究课题，本来就是这种等级的学 42.73.78.108 10/03 08:26
95F：→ DrTech: 者在做的重要工作。至於是不是正确的方向 42.73.78.108 10/03 08:26
96F：→ DrTech: ，根本不重要。结果一堆学术外行者只在讨 42.73.78.108 10/03 08:26
97F：→ DrTech: 论是不是正确的方向。 42.73.78.108 10/03 08:26
98F：→ donkilu: 你要这麽说公司老板也没啥了不起 事情都 216.228.112.21 10/03 08:26
99F：→ DrTech: 那些都是学术菜鸟才会有的想法。 42.73.78.108 10/03 08:26
100F：→ donkilu: 员工做 老板谁来做都一样逆XD 216.228.112.21 10/03 08:27
101F：→ DrTech: 别断章取义，不管是顶级教授，还是业界老 42.73.78.108 10/03 08:32
102F：→ DrTech: 板，制造新的市场本来就是老板该做的，谁 42.73.78.108 10/03 08:32
103F：→ DrTech: 来都一样？ 当然不一样，重点不是逻辑正确 42.73.78.108 10/03 08:32
104F：→ DrTech: 性，而是人的影响力。马斯克与小公司无名 42.73.78.108 10/03 08:32
105F：→ DrTech: 老板说：未来是机器人的时代，影响力效果 42.73.78.108 10/03 08:32
106F：→ DrTech: 会一样吗。 老板的重点在开新市场制造影响 42.73.78.108 10/03 08:32
107F：→ DrTech: 力，结果一堆基层劳工，思想太低层，在讨 42.73.78.108 10/03 08:32
108F：→ DrTech: 论市场有没有道理。 42.73.78.108 10/03 08:32
109F：推 motan: 太好了，不会有人工智能，请安心使用 49.216.110.104 10/03 08:32
110F：推 vul3kuo: 有点像阿发狗一开始都是学人类棋谱 42.75.124.12 10/03 08:32
111F：→ vul3kuo: 後期改成自己跟自己对弈学习 结果更强 42.75.124.12 10/03 08:32
112F：→ DrTech: 大家都没错，只是思考层级不同而已。 42.73.78.108 10/03 08:33
113F：→ DrTech: 图灵奖等级教授，就是该开拓新的市场，而 42.73.78.108 10/03 08:34
114F：→ DrTech: 不是探究这技术或市场是否是正确的。 42.73.78.108 10/03 08:34
115F：推 alex01: 又来了 223.137.54.108 10/03 08:58
116F：→ alex01: 总有种感觉就是这些人以前会说，金属不够 223.137.54.108 10/03 09:00
117F：→ alex01: 用，木材才是烧，其他的东西怎麽能拿来烧 223.137.54.108 10/03 09:00
118F：→ distellable: 你以人类当标准范例 当然无法超越 60.248.18.139 10/03 09:30
119F：→ distellable: 如果给AI多出其他人类无法具备的 60.248.18.139 10/03 09:30
120F：→ distellable: input/output呢? 60.248.18.139 10/03 09:30
121F：→ ActionII: …你给人类无法具备的input 要干嘛 42.73.252.226 10/03 10:17
122F：→ ActionII: Llm 巨头找一堆资料标注工程师，然後你 42.73.252.226 10/03 10:18
123F：→ ActionII: 给人类不懂的东西？ 42.73.252.226 10/03 10:18
124F：推 herro760920: 这议题太广，烂标题想骗人下结论。这 223.137.35.33 10/03 10:22
125F：→ herro760920: 问题要回归到AI分级，还有每个人对AI 223.137.35.33 10/03 10:22
126F：→ herro760920: 的标准不同。 223.137.35.33 10/03 10:22
127F：推 driver0811: 其实讲的就是LLM只会懂理性，不懂科 111.71.45.232 10/03 10:31
128F：→ driver0811: 学。可是真要如教授讲的，就必须指导 111.71.45.232 10/03 10:31
129F：→ driver0811: Ai理解科学并开放执行科学，这样牵涉 111.71.45.232 10/03 10:31
130F：→ driver0811: 到我们人类怎麽知道Ai会不会也把人类 111.71.45.232 10/03 10:31
131F：→ driver0811: 拿来做实验对象？ 111.71.45.232 10/03 10:31
132F：→ driver0811: 不过总有一天Ai开始被人类腐化的时候 111.71.45.232 10/03 10:35
133F：→ driver0811: ，人类必须向Ai 打开科学的潘朵拉之 111.71.45.232 10/03 10:35
134F：→ driver0811: 盒 111.71.45.232 10/03 10:35
135F：推 qw2974: 有学资讯的都知道吧，一直都只是爬大数据 125.229.237.64 10/03 10:48
136F：→ qw2974: 的进度，但还是非常好用 125.229.237.64 10/03 10:48
137F：推 cobrasgo: 文组的奖项就算了，图灵奖得主讲他专业 42.73.175.53 10/03 11:20
138F：→ cobrasgo: 的东西被骂低能… 42.73.175.53 10/03 11:20
139F：推 henry2584: 其实不错啊，至少是个正常的人类 42.77.41.194 10/03 11:34
140F：推 henry2584: 比搞出个超越人类智慧的来毁灭人好 42.77.41.194 10/03 11:35
141F：推 Wishmaster: 不是从某个角度就是在避免这件事吗? 125.229.77.61 10/03 12:04
142F：→ Wishmaster: 他可以把一个newbie快速提升知识到 125.229.77.61 10/03 12:05
143F：→ Wishmaster: 一定水准就超强了吧... 125.229.77.61 10/03 12:06
144F：推 twolight: 认知科学应用在AI上参考的是人类天才而 27.52.198.238 10/03 12:14
145F：→ twolight: 非唐氏症，一楼明白吗？ 27.52.198.238 10/03 12:14
146F：推 Ischolar: 这篇文章的论点是，AI没有学习或理解，118.232.100.231 10/03 12:53
147F：→ Ischolar: 它只是模仿已知的知识系统。不管LLM 多118.232.100.231 10/03 12:53
148F：→ Ischolar: 强大，不会实现真正的AGI118.232.100.231 10/03 12:53
149F：→ Nixwell: 敢反对我们大奥特曼！臭老头找死 _ 39.12.25.167 10/03 13:21
150F：推 dongdong0405: 本来就是了 只有套特曼整天在吹AGI 101.12.234.95 10/03 14:27
151F：→ dongdong0405: 为了公司赚钱不择手段 101.12.234.95 10/03 14:27
152F：推 Narcissussss: 这年头还能看到有人嘴图灵讲得主XD 49.216.93.137 10/03 14:28
153F：推 z1231002: 1F应该是诺贝尔奖得主 这样才能跟 49.215.57.113 10/03 15:34
154F：→ z1231002: 图灵奖的ok 49.215.57.113 10/03 15:34
155F：→ rogergon: 学习人类已经等於是抄作业了，还嫌？ 49.218.89.224 10/03 15:39
156F：→ rogergon: 其实我还蛮担心它学习到更高维度的智慧 49.218.89.224 10/03 15:41
157F：推 aallrightstw: 你要解决的问题是客户层级，还是人 220.129.2.45 10/03 16:19
158F：→ aallrightstw: 类文明层级？你用文明走向层级的标 220.129.2.45 10/03 16:19
159F：→ aallrightstw: 准要求AI当然没可能，但解决客户问 220.129.2.45 10/03 16:19
160F：→ aallrightstw: 题AI还是很好用。 220.129.2.45 10/03 16:19
161F：推 nxuanr: 虽然我看不懂 但是我觉得满屌的 223.143.43.100 10/03 16:19
162F：推 bnd0327: 每个在做AI的人都知道，但阻止不了他们 61.216.101.115 10/03 16:47
163F：→ acgotaku: 人类累积知识传递下去, 本质上就是模仿 1.169.189.174 10/03 17:22
164F：→ acgotaku: 小孩模仿大人,学生模仿学者 1.169.189.174 10/03 17:22
165F：→ acgotaku: LLM 目前在於 他就像无穷的递回函数一样 1.169.189.174 10/03 17:24
166F：→ acgotaku: 你让他找到一个突破点, 他就跟洪水一样 1.169.189.174 10/03 17:25
167F：→ acgotaku: 灌进去 瞬间完成学习过程 知识完备 1.169.189.174 10/03 17:25
168F：→ LipaCat5566: 我只在乎能不能做个智能飞机杯有拟真 42.70.3.30 10/03 18:16
169F：→ LipaCat5566: 温度跟触感智慧调节伸缩 最配vr 42.70.3.30 10/03 18:16
170F：推 certainpen: 吹捧的时候就说是AI好厉害 简单的 118.168.214.40 10/03 19:24
171F：→ certainpen: 东西做错就说是语言模型不能苛求 118.168.214.40 10/03 19:24
172F：推 Hyozero: 博大精深啊 42.72.157.127 10/03 20:07
173F：→ Hyozero: 需要新架构 42.72.157.127 10/03 20:07
174F：→ Hyozero: 格局决定未来 42.72.157.127 10/03 20:08
175F：推 straggler7: 这样对人类比较安全 60.251.200.4 10/03 20:27
176F：→ red0210: 图灵奖有些可能是过誉的，但 Sutton 这 223.140.77.111 10/04 04:03
177F：→ red0210: 种是真的强，自己都能 solo 出一堆破千 223.140.77.111 10/04 04:03
178F：→ red0210: 引用的论文了还靠学生勒，不认识 Sutton 223.140.77.111 10/04 04:03
179F：→ red0210: 先去读他的 RL 课本再嘴炮吧 223.140.77.111 10/04 04:03
180F：→ ookimoo: 套很大吧，OO没什麽了不起但是自己做不 49.216.21.126 10/04 06:02
181F：→ ookimoo: 到的人的起手式 49.216.21.126 10/04 06:02
182F：→ ookimoo: 本来就是假AI但是拒绝承认 49.216.21.126 10/04 06:02
183F：推 acgotaku: 萨顿本意不是否定通用 AI, 是 LLM 这种 59.115.68.245 10/04 16:43
184F：→ acgotaku: 洪水般进食知识的方式,对於真正 AGI可能 59.115.68.245 10/04 16:45
185F：→ acgotaku: 会难以达成, 但现实就是这种方式能解决 59.115.68.245 10/04 16:45
186F：→ acgotaku: 9成9的人类问题,人类保留0.1的创新给自 59.115.68.245 10/04 16:46
187F：推 kanding255: 没办法自己迭代 进化的意思吗 49.215.59.90 10/04 18:06
188F：→ aprilsugar: 但现在LLM就是能解决问题啊…… 1.160.121.151 10/06 10:27
189F：推 shorty696820: 那个低能ID不是早就被黑单了吗 172.56.126.174 10/07 06:04
190F：推 Aequanimitas: 讲白就是LLM无法证伪 因此无法从错 101.12.161.209 10/09 15:49
191F：→ Aequanimitas: 误的事实得到经验并改进 101.12.161.209 10/09 15:49