作者LDPC (Channel Coding)
看板Stock
标题Re: [心得] AI需求是供应商精心设计好的套路
时间Sun Mar 22 02:43:38 2026
大大 你这样讲不太对啊 记忆体和算力是等价互换
拿个简单说 在训练端你永远可以用gradient accumulation 来降低记忆体
训练无法一次跑四个样本 那就一个个样本跑 记忆体需求降四倍
(算力->记忆体) 这就是你下面举例子
在inference端也是有 记忆体和算力等价互换 KV Cache -> Token
概念就是事先把已经算过东西存好 不用在算一次
甚至智能也可以用算力->时间互换(Latency)
LLM现在很多不强求一步解 会采用类似思考链 一步步拆解问题 然後验证
( 对比人类心算一次算 跟慢慢手动算)
那你上面两个概念迭在一起 少了第三个参数 "速度" 也就是Latency
这也是为何LLM这类模型在Inferece端 有一个指标叫做token/sec
简单说就是 你硬体用低阶跑 但使用算力记忆体互换 降低硬体需求
你付出的就是速度 token/sec 原本一秒100 token 给你这样一搞 一秒5 token
系统慢 在消费端 就是世界末日 不过这边的人喜欢用throughput这个字眼
来横量硬体在这方面表现
这也是为何 有些人觉可以SSD+CPU 来解锁3090这类低VRAM GPU 但却可跑100B模型
比方 因为你可以用花时间 分切100B模型参数 迭代是部分放入3090 然後每次计算
再放回SSD + CPU 整合 (基本上就是群联aiDAPTIV 套路)
这个就是铁三角(算力 记忆体 速度) 上面牺牲掉的速度 看看精美的aiDAPTIV销售量
在消费端 速度慢 就是垃圾 这也是为何 苏妈的核心概念就是高速计算
你可以看到苏妈的布局就是速度-> 硬体 -> 速度/成本 干死你们
不论是大AI前时代 (游戏时代) 中期个人电脑 或者现在AI时代 苏妈核心概念简单 "快"
这造就整家公司企业没有pivot (开会最怕听这个关键字）公司整体策略布局很合理
小公司打死大公司 最重要就是简单 但方向能长久一直执行下去
然後现在软体优化 基本上可以叫AI去搞 当初CUDA这些护城河 有可能被x1000打破
苏妈一定有想过 用AI软体优化他自家RFCOM 增加迭代速度追上CUDA
毕竟现在我司自身看过工程师+AI Agent 单日产出x1000 我就觉我这辈子就这样了(*1)
人类学常常用自家ai优化自己软体 左脚踩右脚 迭代速度快
所以算力小队 我就赌这两家 高品质硬体+自家生态系
在衡量ai算力 就是 (记忆体 算力 Latency) 等价三角 /单位电力
然後人类就是那个分母 电池
--
*1 最近在我司又被震撼到一次 有一次我把模型训练完 强者工程师deploy完
但前端要变动很多才能接 然後前端就踢皮球说 要我们证明模型效能 巴巴拉拉啊好处
他才要去动 通常在以前公司 会两个部门主管出来打架 盖章 然後决定是我们这边迁就
他们 还是他们照我们路线 这种情形在大厂 通常是tech lead会花一个礼拜打架决定
结果强者工程师x1000 两个小时就把前端写完 写个demo 还写了一个工具去把所有
过去使用这数据爬虫出来整理 套用在我们场景(数据爬虫 这个等於是另外一个人工作)
模拟使用者expereicnce
然後证明我们这种模型搭配场景效果 直接用证据说话 然後前端工程师马上
吓得说他会去做 因为他意识到 他的饭碗跟scope瞬间被强者工程师抢走 再多说一句
只会让人觉他的能力不行
在那刹那我突然意识到 以前大厂互相鬼扯打架的 谁迁就谁 要证明哪个系统好
在新创搭配ai agent情况下 这些都没意义 一切就是比谁能把系统实作出来 用结果说话
以後就是这样 连跨部门吵架 都不用tech lead 直接实作系统硬干对方
当一个人x1000 就是可以单纯暴力胖揍同事
※ 引述《teddy98 (泰迪!走吧!)》之铭言：
: 我来说说，为甚麽说，AI需求是供应商精心设下的套路吧！
: 刚踏入AI的人
: 可能会觉得，AI的神经网路演算法(大规模平行矩阵运算)，
: 好吃硬体资源啊，硬体规格的需求好大，几乎看不到天花板。
: 所以，很多人会有＂AI算力需求是永无止尽的＂这种错觉，
: 但用久了开始熟悉AI之後，你会发现，
: 其实AI庞大的硬体需求，是一种供应商精心铺设好的套路
: 也是一种吹捧、夸大其辞的行销手段。
: 为甚麽会这样讲？
: 第一，AI模型的节点不一定有经过优化（化繁为简）
: 拿软体来比喻，一个source code写很烂的软体，没有经过优化，
: 如递回运算，消耗掉比正常高2~3倍以上的硬体资源。
: 会占用大量的 GPU VRAM 和运算周期。
: 这时，你怪的不是AI模型烂，而是AI算力不够？
: 第二，AI模型的运算流程可以分批次进行
: 一个步骤，可以切成4个子步骤进行，用For循环4次执行
: 如生成式绘图，如果一张解析度非常大的图像，
: 切割成4个区块，用For循环做4个批次处理，再用TTP图像拼接/重组，
: 将4个处理好的图像做合并
: ＂可以大幅减少AI在运算时VRAM的占用量。＂
: 这部分算是AI行家才知道的机密，供应商绝对不会和消费者说。
: 因为要是让你知道了，你就不会为了增大VRAM升级你的显示卡或DRAM了。
: 前阵子，我在看GPU规格时，VRAM总是找不到16G以上的规格，
: 现在回想，果真是中了NVIDIA的市场行销套路。
: 因为，辉达，配备VRAM 24G以上的唯独最顶级90系列的GPU才有，
: 如: RTX 3090, RTX 4090, RTX 5090
: 现在回想，当时是差点中计了，浪费钱买RTX 5090是不必要的。
: 因为AI算法再怎麽吃资源，也是能透过优化和分批处理，来解决硬体配备不足的部分。
: 实测後，再高解析度的绘图，12G的绘图卡也能胜任。
: 也不需因为GPU记忆体的配置比较低而选用低精度的模型，fp16照样可以跑得很顺畅。
: 目前生成式AI的发展非常快，模型也渐趋成熟了，
: 只要巧妙地设置好AI的流程，好像也说不上，需要多高阶的硬体规格来跑AI模型。
: 而且现在的AI模型不断推陈出新，新的AI模型的容量也越来越小。
: 占用的GPU资源也明显下降。
: 大部分旧模型低配要24G VRAM才能跑的，新模型只要16G甚至12G VRAM就能完美运行。
: 不管是文字图片精修，影像P图，视讯P图，设好对的节点，低配的GPU也能完美优化。
: 现在那些号称＂专家＂或＂分析师＂的家伙
: 对於AI的硬体需求越开越高，到达浮滥的地步，
: 会有这种现象，很大程度上是供应商（辉达）精心设下的套路。
: 也是为了喊多股市的一种噱头。
: 不过，很少用Photoshop是真的，AI模型很大程度上解决以往在影像修复上的难题。
: 图片经过AI重新生成，容量也变小了
: （原图722KB，修复後268KB，减少将近63%。) 计算: (722-268)/268*100%=62.88%
: 试问各位的看法呢？怎麽看未来AI的硬体供货需求？
: 记忆体族群的杂音最多，有人喊AI供货短缺上看2030年
: 但Samsung开始跟客户签长约，有人说可能离市场饱和不远了
: 以目前的记忆体类股的股价来看，是看多还是看空呢？
: ----
: 书脊，修复前
: https://ibb.co/1tzg824g
: 书脊，修复後
: https://ibb.co/zWRrPqjr
: AI生成 - 虎兔狗
: https://ibb.co/8n8MF5Kr
: https://ibb.co/5hwkq4ZB
: https://ibb.co/nN83j1XD
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 76.21.72.78 (美国)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1774118620.A.3D2.html
※ 编辑: LDPC (76.21.72.78 美国), 03/22/2026 02:46:18
1F：推 a0808996 : 好日子要到头了!!! 再继续飞升就要回家吃自己 03/22 02:46
2F：推 duriamon : 台湾就是代工思维不长进才一狗票人对AI的发展当井底 03/22 02:54
3F：→ duriamon : 蛙，笑死！ 03/22 02:54
4F：→ newwu : 原文很明显没有很懂 03/22 02:55
5F：推 soome : 人类还能再上几年班不被取代QQ 03/22 02:57
6F：→ duriamon : 当一个东西叠代速度是按月算得，就该知道这东西绝对 03/22 02:57
7F：→ duriamon : 不是用以前的概念去套，呵呵！ 03/22 02:57
※ 编辑: LDPC (76.21.72.78 美国), 03/22/2026 03:13:15
8F：推 QQMMWA : 不上班是好事 怎麽被某楼说成了坏事一样 03/22 03:45
9F：→ QQMMWA : 如果人类真的没班可上 03/22 03:45
10F：→ QQMMWA : 代表人类科技力和上帝一样 03/22 03:45
11F：→ QQMMWA : 已经有创造智慧体的能力了 该开心 03/22 03:45
12F：→ QQMMWA : 反而是现在的ai 离取代人类还远的很 03/22 03:45
13F：→ QQMMWA : 人类真的能创造agi 03/22 03:46
14F：→ QQMMWA : 癌症 等各种疾病早就被攻克了 03/22 03:46
15F：→ QQMMWA : 各种疾病都准备被攻克 03/22 03:46
16F：→ QQMMWA : ai搞到所有人类都没班可上的程度 03/22 03:46
17F：→ QQMMWA : 那人类才会幸福 03/22 03:46
18F：推 ChikanDesu : 原文就自以为发现新大陆 实际上前提根本错 又觉得大 03/22 04:22
19F：→ ChikanDesu : 厂是低能 花几兆的人决策会比他差？ 03/22 04:22
20F：推 sdbb : 谢谢 03/22 04:45
21F：→ layer0930 : 你觉得工作很快的原因是因为 03/22 06:45
22F：→ layer0930 : 目前ai解决简单的问题 很快 03/22 06:45
23F：→ layer0930 : 实际上复杂的问题还是会拉的很久，且出错问题很大 03/22 06:47
24F：→ layer0930 : 另外 目前ai 不是单纯因为有了 cache 就能解幻觉跟 03/22 06:47
25F：→ layer0930 : 速度， 03/22 06:47
26F：→ layer0930 : 爬虫跟一些画面的撰写 如果不要求设计风格 。靠ai 03/22 06:49
27F：→ layer0930 : 快速帮忙 当然ok 03/22 06:49
28F：推 jack529 : 新创本就是跟时间对决，还那边提皮球被取代刚好== 03/22 07:34
29F：推 rereterry : 就…对技术一知半解的人很喜欢跳出来说话，本来就没 03/22 08:20
30F：→ rereterry : 有什麽都好，原本那篇就有人留言，那种说法根本当7 03/22 08:20
31F：→ rereterry : 巨头工程师都是白痴 03/22 08:20
32F：→ layer0930 : 原本那篇不能说他全错，因为模型的迭代跟优化的确 03/22 08:25
33F：→ layer0930 : 可以省效能 。 03/22 08:25
34F：→ layer0930 : 另外如果把模型专业化 而不去用通用模型 硬体效能 03/22 08:25
35F：→ layer0930 : 可以更下去 03/22 08:25
36F：→ layer0930 : 所以才会出一大堆的模型 来解各种问题，而不是通用 03/22 08:26
37F：→ layer0930 : 模型全解 03/22 08:26
38F：→ layer0930 : 现在ai好比当年 windows 95,但离到目前os 还差很远 03/22 08:27
39F：推 kurenaiz : 人类离当电池不远了 03/22 08:28
40F：→ layer0930 : 但如果用专业的模型可能还是有缺少的功能 03/22 08:29
41F：→ layer0930 : 所以会在训练 03/22 08:29
42F：→ layer0930 : 或是可能从通用模型在提炼这样 03/22 08:29
43F：→ layer0930 : 另外资安跟模型更新都是问题 03/22 08:29
44F：→ layer0930 : Ssr 的架构混合制，目前仍无法突破物理障碍 03/22 08:29
45F：→ layer0930 : Ai是一个赔钱货 03/22 08:30
46F：→ layer0930 : 韩国有游戏公司尝试在做跟我类似的事情，但是他们 03/22 08:31
47F：→ layer0930 : 也停工了 03/22 08:31
48F：→ rxsmalllove : 先担心五年後回家会不会吃自己 03/22 08:42
49F：推 jerrychuang : 哇，那两家？ 03/22 08:43
50F：推 mdkn35 : 潘董不要再推aiDAPTIV了 都没人再训练了 03/22 08:52
51F：→ SILee : 我觉得你提到了很重要的一件事，再这样发展下去，连 03/22 09:03
52F：→ SILee : CUDA的生态系都不会再是非要不可的护城河了 03/22 09:03
53F：→ SILee : 反正叫AI自己重建和验证那些lib，也不用几天。 03/22 09:04
54F：推 VScode : 太狂惹，好日子要来了 03/22 09:16
55F：→ layer0930 : Ai 的验证跟人类（需求端）不一定一样 03/22 09:22
56F：→ layer0930 : 因为语意这件事很模糊 03/22 09:22
57F：推 poeoe : 现在AI进步就是这麽快 码农的冲击会很大 03/22 09:24
58F：推 poeoe : 只能买好买满AI股 才能降低自身风险 03/22 09:26
59F：推 Nitricacid : 现在真的与其灰半天不如自己来比较快...以前专职嘴 03/22 09:27
60F：→ Nitricacid : 炮的反而比较危险 03/22 09:27
61F：推 strlen : 这是真的 最近就遇到也是合作对象前端在那边番 好啊 03/22 09:36
62F：→ strlen : 你要番是吧？那我来做 大概一个半小时就做完了 03/22 09:36
63F：→ strlen : 跟前端说你不用忙了我弄好了 他整个无言 业主感觉也 03/22 09:37
64F：→ strlen : 懂了什麽 啊反正也不是我写 都codex和cc在写 03/22 09:37
65F：→ strlen : 其实工程师真的可以砍掉七八成 没问题了 03/22 09:38
66F：推 devilsabre : 推 03/22 09:42
67F：推 VScode : 前端真的是最快被取代的，後端至少还有领域知识 03/22 09:47
68F：→ VScode : 当护城河 03/22 09:47
69F：→ strlen : 没有什麽护城河了 不干活自会有AI收 懒人通通下去 03/22 09:57
70F：→ strlen : 连开AI出来写都懒 你还是乖乖当电池 03/22 09:57
71F：推 create8 : 我准备回乡下种田了 QQ 干 03/22 10:02
72F：推 aspirev3 : 算力小队 2330+goog吗 03/22 10:30
73F：推 coke7 : 阿弥陀佛 幸好我不是码农 03/22 10:33
74F：推 hellomo : 推分享 03/22 11:36
75F：推 cphe : 码农真的是最危险的，尤其纯软 03/22 11:44
76F：推 Dreamjonbe : 文组看不懂QQ 03/22 11:44
77F：→ emind : 什麽模型效能要前端改变才能证明？ 03/22 12:19
78F：推 zaqimon : AI什麽时候能直接帮我的银行帐户x1000 03/22 12:30
79F：→ zaqimon : 我只需要银行帐户x1000这个简单的功能就好 03/22 12:30
80F：→ zaqimon : 其他的功能我都不需要 03/22 12:30
81F：推 darkangel119: 直接说明用实力取代对手的能力 03/22 12:33
82F：→ bndan : X1000 还要2小时 代表原本要2000小时 而且是强者同 03/22 12:58
83F：→ bndan : 事..假设强者工时是一般人2.5倍就好 你这个X1000号 03/22 12:59
84F：→ bndan : 称成立的意思就是原本的需要要一般工程师5000小时才 03/22 12:59
85F：→ bndan : 能完成 以台湾工时计算也就是 625个工作天的需求 == 03/22 13:00
86F：→ bndan : 这还是计算全工时都在努力完成这需求..= = 03/22 13:01
87F：→ bndan : X1000这种"号称" 真能成真 那AI工时效率公式早换了 03/22 13:01
88F：→ bndan : 那时应该也不需要强者同事当算式基底了.. 03/22 13:02
89F：→ bndan : 目前市面上的 不敢说AI巅锋应用 但常态标准线拉在x4 03/22 13:03
90F：→ bndan : ~x5 其实就差不多"一般"写程式能加速的范围了 扣除 03/22 13:03
91F：→ bndan : 掉人的问题 还要再上去需要配合调整各种对应的流程 03/22 13:04
92F：→ bndan : 用工业革命来比喻的话 就是需要对应各产品准备客制 03/22 13:04
93F：→ bndan : 化的生产流水线... 03/22 13:05
94F：→ bndan : 换句话说 别说X1000 出个X10的 基本上使用范围就会 03/22 13:06
95F：→ bndan : 被缩小到特定需求或是行业了 03/22 13:06
就人数啊 我以前在大厂训练模型tech lead 率领五个人 现在我一个人干全部事情
训练模型就清洗data ->设计实验-> eval结果->测试新设计 现在我开三个agent
帮我干这些事情 然後周期又缩短比以前两倍 我自己就x10
这个数学式子隐藏意义就是裁员 twitter 7000-> 700是还没有ai agent时代
meta现在是测试一个manager管50个人 你去看人类学内部预测一个人可以抵一个团队报告
我合作对象deployment AI infra老兄 他现在基本除了ML training办不到 其他都行了
干了 前端 後端 Datascientist UI PM 基本上 一次开5~10个agent
像是langsmith/infra monitor 不过合理说 x1000的确我给他评价 本身数字不正确
正确数字大概介於x20 ~ x50
不过以前一个人干全司不可能事情 正在魔幻的发生 因为agent tool不是只有codex/claude
他有前端 後端 user testing 一堆 现在连user 测试 都叫ai测试 取代低阶QA
在接下来会有agent call agent 这种更跳跃式的前进 更全面自动化
反过来简单一件事 amazon现职15万人 如果数学式子为真就是x10~x100是合理
那意味者就是删减10万员工 这也是为何ceo andy说 他预测2030 我们只要很少量员工
很快 会计事务所 20人小公司 会缩减到2~3人 同理法律事务所现在在美国已经有这趋势
电影动画 各种产业当x10 x100出现 就是人力缩减 这就是这公式最大意义 ->裁员
你去看现在已经很多财经公司 使用claude套件 报表人力需求都降低
用人力堆上去的 软体护城河都不在有任何意义 任何产业用人力成本推上去的时间护城河
都没意义 这不是美国码农懒不懒 而是手写code已经渐渐失去意义 手写文章
手打报告 手动处理资讯 都失去了价值
※ 编辑: LDPC (76.21.72.78 美国), 03/22/2026 13:28:59
96F：→ sdbb : Handjob blowjob 机器人比不上真人 03/22 13:51
97F：→ sdbb : 手工 出嘴巴工作，机器人还是输真人 03/22 13:52
98F：推 zaqimon : 还是需要创造一堆职缺塞老人吧 不然老人要干麽 03/22 14:38
99F：→ zaqimon : 老人薪资福利要高脑袋僵化体力不行只能当管理职 03/22 14:39
100F：→ zaqimon : 还好AI无法取代只出一张嘴的肥猫老人 03/22 14:39
101F：推 ProTrader : 楼楼上 你想的太歪了 那方面未来机器人应该也能达成 03/22 14:40
102F：推 zaqimon : 所有的组织内部都一样 至少有一半的人是肥猫米虫 03/22 14:41
103F：→ zaqimon : 然後才来喊基层人力不足 03/22 14:42
104F：→ zaqimon : 我猜以後警察消防扫地收垃圾开公车通通都是外劳吧 03/22 14:43
105F：→ zaqimon : 短期内也看不出AI机器人有能力取代这些基层人力 03/22 14:43
106F：→ zaqimon : 例如到区公所或银行 柜台永远塞满人慢吞吞 03/22 14:45
107F：→ zaqimon : 後面坐着一堆人不知道在干麽 03/22 14:45
108F：→ zaqimon : 年资越高薪水越高座位就越後面 03/22 14:46
109F：→ zaqimon : AI永远无法取代那些人 03/22 14:47
110F：推 shoo42 : 结论要欧印谁QQ ? 记忆蛙还有救吗！救救我 03/22 20:34