作者oopFoo (3d)
看板Stock
标题Re: [新闻] 甲骨文股价暴跌超10%!订单积压越来越多 「烧钱」砸AI
时间Sun Dec 14 05:40:05 2025
※ 引述《minazukimaya (水无月真夜)》之铭言:
: 没关系,偷偷告诉你一个Insight
: 今年NeurIPS 2025有一篇超重量级的论文
: Introducing Nested Learning
就整篇不知道在讲什麽。删
https://research.google/blog/introducing-nested-learning-a-new-ml-paradigm-for-continual-learning/
https://reurl.cc/8bDgag
google已经整理好重点。
"We introduce Nested Learning, a new approach to machine learning that views models as a set of smaller, nested optimization problems, each with its own internal workflow, in order to mitigate or even completely avoid the issue of “catastrophic forgetting”, where learning new tasks sacrifices proficiency on old tasks."
翻译
"我们引入Nested Learning,这是一种新的机器学习方法,它将模型视为一组较小的Nested Learning问题,每个问题都有自己的内部工作流程,以便减轻甚至完全避免「灾难性遗忘」的问题,即学习新任务会牺牲对旧任务的熟练程度。"
架构还是transformer,套入一些术语,让外行人糊涂。论文都是这样。
就很有趣,有机会改进post training效率,可能可以塞进更多功能在同样的规模模型。
就像moe(Mixture of Experts),有很大帮助,但基本结构不变。
股版的关联是,该涨的该跌的股票不变。AI现在就是往更高效率,更少资源方向走。
但应用如何赚钱还是问题,所以甲骨文大投资,如何回收,华西街现在害怕了。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 58.114.66.74 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1765662010.A.091.html
1F:推 dreamelf : OpenAI都改成用租的了 12/14 05:54
2F:推 waitrop : openai 一直都是用租的,从来不花钱自己买自己建资 12/14 05:57
3F:→ waitrop : 料中心 12/14 05:57
4F:推 dosiris : OpenAI用买的早就跟甲甲文一个下场了 12/14 06:10
5F:→ AndyMAX : 奥特曼用租的然後跑去韩国抢HBM产能 12/14 07:25
6F:推 qoo10067 : 要烧钱也是有个限度,最终还是回归获利模式 12/14 08:34
7F:→ fallinlove15: 现在就等谁先撑不住 以後被低价收购 这些努力不会 12/14 08:51
8F:→ fallinlove15: 白费的啦 只是变成别人的养分 12/14 08:51
9F:→ potionx : 灾难性遗忘 跟模型承受资料量有关系 12/14 09:47
10F:→ potionx : 小模型你给太多资料 他最後会崩溃 什麽都忘光 12/14 09:47
11F:→ potionx : 这点能解决的话 算很有用的技术 12/14 09:47
12F:推 fajita : AI基建迭代几轮都有可能。巨头们很奸巧,出点钱让想 12/14 09:59
13F:→ fajita : 红的阿呆去玩命 12/14 09:59
14F:推 CAFEHu : 网咖:不是我们模式不行,是游戏要求越来越高 12/14 10:04
15F:→ CAFEHu : 逼得要不断烧硬体升级 12/14 10:04
16F:→ CAFEHu : 皮衣蛙:结论就是你要勤劳的换新铲子, 12/14 10:07
17F:→ CAFEHu : 应用不进步是不可能的 12/14 10:07
18F:→ TaiwanUp : HOPE跟传统transformer已经有很大不同 但也不用咬 12/14 10:42
19F:→ TaiwanUp : 文嚼字了 看起来硬体支援少不了 就买2330/0052吧 12/14 10:42
20F:推 fanntasy : 譁众取宠那咖啥都不懂 早就直接无视 12/14 13:05
21F:推 afacebook : 不对喔 transformer基本就是qkv+ffn 12/14 15:58
22F:→ afacebook : 如果你只改了FFN 那确实就如这篇说的 12/14 15:59
23F:→ afacebook : 叫xxtransformer才对 transformer已经被魔改到 12/14 15:59
24F:→ afacebook : 我随便就能举出2-30transformer架构 12/14 16:00
25F:→ afacebook : 然後他还改变了training的方式 但那些fine-turing的 12/14 16:01
26F:→ afacebook : 技巧 其实还满常使用的 12/14 16:01
27F:→ afacebook : 在transfer learning 本来就没有一次性地更新模型的 12/14 16:02
28F:→ afacebook : 不同的模型使用不同的更新速率 这是很常见的 12/14 16:02
29F:→ afacebook : 你如果训练GAN 更常使用不同频率的更新技巧 12/14 16:03
30F:→ afacebook : 再来就是他使用了一种新的op 那这要实验去验证 12/14 16:04
31F:→ afacebook : 简单的说 大模型试试看 目前说实在 没有觉得很亮眼 12/14 16:04
32F:→ afacebook : 他如果能在大模型打败所有人 一翻两瞪眼 12/14 16:05
33F:→ afacebook : 管他叫什麽 大家都会觉得你是神 12/14 16:06
34F:→ afacebook : 而且他FFN 用了5层....嗯 不好说 很反直觉 12/14 16:07
35F:推 afacebook : 不过我还是要谢谢原本那篇文章 看股版还可以读论文 12/14 16:24
36F:→ bndan : 努力不会白废 变成别人的养份+1 XD 一直以来就是 12/14 16:32
37F:→ bndan : 全录首创GUI 成就apple和m$ 而网景推出网页浏览器 12/14 16:32
38F:→ bndan : 成就了m$ 一整个前网路世代 第一只智慧型「手机」 12/14 16:32
39F:→ bndan : (概念) 由IBM提出 一阵乱战差点又被m$捡漏 最後 12/14 16:32
40F:→ bndan : 成就了 apple和google 在历史上首发但成就他人的「 12/14 16:32
41F:→ bndan : 善心」企业真的数不玩 XD 12/14 16:32
42F:→ bndan : 这些例子还没说到「被」成就卖铲子的 .. 12/14 16:35
43F:推 sdbb : 谢谢 12/14 23:19