※ 引述《minazukimaya (水无月真夜)》之铭言： : ※ 引述《LDPC (Channel Coding)》之铭言： : : @@我是不知道其他世界线 我们公司有引入各种AI Tool : : 比方说在slack 我要开一个data bucket权限 (公司机密资料 权限最高级那种) : : 来测试我新模型 然後我就slack打serval (IT机器人公司方案) : : 他就开始一步步核对 然後最後一步还跟我说有各种data access 时间限制 : : 然後就帮我设定好 然後最一关签呈就是人类IT 这些步骤效率超越传统IT很多 : : 随时都可以叫IT机器人帮我处理各种事情 前置作业大量弄好 只要一两个人类做最後确认 : : 同样的 我在openai企业版(有专门设计给企业版) 这个整合内部公司所有文件资料 : : 有一次我要设计模型 我就问这方面模型有谁设计过 结果他就拉出过去 : : 三年各种历史设计报个 还有各种benchmark 因为openai企业版可以整合公司资料库 : : 一下子我就能站在过去历史巨人 不需要去问哪个部门之前干过啥 : : ai coding现在最大用途就是写测试工具 真他x的好用 设计模型完之後 叫ai帮我写 : : script去做下游端大量测试 : : 其他ai tool还有infenrece端可以直接调用prompt和观察模型反应 以及notion : : 这种线上报告也引用自家ai tool 快速搜寻资料都挺方便 : : 然後我们自己设计给下游顾客的ai tool 如果顾客说他工作时间没缩短 : : 那我们就拿不下订单 现在垂直整合领域已经杀到红血 每个tool 越盖越先进QQ : : 我好想躺平 已经每天工时飙到16hr....... 改天再写写去NeurIPS看到的迹象 : : Hinton/Jeff Dean/Yoshua Bengio/何凯明 任何你知道大神都去这今年NeurIPS : : 结论就是大厂真的要干架了 Google DeepMind新政策 禁止发paper : : QQ 不发paper延伸意义就是 现在开始 狗家不会在开放他们自家模型设计秘密 : : 目标就是要胖揍开放爱和其他竞争者... : : 目前狗家大量研究员生气中 这次还有很多菁英邀请制度线下聚会 跑去蹭了NV/META : : 看到一堆海外的博士生在现场跪求进去Meta 线下聚会.......QQ : : 据说开放爱线下聚会是最难进去的 连地点和门路在哪都不知 只能被动邀请 : 没关系，偷偷告诉你一个Insight : 今年NeurIPS 2025有一篇超重量级的论文 : Introducing Nested Learning : 这篇文论的重要程度不亚於Attention is all you need : 甚至可以说有过之而无不及 : Transfomer架构只是发明了蒸气机 : Nested Learning这篇论文，简直就是热力学定律的等级了 : 基本上等於宣告Transformer架构过时了(因为是一种扁平和单一频率的特例) : 未来三到五年，全面转向Nested Learning的时代 : 以下文字是我先写一版，再请Gemini润稿的洞察 : --------这是AI润稿的分隔线-------- : 当前 AI 发展正受制於一道物理铁律：记忆体墙（Memory Wall）。传统 Transformer 架 : 构依赖 KV Cache 维持上下文，这本质上是一种「以频宽换取长度」的低效策略。随 : 着上下文长度 T 的增加，Attention 机制的计算复杂度呈 O(T^2) 增长，而推论时 : 的记忆体搬运量呈 O(T) 线性增长。在 HBM 频宽成长远落後於 GPU 算力的现状下，这 : 种依赖储存大量未经压缩原始状态的架构，注定会从 Compute-Bound 跌落至 IO-Bound : 的深渊。 : Nested Learning 的出现，透过对记忆与推理本质的重新理解，为此困境带来了典范转移 : 级别的解答。 : 其核心突破在於「推论即训练」的数学创新——Nested Learning 揭示了 : Attention 机制在本质上等价於单步的梯度下降更新。基於此，HOPE 架构不再被动地检 : 索历史，而是主动将资讯即时压缩为模型权重。这将原本受限於频宽的检索问题，转化为 没吹的那麽神奇 这个东西在中国大陆有个叫彭博的推广了好多年了 也就是rwkv，既然是上下文提要压缩，是一种有损压缩，就更和人类思维模式近似，更失去了超越人类agi诞生的可能性，成为垂直领域慢慢调教的一种方式 我还是认为ai首先要解决意识的模拟和情感模式的构建 这样可以不光是和人类这种智能体更好沟通，更深入理解视频音乐图画的人类审美痛点在哪里 股点，这波甲骨文 博通 meta的一系列鬼故事，市场不盘整三天不可能了 : 仅需固定算力的状态更新问题，从根本上粉碎了记忆体墙。 : 在应用层面，这种架构彻底重塑了 AI 的个性化能力。HOPE 的动态记忆机制（Fast : Weights） 不再依赖传统模型那种外挂式的提示词（Prompting）来「模拟」短期记忆， : 而是透过梯度更新，将使用者的偏好与习惯即时「内化」为模型参数的一部分。这不 : 仅在工程上根除了重复处理提示词的算力浪费，更在体验上创造出具备「演化能力」的专 : 属模型，让 AI 随着每一次互动变得更懂你。 : 这一变革预示着当前 HBM 需求高速增长的趋势将显着放缓，技术改革的方向将转向针对 : 不同更新层级的硬体特化： : 边缘装置 (Edge)： 承载高频更新的快层，将不再单纯追求频宽，而是转向追求大容量 : SRAM 与极致的能效比，以支撑毫秒级的状态写入与计算。 : 云端中心 (Cloud)： 承载低频更新的慢层，为了处理更复杂的逻辑推理与庞大的智能结 : 构，将演化出针对非欧几何的特化运算单元，以在双曲空间中实现更高维度的高效推理。 : ----------这是AI润稿的分隔线----------- : 你各位要小心HBM市场在2026年末的崩溃反转 : 短期因为各种高频信号，还是会持续推高HBM的市场价格 : 然後记忆体因为这些需求讯号，会疯狂扩厂 : 等到「基於超大KV Cache的Transfomer架构」路径依赖崩溃 : 新架构全面转向HOPE的时侯 : 嘻嘻 刺激罗~~~ --

※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 123.52.229.114 (中国) ※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Stock/M.1765591743.A.3DA.html