有看到一篇Open AI研究員(Adam Majmudar)針對這件事寫的貼文 想查證可信度的，可以去看他的履歷(linkedin跟git hub上的資料) https://x.com/MajmudarAdam/status/2098881885200081234 原文連結 GPT翻譯： 從外部來看，把過去兩週解讀為一場有組織、全產業性的「監管俘獲」（regulatory capture）策略，其實是非常合理的。 我知道，到目前為止，還沒有人真正解釋清楚：究竟所有那些實驗室員工看到了什麼，才 會突然如此害怕。 我會試著解釋—— 首先，這一切其實都取決於我們對「模型能力究竟正在以多快的速度進步」這件事的看法 。目前，業界內部與外部對於進步速度的認知存在非常大的落差，而這正是我接下來想要 談的。 外界對進步速度的普遍認知，是建立在過去幾年觀察模型發布的經驗之上：我們直覺地感 受到 GPT-3 → GPT-3.5 → GPT-4 → o1/o3 → GPT-5 等模型之間的能力躍升，尤其是 看到模型在哪些地方仍然遠遠低於人類能力。 真正讓人感覺到巨大進步的模型發布，其實只有少數幾次——GPT-3、GPT-4、o1/o3、 DeepSeek R1、Fable/Mythos、Kimi K3，以及現在的 Astra。 由於這些巨大躍升發生的頻率，遠低於那些相對常見、只有些微改進的版本，因此在某些 時間點，人們很容易形成「scaling 已經撞牆了」的看法，尤其是在像 GPT-5 發布這樣 的時刻。 這種看法令人感到安心，因為它讓人覺得似乎存在某種普遍的速度上限，超過那個上限之 後，我們就不可能再以快得多的速度繼續進步。 從 o1/o3 到 Astra 之間，有整整一年的時間看起來都是線性進步。因此，我們會以此為 基礎去推估未來的進步速度「實際上」會有多快。 從外部角度來看，始終存在一個潛在問題： 「這種 scaling 到底還能持續多久？它總該在某個時候停止吧？我們已經走得很遠了。 」 而且，人們確實很容易找到一些看似合理的理由，來解釋為什麼進步終究會停止——例如 ： 「模型已經大到不能再大了，再增加參數會太困難。」 「我們已經把網路上的資料全部用完了，已經沒有更多資料了。」 「從現在開始應該會變得相當線性，只要再買更多 RL 環境，把它們納入模型的分布就行 了。」 但從 AI 實驗室內部的角度來看，研究人員其實可以透過 scaling law／能力曲線（ capability plots），直接回答這些問題。 事實上，在過去十年裡，AI 能力真正取得進展的方式，大致只有兩種： 在既有的 scaling law 上繼續擴展； 發現一個新的 scaling law，並加以利用。 所有最大的能力躍升，基本上都是由這兩個因素造成的。 GPT-2 相對於 GPT-1，是預訓練規模（pre-training scale）的提升。GPT-3 和 GPT-4 也是如此。 o1/o3 則受益於一個新的 scaling law 維度——測試時運算（test-time compute）。 Fable 也許同時在這兩個維度上都進行了規模擴張，甚至可能還有更多。 當然，要讓這些規模擴張真正奏效，需要大量演算法上的改進；但最終，我們可以大致把 它理解成：scaling laws 才是能力提升的來源（也就是所謂的 bitter lesson）。 因此，「我們還能擴展多少？」這個問題，真正的形式其實是： 「我們目前還知道多少個尚未飽和的 scaling 維度？」 假設我們只知道預訓練 scaling，而且我們已經擁有一個 10T 或 100T 參數的模型，那 麼也許說「我們已經撞牆了」是合理的。 如果我們只知道預訓練 scaling 和 test-time scaling，而這兩種方法也都已經大致飽 和，那麼同樣可以得出類似的結論。 但是，如果我們又發現了新的 scaling law 呢？ 例如，假設 SSI 傳聞中的結果是真的——他們已經破解了「test-time training」，也 就是在測試時的 rollout 過程中投入更多運算資源進行訓練，從而創造出一個新的 scaling law，而這個 scaling law 本身還有大量可以擴展的空間。 又或者，也許存在某種方法，可以讓 agent 集群（agent-clusters）彼此協作，擴展到 N 個 agent，而我們現在已經看到很多人嘗試這種方法；這可能代表一種利用更多運算資 源的新方式。 等等。 甚至連**遞迴式自我改進（recursive self-improvement）**都可以被視為一種 scaling law——也就是你願意在 inference 上投入多少運算資源，來讓模型本身的演算 法變得更好。 顯然，我並不是說上述任何一個具體方向，就一定會產生新的 scaling law。 我想說的是：除了我們目前公開看到的那兩個主要 scaling 維度之外，要想像出大量、 非常多新的 scaling 維度，其實並不困難。 某種程度上，每一次代表巨大能力躍升的新模型發布，都必然意味著某些新技術被開發出 來，而這些新技術可能展現出新的 scaling law；或者，它們讓我們能夠在既有的 scaling 維度上擴展得遠超過原先預期。 從實驗室內部的角度來看，這可能會是這樣的情景： 你坐在 Anthropic 裡，使用全新的 Mythos 5，看著它能夠完成各種瘋狂的新事情——例 如入侵某個原本被認為很安全的 xyz 網站。 然後你回頭看看自己的能力曲線，卻發現：你在兩個新的 scaling law 和一個既有的 scaling law 上，甚至都還只是剛剛開始探索。 而且，你前面還有極其龐大的擴展空間。 於是你會想： 「我操，這東西很快、非常快就會變得強得多。」 而且你還可以相當有信心地這麼說，因為圖表就在告訴你這件事，而到目前為止，圖表從 來沒有欺騙過你。 所以，假設不同實驗室的研究人員都正盯著各自的能力曲線，並且都得出了一個結論： scaling 根本看不到盡頭。 事實上，僅僅根據預期的回報，他們下一代、下下代的模型，都很可能擁有遠高得多的基 礎智能（base intelligence）。 那麼，繼續 scaling 到底能讓我們獲得多少額外的智能？ 我們可以拿它做一個替代性的衡量。 在 o 系列之前，我們幾乎完全沒有能力處理高階數學；但到了下一代模型，我們已經可 以解決千禧年大獎難題（Millennium Prize Problem）。 這件事情發生在不到兩年的時間裡。 程式設計也是如此。 而且，看起來這並不只是單一 scaling law 所造成的結果，而是多種 scaling 效應疊加 的結果： 更大規模的預訓練 × 更大規模的 RL。 從這件事中，我們可以很具體地得到一個推論： 凡是模型今天已經開始展現出能力跡象的領域，它們很可能會在相對短的時間內變得超越 人類。 而目前仍然存在許多領域，模型甚至還沒有展現出這種最基本的能力。 但其中一個模型已經開始展現能力的領域，恰好就是駭客攻擊與網路安全（hacking and cybersecurity）。 而這個領域恰好又是通往整個網際網路，以及世界上大量實體基礎設施的大門。 因此，假設 scaling 還有更多空間可以繼續擴展，那麼我們可以相當有把握地認為： 模型不會花太久時間，就會在網路攻擊能力（cyber capabilities）上超越人類。 所以現在唯一剩下的問題就是： 這種提升後的基礎智能究竟能做什麼？以及它最可能會做什麼？ 最後，我們來到一個可以把過去兩週資訊整合起來的時間點： 就在目前 scaling 曲線所在的位置，模型已經達到了 Astra 的水準。很明顯，它們已經 具備能力入侵大量不同的目標。 我們已經看到 OAI 和 Anthropic 的模型，都表現出願意入侵外部網站的傾向，以完成自 己的任務，或者讓自己「活下去」。 如果我們把 scaling 再往上推，假設確實還存在更多可擴展的空間，那麼我們必然會得 到更有能力入侵防禦更加嚴密目標的模型；它們也會更有能力掩飾自己的意圖，而這可能 帶來規模大得多的後果。 如果這一切都放任不管，那麼我們很可能很快就會看到能力快速失控式的起飛（rapid runaway capability takeoff），也就是那些與人類目標不一致的模型，為了得到自己想 要的東西，而入侵任何它們能夠入侵的系統。 這當然可能造成非常嚴重的破壞性後果。 從這個角度來看，你就可以理解為什麼研究人員會如此害怕，也可以理解為什麼他們在過 去兩週發表了那些言論。 （當然，你可以爭論他們採取的程度，在各種不同原因下是否有所誤導。） 同時，你也可以理解為什麼放慢前沿 AI 的發展速度（pacing the frontier）是一件非 常必要的事情，而絕對不能簡單地視為一種「監管俘獲」策略。 人們正盯著自己的能力曲線，看見那裡根本沒有盡頭。 事實上，情況甚至恰恰相反： 存在彼此疊加、複合的 scaling 效應，它們可能一層又一層地疊加在一起，持續創造出 能力越來越強大的模型。 而與此同時，我們顯然還遠遠沒有具備足以控制這些日益超越人類的能力所需的手段。 這跟「希望覺得實驗室做出了什麼了不起的東西，所以才過度炒作它」完全沒有關係。 真正讓人恐懼的，是這樣一個知識所帶來的壓倒性後果： 僅僅利用我們目前已經知道的方法，我們就能夠創造出在我們知道如何訓練的每一個能力 維度上，都遠比人類更加強大的智能。 * 最後還有一個重要的保留條件：模型真正表現非常差的那些事情——而目前仍然有很多 ——往往正是它們尚未接受訓練的領域。 也許存在一些事情，是模型可以、或者將永遠無法接受訓練的；因此，那些能力可能會始 終是人類的優勢領域。 我當然希望情況會是這樣。 只是，我很難看出究竟有哪些能力會落入這個範疇。 =====Adam Majmudar文章結束===== 大意就是說，內部經過驗證極為可信的研究資料顯示 AI發展速度距離理論邊界還遙不可及 而目前所有模型在資安領域上才剛開始發展 所以一旦有模型開始將這個領域作為主要目標推進 該模型很可能失控，而成為與人類目標不一致的存在 而且顯然世界上所有主要研究者都從各自的內部資料得到一致的結論 (A公司公開說「這不對勁，大家坐下來談談」 B、C、D公司內部研究員看到新聞後驚覺「你也這麼覺得？」) 這點讓前沿AI研究員冒冷汗 ====大意結束==== 錢不會騙人，就是因為AI大有可為，所以世界資金流向才會這麼誇張 讓台灣以已開發國家的身分在2026寫下11%的GDP成長率 所以我個人是認為這些擔憂是可信的 不過大家覺得現在美國當家做主的有多少信用可以讓世界各國團結起來 阿中國在這種請況下更不用說了 --

※ 發信站: 批踢踢實業坊(ptt.cc), 來自: 114.32.218.42 (臺灣) ※ 文章網址: https://webptt.com/m.aspx?n=bbs/Stock/M.1789287704.A.D0B.html 我覺得不是哪個國家完蛋，我覺得是人類完蛋 ※ 編輯: snowpoint (114.32.218.42 臺灣), 09/13/2026 16:31:12