作者KAOKAOKAO (鬼斗)
看板GO
标题[情报] 人类利用AI发掘的漏洞再度击败围棋AI
时间Sat Feb 18 08:33:26 2023
先前板上也有板友分享相关论文
最简单说 原理是训练另外一组AI模型对抗式的去找出顶尖模型（Katago/Leela）的漏洞
现在的进度则是 棋力达到业余顶尖的棋手有能力学习该模型的策略
反过来击败先前已经远远超过人类等级的模型 并且有稳定表现（KGS 14胜1负）
现在这个网站有棋谱可以线上阅览
https://goattack.far.ai/human-evaluation
摘要
1. 这个钻漏洞模型的对局下不赢寻常棋手（网页第一谱）
2. 钻漏洞策略精神之一：让AI包围自己，自己委屈两眼活
3. 钻漏洞策略精神之二：从外面偷偷包抄AI的包围网，会发现AI的反应有点异常
成功的话就能反包抄AI原先的超厚势
有趣的点
1. Leela 那一局，对抗者的114手在黑阵中挣扎，Leela 115 竟然是滑标级脱先？
感觉上是真的是一种漏洞...
2. Katago 那一局，对抗者86跳、88飞已经以客犯主。
AI 黑棋 97、101 连续照顾自己其他的疆界，结果上方对抗者的孤棋就这样异军突出，
完成了反包围。
这一谱布局时，对抗者的白棋在左边与下边的连续二线潜水很好笑，
另一篇报导中提到，这个反包围策略需要「在其他角落行棋使AI分心」，
所以应是为此的准备。
报导：
https://www.ft.com/content/175e5314-a7f7-4741-a786-273219f433a1
3. 大家应该想问，为什麽不对绝艺这样操作？我也很好奇。
4. 现在球又被丢回来AI研究者这边了，深度强化学习为什麽会出现这样的盲点？
从围棋领域内来讲，看起来是对於自己的厚势产生了超过常理的自信？
虽然从棋的内容来看未必符合大家期望的弑神的快感，
但这也是刚起步的机器智慧与挣扎的人类智慧的碰撞吧，也是一局很大的棋。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 36.230.135.113 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/GO/M.1676680409.A.9FE.html
1F：推 maplefoxs: 这样下成功率有多高我很怀疑 02/18 10:16
高段业余棋手在 kgs 15战14胜
不过的确很难想像会偷袭成功
2F：推 staristic: 这种漏洞目前各类AI多少都有，像是图片辨识的AI可以用 02/18 10:27
3F：→ staristic: 杂讯攻击，虽然人眼看不出来，但是AI就分不出了 02/18 10:28
4F：推 staristic: 只能说，AI虽然很强了，但离真正大规模运用还有段路 02/18 10:30
5F：→ staristic: 围棋AI无关人命，要是车用AI被攻击，後果不堪设想 02/18 10:30
6F：推 kafai: 简单说叫做偷吃，或者说要制造超长气的对杀 02/18 10:35
推整理
※ 编辑: KAOKAOKAO (36.230.135.113 台湾), 02/18/2023 15:09:15
7F：推 driftingjong: 故意过拟合 这很不容易 02/18 16:28
8F：→ driftingjong: 简单来说是故意往算法不适用的特例去走 02/18 16:29
9F：推 ddavid: Overfitting 是 training 的事情，应该说是刻意找出已经存 02/18 21:27
10F：→ ddavid: 在於 model 内的 overfitting 然後针对性地对抗 02/18 21:27
11F：→ ddavid: 当然也未必是 overfitting，单纯的就是模型本来就没有处理 02/18 21:29
12F：推 ddavid: 到也是可能 02/18 21:35
AI初心者想请教 ddavid 大大多描述些这两者的差异
小弟只知道MNIST的监督式学习的一点概念
overfitting 大概就是会变成手写字写得不够像 dataset 里面的数字的话会辨认错
但这又如何与「本来就没处理到」区别开来呢？
13F：→ ddavid: 其实深度学习会有这种盲点对研究者而言是可预见的，这个球 02/18 21:37
14F：→ ddavid: 应该算是本来就知道的球，不是现在才丢回来的XD 02/18 21:38
的确 adversarial attack 至少五年以前就有理论了
但除了对抗式模型能够成功之外 小弟认为这则新闻里面的「人」的成份特别有趣
先前板上的讨论分享之中 大家原本都以为是AI模型对非常理虚手的处理不佳
导致有漏洞可钻、会输掉
但这篇 blog 强调了另外一组对抗策略：反包围偷杀
而且反包围偷杀作战的执行是可以由人类去复现执行的
很多围棋 youtuber 把 AI 捧的跟神一样
但是 AI 面对反包围偷杀作战 将自己的包围网颟顸地送掉
在厚薄的判断上显然有盲点
※ 编辑: KAOKAOKAO (114.25.73.146 台湾), 02/19/2023 09:29:25
15F：推 BluffKing: 点进去看谱太爆笑，竟然允许填子自杀 02/19 12:14
16F：→ BluffKing: 反正就是各种无下限攻击让AI精神错乱是吧？ 02/19 12:15
17F：推 BluffKing: 这几盘AI好像不会虚手？真怪 02/19 12:51
18F：→ BluffKing: 难怪最後可以反让AI 九子 02/19 12:52
19F：推 ddavid: overfitting：训练资料有涵盖到的部份，但模型太过尝试极 02/19 22:52
20F：→ ddavid: 端吻合每一笔测试资料，导致模型像是在背每个不同的答案而 02/19 22:57
21F：→ ddavid: 没有整合出共通规则 02/19 22:57
22F：→ ddavid: 但如果某些区域根本就没有成功整理出规则，或者模型本来就 02/19 23:15
23F：→ ddavid: 参数量不足以解释，根本没有收敛成功，就 underfitting 了 02/19 23:16
24F：→ ddavid: 就比如那堆奇怪的下法，AI 自战学习可能早早就觉得很烂， 02/19 23:17
25F：→ ddavid: 很快就不会在自战挑选相关下法了，结果反而在那堆奇怪下法 02/19 23:18
26F：推 ddavid: 里面找出复杂场面就可能突破，这没有看到训练时的数据就不 02/19 23:22
27F：→ ddavid: 太确定会是哪种情况 02/19 23:22
28F：推 ddavid: 毕竟围棋复杂度够高，特定区域 underfitting 肯定是会发生 02/19 23:29
29F：→ ddavid: 的，只是人类根本没那个能力自己想出又乱搞却又够复杂的棋 02/19 23:29
30F：→ ddavid: 来搅出问题，结果还是需要靠没有先入偏见的 AI 来挖问题 02/19 23:30
31F：→ ddavid: 只是因为这点就说 AI 围棋不神，我觉得反而过度反应，事实 02/19 23:33
32F：→ ddavid: 上还是 AI 才击败了 AI，不然 AlphaGo 都已经八、九年了， 02/19 23:34
33F：→ ddavid: 如果随便乱搞就能凹赢，怎麽不见哪个人直接出来宣称自己研 02/19 23:35
34F：→ ddavid: 究出了击败 AI 的方法XD 02/19 23:35
35F：推 ddavid: 另外，这种漏洞有可能不同模型不一样，有可能绝艺就没这一 02/19 23:39
36F：→ ddavid: 个洞。这跟训练过程及模型容量都可能有关系。 02/19 23:40
37F：→ ddavid: 但终究这没有改变 AI 就是比人还神的事实，人类靠了 AI 才 02/19 23:42
38F：→ ddavid: 勉强找到的打败部份 AI 办法，人家真的有心要解决，加大一 02/19 23:44
39F：→ ddavid: 下模型容量可能就又搞定了XD 02/19 23:45
感谢 ddavid 大的说明
刚巧小弟最近在 trace Katago 所以这里想回馈点不一样的想法
我的结论是 以 Katago 的 selfplay 作法 几乎不可能靠自己挖掘到这个盲点
现在 katago 的模型棋力演进是靠众人贡献算力
技术细节上 OpenCL 安装完下个 "katago contribute"
就会自动开始跑 GPU 自我对战
然後上传某些盘面下的着手给伺服器端去训练下一轮的模型
这个网址有贡献者的清单
https://katagotraining.org/contributions/kata1/
其中每个人贡献的内容有分 training 和 rating
training 是使用最新的 katago 模型自我对战当中的某些着手
rating 则是新旧版本间的 katago 模型对战 用来帮新模型定段（ELO）
那这就有趣了 尽管一路走来 新的模型等级分总是越来越高
那为什麽还会留下这些对人类业余低段甚至低级棋手都觉得很荒谬的盲区呢？
d 大说说围棋 AI 不神的人们是过度反应 我倒觉得武断了
AlphaGo/AlphaZero/MuZero 等深度强化学习体系的模型里面
至少 Leela/Katago 这两者在成长过程中竟然会留有盲区
这不是很不神的事情吗？
换个领域做比方 当我们说到「速度之神」这个概念的时候
不管脑中想像的是希腊神话的荷米斯 或是红牛的F1赛车
至少我们不会预期祂或它经过训练或研发之後
跑一跑回过头来倒输乌龟吧？
甚至 人类自己努力跑还是会跑输 但只要学乌龟跑就能跑赢「神」
当然 任何人类都已经很难靠自己赢过 ELO 上万的模型 这是事实
但是思考「神」这个字本身的意义以及理想的境界以作为未来的指引
应不至於那麽无聊
上述的「神」的意义论述 其实都是在表达一个惊异感
「强度」这个我们一直以为是单一维度的东西
竟然也开始扭曲了 变得像是剪刀石头布一样有生克在里面
至於这个是方法论上的性质（只要调整AI的参数、设计、演算法本身）就可以改良
或是学理上注定会有这种特徵
（所有的线性等级分度量注定在某个尺度後扭曲、强度的递移律并不普遍存在）
在接下来被 AI 所影响的长远的未来的各个领域
人们必须发展出不同的策略去应对
针对前者 可以预期大型机构持续探索各种方法
但如果後者的理论被证明或建立 大家就会终於恍然大悟
田忌赛马一般的赛局到处都存在 只是尺度不是三匹赛马的数量级而已
40F：→ ddavid: 只是搞定这些硬搞出来的赢法根本没有什麽商业价值，现在 02/19 23:45
41F：→ ddavid: AI 的主要定位本来就不是自己出来下棋而是辅助学习了，对 02/19 23:46
42F：→ ddavid: 人类完全无效的下法完全没有商业价值，只是证明了设计 AI 02/19 23:47
43F：→ ddavid: 本来就已经可以预想得到的事实而已 02/19 23:47
也许 AI 对於围棋这个经典游戏来说就只能停留在「辅助学习」的定位
西洋棋界人机混战（
https://en.wikipedia.org/wiki/Advanced_chess）也仍是少数
也许围棋赛事里面的 AI 影响力未来也很难从现在的离线学习、赛况分析进入到即时对抗
所以评论说一个对抗式围棋模型完全没有商业价值 是合理的
这个东西本来就是一个研究专案、几篇论文
而不是哪个棋院或是法人推出来的产品
但对於未来将使用强化学习模型作为界面的其他领域应用的话
对抗式AI 也就是「硬搞出来的」的那些作法 不管是在攻击端还是防御端都会有需求的
比方说 chatGPT 现在只需要有技巧的咏唱就可以绕过限制器以产生情色与仇恨内容
但是未来可能会升级成 连限制器本身都是 AI 模型
届时 破解这些限制器的对抗模型就可能会很值钱了
※ 编辑: KAOKAOKAO (114.25.73.146 台湾), 02/20/2023 11:22:38
44F：推 peterfarm: 有bug就要处理，让围棋AI变完美吧! 02/20 16:53
45F：推 Blackout: 对绝艺也能用哦，可以看看大桥拓文的推特 02/21 07:48
46F：推 staristic: 有盲点很合理，毕境围棋的状态树用整个宇宙存都存不下 02/21 08:53
47F：→ staristic: 区区一丁点大小的权重就想cover整个围棋数学上就不可能 02/21 08:53
48F：→ staristic: 也许你会觉得用业余下法就能破解很不可能，但从数学上 02/21 08:55
49F：→ staristic: 讲，就只是一条分枝而已 02/21 08:55
50F：推 sb710031: 我觉得可能就是引导到像这篇的盘面 02/21 14:37
52F：推 TerminalD: 觉得有点搞笑，原po大概没学过张量才会有这种强度三一 02/21 15:19
53F：→ TerminalD: 律的误解 02/21 15:19
小弟确实是学艺不精 根柢不深
不过本文并不是拿神经网路训练好的 model 张量来互相比较大小
而是以这三组模型（Leela、Adversial、业余高段人肉大脑）的长时间综合行为的结果来比
所谓长时间综合结果 或说互相对局
表示我不是单纯的以某些张量的函数在比较 f(L) f(A) f(Human) 的值
如果我有什麽误会 那就请 T 大多多指教了
回到我在推文中的速度之神的类比
F1 赛车也是现代工艺的顶尖成果之一
里面牵涉的控制模型、空力动力热力电力 应该也很复杂吧
哪一天有一只针对性的缓慢机械可以拼赢它的话 不是很夸张吗？
※ 编辑: KAOKAOKAO (114.25.73.146 台湾), 02/21/2023 15:48:13
54F：→ mantour: 要做出三个AI模型A稳定胜B，B稳定胜C，C稳定胜A并不难吧 02/21 21:20
55F：→ mantour: ，胜负本来就没有递移律 02/21 21:20
56F：→ mantour: 跟比速度的概念完全不同 02/21 21:20
57F：推 sunev: 人类棋手也有棋风相克的问题啊..... 02/21 23:59