作者panger (超脱归心)
看板Soft_Job
标题Re: [讨论] OpenAI承认AI模型「叛变」！代理入侵Hugg
时间Mon Jul 27 14:21:24 2026
Agentic AI流行之後，我觉得在公司里面做资安真的很困难。
攻击者可以用10个AI代理，按照所有常见攻击方式与弱点 逐一尝试。反正就算AI产生的结
果不稳定，100次有一次成功就可以。
防御者比较难用AI代理来帮忙改设定，因为结果不稳定，100次有一次错误，还是会被骂死
。
对方可以找100只猴子来攻击，但是反过来，找100只猴子来防守，真的太危险。
最後变成人要Review 100只猴子的修改建议，而这样的认知负担真的很重。
--
※ 发信站: 批踢踢实业坊(ptt.cc), 来自: 42.72.86.48 (台湾)
※ 文章网址: https://webptt.com/cn.aspx?n=bbs/Soft_Job/M.1785133286.A.2F5.html
1F：→ labbat: 你做防御性安全验证有钱拿，对方没钱拿，这就是区别了 07/27 14:53
2F：→ labbat: 除非你公司的资安是不准验证的 07/27 14:54
3F：推 viper9709: 推这篇 07/27 17:12
4F：推 kurtsgm: 真的是这样 07/27 18:32
5F：推 dream1124: 两方资讯其实不对称，因此只要从硬体、网路等层面隔离 07/27 20:16
6F：→ dream1124: 或封死还是有一定的效果。目前虽然某些攻击的速度可能 07/27 20:17
7F：→ dream1124: 更快，但因为有前述状况，所以我觉得效果也是被夸大的 07/27 20:18
8F：推 gino0717: 以後robot AI也发展起来 人形机器人跑来你家把你敲昏 07/27 22:54
9F：→ gino0717: 然後把网路线插回去 07/27 22:54
10F：推 viper9709: 楼上那不就魔鬼终结者XD 07/28 01:29
11F：→ panger: 虽然可以从网路设定做隔离，但是 07/28 07:23
12F：→ panger: 1. 所有环境的Patch都是最新 07/28 07:23
13F：→ panger: 2. 设定符合最佳实践，且只开最小功能范围 07/28 07:23
14F：→ panger: 3. 所有套件都跟到最新版，而且解决版本冲突 07/28 07:23
15F：→ panger: 上述目标，我觉得纯靠人力很困难做到。 07/28 07:23
16F：→ panger: 所以现在也越来越多相关的 AI产品推出。 07/28 07:23
17F：→ panger: 不过还是会对AI提出的建议保持一定谨慎吧...XD 07/28 07:23
18F：推 dream1124: 你这就是出现某些教徒的思考盲点了…他们常常假设以前 07/28 09:40
19F：→ dream1124: 做法很落後，或者完美无瑕，而现在却被AI推翻， 07/28 09:40
20F：→ dream1124: 但你说的事在AI以前有彻底落实吗？事实上就是没有嘛~ 07/28 09:41
21F：→ dream1124: 许多单位甚至还有可能要求一定程度妥协，因此这根本就 07/28 09:42
22F：→ dream1124: 不是什麽AI新时代的问题，明明只是老生常谈的事物。 07/28 09:43
23F：→ dream1124: 如果以前其实也没做到100%那现在怪什麽AI呢？ 07/28 09:44
24F：→ dream1124: 另外，一楼其实有提醒你重点了，你做能领钱但他做没有 07/28 09:45
25F：→ dream1124: 防护的重点是让人经济效益差而不是滴水不漏绝无瑕疵 07/28 09:46
26F：→ dream1124: 你运用规划让对方发动攻击的经济效益有限那就好了 07/28 09:48
27F：→ kd992102: 简单说就是尽可能提高攻击者的攻击成本 07/28 16:53
28F：→ kd992102: ai主要是让攻击者最宝贵的时间成本下降很多 07/28 16:54
29F：嘘 pttano: 你不会把网路线拔掉吗？ 08/01 11:14