最近各种基础设施(nginx、php、linux等等)频繁暴露出超级高危的漏洞,黑灰产都不用自己去研究各种0day,只要盯着开源基础设施的git commit log即可,发现有漏洞修复就用AI做一些利用工具就能收获满满。

AI已经在越来越强大,但整个世界却越来越不安全

一些想法

看了两篇文章AI 时代如何做产品|Manus张涛北大分享逐字稿和失控,两位作者分别代表了产品和技术两个不同角度对于当下AI Agent的见解。

一个看到了 AI 带来的巨大生产力,另一个却感受到了生产力背后的失控。

看完两篇文章之后,让我重新燃起了想说点什么的欲望,在[第一次接触AI开发工具](修改IDEA Github Copilot插件的自动补全快捷键)的时候我就对AI辅助工具这个事充满了信心,但用了这么多年之后我和《失控》这篇文章的作者一样,感觉事情有一些“失控”

两篇文章中我认可的点

《Manus张涛》:

  1. Less Structure, More Intelligence
  2. 解决问题的能力比使用技术的能力更稀缺
  3. 让智能可见,让用户建立信任
  4. 为六个月后的模型能力设计产品

《失控》:

  1. 长期任务失控
  2. 架构持续恶化
  3. 工作意义消失
  4. 验证成本上涨

当然因为我是技术出身,对于《失控》提到的内容,我认可度更多一些,原因也是因为最近有个同事AI NATIVE造成自己对于系统的把控已经在失控的边缘

理由和原因

Manus相关

Less Structure, More Intelligence.,在现在Agent的强大能力下,如果还坚持workflow已经在市场上没有任何竞争力了。但是这句话也不应该完全盲从,减少对模型思考过程的约束,不等于减少对系统执行行为的约束。

尽量使用模型自主决策的好处:不用写很多的if else,开放性问题也能很好的“通用”适配,而且有更先进的模型出来以后可能直接替换就可以变更强(这一点在用各种code编程IDE上得到了充分的体现)。

尽量使用模型自主决策的缺点:贵、慢、不确定

一个系统需要处理不确定类问题时候尽量使用模型,而在确定性硬约束的地方由程序保证数据安全,比如输入充值金额不能有负数等明确的约束条件

让智能可见,让用户建立信任,这句其实我是有疑问的:**Agent 的执行过程越完整,是否反而越容易让用户产生错误的信任?**有可能等模型能力更加强大时候,这个疑问能得到解决。

为六个月后的模型能力设计产品,这个观点我非常认可,各个业务最先想到的都是AI +而不是重塑一个新的产品形态,这一点Manus非常有魄力,对产品的敏感度也非常厉害。但是我自己的能力很难看到六个月之后模型能力会达到什么程度,我依然极度确实对产品的敏锐观察力和可靠的信源

失控相关

所有的问题都可以通过Manus的这一个观点解决问题的能力比使用技术的能力更稀缺来解决,能被定义的问题就都不会是问题,定义了问题以后都可以借助AI解决。

但是这不代表这几点是我不认可的,AI在编程和解决复杂问题领域一直存在一个问题:局部最优,全局偏差。现在模型的这个缺陷就造成了长期任务失控、架构持续恶化、验证成本上涨各种问题

我的一些看法和疑问

AI领域恨不得一个月就有一个变化,现在很多人都处于一种FOMO的状态,从提示词->MCP->SKILL->小龙虾->Agent->personal Agent变化越来越快,人对整个系统的运作原理越来越不了解

各种Agent完成相同的事情成本越来越高,各个模型厂商发布强大模型的同时,也在不停的通过各种手段提高价格、门槛,大众认知里的Token会越来越便宜却随着大家越来越离不开AI变的渐行渐远,AI效率提高了,但被分配的工作也随之在不停的增多,工作时间没有减少AI使用成本实际并没有降低

生成速度不等于整体生产效率:现在Agent可以1小时生成所有代码,但是没有任何SKILL、提示词、约束能一定保证生成的结果是正确的。1小时生成的代码可能需要2小时理解3小时测试,4小时修改bug

不能只计算Token这笔帐,生产力的提升需要总体看:净生产力 = 交付价值 - 验证成本 - 返工成本 - 风险损失,现在的模型只能解决“能不能做”但还没有解决“敢不敢委托”

大家都在用隐私换便利,百度的李彦宏之前说中国人愿意“隐私换取便捷性”,现在大家对于personal agent的使用方式,已经恨不得把底裤都丢给AI了吧

AI未来发展成人类只需定义目标、约束与验收标准已经越来越近了,这时候还有必要理解系统运作的细节吗?如果不需要理解系统的运作细节,人类的价值体现在什么地方?当人不在理解系统的细节,也就会出现人不再理解设计,不清楚模块为什么耦合,不知道应该测试什么,不知道哪份文档可信,这些债务应该如何清理?

最后

世界变化太快,人类还没有进化出如此快的适应能力

让模型拥有最大的探索自由,但也需要让系统始终保有对目标、状态、权限和结果的控制能力