人工智能的现状与挑战

关键要点

在拉斯维加斯的黑帽大会上，针对有关人工智能的兴奋与疲倦，演讲者们表达了各自的观点。尽管他们提到的确存在AI疲劳，但也强调了对其的重视，因为当今的“AI语言模型就像是需要监督的问题青少年”。

这些观察来自Azeria Labs的创始人玛丽亚·马克斯特德特（MariaMarkstedter）。她在黑帽大会的开场演讲中讨论了人工智能的承诺与风险，提到一个可能会迅速发展的自主AI机器人军队的出现。

马克斯特德指出：“我们正处于一场企业AI军备竞赛中，这不是出于安全和保障。”她强调，“科技界遵循着‘快速行动，快速打破’的信条。这已经成为了常态。”她表示，AI的发展将沿袭之前一代科技的轨迹，如第一代iPhone，其不安全且有缺陷的特性。

“你们还记得第一代iPhone吗？它是如此不安全——所有东西都是以ROOT身份运行的。它充满了严重的错误，缺乏漏洞缓解和沙盒机制，”她说道。“这并没有阻止我们推出功能，也没有影响企业融入这个生态系统。”

马克斯特德示意，今天的AI以OpenAI为首，大致相当于第一代技术。她称生成式AI是单模态的，其输出（或答案）只能基于文本语言模型。

“AI的能力是有限的，因为它一次只能分析一个输入。这仍然是相当有用的。但多模态AI的概念已经存在两年，并且在今年开始迅速发展，”她说。

多模态AI模型能够从多个来源（如文本、音频和视觉数据）提取数据。她警告说，AI系统从多数据源提取数据的风险也随之增加，有可能使某个数据源受到损害，从而影响结果和恶意行为者的意图。如果这还不够令人担忧，马克斯特德还提醒我们，一个以“机器学习即服务”为中心的小行业已经崛起。

“公司希望能够控制自己的数据，并希望将这些模型的能力集成到自己的产品和服务中，并在其基础设施内部署，”她指出。

马克斯特德设想的最终目标是在多模态数据输入中处理并生成重大结果的自主AI代理。

“实验性的AI代理正在不断涌现。我们可以看到人们正在与这些代理进行尝试。虽然一切都是乐趣与游戏，但这些AI代理正在转变为真正的商业用例，”她表示。

未来的方向是什么？AI代理将生活在两个世界中；一个是在企业的专有、高度管理的语言模型中，另一个则是公共互联网——AI代理需要实时或第三方数据来执行不可预测的商业结果。

“我们如何知道这些结果是否值得信赖？”她发问。

她挑战网络安全界开发类似Ghidra、IDA和Hex-Ray的反编译和逆向工程工具以支持AI的安全性。

“我们正进入一个需要对自主系统进行威胁建模的时代，这些系统有权访问我们的商业数据应用，并能够执行不可预测的行动，”她声称。“我们可以争论这些代理应该并将继续服从于人类。但事实是，这些系统的实用性将取决于其自主能力。”

应对与这一未来相关的安全挑战将迫使企业全面重新审视访问管理和数据安全。

“那么，我们该从哪里开始？我希望你们能明白，AI系统及其用例和能力正在变得越来越强大。其次，我们需要认真对待自主AI代理在企业中成为现实的可能性。我们需要重新思考在真正的自主系统能访问我们的应用程序的情况下，身份访问管理的概念。”

她最后重新框定了“变化是生活唯一常态”的引用。

“自从几年前至今，这技术对我们的安全状态的干扰还没有如此显著。因此，我们需要了解这种正在改变我们系统和威胁模型的技术，以应对这些新出现的问题。技术的变化是新的