利用 ChatGPT 进行攻击的新方法

文章重点

• 攻击者利用 ChatGPT 来散布恶意套件，这是最新研究显示的风险。
• 新技术名为「AI 套件错觉」，指的是生成 AI 平台可能提供虚构的资料来源和代码。
• 不建议企业随意下载或执行不明代码，应加强安全评估。
• 生成 AI 在网络攻防中正处于早期阶段，相关风险仍需关注。

根据 Vulcan Cyber 的新研究，攻击者可以轻易地利用
帮助将恶意套件散布到开发人员的环境中。在6月6日的 中，Vulcan Cyber 的研究人员解释了一种他们称之为「AI套件错觉」的新型恶意套件散布技术。这种技术的根源在于 ChatGPT 和其他
平台有时会用虚构的资料来回答用户的提问，包括不实的来源、链接、部落格和统计数据。

大型语言模型（LLMs）如 ChatGPT 可以生成这些「错觉」，这些包括不实的网址、参考文献，甚至整个不实的代码库和功能。研究人员指出，ChatGPT甚至会产生对 CVE 的怀疑修复方案，并且在这种特定情况下，也会提供不存在的编程库链接。

如果 ChatGPT 创建了虚假的代码库（套件），Vulcan Cyber的研究人员表示，攻击者可以利用这些错觉来散布恶意套件，而无需使用如拼写混淆或伪装等熟悉的技术。

“这些技术是可疑的，且已被察觉，” 研究人员表示。 “但是，如果攻击者能够创建一个包来替换 ChatGPT
建议的『假』套件，他们可能能够让受害者下载并使用它。”

这种 ChatGPT 的攻击技术凸显了威胁行为者利用 ChatGPT 作为执行攻击工具的容易程度，这是 Vulcan Cyber 的安全研究员 BarLanyado 表示的。

“它的回答非常重复，并且非常容易出现错觉，这让人非常担忧，” Lanyado 说。 “我们应该预期将来会看到与生成 AI
相关的这类风险，且类似的攻击技术可能会在现实中使用。这仅仅是个开始，生成 AI
技术仍然相当新。从研究的角度来看，未来几个月和几年我们可能会看到许多新的安全发现。尽管如此，几乎所有生成 AI
服务提供商都在努力减少错觉，确保他们的产品不会产生网络风险，这也是令人宽心的。”

Tanium 的端点安全研究主管 Melissa Bischoping 表示，企业永远不应下载和执行不理解且未经测试的代码——例如开源 GitHub库，或者现在的 ChatGPT 推荐。Bischoping 指出，团队应该对任何准备运行的代码进行安全评估，并应该拥有其私有副本。

“不要直接从公共库导入，如示例攻击中使用的库，” Bischoping 说。 “在这种情况下，攻击者正在利用 ChatGPT
作为交付机制。然而，通过共享/导入第三方库来破坏供应链的技术并不是新颖的。”

“这种策略的使用仍将继续，最好的防御是采用安全编码实践，并对准备在生产环境中使用