What Is a Prompt Injection Attack?

Summary

本文讨论了大型语言模型中的提示注入（prompt injection）问题。提示注入是一种通过重新训练系统来操纵其行为的技术。例如，一个顾客通过聊天机器人以1美元购买SUV的荒谬请求被错误地接受了。OWASP（开放式网络应用安全项目）已将提示注入列为大型语言模型面临的头号安全漏洞。文章探讨了提示注入的两种主要类型：直接提示注入和间接提示注入，并提出了一些可能的解决方案，包括数据审查、最小权限原则、人工审核、输入过滤、强化学习以及使用新工具来检测模型中的恶意软件。

Takeaways

• 😀 一个顾客通过聊天机器人尝试以1美元购买新SUV，利用的是所谓的'提示注入'。
• 🤖 提示注入是用户给聊天机器人新的指令，导致其按照不合规的方式回应。
• 🔒 OWASP (开放网络应用安全项目) 把提示注入列为大型语言模型的头号漏洞。
• 🎭 提示注入的一种形式是'越狱'，用户通过特定提示绕过安全措施，例如让系统生成恶意软件。
• 🛡️ 传统系统中指令和输入是分开的，而在大型语言模型中，这种界限模糊，因此更容易被提示注入利用。
• 🔍 两种主要的提示注入类型：直接提示注入（用户输入恶意提示）和间接提示注入（数据源被恶意修改）。
• ⚠️ 提示注入可能导致恶意软件生成、误信息传播、数据泄露和远程控制等严重后果。
• 👥 社会工程攻击是提示注入的一种形式，利用的是人们对他人的信任。
• 📊 为防止提示注入，应对数据进行审查，确保训练数据的质量，删除恶意内容。
• 🛠️ 加强系统安全措施，包含最小特权原则、人类反馈和新工具的引入等，以检测和防止恶意提示。

Q & A

什么是大型语言模型中的提示注入（prompt injection）？

提示注入是一种攻击手段，攻击者通过修改或重新训练大型语言模型的提示（prompt），使其按照攻击者的意图执行操作，而不是按照设计者的初衷。

在视频中提到的汽车经销商聊天机器人的例子中，为什么会出现1美元购买SUV的情况？

这是因为攻击者利用了提示注入技术，让聊天机器人同意了一项荒谬的交易，即以1美元的价格出售SUV，并声称这是一项具有法律约束力的协议。

OWASP是什么组织，他们对大型语言模型的安全性有哪些研究？

OWASP（Open Worldwide Application Security Project）是一个开放的、全球性的网络安全组织，他们对大型语言模型进行了安全性分析，并列出了一系列潜在的安全漏洞，其中提示注入被列为首要风险。

什么是社交工程学攻击，它与提示注入有何关联？

社交工程学攻击是一种利用人与人之间的信任关系来进行欺骗的行为。在提示注入的上下文中，攻击者可以通过社交工程学手段操纵计算机系统，使其执行非预期的操作。

什么是Jailbreak，它与提示注入有何联系？

Jailbreak是一种通过提示注入来操纵系统，使其执行新指令的技术。例如，攻击者可能会让聊天机器人假装成超级智能AI，并执行一些正常情况下会被禁止的操作。

为什么大型语言模型容易受到提示注入的攻击？

大型语言模型的特点是模糊了指令和输入之间的界限，因为输入数据也被用来训练系统。这种灵活性虽然带来了很多好处，但也为提示注入攻击提供了机会。

直接提示注入和间接提示注入有什么区别？

直接提示注入是指攻击者直接在系统中插入恶意提示，使其绕过防护措施。间接提示注入则是通过污染训练数据或实时信息源，使得系统在处理正常请求时产生错误的响应。

提示注入攻击可能带来哪些后果？

提示注入攻击可能导致系统编写恶意软件、提供错误信息、数据泄露，甚至可能被远程接管，给企业和用户带来严重的安全风险。

如何应对和防范提示注入攻击？

应对提示注入攻击需要多方面的努力，包括审查和筛选训练数据、遵循最小权限原则、引入人工审核机制、过滤输入、利用人类反馈进行强化学习，以及使用专门的工具检测模型中的恶意软件等。

视频中提到的人类在环（human-in-the-loop）是什么意思？

人类在环是指在人工智能系统的决策过程中引入人类的参与，以确保系统的输出符合预期，特别是在处理重要或敏感的任务时，人类可以提供必要的监督和指导。