智能体隐私与安全中的开放与涌现问题：一个情境视角

2026-10-06

Eugene Bagdasarian，研究科学家，以及 Marco Gruteser，首席科学家，Google Research。为了有用，AI 智能体必须理解并受到情境行为规范的约束，以确保它们采取适当行动。受情境完整性理论启发，我们的新研讨会报告概述了跨系统、模型和用户层面的关键开放研究方向，以构建用户可信任的 AI 智能体。

我们正在迅速过渡到一个由高度通用、日益自主的智能体所定义的计算景观。由能够动态生成计划并调用外部工具的大语言模型（LLM）驱动，这些系统有潜力让 AI 代表我们无缝处理复杂的多步骤任务。然而，实现这一潜力需要解决一个关键挑战：在赋能智能体能力的同时，确保智能体采取适当行动。

今天，我们分享一份全面的新研讨会报告，“Open and Emergent Problems in Agentic Privacy and Security: A Contextual Angle”，这是汇集来自众多机构的 50 多位学术和行业领袖的协作成果。我们在 2025 年末于纽约市举行的 Google 情境智能体隐私与安全（CAPS）研讨会上会面。在这份报告中，你将看到自主智能体当今面临的基础隐私和安全挑战的分解，这些挑战需要在系统、模型、用户和生态系统层面进行协调防御。

智能体 AI 的核心挑战是，一个智能体要有用，它可能需要访问个人数据，并具备在广泛情境中采取有后果行动的能力。然而，这种访问连同智能体的行为灵活性，要求采用与传统软件中使用的方法有实质不同的方法。与传统确定性软件不同，智能体在三个关键维度上不同，这些维度导致研究社区必须共同解决的挑战：

非结构化界面和输入歧义：智能体处理自然语言和图像等格式的指令，这使得定义“预期行为”或防护提示注入等对抗性操纵变得困难。

概率性控制流：生成式规划导致概率性执行路径，传统测试方法难以轻松保障其安全。

自主性和委托：随着智能体处理更长的任务并将子任务委托给其他智能体，传统用户监督变得不那么有效，且可能不足，从而带来“确认疲劳”风险。

智能体 AI 隐私与安全挑战。鉴于有用的智能体可能需要共享数据并完成任务，我们相信可信智能体的未来取决于它们推理、理解并受其行动社会规范和适当性约束的能力——针对其运作的特定情境。但是，我们如何教智能体理解“情境”和适当性？我们的报告以情境完整性（CI）理论为基础，该理论将隐私不仅定义为保密或控制，还定义为根据既定且可辩护的社会规范进行的“适当信息流动”。特定情境的信息规范由其行动者（谁在向谁发送关于谁的信息）、信息类型（特定类别的信息，如医疗或财务记录）和传输原则（管理流动的规则，如保密或互惠）定义。例如，你可能愿意与虚拟购物助手分享你的礼物购物清单，但不愿与家人和朋友分享。我们的报告将信息共享的情境完整性扩展和泛化为情境安全，即智能体行动的适当性。通过将智能体隐私和安全锚定在 CI 中，我们探索如何设计系统，在行动执行前评估其是否在社会和情境上适当。通用 AI 智能体与其他交互的模型

Google Research 发布 CAPS 研讨会报告，基于情境完整性理论，梳理自主智能体在系统、模型、用户与生态层面的隐私安全开放问题，并主张在执行前评估行动的情境适当性。

这是什么信号

这不是一条普通产品更新，而是 Google Research 联合 50 多位学术和产业领袖，在 Google CAPS 研讨会上形成的报告。它把“智能体隐私与安全”从传统软件安全议题，推进为一个跨系统、模型、用户和生态的研究议程。核心判断是：要让智能体有用，就必须允许它接触个人数据并跨情境采取有后果的行动，但它也必须理解并受情境行为规范约束。

为什么重要

传统安全依赖确定性流程、边界权限和用户确认。智能体不同：输入常是非结构化自然语言或图像，容易有歧义和提示注入；生成式规划带来概率性控制流，传统测试难以覆盖；长任务和子任务委托让用户逐次确认失效，并造成确认疲劳。原文因此提出，可信智能体不能只靠事后审计或单点权限，而要在执行前判断行动是否“社会与情境上适当”。报告用情境完整性（CI）把隐私从保密或控制扩展为“适当信息流动”，再进一步扩展到“情境安全”。

对谁有价值

对 AI Agent 产品负责人、安全与隐私合规团队、模型与系统架构师、企业 Agent 采购方和战略研究者都有直接价值。它提供了一套共同语言：行动者、信息类型、传输原则，以及系统、模型、用户、生态四层协调防御。做浏览器 Agent、办公 Agent、购物或金融 Agent、企业自动化 Agent 的团队，尤其需要评估跨情境数据流与行动边界。

可以怎么行动

第一，把高频 Agent 场景拆成“情境策略”：明确谁在向谁、传递哪类信息、依据什么传输原则，以及哪些行动需要额外授权。第二，在规划与执行之间加入“情境适当性检查”，而不是只依赖输出过滤。第三，为长任务和子任务委托链设计可追溯审计、最小权限和代理间身份约束。第四，用 CI 维度做红队测试：提示注入、输入歧义、跨情境越权、委托链失控。第五，把确认疲劳当作产品指标，优化确认时机和粒度。

风险或限制

这仍是一份研究路线报告，不是可直接采购的标准或成熟产品。CI 从信息流扩展到行动安全，需要把社会规范转成可计算、可审计的策略，难度很高；不同文化、组织和用户对“适当”的定义可能冲突；过度约束会削弱 Agent 能力，过少约束则带来隐私与安全风险。生态级协调还依赖多方参与，短期难有统一答案。更务实的做法是先在可控场景中验证情境策略和行动前评估，再逐步扩展。

这条内容的真正价值，不只是“有人发布了一个新功能”，而是它揭示了 research.google 背后的产品方向、工作流变化或竞争信号。对 OPC 来说，这种信息可以转化成持续追踪的栏目选题。

如果把《智能体隐私与安全中的开放与涌现问题：一个情境视角》放到你的内容系统里，它最大的价值在于帮助读者更快看懂“为什么值得关注”，而不是只看到一条碎片化动态。