亚马逊和中央情报局的人工智能安全策略：来自华盛顿特区亚马逊云科技峰会的见解

在今年的华盛顿特区亚马逊云科技峰会上，我有幸主持了与亚马逊首席安全官史蒂夫·施密特和中央情报局首席人工智能官拉克什米·拉曼的炉边谈话。我们的讨论探讨了人工智能如何改变公共和私营部门的网络安全、威胁响应和创新。对话强调了几个关键主题：组织如何利用人工智能改善安全结果、代理人工智能的兴起及其对安全的影响、维持人工智能系统人工监督的重要性、劳动力发展策略以及在企业环境中安全实施人工智能的实用方法。以下是我们谈话的几段摘录。

关于利用 AI 改善安全结果

史蒂夫·施密特："我们在亚马逊内部在几个地方应用了人工智能，这带来了一些显著的好处，包括在应用程序安全审查过程中。通过根据我们之前所做的安全审查对我们的大型语言模型进行内部培训，这使我们能够运用更高级的员工在 LLM 接受培训的文档中体现的知识和学习，并将其展示给更年轻的员工。它确实提高了我们可以提供的绝对安全级别的门槛。"

拉克什米·拉曼："在网络安全领域，我们正在考虑人工智能如何帮助我们完成认证和授权流程，帮助我们确保尽快获得系统认证的过程，因为该行业发展得如此之快。我们应用人工智能和机器学习的另一个领域是对数据进行分类。我们有大量的数据以指数级的速度出现，因此我们需要能够快速浏览这些数据，这样我们才能获得见解。你可以想象一位网络安全分析师传统上是为了考虑屏蔽可疑的 IP 地址或连接而手动查看网络数据。现在有机会真正有效地完成所有这些工作，让安全分析师做出决定。"

论代理人工智能的兴起及其对安全的影响

史蒂夫·施密特："我们目前在人工智能领域看到的最大变化是代理人工智能的兴起。代理人工智能之所以特别有趣，是因为它带来了一系列挑战，即确保软件在询问者的背景下采取行动... 想想政府组织的背景下，你的信息集仅限于特定人群，有分类决策、访问控制限制，以及你可以访问某些数据的原因，这些数据必须存在才能访问。Agentic AI 带来了机遇——你可以使用软件自动采取行动——但也带来了挑战：我们如何确保软件每次都在做正确的事情，更重要的是，我们可以向利益相关者和监管机构证明它的所作所为？"

拉克什米·拉曼："人工智能代理肯定有机会改变企业自动化。利用它们来完成复杂的多步骤工作流程——跨各种数据库和其他基础工具进行工具调用——具有巨大的潜力，而人工是审查正在发生的事情的关键步骤。"

论利用人工智能维持人工监督的重要性

拉克什米·拉曼："在我的世界里，我花了很多时间思考人工智能如何影响员工。我们正在研究的领域之一是人工智能与我们的员工之间的交汇点。人工智能能够加快处理速度并实现自动化，但归根结底，这实际上取决于谁在承担风险，或者决定意图并做出决定。无论机器输出如何，实际上都是由人来决定监督水平、承担的风险，甚至是否进行干预。"

史蒂夫·施密特："关于人工智能系统，许多人没有意识到的一件事是它们是不确定的。非决定论的含义是，你可以向一个人工智能模型问同样的问题 100 次，但你不会每次都得到同样的答案。因此，让一个能够判断人工智能想出什么的人至关重要。我们是这样看的：如果你只是问一个问题并得到答案，那可能是你必须得到帮助的一系列审查。但是，如果你要采取行动，你必须真正确定人工智能是正确的。在人工智能使用过程结束时，必须有拉克希米所说的那位熟练的人说：'是的，在这个背景下现在这样做是正确的。'"

关于建立一支精通人工智能的安全队伍

史蒂夫·施密特："我们的行业确实存在一个问题：我们没有足够的保安人员。我们根本无法雇用足够多具有正确技能的人来完成这项工作。我们发现，人工智能使我们能够使用过去必须由人类完成的工具，为安全人员完成大量繁重的工作。实际上，如果我们从员工身上移除大量的繁重工作，他们对工作的满意度就会大大提高，这非常重要。你想留住现有员工，所以你可以为他们提供工具，帮助他们更高效地完成工作，让他们享受工作。"

拉克什米·拉曼："我们正在寻找能够生活在技术与社交智能交汇处之间的人，能够了解这两个领域如何围绕人类行为进行潜在互动以及如何思考未来活动的人。例如，当我们考虑分析师时，我们考虑的是具有批判性思维能力、能够表现出分析严谨性、能够在信息不完整的情况下向前迈出多步思考的人。我们还在寻找具有数字头脑、对云、网络和人工智能有了解的人才，这样我们内部就具备了这些技术技能。最后是那些对终身学习和好奇心感兴趣的人，因为威胁会随着时间的推移而变化。我们需要了解并愿意学习的人。"

随着 AI 的加速，向安全领导者提供建议

史蒂夫·施密特："当你考虑做出决定时，问问向你提供信息的人：'为什么人工智能做不到？'如果他们没有答案，问'什么时候能做到，在什么条件下？'将其转化为现在、可能的、可能的，并始终让所有员工都成为现实。如果他们不是故意做出这个决定，他们就会错过机会。"

拉克什米·拉曼："你必须为用户提供培训。我们在三个不同的层面上考虑这个问题。首先是我们的普通员工队伍——这可能是最重要的用户群——他们与我们的人工智能从业者并肩坐在一起，可以帮助描述需要自动化的工作流程。然后，我们会为我们的从业者考虑这个问题，这样他们就可以跟上最新的情况。最后是我们的高级管理人员，他们可以考虑如何利用人工智能实现组织转型，并获得高层的支持。"

人工智能不仅改变了我们能做什么，还改变了我们的工作方式。正如 Steve 和 Lakshmi 所强调的那样，最成功的人工智能实施将是那些深思熟虑地平衡自动化与人工监督，重点关注在适当管理风险的同时提供切实价值的用例。对于安全专业人员而言，了解人工智能的技术和人文层面对于我们在这个不断变化的空间中航行至关重要。