在亚马逊云科技上为银行业构建 AI 堆栈

通过生成式人工智能（gen AI）和机器学习（ML）投资带来价值的银行正在构建可扩展且管理良好的人工智能堆栈。这些堆栈可将概念验证/价值证明可靠地加速到生产中，从而满足业务需求。

导言

银行里有很多与生成式人工智能和更"传统"的机器学习有关的事情。许多亚马逊云科技客户在谈论、试验、测试概念验证（POC）和价值以及将业务驱动的用例投入生产等方面正处于不同的阶段。并非所有客户都发现进入生产阶段很容易，利用生成式人工智能和机器学习技术大规模提供稳定的价值。

要想打破多个 POC 的循环，这些 POC 要么无法带来所追求的好处，要么在利益相关者（内部和外部）中建立必要的信心，以实现规模化生产，似乎难以实现。这些挑战与采用技术的"方式"有关，而不是与我们将要解决的"什么"或"为什么"有关。

作为受监管实体的银行习惯于处理大量数据（通常是个人身份信息，简称 PII）。这些数据本身受控制其收集、存储、处理和使用方式的法规的约束。因此，与其他行业的高管相比，银行高管对生成式人工智能/机器学习模型以及与之相关的潜在运营风险的透明度要高得多。银行有严格的义务了解、管理和报告风险。

这些挑战和复杂性可以通过开发现有的企业风险管理框架来反映技术的特点，以及使用为减轻风险而开发的技术工具和服务来解决。我们的许多客户在开发更强大的控制框架的同时，优先考虑以内部运营和"人为本"解决方案的业务用例，而不是直接面向客户的工具。例如，一些客户正在提高客户入职和了解您的客户/反洗钱（KYC/AML）支票的自动化程度。他们还自动化了一些申请流程，并交付了低风险的实质性业务收益。

客户还使用工具和服务来提取和分析大量非结构化数据文档库以支持信贷决策或开发超个性化内容。增强的自然语言聊天机器人和呼叫中心助手也是如此，它们可以向代理简要介绍历史账户信息或通话记录中的来电，并提出后续步骤建议。

对于银行来说，确定潜在的商业用例并不是真正的挑战。面临的挑战是如何提高他们的人工智能堆栈交付方式的一致性。前后矛盾会导致精力浪费在制作错误的想法上。这可能会限制银行的创新能力和能力，限制更好的客户业绩和更高效的运营的价值。

在生成式人工智能和机器学习之旅中取得最大进展的客户正在创造创意、大规模执行和可重复使用的体验/模式的飞轮效应，以解决看似相似的问题。这可以提高创新的速度和可预测性，同时降低执行成本和风险。

生成式人工智能和机器学习技术的变革速度非常快，这也可能增加挑战。举个例子，我们认为，代理解决方案无疑将在未来 12 个月内突破当前业务用例的界限。但是，可以公平地说，尽管该技术具有潜力，但大多数银行目前仅在尝试面向内部的 AI 代理示例。Parameta，TP ICAP 的数据业务在这里是一个明显的例外，它通过电子邮件自动进行面向客户的运营通信，并减少了处理客户请求所需的时间和精力。

客户还面临着将生成式人工智能用例持续投入生产的挑战，以提供最初备受追捧的规模化优势。这通常是由于治理和控制流程失败所致，而不是技术本身。这是一个与采用技术的"方式"，而不是"什么"或"为什么"相关的挑战。

基于行业优秀实践的可重复价值之路已经出现。它基于一系列组织技能和能力，可帮助银行确定"如何"使用其人工智能堆栈来获得长期利益。但是，"如何"需要解释，因为它需要考虑许多不同的、至关重要的因素：

监管合规性质的不断变化（既包括负责任地使用生成式人工智能技术，也包括银行业本身）
数据和数据治理的重要性（生成式 AI 时代的数据治理）
领导力、人员和培训发展（数据和生成式人工智能——了解组织灵魂的窗口）

这些考虑因素甚至没有提及生成式人工智能技术和机器学习本身的不断演变的性质。

解读银行业人工智能堆栈的"操作方法"

客户，无论他们是否是银行，通常会从以下组件的角度考虑他们的 AI 堆栈的"方式"：

科技
所服务的组织结构
治理和控制
财务管理
安全
合规性和弹性

接下来是前四个组成部分的自上而下的视图，将安全性、合规性和弹性留待下次进行更具技术性的讨论。但是，应将每个组件视为一个整体的组成部分——每个组件齐头并进，不会阻塞或阻止其他组件。

1 — 技术

技术层可以分为三个部分：

a) 生成式 AI 基础组件：允许公司及其人工智能开发人员构建可重复使用的微服务以维持任何类型的用例
b) 蓝图和模板：加快最常见的编程和设置用例的开发
c) 即用型应用程序：增强现有应用程序，使最终用户可以使用他们每天使用的工具，但要使用新生成式人工智能功能，使他们能够提高工作效率

轮流对待：

生成式 AI 基础组件

客户以良好管理和可控的方式加速使用生成式人工智能，构建包含基础组件的技术堆栈，以确保实现业务成果并管理风险。随着时间的推移，这些客户一直专注于这些组件，通过实践经验对其进行改进并提高其有效性。他们没有预先花费太多时间和资源来对它们进行完整的理论细节定义。这帮助这些企业建立了早期势头并发展了能力。

基础组件不限于但包括：

Gen AI 和 ML 网关：访问不同的模型、控制使用成本、安全性和身份验证。
模型评估：公司的人工智能开发人员和数据科学家比较其解决方案的准确性、可解释性、延迟和成本的一种方式。这包括当生成式人工智能和机器学习利用数据时，而不仅仅是模型本身。测试通常是自动的（使用其他机器学习模型）或人工评估。但是，一种名为大型语言模型（LLM）-as-a-Judge 的工具现在可以提供具有类似人类质量的测试结果，而成本和时间只是进行人工评估的成本和时间的一小部分。
Guardrails/负责任的人工智能：保护应用程序和用户免受有害、有毒和暴力内容的侵害。他们还可以添加其他被拒绝的话题并移除 PII。当黑客利用生成式人工智能系统中的漏洞绕过其道德准则并执行限制性行动时，护栏可以帮助防止越狱等攻击。护栏和负责任的人工智能还可以使用自动推理（例如，根据特定政策检查合规性）来帮助减轻幻觉。
模型监控：验证解决方案在投入生产后是否按预期运行，并报告任何异常情况。
可观测性分析：收集有关生产环境的数据，并将其用于检查一切是否按预期运行并创建报告。
通过持续集成和持续交付 (CI/CD) 实现自动化：标准化和管理部署流程，以加快部署。
代理解决方案生成器：帮助构建和控制代理的框架。
检索增强生成 (RAG) 生成器：支持创建嵌入式数据库，以加快文档搜索和检索速度。
提示管理：存储、共享和版本控制复杂的提示。
模型微调：针对特定任务训练模型并进行模型提炼（当大型模型向较小的模型传授特定任务时）。

这些基础组件通常以模块化/微服务方式构建，并且应该相互独立。这允许随着新生成式人工智能研究和技术的向前发展，更快地进行修改和编辑，从而增加新技术。

云是这种快节奏创新的优秀选择，因为它允许不断更新和改进服务和功能。

b — 蓝图和模板

蓝图和模板为最常见的用例提供了框架，为公司的人工智能开发人员和数据科学团队节省了开发生命周期中的宝贵时间。

这些例子有：

内部知识搜索（使用 RAG），用于从内部文档/数据源检索信息
Text-to-SQL（业务分析师搜索速度最快）
翻译（例如日语到英语）
摘要（分析师研究）
文件创建（客户电子邮件、采购或法律文件）
图像和视频（营销内容创作）
音频和语音（联络中心和面向客户的通信应用程序）

c — 即用型应用程序

最后一个抽象层次是要么使用生成式 AI/ML 增强现有业务应用程序，要么创建利用这些技术直接提供给业务用户的新业务应用程序。这可能包括使用现有的环境、社会和治理 (ESG) 分析工具、贷款和抵押贷款处理解决方案、客户 360 浏览器，或者通过增强现有的索赔处理工具来提供更大的商业价值。

如上所述，公司的下一代人工智能开发人员可以在 3-5 个月内构建解决方案。我们建议客户准备好 2-3 个用例，以便立即开始向企业展示价值。我们还建议客户从这 2-3 个用例所需的最少基础组件开始。您可以根据需要构建更多组件，并且用例的复杂性会增加。

例如，大多数早期的人工智能业务用例要求的最低限度是网关、模型评估、护栏和模型监控。RAG、代理生成器和提示流程可以在稍后阶段添加。这简化了复杂性，提高了生产速度并降低了开发的前期成本。

2 — 所服务的组织结构

对于客户如何建立生成式人工智能开发环境以及成功运行该环境所需的团队，没有对错的方法。最好的选择是适合您的业务组织和管理方式的选择。这不是一个放之四海而皆准的解决方案。但是，提前进行有针对性的设计，以满足大多数利益相关者的需求是关键。简单性可能是一项值得权衡的功能。

有针对性的设计注意事项：

集中式运营模式：为了整个业务的利益，所有数据科学和运营团队都集中在一个团队或组织中。集中这样的专业知识和交付能力对于小型组织或需要严格管理和控制生成式人工智能/机器学习的使用可能很有价值。
去中心化运营模式：每个业务部门都可以自由选择和拥有他们构建数据的方式及其生成式人工智能开发环境。联邦企业的运作方式是这样设计的。对于非常分散的组织来说，去中心化是一种选择，这些组织可能没有相同的技术堆栈或难以在它们之间转移成本。但是，保持技术堆栈尽可能相似以避免技术债务仍然是优秀做法。
混合运营模式：小型业务部门依赖中央团队提供专业知识和可重复使用的优秀实践。较大的业务部门可以有自己的政策和指导方针，但要尽量遵守一些企业范围的总体政策和指导方针。
Gen AI/ML 卓越中心 (COE)：支持生成式 AI/ML 应用程序和运营的 COE 是培养操作技能和传播优秀实践的一种流行而有效的方式。正如《设计卓越云中心》中所述，除了适用于贵组织的模式外，没有固定的模式。在倡导使用生成式人工智能并就"如何"实施成功的、明确的治理和批准流程提供专家建议时，它们提供了最大的价值。他们还可以建立安全性和合规性标准——共享优秀实践并评估新的交付工具和方法。CoE 支持开发生成式人工智能环境，该环境可以扩展技术，同时降低运营成本和风险。这使企业可以腾出时间专注于优先用例的交付。CoE 不必是一个常设团队，一旦解决方案制定并按要求执行，他们就可以回归到企业内部的执行岗位上。

选择优秀的组织运营模式

客户在设计人工智能/机器学习运营模式时通常会明确反映其组织的运作方式和可用资源。明确而有针对性的这一决定有助于银行实施其人工智能战略。

图 1-替代组织模式或采用 AL/ML

图 1 — 替代组织模式或采用 AL/ML

3 — 治理和控制

当涉及到生成式人工智能和机器学习时，通常需要考虑两个重要的组成部分。第一个是集中式模型注册表，它允许合规性、风险、业务、解决方案所有者和审计人员了解哪些模型正在生产中（以及它是哪个内部版本）。注册管理机构还可以对数据沿袭进行编目（模型是如何建立的），记录其业务目的、它们产生的风险以及如何管理和控制以及其所有者是谁。集中式注册管理机构非常重要，因为有严格的法规适用，尤其是信用风险模型，信用风险模型目前仅是机器学习模型。

治理的第二部分适用于所有生成式 AI/ML 用例，是批准流程，然后再投入生产。公司需要遵守适用于他们的法规，但也需要遵守合规和风险团队制定的内部政策。用例通常需要内部批准。公司现在可以使用诸如自动推理之类的生成式人工智能技术来加速这一过程。自动推理的工作原理是创建策略的数学模型，然后可以询问该用例是否合规。它将以数学上的确定性解释为什么是或不是，从而减轻答案中出现幻觉的风险。

4 — 财务管理

财务运营（FinOps）是一个运营框架和不断演变的文化实践，通过工程、财务和业务团队之间的合作来建立财务问责制。获得高管赞助以推动 FinOps 的成功是建立财务纪律文化的关键第一步。随着世界各地的行业和组织采用云功能和部署诸如人工智能/机器学习等技术解决方案，越来越多的注意力转向了必要的跨职能协作。重要的是要做出以数据为依据的财务决策，并跟踪投资带来的商业价值。要更深入地了解该主题，请阅读《揭开 FinOps 中的盲点》。

实现变革

构建解决方案以支持下一代人工智能/机器学习战略的持续执行，实现可持续的创新水平以及可靠地实现由此产生的业务利益，需要变革管理。亚马逊云科技可以通过遵循六个阶段的方法来帮助您解决这个问题。

变更管理

强大的变更管理流程使企业能够管理人员、流程，有时甚至是文化变革，这是最大限度地发挥所用技术的价值和降低实施风险所必需的。

图 2-技术部署的三个阶段 图 2 — 技术部署的三个阶段

mLOps 解决方案交付变更管理

在实现新生成式人工智能和机器学习目标方面取得最大进展的客户通常会部署机器学习运营 (MLOps) 方法，以简化机器学习模型从开发到部署和监控的生命周期。该方法有助于确保模型的可扩展性、可重复性和持续集成/部署，使银行能够有效地管理生产级的可靠性、合规性和性能。

图 3 构建 mLOps 功能 图 3 — 构建 mLOps 功能

我们与您的账户团队、行业专家和亚马逊云科技专业服务合作，帮助客户的技术堆栈团队建立流程和优秀实践。我们的六阶段方法有助于协调利益并制定共同的目标。亚马逊云科技客户还可以利用亚马逊云科技生成式 AI Launchpad 主张来加快新生成式人工智能业务优势的交付，并持续从这项投资中获得回报。

亚马逊云科技和你

亚马逊云科技为银行领导者提供全面的生成式 AI/ML 相关服务，以及最广泛和最深入的计算、存储、数据库、推理和分析工具，以实现其可以解锁的商业价值。

正确配置的技术可以提供安全、有弹性、合规、具有成本效益和可扩展的解决方案。银行采用和实施技术以满足其组织需求的"如何"是成功银行与其他银行的区别所在。在银行业采用人工智能堆栈既是一段商业旅程，也是一段技术之旅。

亚马逊云科技可以帮助其客户：

建立意识：提供来自 C 级数据科学家的培训和支持。
奠定基础：就治理和控制的优秀实践以及用例和 AI/ML/Gen AI 运营的优先顺序提供建议。
关注新兴能力和技术发展：随时了解前沿创新，让您更快地采用新技术和新功能。
融入您的业务运营：可以访问与您的应用程序集成的最广泛的服务。

结论

我们讨论了银行（或任何行业）要从采用人工智能和机器学习的 POC 阶段转向可扩展、可靠、合规的生产方式，根据业务需求提供价值，会带来多大的挑战。组织需要商业领袖明白，构建 AI 堆栈并由合适的人员、流程、治理和控制为其提供支持至关重要。为公司需求建立正确的人工智能堆栈可以提高创新的速度和可预测性，同时降低执行成本和风险。

联系亚马逊云科技代表，讨论我们如何帮助加速您的业务，或访问亚马逊云科技金融服务以了解更多信息。