亚马逊云科技案例研究：OPPO小布助手

亚马逊云科技团队一直与OPPO保持着非常密切的合作沟通，第一时间向OPPO介绍了亚马逊自身基于Amazon EC2 Inf1实例的智能语音助手Alexa相关实践经验，给予OPPO小布助手技术团队大量启发与信心，双方团队即刻付诸行动，定位适合“OPPO小布助手+Amazon EC2 Inf1”的场景，测试工作负载并着手迁移。

荚济民表示，选择亚马逊云科技，主要是看重以下几点关键因素：

第一，在机器学习底层的框架和基础架构层面，亚马逊云科技全面提供基于各家芯片供应商的最新技术选项，提供从小到大多种配置，支持市面上流行的各种机器学习框架和算法，产品服务功能性与生态系统完整性俱佳。

第二，亚马逊云科技新推出基于自研高性能机器学习推理芯片Amazon Inferentia的Amazon EC2 Inf1实例，提供更高性能和更低成本机器学习推理算力。在月活过亿的对话式AI产品OPPO小布助手业务上，Amazon EC2 Inf1实例可支持OPPO的算法工程师创造性地研发可支持预训练大模型高效推理服务的模块，达到行业领先的对话语义理解效果。

第三，Amazon EC2 Inf1实例较低的成本、开箱即用的便捷性、弹性灵活的容量供应以及持续的新功能发布，都将帮助OPPO的机器学习团队持续不断地利用更复杂的算法模型开展创新，加速产品优化，改善用户体验。

第四，OPPO与亚马逊云科技广泛深入的合作基础为双方基于人工智能机器学习创新应用的前沿实践奠定了坚实基础。OPPO基于亚马逊云科技构建了海外基础设施平台，使用几十种服务支持全球业务发展。OPPO的海外推荐算法团队已经使用 Amazon SageMaker 成功训练了推荐算法模型。

第五，测试迁移过程中，亚马逊云科技团队帮助OPPO在后端进行了大量优化升级和支持帮助工作，确保系统可靠性与稳定性，相关方案充分保障模型无缝迁移，无需代码更改，快速上线投入生产。

目前，OPPO已将其运行在本地基础设施的部分AI模型机器学习推理工作负载成功迁移至亚马逊云科技，支持诸如小布助手的闲聊等应用场景。OPPO小布助手使用的亚马逊云科技服务包括 Amazon Elastic Compute Cloud (Amazon EC2)、Amazon Inferentia、Amazon Simple Storage Service（Amazon S3）、Amazon CloudWatch等。

基于亚马逊云科技运行AI模型机器学习推理工作负载，OPPO小布助手获得了显著的成效。降本增效的同时，为算法和业务创新注入强劲动力。

首先，性价比大幅提升。与之前基于本地GPU的计算资源相比，在相同I/O性能条件下，整体推理成本节省高达35%左右，端到端延迟降低多达25%。高并发场景下，吞吐量最高提升2.3倍，单次推理成本可降低多达70%，同时延时几乎没有波动，稳定在30ms以内。基于Amazon EC2 Inf1实例，OPPO小布助手AI模型机器学习推理工作负载的性能大幅提升，同时延迟显著降低。稳定的高性能让工程团队能够利用更复杂的算法开展创新，进一步提升用户体验。

其次，释放运维资源，专注业务创新。将AI模型推理负载部署到亚马逊云科技，OPPO团队无需再关心底层基础设施的适配、管理等工作，专注于算法工程优化和产品服务创新。Amazon EC2 Inf1实例提供4种可选配置，并可作为按需实例、预留实例或Spot实例获得，可帮助进一步优化使用，降低成本。同时，Amazon EC2 Inf1实例支持通过容器编排服务（如 Amazon ECS 或 Amazon EKS）使用，为未来更进一步的架构优化提供广阔空间。

第三，为大规模分布式在线推理奠基。在荚济民看来，OPPO小布助手不仅是“杀手级”产品，更是“核心业务应用”。随着数据量和模型规模越来越大，OPPO小布助手将成为深度学习的“集散地”，包括IoT等在内的多场景、多模态应用是大势所趋。OPPO小布助手团队基于Amazon EC2 Inf1实例的在线AI模型推理先期成功应用为后续扩展开了个好头，为包括异构算力优化、多线程协同等方向在内的云端深入实践奠定了坚实基础。

未来，OPPO小布助手团队会考虑尝试将更多机器学习训练和推理负载迁移到亚马逊云科技，享受快捷、便利的基础资源优势，充分释放云平台的潜能，加速创新成果转化。