OPPO LOGO_深绿_CMYK

亚马逊云科技案例研究:OPPO小布助手

2021

OPPO小布助手是OPPO对自身AI能力的整合,包含语音、建议、指令、识屏和扫一扫五大能力模块。自OPPO小布助手问世以来,OPPO技术团队就不断深耕、探索智能AI算法并成为业内的佼佼者。他们持续致力于语义理解、对话交互的研发,提升用户体验,过去三年稳步进阶,达成多个成就:2019年获得首个五星认证AI语音助手;2020年在AI领域全球专利申请超2,400件;2021年通过中国信息通信研究院开展的“可信AI评测”等。

OPPO小布助手现已达成月活用户超1.3亿,月交互频次超20亿,是国内率先达成月活用户过亿的手机语音助手之一。

面临的挑战

在寻求发展人工智能应用,推动自身转型的道路上,OPPO一直敢为人先,走在业界前列,持续落实产品改进,优化用户体验,推动业务创新发展。过去,OPPO一直在本地部署其机器学习模型训练和推理,随着支持人工智能应用程序的机器学习模型变得越来越复杂,一方面,其大量集中于GPU集群运行的机器学习工作负载成本变得日趋高昂,另一方面,其性能表现也难以为继。

OPPO小布助手是OPPO万物互融的“入口级”战略产品,也是OPPO业务创新的关键承载。在闲聊、问答等智能语音典型应用场景下,线上推理过程需要模型以检索方式做排序,并返回大量召回结果,对数据吞吐量和算力的要求都非常高。与此同时,模型推理相关成本则占据了整个AI工作流的绝大部分,甚至接近90%。为了提供更优秀的用户体验、更精确的对话反馈选项和更低的结果返回延时,OPPO团队一方面要持续对模型开展优化,一方面也亟需提升底层基础设施的能力。

2021年5月,基于高性能机器学习推理芯片Amazon InferentiaAmazon EC2 Inf1 实例成功落地中国区域,为中国区域客户带来全新的更高性能和更低成本云端机器学习推理算力选择。

相比之前本地GPU集群的计算资源配置,基于亚马逊云科技,使用Amazon EC2 Inf1实例部署AI模型机器学习推理应用,OPPO小布助手在FAQ和闲聊等典型应用场景下,整体推理成本节省高达35%左右,端到端延迟降低多达25%。”

荚济民

OPPO小布助手 高级总监

 

为什么选择亚马逊云科技

亚马逊云科技团队一直与OPPO保持着非常密切的合作沟通,第一时间向OPPO介绍了亚马逊自身基于Amazon EC2 Inf1实例的智能语音助手Alexa相关实践经验,给予OPPO小布助手技术团队大量启发与信心,双方团队即刻付诸行动,定位适合“OPPO小布助手+Amazon EC2 Inf1”的场景,测试工作负载并着手迁移。

荚济民表示,选择亚马逊云科技,主要是看重以下几点关键因素:

第一,在机器学习底层的框架和基础架构层面,亚马逊云科技全面提供基于各家芯片供应商的最新技术选项,提供从小到大多种配置,支持市面上流行的各种机器学习框架和算法,产品服务功能性与生态系统完整性俱佳。

第二,亚马逊云科技新推出基于自研高性能机器学习推理芯片Amazon Inferentia的Amazon EC2 Inf1实例,提供更高性能和更低成本机器学习推理算力。在月活过亿的对话式AI产品OPPO小布助手业务上,Amazon EC2 Inf1实例可支持OPPO的算法工程师创造性地研发可支持预训练大模型高效推理服务的模块,达到行业领先的对话语义理解效果。

第三,Amazon EC2 Inf1实例较低的成本、开箱即用的便捷性、弹性灵活的容量供应以及持续的新功能发布,都将帮助OPPO的机器学习团队持续不断地利用更复杂的算法模型开展创新,加速产品优化,改善用户体验。

第四,OPPO与亚马逊云科技广泛深入的合作基础为双方基于人工智能机器学习创新应用的前沿实践奠定了坚实基础。OPPO基于亚马逊云科技构建了海外基础设施平台,使用几十种服务支持全球业务发展。OPPO的海外推荐算法团队已经使用 Amazon SageMaker 成功训练了推荐算法模型。

第五,测试迁移过程中,亚马逊云科技团队帮助OPPO在后端进行了大量优化升级和支持帮助工作,确保系统可靠性与稳定性,相关方案充分保障模型无缝迁移,无需代码更改,快速上线投入生产。

目前,OPPO已将其运行在本地基础设施的部分AI模型机器学习推理工作负载成功迁移至亚马逊云科技,支持诸如小布助手的闲聊等应用场景。OPPO小布助手使用的亚马逊云科技服务包括 Amazon Elastic Compute Cloud (Amazon EC2)、Amazon Inferentia、Amazon Simple Storage Service(Amazon S3)、Amazon CloudWatch等。

OPPO小布助手基于亚马逊云科技的AI模型机器学习推理架构示意图

获得的收益

基于亚马逊云科技运行AI模型机器学习推理工作负载,OPPO小布助手获得了显著的成效。降本增效的同时,为算法和业务创新注入强劲动力。

首先,性价比大幅提升。与之前基于本地GPU的计算资源相比,在相同I/O性能条件下,整体推理成本节省高达35%左右,端到端延迟降低多达25%。高并发场景下,吞吐量最高提升2.3倍,单次推理成本可降低多达70%,同时延时几乎没有波动,稳定在30ms以内。基于Amazon EC2 Inf1实例,OPPO小布助手AI模型机器学习推理工作负载的性能大幅提升,同时延迟显著降低。稳定的高性能让工程团队能够利用更复杂的算法开展创新,进一步提升用户体验。

其次,释放运维资源,专注业务创新。将AI模型推理负载部署到亚马逊云科技,OPPO团队无需再关心底层基础设施的适配、管理等工作,专注于算法工程优化和产品服务创新。Amazon EC2 Inf1实例提供4种可选配置,并可作为按需实例、预留实例或Spot实例获得,可帮助进一步优化使用,降低成本。同时,Amazon EC2 Inf1实例支持通过容器编排服务(如 Amazon ECSAmazon EKS)使用,为未来更进一步的架构优化提供广阔空间。

第三,为大规模分布式在线推理奠基。在荚济民看来,OPPO小布助手不仅是“杀手级”产品,更是“核心业务应用”。随着数据量和模型规模越来越大,OPPO小布助手将成为深度学习的“集散地”,包括IoT等在内的多场景、多模态应用是大势所趋。OPPO小布助手团队基于Amazon EC2 Inf1实例的在线AI模型推理先期成功应用为后续扩展开了个好头,为包括异构算力优化、多线程协同等方向在内的云端深入实践奠定了坚实基础。

未来,OPPO小布助手团队会考虑尝试将更多机器学习训练和推理负载迁移到亚马逊云科技,享受快捷、便利的基础资源优势,充分释放云平台的潜能,加速创新成果转化。


关于 OPPO 小布助手

OPPO小布助手是OPPO对自身AI能力的整合,包含语音、建议、指令、识屏和扫一扫五大能力模块。

为什么使用亚马逊云科技

  • 高性能机器学习推理
  • 降低推理总成本,提升推理性能和效率
  • 推动利用更复杂的算法开展创新
  • 全链路监控

使用的亚马逊云科技服务

Amazon Inferentia

Amazon Inferentia 旨在提供云中的高性能推理,降低推理的总成本,并使开发人员能够轻松地将机器学习功能集成到业务应用程序中。

了解更多》

Amazon EC2 Inf1实例

Amazon EC2 Inf1 实例具有多达 16 个 Amazon Inferentia 芯片,它们是由亚马逊云科技设计和构建的高性能机器学习推理芯片。

了解更多》

Amazon SageMaker

Amazon SageMaker 是一项完全托管的服务,可为每位开发人员和数据科学家提供快速构建、训练和部署机器学习 (ML) 模型的能力。

了解更多》

Amazon ECS

Amazon Elastic Container Service (Amazon ECS) 是一项完全托管的容器编排服务,可帮助您轻松部署、管理和扩展容器化的应用程序。

了解更多》


开始使用

各行各业中所有规模的公司都在使用亚马逊云科技对其日常业务进行转型。联系我们的专家,立即踏上您的亚马逊云科技之旅。