运营成本下降50%，批处理运行时间减少80%

2021年7月16日，人工智能平台公司启元世界正在借助亚马逊云科技“智能湖仓”进行云上创新，实现数据的融合和统一治理，加快其全生命周期产品矩阵理念的落地和规模发展。同时，在流数据处理、批数据处理和即席查询等不同数据场景下，利用亚马逊云科技“智能湖仓”架构专门构建的理念，对流数据处理系统实现了分钟级部署，并能够轻松承载百万QPS（每秒查询率）流数据；还将批处理运行时间减少80%，运营总成本下降50%。

启元世界的目标是打造游戏全生命周期的产品矩阵，用领先的AI和数据分析能力，帮助游戏快速上线，改善游戏体验，提升客户留存，获得更大成功。作为服务全球客户的人工智能平台公司，启元世界的技术架构必须做到全球部署，并且需要有极高的可靠性和可扩展性。为了突出和强化在人工智能领域的优势，启元世界还希望把更多精力聚焦在算法迭代与产品打磨上，这就需要一个成熟、稳定、免运维的大数据托管服务。此外，服务上线后，伴随业务规模的快速增长，游戏运营过程中的波峰、波谷也会愈发明显，这就需要一个灵活敏捷且具有弹性伸缩能力的技术架构。

亚马逊云科技“智能湖仓”架构将亚马逊云科技全面而深入的数据服务无缝集成，打通了数据湖和数据仓库之间的数据移动和访问，并且进一步实现了数据在数据湖、数据仓库，以及在数据查询、数据分析、机器学习等各类专门构建的服务之间按需移动，从而形成统一且连续的整体，满足客户各种实际业务场景下的不同需求。

启元世界CTO龙海涛表示：“亚马逊云科技智能湖仓架构所提出的自由的数据移动，数据湖仓与AI/ML服务组件的深度融合能力，为我们全生命周期产品矩阵理念的快速落地和规模发展，提供了超强有力的支持。”

亚马逊云科技“智能湖仓”架构涵盖数据源、数据摄取层、存储层、目录层、数据处理层和消费层六层架构，可帮助客户轻松应对海量业务数据，充分挖掘数据价值。

在流处理方面，Amazon Kinesis云原生流数据全栈解决方案可以一站式解决游戏数据收集、分析、归档问题，从运维敏捷性和性能上都为启元世界提供了非常优秀的体验。Amazon Kinesis自身就具有面向公网收集流数据的能力，并且高可用，易于扩展，有完善的鉴权机制，也不需要管理底层硬件。另外，鉴权机制还可以一键把数据归档到Amazon Simple Storage Service (Amazon S3)，或者使用Flink框架直接对流数据进行业务分析。使用Amazon Kinesis之后，启元世界流数据处理系统实现了分钟级部署，并能够轻松承载百万QPS（每秒查询率）流数据。

在批处理方面，原先启元世界习惯于使用Spark进行大数据分析，但管理Spark集群耗费团队太多精力，且每天等待数据处理时间过于漫长，导致无法高效地把主要精力投入到业务创新。得益于亚马逊云科技拥抱开源的产品理念，Amazon EMR能够在云上轻松部署弹性可扩展的Spark集群环境，进行SQL开发工作，完全不用担心集群维护和计算能力受限。此外，亚马逊云科技托管的 Apache Airflow，也能够帮助启元世界实现批处理过程的自动化。通过使用Amazon EMR 和亚马逊云科技托管的 Apache Airflow，批处理运行时间减少80%，在不改变采用开源组件开发体验的前提下，启元世界运营总成本下降50%，能够承载的查询数量与复杂度上升数倍。

在即席查询方面，启元世界业务的快速增长需要越来越多的报表，业务管理和决策也会频繁提出临时的查询需求，这些都给大数据团队带来挑战。因此公司需要真正的交互式大数据查询及报表分析功能，让业务人员和管理人员能够时刻受益于大数据的潜在价值。

通过采用Amazon Glue和Amazon Athena，启元世界可以在控制台上快速使用SQL查询数据；Amazon QuickSight可以帮助启元世界快速构建数据报表，或根据自己的需求完成数据查询。秒级响应各种数据查询及分析请求，数据报表生成加快一倍。

启元世界成立于2017年8月，是一家领先的人工智能平台公司，将先进的人工智能技术应用于智能决策和数字娱乐领域。公司拥有深度学习、强化学习、云计算等领域自主研发的核心技术、产品，积累了丰富的行业应用经验，为公共科技、数字娱乐、电力能源、交通物流等行业提供基于平台产品的人工智能解决方案。目前，启元世界已与数十家行业知名客户和机构建立合作关系。