亚马逊云科技为三种数据分析服务推出无服务器功能

  • Amazon RedshiftAmazon MSK Amazon EMR 的无服务器功能可帮助客户大规模分析数据,而无需配置、扩展或管理底层基础设施
  • 罗氏制药、拳头游戏和Intuit等客户均已使用新的无服务器分析功能

北京——202112月3日,亚马逊云科技在2021 re:Invent全球大会上,宣布为三项数据分析服务推出无服务器功能,客户无需配置、扩展或管理底层基础架构,即可轻松地分析任何规模的数据。Amazon Redshift Serverless可在几秒钟内自动设置和扩展资源,让客户无需管理数据仓库集群,即可以PB级数据规模运行高性能分析工作负载。Amazon Managed Streaming for Apache Kafka (Amazon MSK) Serverless可快速扩展资源,极大简化实时数据摄取和流式传输。Amazon EMR Serverless让客户无需部署、管理和扩展底层基础设施,即可使用开源大数据框架(如 Apache SparkHive Presto)运行分析型应用程序。

亚马逊云科技数据分析副总裁Rahul Pathak表示:“一些客户希望细粒度的掌控其工作负载的各个方面,但同时也有客户希望亚马逊云科技帮助他们将分析引擎基础设施管理工作中不确定的部分剥离出来,以便更快地行动,并在企业环境中扩大使用数据分析。今天,为降低客户管理数据分析基础设施的复杂性,我们为三种主流的分析服务增加了无服务器功能。客户可以更轻松、经济地实现基础设施现代化,并统一来自各种数据源的大量数据。现在,客户无需考虑管理基础设施,即可运行任何规模的分析工作负载,并向需要它的人员和应用程序快速提供洞察。”

亚马逊云科技提供了广泛的、专门构建的数据分析服务帮助客户制定数据驱动的决策,包括用于数据仓库的 Amazon Redshift、用于处理实时数据流的 Amazon MSK,以及用于运行 Apache SparkHivePresto 和其他开源大数据框架的 Amazon EMR。尽管这些服务为各种应用场景提供了​​强大的分析功能,但仍有客户希望能更进一步,从管理底层集群或服务器的工作中解放出来。为了消除扩展和管理基础设施的复杂性,亚马逊云科技于2014年在计算领域引入无服务器、事件驱动的概念,大量客户已经采用亚马逊云科技的无服务器技术,无需配置、扩展或管理服务器,或部署计算实例和存储来满足其应用程序的峰值容量。亚马逊云科技进一步将无服务器能力扩展到分析引擎,实现自动添加或减少资源,提供恰到好处的容量,满足客户任何规模的数据分析需求,客户无需调整集群大小或为满足峰值容量而过度配置,进而节省时间并优化成本。客户现在可以快速、轻松地开始使用亚马逊云科技数据分析服务,享受无服务器的自动部署、按需扩展和按需付费,不仅降低成本,还可以将数据分析服务扩展到更多用户。

Amazon Redshift Serverless实现无服务器数据仓库:如今,数以万计的客户每天都在使用Amazon Redshift处理超过2EB的数据。与其他企业云数据仓库相比,Amazon Redshift提供高达3 倍的性价比和高达 10 倍的查询性能,以更低的成本为客户提供更快的数据分析。Amazon Redshift Serverless让客户无需设置、管理或扩展集群,即可更轻松地从数据中快速获取洞察。当前自行管理 Amazon Redshift 集群的客户无需更改应用程序,就可以通过 Amazon Redshift 控制台或应用程序编程接口(API)轻松地将它们转移到新的无服务器集群上。

Amazon MSK Serverless实现无服务器数据流:越来越多企业正采用Apache Kafka捕获和分析来自物联网设备、网站点击流、数据库日志和许多其他持续生成动态数据的实时数据流。通过Amazon MSK Serverless,客户不必担心容量规划或不可预测的工作负载,即可自动构建、管理和扩展集群。客户要开始使用Amazon MSK Serverless,只需在Amazon MSK 控制台中创建一个集群,设置一个专用且安全的Apache Kafka端点,使用新的或已有的 Apache Kafka 客户端来流式传输数据。

Amazon EMR Serverless实现无服务器大数据分析:数以万计的客户正在使用Amazon EMR运行开源框架,如 Apache SparkHive Presto,用于大规模分布式数据处理作业、交互式 SQL 查询和机器学习应用程序。客户只需简单地指定想要运行的框架,Amazon EMR Serverless 就可以随着工作负载需求的变化规划部署、管理和扩展计算和内存资源。客户选择一个开源框架并使用 Amazon EMR APIAmazon Command Line Interface (Amazon CLI) Amazon Management Console提交任务,即可开始使用 Amazon EMR Serverless

罗氏制药(Roche)是全球最大的制药公司之一,也是全球领先的癌症治疗供应商。“Amazon Redshift Serverless让我们无需管理集群即可完成数据管理,并通过部署适当的容量满足需求、优化成本。” Roche首席云平台和机器学习工程师 Yannick Misteli 博士表示:“Amazon Redshift Serverless可减轻运营负担,降低成本,并帮助罗氏制药规模化实践Go-to-Market 策略。这种极简的方式改变了游戏规则,帮助我们快速上手并支持各种繁重的分析场景。”

拳头游戏(Riot Games)是一家视频游戏开发商和发行商,以开发世界上最受欢迎的 PC 游戏之一《英雄联盟》而闻名。“我们每天在亚马逊云科技平台上使用Amazon MSK摄取大约20TB的数据,减少数据生成后的查询时间对我们至关重要。通过Amazon MSK,我们现在拥有一种将数据流式传输到自己生态系统的机制,同时消除了自行运行 Apache Kafka 的繁重工作。” 拳头游戏高级首席数据科学家Wesley Kerr表示:“Amazon MSK Serverless 将进一步简化我们的运营,它让我们无需采取扩展措施即可根据需求的变化而改变数据流的传输。为此,我们的开发人员不必担心Apache Kafka的扩展问题,而将精力放在提供全球最佳的游戏体验上。”

Intuit是一个全球技术平台,帮助消费者和小型企业应对重要的财务挑战,通过TurboTaxQuickBooksMintCredit KarmaMailchimp为超过1亿的全球客户提供服务。Intuit工程总监Ritesh Bansal表示:“在Intuit,我们使用Apache Kafka作为中央事件总线,贯穿于为我们产品提供支持的数千个解耦的微服务之间。我们近期将自建的Apache Kafka集群迁移到Amazon MSK,因为它让我们将工程人才资源投入到面向客户的创新上。Amazon MSK Serverless的推出让我们感到高兴,它将让我们更轻松地扩展规模和管理容量。”

The OrchardSony Music Entertainment的子公司,负责收集、处理来自厂牌和艺术家的音乐,并将其分发给SpotifyAmazon Music和其他流媒体供应商和实体零售商。The Orchard工程经理Farouk Umar表示:“Amazon MSK 帮助我们加快推出为 The Orchard Suite 处理流数据的应用程序。 Amazon MSK Serverless 让不熟悉 Apache Kafka 扩展的团队能够从 Amazon MSK 中受益,让我们不必管 Apache Kafka,从而提供更好的开发人员体验。 为此,我们能够更快地扩展 Apache Kafka 的采用,帮助我们加速采用事件驱动的策略。“

Classmethod数据集成部解决方案架构师Satoru Ishikawa表示:“Customer Story Analytics (CSA)是我们数据集成平台服务,它集成了Amazon RedshiftAmazon S3Amazon Aurora和其他服务,避免产生数据孤岛并在数据服务之间提供强大、统一的治理能力。Amazon Redshift Serverless自动调整计算和存储的大小,并快速扩展。这种弹性的无服务器体验降低了手动操作的成本,扩展了部门之间的数据访问,并加速了数据分析和机器学习的自主性,让我们以新方式扩展 CSA 业务。”

Sedric是一个基于人工智能的风险与合规的先进平台,专为新一代金融科技设计。“易用性和自助式数据访问是我们分析计划的关键。Amazon Redshift Serverless让我们无需考虑数据仓库的管理。” Sedric研发副总裁Tomer Levi表示:“我们从Amazon S3加载数据的速度比之前的方案快了7倍,帮助我们从数百万个客户事件中获得可行的见解。我们对Amazon Redshift Serverless达到的性能改进和成本优化感到非常高兴。”

ZS Associates 是一家全球专业服务公司,帮助企业为其客户开发和交付产品。“在我们数据分析战略中,亚马逊云科技的服务发挥着重要的作用,多年来我们取得了巨大的成功。我们的 SaaS 产品通过 Amazon EMR可靠地升级 Spark ,并消除无差别的繁重工作。” ZS云架构副总监Anirudh Vohra表示:“但是,我们的一些工作负载不需要高自定义性,我们只想运行某些 Apache Spark 应用程序,并不必担心管理和扩展服务器或集群。我们期待将具有临时分析需求的工作负载迁移到 Amazon EMR Serverless 上。”