重塑存储,亚马逊云科技宣布四项存储创新

  • Amazon EBS io2 Block Express 存储卷提供了首个为在SAN 上运行的工作负载而构建的云存储服务,具有高达256,000 IOPS,4,000 MB /秒的吞吐量和64 TB的单卷容量
  • 下一代Amazon EBS Gp3 存储卷使客户能够独立于存储容量之外来提供额外的IOPS和吞吐量性能,提供高达4倍的峰值吞吐量,且每GB的价格比上一代存储卷低20%
  • Amazon S3 智能分层支持的存储类型从现有的S3频繁访问型和非频繁访问型扩展至S3 Glacier 归档型和深度归档型,客户使用对象存储的成本可降低多至95%
  • Amazon S3 Replication(multi-destination)提供了将数据同时复制到同一亚马逊云科技区域或任意多个亚马逊云科技区域中的多个S3存储桶的能力,以满足客户的全球内容分发、存储合规性和数据共享需求

北京-2020年12月2日-今天,在亚马逊云科技举办的年度盛会——亚马逊云科技 re:Invent上,亚马逊云科技宣布推出四项存储创新,为客户带来了更多的存储性能、弹性和价值,包括:

• Amazon EBS io2 Block Express 存储卷:下一代存储服务架构提供了首个为在SAN上运行的工作负载而构建的云存储服务,具有高达256,000 IOPS,4,000 MB /秒的吞吐量和64 TB的单卷容量(与标准的io2 存储卷相比,所有指标均增加4倍),以满足大多数I / O密集型关键业务应用的性能要求(预览可用)。

• Amazon EBS Gp3 存储卷: Amazon EBS的下一代通用SSD存储卷,使客户能够灵活地配置额外的IOPS和吞吐量,而无需添加额外的存储容量。在提供了3,000 IOPS和125 MB /秒吞吐量的更高基准性能之外,并提供高达16,000 IOPS和1,000 MB /秒的峰值吞吐量(比Gp2 增加4倍),与现有Gp2存储 卷相比,每GB存储价格低20%(今日可用)。

• Amazon S3 Intelligent-Tiering automatic data archiving: Amazon S3智能分层支持的存储类型从现有的S3频繁访问型和非频繁访问型扩展至S3 Glacier归档型和深度归档型,客户使用对象存储的成本可降低多至95% (今日可用)。

• Amazon S3 Replication (multi-destination):新功能使客户能够将数据复制到同一或不同亚马逊云科技区域中的多个S3存储桶,以满足客户的全球内容分发,存储合规性和数据共享需求(今日可用)。

EBS io2 Block Express 存储卷提供了首个为在SAN上运行的工作负载而构建的云存储服务

因为io2存储卷(最新一代预置IOPS存储卷)能提供99.999%(5个9)的耐用性和比通用EBS存储卷 高4倍的IOPS,客户往往选择它来运行关键的、性能密集型应用程序,例如SAP HANA,Microsoft SQL Server,IBM DB2,MySQL,PostgresSQL和Oracle数据库。某些应用程序需要单个io2存储卷所无法提供的更高的IOPS、吞吐量或容量,为了满足其所需的性能,客户通常将多个io2 存储卷进行条带化组合。在工作负载性能要求更高的情况下,客户不得不将更多的io2存储卷进行条带化组合,由此带来了更大的部署及管理复杂度和成本增加。许多客户历来使用本地部署的SAN架构(使用本地部署的存储资源)来满足高性能工作负载的需求。但是这些SAN缺点众多,高昂的前期购置成本导致它们价格昂贵,需要复杂的预测才能确保有足够的容量,这繁杂且难以管理,并且消耗了宝贵的数据中心空间和网络容量。当客户超出SAN的现有容量时,他们必须另外购买一套完整的SAN或进行复杂的扩容,这种方式价格昂贵且迫使客户为未使用的容量付费。客户告诉我们,他们一直希望在云中拥有SAN的功能和性能——现在终于能够实现了。

EBS Block Express是一种全新的存储架构,为客户提供了首个为在SAN上运行的工作负载而构建的云存储服务。 EBS Block Express专为需要高IOPS、高吞吐量、高耐用性、高存储容量和低延迟的Oracle,SAP HANA,Microsoft SQL Server和SAS Analytics等大型、I/O密集型任务关键型部署而设计。通过在Block Express上运行io2存储卷,单个io2存储卷可以配置高达256,000 IOPS, 4,000 MB /秒的吞吐量,并提供64 TB的单卷容量——这在所有参数上都比现有io2存储卷提高4倍。此外,io2 Block Express存储卷可以为客户的延迟敏感型应用提供一致的亚毫秒级延迟。客户还可以将多个io2 Block Express 存储卷条带化在一起,以获得比单个存储卷更好的性能。 Block Express通过完全重构的基础EBS硬件、软件和网络堆栈,帮助io2存储卷实现此性能提升。通过在硬件层将计算与存储解耦,并重新编写代码,EBS Block Express可以达到新的性能水平,并缩短创新的时间。通过重写网络堆栈以利用高性能Scalable Reliable Datagrams(SRD)网络协议,Block Express大大减少了延迟。这些改进适用于非预付费客户使用io2 Block Express存储卷,并且客户可以在无需预付费的情况下配置和扩展容量。

在接下来的几个月里, Block Express 存储卷将添加其它SAN功能,包括支持I/O fencing的多重挂载,使客户能够同时将多个实例安全地连接到单个存储卷,快速快照还原,支持弹性卷以动态扩展EBS存储 卷容量、更改卷类型和性能。

EBS Gp3 存储卷使IOPS与存储容量脱钩,提供了更高的性能,且价格比上一代存储卷降低20%

客户使用EBS 存储卷来支持广泛的工作负载,例如关系和非关系数据库(比如Microsoft SQL Server和Oracle)、企业应用程序、容器化应用程序、大数据分析引擎、分布式文件系统、虚拟桌面、开发/测试环境和媒体工作流程。 Gp2存储卷使客户能够轻松、经济高效地满足其中许多工作负载的IOPS和吞吐量要求,但是单个Gp2 存储卷无法提供某些应用程序需要的更高IOPS。因为Gp2存储 卷的性能会随着存储容量的增长而扩展,因此客户可以通过配置更大的存储卷来为其应用程序获得更高的IOPS和吞吐量。然而,某些应用程序需要更高的性能,而不需要更高的存储容量(例如MySQL和Cassandra之类的数据库)。这些客户最终可能会为获得所需的IOPS性能,而承担超出其所需存储空间的费用。运行这些工作负载的客户希望满足其性能需求,而不必调配更大的存储量并为此付费。

下一代Gp3存储卷使客户能够独立于存储容量来配置IOPS和吞吐量。对于需要更高性能的工作负载,客户可以修改Gp3存储卷以提供所需的IOPS和吞吐量,而不必增加更多的存储容量。 Gp3存储卷可提供3,000 IOPS和125 MB /秒的持续基准性能,并能够提供至多16,000 IOPS和1,000 MB /秒的峰值吞吐量(比Gp2增加4倍)。除了通过允许客户独立于存储以扩展IOPS来节省资金外,Gp3 volume每GB的价格比现有Gp2降低20%。客户可以使用Elastic Volumes轻松地将Gp2存储卷迁移到Gp3存储卷,Elastic Volumes是EBS现有的一种功能,允许客户修改其现有EBS存储卷的卷类型、IOPS、存储容量和吞吐量,而无需中断其Amazon Elastic Compute Cloud(EC2)实例。客户还可以使用亚马逊云科技管理控制台,亚马逊云科技命令行界面(CLI)或亚马逊云科技开发工具包轻松创建新的Gp3存储卷并扩展性能。

Amazon S3 智能分层扩展支持S3 Glacier归档型和深度归档型,客户使用对象存储的成本可降低多至95%

S3 智能分层可针对访问模式未知或不断变化的数据,自动优化存储成本。对于存储中对象不断变化的访问模式,它是首个也是唯一一个自动优化成本的云存储解决方案。 S3智能分层已被那些拥有不同存储访问模式(如数据湖)或未知存储访问模式(如新推出的应用程序)的客户所广泛采用。之前,S3智能分层对存储收费分为两个定价层:标准存储层用于频繁访问(如实时数据查询),成本优化层用于非经常访问(如批量查询)。然而,许多亚马逊云科技客户为了降低冷数据的存储成本,已经使用了S3 Glacier或S3 Glacier深度归档。在今天之前,客户需要手动构建自己的应用程序,以监控和记录针对单个对象的访问,从而确定哪些对象很少被访问且需要转移到归档存储之中。然后,他们需要手动移动这些对象。

Amazon S3智能分层扩展支持S3 Glacier归档型和深度归档型,进一步增强了云中首个也是唯一能提供动态成本优化的存储类别。现在,S3智能分层可以在四个不同的访问层(频繁、不频繁、归档和深度归档)上进行自动分层和成本优化。通过使用S3智能分层,长期不访问的数据会在180天或更长时间内自动地从频繁访问层转移到深度归档层,客户可以节省高达95%的存储成本。一旦客户激活了其中一个或两个归档访问层,S3智能分层将自动将90天未访问的对象转移到归档访问层,并在180天后将其转移到深度归档访问层。 S3智能分层可借助S3 Inventory来显示对象的存储层级,以及通过S3 Replication将数据复制到任何亚马逊云科技区域。使用S3智能分层时不收取检索费用,而在访问层之间转移对象时也不收取额外的分层费用。支持S3 Glacier归档型和深度归档型的S3智能分层现已在所有亚马逊云科技区域中可用。

Amazon S3 Replication提供了将数据复制至同一或不同亚马逊云科技区域中的多个S3存储桶的能力

客户现在可以使用S3 Replication在同一亚马逊云科技区域内或不同亚马逊云科技区域之间创建其数据副本,以满足合规性、低延迟或跨帐户共享数据的需求。一些客户还需要将数据复制到多个目的地(同一亚马逊云科技区域或多个亚马逊云科技区域的多个S3存储桶),以满足数据主权要求,支持跨区域分布团队之间的协作,或在多个亚马逊云科技区域内维护相同的数据集以实现弹性。之前为了实现这一目标,客户必须通过监控S3事件以识别任何新创建的对象来构建自己的多目的地复制服务。然后,他们将这些事件分散到多个队列中,调用Amazon Lambda函数将对象复制到每个目的地的S3存储桶,跟踪每个API调用的状态并汇总结果。客户还需要监控和维护这些系统,这都会增加费用和运营开支。

借助S3 Replication(multi-destination),客户不再需要为跨多个亚马逊云科技区域复制数据而开发自己的解决方案。客户现在可以使用S3 Replication将数据复制到同一亚马逊云科技区域或多个亚马逊云科技区域的多个存储桶,或者将两者结合使用,使用统一的的基于策略的管理方法来监控数据复制状态和指标。例如,客户现在可以轻松地将数据复制到不同亚马逊云科技区域中的多个S3存储桶——一个用于主存储,一个用于归档,一个用于灾难恢复。客户还可以将数据集和更新分发至所有亚马逊云科技区域,以实现低延迟。借助S3 Replication(multi-destination),客户还可以为不同的目的地指定不同的存储类别,以节省存储成本并满足数据合规性要求(例如,客户可以将S3智能分层存储类别用于两个亚马逊云科技区域中的数据,在另外一个区域复制到S3 Glacier 深度归档中以获取低成本数据归档)。 S3 Replication(multi-destination)完全支持现有的S3 Replication功能,如复制时间控制,以提供有SLA保证的可预测的复制时间,以满足其合规性或业务要求。客户还可以使用Amazon CloudWatch提供的监控指标,事件和对象级复制状态来监控其复制作业。可以使用S3管理控制台,Amazon CloudFormation或通过Amazon CLI或亚马逊云科技开发工具包配置S3 Replication(multi-destination)。

亚马逊云科技负责存储服务的副总裁Mai-Lan Tomsen Bukovec表示: “未来三年产生的数据将比过去30年更多,机构和开发者都需要通过云来存储大量的数据,存储技术也需要相应的革新。 今天的全新发布,提供了全新的为在SAN上运行的工作负载而构建的云存储服务,客户的海量数据可通过智能分层来自动优化成本。同时,让数据在全球范围内按需复制和转移变得更加简单,让客户能更加有效地管理这一新常态。”

Teradata是云数据分析平台公司,可解决大规模的复杂数据挑战。 Teradata工程高级副总裁Dan Spurling表示:“当您专注于实时分析全球数据时,对于我们的业务和最终客户而言,在价格和性能之间取得适当的平衡至关重要。 随着Gp3的发布,基于亚马逊云科技的Teradata客户将体验到更高的性能和吞吐量,从而使他们能够推动大规模的分析。 Gp3相对于Gp2有着显著的改进,我们预计吞吐量将提高4倍,而每个实例的EBS数量在减少。这使得我们的客户将获得更高的性能和更高的实例可用性。”

Embark正在开发自动驾驶卡车技术,以提高道路安全性和运输效率。Embark基础设施主管Paul Ashbourne说: “我们使用S3 智能分层存储自动驾驶卡车车队的日志。这些日志包含我们车辆上的传感器(例如摄像机和LiDARS)的PB级数据,同时还存储控制信号和系统日志,我们需要快速完整地重现在任何时间点车辆及其周围发生的一切,保留这些数据对我们的业务至关重要。我们的团队经常访问最近收集的数据并进行分析,但是随着时间的流逝,大多数的数据会变冷,并且有可能几个月都不会访问一些数据的子集。但重要的是,我们需要继续保存较旧的数据,以防万一需要再次分析,但这样做可能导致成本高昂。 S3智能分层对我们来说是完美的,因为它会根据各个对象访问模式自动优化我们的存储成本。使用两个新的‘归档访问’层,当很少访问车队日志数据时,我们可以节省更多成本。借助S3智能分层,我们的工程团队无需构建或管理任何自定义存储监控系统,一切都能正常运行,我们可以将更多的时间集中在研发而不是管理存储上。”

Zalando是欧洲领先的时尚和生活方式在线平台,拥有超过3500万活跃客户。 Zalando首席数据工程师Max Schultze说:“我们在Amazon S3上构建了一个15 PB的数据湖,这使员工可以及时分析他们以前无法访问的历史销售和Web跟踪数据。通过使用S3智能分层,我们能够在数据湖中节省37%的年度存储成本,因为它可以在频繁访问和不频繁访问层之间自动移动对象。我们期待新的S3 智能分层归档存储层,节省更多的冷数据存储成本。”

SmugMug + Flickr是全球最大、最具影响力的以摄影师为中心的平台。 SmugMug + Flickr的工程/运营总监Andrew Shieh说:“我们从第一天开始就使用Amazon S3,现在是S3 Replication的新客户。针对多个目的地的S3 Replication为我们的全球数据处理提供了绝佳选择。我们现在可以以新的方式利用S3 Replication,使用现有的S3对象标签制定优化的复制策略。支持多个目标端的S3 Replication可以简化复杂的数据复制管理,我们可以有更多的时间和精力来服务客户。我们在S3中存储并由少量代码完全管理的PB级数据是我们的业务核心。 对S3的持续改进使SmugMug和Flickr与我们在亚马逊云科技的合作伙伴一起成长。”