发布于: Feb 28, 2022

Amazon Redshift 推出适用于 Kinesis Data Streams (KDS) 的流式摄入支持。Amazon Redshift 的流式摄入功能使您无需先将数据暂存到 Amazon S3 即可将其摄入到 Amazon Redshift,这使得客户能够实现几秒内的低延迟,同时每秒可以将数百兆字节的流数据提取到数据仓库。

数据工程师、数据分析师和大数据开发人员正在将其分析从批处理发展成为实时分析,采用诸如 Amazon Kinesis 之类的流式引擎,以便对流式应用程序数据实施近乎实时的响应式逻辑和分析。目前,想要从诸如 Amazon Kinesis 之类的服务中的实时数据摄入到 Amazon Redshift 的客户必须首先将这些数据暂存到 Amazon S3 中,使用使用 COPY 命令,这样可以实现几分钟以内的延迟。借助 Amazon Redshift 中新的流式摄入功能,您可以在 Redshift 中使用 SQL(结构化查询语言)来提供同时连接到以及直接摄入多个 Kinesis 数据流中的数据的功能。Amazon Redshift 流式摄入功能可以让您直接在流的基础上创建物化视图,从而简化数据管道。此外,物化视图还可以将 SQL 转换作为 ELT(提取加载转换)管道的一部分包括在内。定义物化视图之后,您可以手动进行刷新,以便查询最新的流数据。该方法使您能够免费使用熟悉的现有工具和 SQL 对流数据执行下游数据处理和转换。

Amazon Redshift 流式摄入预览版现已在由光环新网运营的亚马逊云科技中国(北京)区域和由西云数据运营的亚马逊云科技中国(宁夏)区域推出。要开始使用 Amazon Redshift 流式功摄入能,请在当前Track 上预置 Amazon Redshift 集群,并验证您的集群是否运行的是版本 1.0.35480 或更新版本。请注意,预览版功能主要用于评估和测试目的。它们不应用于生产系统,也不应与生产数据一起。有关预览版条款和条件,请参阅光环新网的亚马逊云科技(北京区域)服务条款以及西云数据的亚马逊云科技(宁夏区域)服务条款中的“测试版服务参与”。有关如何开始使用 Amazon Redshift 流式摄入功能的更多信息,请参阅 Amazon Redshift 文档页面。  如果您有任何问题或者疑虑,请联系亚马逊云科技中国支持团队