- 产品›
- Amazon Data Firehose
概述
Amazon Data Firehose 是将流数据可靠加载到各种数据湖、数据存储和分析工具中的最简单方式。它可以捕获、转换流数据并将其加载到 Amazon S3、Amazon Redshift、Amazon OpenSearch Service(前身为 Amazon Elasticsearch Service)、通用 HTTP 终端节点以及 Datadog、New Relic 和 MongoDB 之类的服务提供商。它是一项完全托管式服务,可以自动扩展以匹配数据吞吐量,并且无需持续管理。它还可以在加载数据前对其进行批处理、压缩、转换和加密,从而最大程度地减少目标使用的存储量,同时提高安全性。
您可以从亚马逊云科技管理控制台中轻松创建 Firehose 流,单击几下即可对其进行配置,然后开始从数十万个数据来源向流发送要持续加载到亚马逊云科技的数据,而这些工作只需几分钟即可完成。您还可以将 Firehose 流配置为先自动将传入数据转换为 Apache Parquet 和 Apache ORC 等列式格式,然后再传输至 Amazon S3,从而实现经济高效的存储和分析。
使用 Firehose,您只需为您通过该服务传输的数据量付费,如果适用,还需支付数据格式转换费用和 VPC 传输费用。没有最低费用,也没有设置成本。
优势
简单易用
只需在亚马逊云科技管理控制台中单击几下,即可利用 Amazon Data Firehose 轻松捕获、转换和加载流数据。只需创建 Firehose 流并选择目标,即可从数十万个数据来源同时发送实时数据。该服务会处理所有的数据流管理工作,包括扩展、分区和监控,从而按照您指定的时间间隔将数据持续加载到目标。
与亚马逊云科技服务和服务提供商集成
Amazon Data Firehose 与 Amazon S3、Amazon Redshift 和 Amazon OpenSearch Service 集成。它还可以将数据传输到通用 HTTP 端点,并直接向 Datadog、New Relic、MongoDB 和 Splunk 等服务提供商传送数据。在亚马逊云科技管理控制台中,您可以将 Firehose 指向 Amazon S3 存储桶、Amazon Redshift 表或 Amazon OpenSearch Service 域。然后,您可以使用现有的分析应用程序和工具,以分析流数据。
无服务器数据转换
Amazon Data Firehose 让您可以准备流数据,然后再将这些数据加载到数据存储中。利用 Firehose,您可以将数据来源中的原始流数据轻松转换为目标数据存储需要的格式,无需构建自己的数据处理管道。
近乎实时
Amazon Data Firehose 可以近乎实时地捕获和加载数据。它可以在收到数据后 60 秒内将新数据加载到 Amazon S3、Amazon Redshift 和 Amazon OpenSearch Service 中。因此,您可以更快地访问新数据,更快地对业务和运营事件做出反应。
无需持续管理
Amazon Data Firehose 是一项完全托管式服务,可以自动预置、管理和扩展加载流数据所需的计算、内存和网络资源。设置完成后,Data Firehose 即可随着数据的到达持续加载数据。
仅按实际使用量付费
使用 Amazon Data Firehose,您只需为您通过该服务传输的数据量付费,如果适用,还需支付数据格式转换费用。无最低费用,无预先承诺。
使用案例
Amazon Data Firehose 是将流数据可靠加载到各种数据湖、数据存储和分析工具中的一种最轻松的方式。它可以捕获、转换流数据并将其加载到 Amazon S3、Amazon Redshift 和 Amazon OpenSearch Service 中,让您可以借助现今正在使用的现有业务情报工具和控制面板进行近乎实时的分析。下面是我们的客户使用 Amazon Data Firehose 处理的主要使用案例。