开始使用 Amazon Kinesis Data Analytics

开始使用 Amazon Kinesis Data Analytics 的最佳方法是通过构建示例应用程序获得实践经验。轻松登录到 Amazon Kinesis Data Analytics 控制台,并创建一个新的 Amazon Kinesis Data Analytics 应用程序。使用以下步骤,具体取决于您的选择:(i) 使用 IDE(Java、Scala 或 Python)的 Apache Beam 应用程序 (Java) 或 Apache Flink 应用程序;(ii) Studio 笔记本应用程序(Apache Flink SQL、Python 或 Scala,通过交互式开发体验);(iii) 基于 SQL 的 Kinesis Data Analytics 应用程序,通过控制台编辑器。

如要开始,请先创建一个可以连续读取和处理流数据的 Kinesis Data Analytics 应用程序。使用您喜欢的 IDE 下载开源 Apache Flink 库,然后写入您的应用程序代码并用实时流数据测试。您可以对需要 Kinesis Data Analytics 发送结果的目的地进行配置。
 您可以在适用于 Apache Flink 的 Amazon Kinesis Data Analytics 开发人员指南中,获得有关如何下载库和创建首个应用程序的说明。 您可以针对您在 Amazon Kinesis Data Analytics 上使用的 Apache Flink 版本,在 Apache Flink 官方文档中查找 Apache Flink 支持的其他语言的同等代码。

第 1 步:将开源库下载到您喜欢的 IDE

可以首先下载包括 Amazon SDK、Apache Flink 和适用于 亚马逊云科技 服务的连接器的开源库。

使用数据流和流运算符编写 Apache Flink 应用程序代码。应用程序数据流是针对使用应用程序代码执行处理的数据结构。数据不断地从源流入应用程序数据流。一个或多个流运算符用于定义对应用程序数据流的处理。

步骤 3:将代码上传至 Kinesis Data Analytics

构建完成后,将您的代码上传到 Amazon Kinesis Data Analytics,该服务将处理连续运行实时应用程序所需的一切,包括自动扩展以匹配传入数据的数量和吞吐量。

开发人员指南的开始使用适用于 Apache Flink 应用程序的 Amazon Kinesis Data Analytics 部分提供了构建您的第一个应用程序的简单演练。

Apache Flink 在 Apache Flink GitHub 存储库中提供若干个流处理示例

轻松开始使用 Amazon Kinesis Data Analytics Studio

如要开始,请创建一个 Kinesis Data Analytics Studio 应用程序。启动应用程序并打开 Apache Zeppelin 笔记本,然后使用由 Apache Flink 提供支持的流处理引擎以 SQL、Python 和 Scala 编写应用程序代码。使用实时流数据测试应用程序,并通过 SQL 查询和内置可视化探索流数据的外观。您可以对需要 Kinesis Data Analytics 发送结果的目的地进行配置。或者,您可以将备注中的代码提升为具有持久状态和自动扩展功能的长时间运行的 Apache Flink 流应用程序。您可以在 Amazon Kinesis Data Analytics Studio 开发人员指南中获取有关如何入门的说明。您还可以找到一些示例,用于试用各种 SQL 查询,以及针对流数据的示例 Python 和 Scala 程序。

第 1 步:创建 Amazon Kinesis Data Analytics Studio 应用程序

您可以从 Amazon Kinesis Data Analytics、Amazon MSK 或 Amazon Kinesis Data Streams 控制台开始。您还可以使用自定义连接器连接到任何其他数据源。

您可以运行注释中的单个段落,查看上下文中的结果,并使用 Apache Zeppelin 的内置可视化来加速开发。您还可以在代码中使用用户定义的函数。

第 3 步:构建并部署为 Kinesis Data Analytics 流式应用程序

只需单击几下,即可将代码部署为持续运行的流式应用程序。您部署的应用程序将是适用于 Apache Flink 应用程序的 Kinesis Data Analytics,具有持久状态和自动扩展功能。在生产代码之前,您还将有机会更改源、目的地、日志记录和监控级别。

轻松开始使用适用于 SQL 的 Kinesis Data Analytics

如要开始,请先创建一个新的 Amazon Kinesis Data Analytics 应用程序。选择我们提供的演示流作为输入,挑选一个模板,然后编辑 SQL 查询。随后可以在控制台查看结果或将输出内容加载到 Amazon Elasticsearch Service 中,使用 Kibana 可视化显示。只需要数分钟,就可以部署一个完整的流数据应用程序。

第 1 步:配置输入流

首先,前往 Amazon Kinesis Data Analytics 控制台,选择 Kinesis 数据流或 Kinesis Data Firehose 传输流作为输入。Amazon Kinesis Data Analytics 提取数据,自动识别标准数据格式,并推荐架构。您可以优化此架构,或者如果您的输入数据是非结构化的,则可以使用我们直观的架构编辑器定义一个新架构。

第 2 步:编写 SQL 查询

接下来,编写 SQL 查询以使用 Amazon Kinesis Data Analytics SQL 编辑器和内置模板处理流数据,以及使用实时流数据进行测试。

第 3 步:配置输出流

最后,指向您想要加载结果的目的地。Amazon Kinesis Data Analytics 即用地集成了 Amazon Kinesis Data Streams 和 Amazon Kinesis Data Firehose,因此可以轻松将处理结果发送至 Amazon S3、Amazon Redshift、Amazon Elasticsearch Service 或您的自定义目的地。

入门示例

这些资源提供示例流数据应用程序和逐步指南,您可以用来亲自操作,获得实践经验。

工作原理

您可以通过 SQL 开发人员指南查看 Amazon Kinesis Data Analytics 架构概览,创建应用程序,以及配置输入和输出。

入门

入门指南中,我们分步讲述了如何设置 亚马逊云科技 账户、 Command Line Interface (Amazon CLI),如何创建初学者 Amazon Kinesis Data Analytics 应用程序。

示例应用程序

示例应用程序指南提供代码示例和分步指导说明,帮助您创建 Amazon Kinesis Data Analytics 应用程序和测试您的结果。

开始使用亚马逊云科技免费构建

开始使用亚马逊云科技免费构建

关闭
热线

热线

1010 0766
由光环新网运营的
北京区域
1010 0966
由西云数据运营的
宁夏区域