- 产品›
- 适用于 Apache Flink 的亚马逊托管服务
适用于 Apache Flink 的亚马逊托管服务功能
概述
适用于 Apache Flink 的亚马逊托管服务让您可以更轻松地使用 Apache Flink 构建和运行实时流处理应用程序。适用于 Apache Flink 的亚马逊托管服务会预配和配置您的 Flink 集群，并编排 Flink 作业管理。它可以设置监控和警报，提供自动扩缩，并且专为高可用性（包括可用区失效转移）而设计。该服务可访问 Apache Flink 富有表现力的 API，通过适用于 Apache Flink Studio 的亚马逊托管服务，只需几个步骤即可以交互方式查询数据流或启动有状态的应用程序。借助此托管服务，您可以开始使用 Apache Flink，并快速部署和操作您的数据流处理应用程序。
借助适用于 Apache Flink 的亚马逊托管服务，您可以使用 Apache Flink 各种业界领先的功能，包括低延迟和高吞吐量数据处理、“恰好一次”处理和持久的应用程序状态。借助适用于 Apache Flink 的亚马逊托管服务，您可以部署安全、合规且高度可用的应用程序。适用于 Apache Flink 的亚马逊托管服务可以跨多个可用区轻松复制数据和工作负载，从而确保不间断的性能和可靠性，且无需为额外容量付费。
通过适用于 Apache Flink 的亚马逊托管服务，可以更轻松地开发应用程序，因为该服务在 Java、Scala、Python 和 SQL 中支持 Flink 灵活的 API。适用于 Apache Flink 的亚马逊托管服务与数百个数据来源和目标集成，例如 Amazon MSK、Amazon Kinesis Data Streams、Amazon Kinesis Data Firehose、Amazon S3、Amazon DynamoDB、JDBC 连接器和自定义连接器。
使用 Apache Flink 的流处理应用程序
全部打开适用于 Apache Flink 的亚马逊托管服务包括多种开源库，例如 Apache Flink、Apache Beam、Apache Zeppelin、Amazon SDKs 和亚马逊云科技服务集成。Apache Flink 是一种框架和引擎，用于构建高度可用且准确的流式传输应用程序。Apache Beam 是一个统一模型，用于定义在多个运行时系统引擎上运行的流式传输和批处理数据处理应用程序。Amazon SDK 为许多亚马逊云科技服务消除了编码复杂性，以您偏好的语言提供 API，并且包含亚马逊库、代码示例和文档。
适用于 Apache Flink 的亚马逊托管服务在 Java、Scala、Python 和 SQL 中支持 Flink 的灵活 API，这些 API 专门用于不同的使用案例，包括有状态事件处理、流式传输 ETL 和实时分析。借助预先构建的运算符和分析功能，无需几个月，只需几小时即可构建 Apache Flink 流式传输应用程序，而且这些库是可扩展的，因此您可以对各种使用案例执行实时处理。
您可以使用最少的代码设置和集成数据来源或目标。使用适用于 Apache Flink 的亚马逊托管服务库与以下亚马逊云科技服务集成：
除亚马逊云科技集成外，适用于 Apache Flink 的亚马逊托管服务库还包含超过 40 种 Apache Flink 连接器，并且可以构建自定义集成。只需几行代码，即可通过高级功能修改各项集成的行为方式。此外，您还可以使用一系列 Apache Flink 原语类型来构建自定义集成，这使您可以读取和写入通过互联网访问的文件、目录、套接字或其他资源。
适用于 Apache Flink 的亚马逊托管服务支持机器学习（ML）算法。您可以为分类、聚类、评估、特征工程建议、回归和统计创建实时应用程序。
适用于 Apache Flink 的亚马逊托管服务与 Amazon Glue Schema Registry 兼容。凭借此无服务器 Amazon Glue 功能，您可以使用注册的 Apache Avro 架构来验证和控制流数据的演变，无需支付额外费用。Schema Registry 可帮助您在作为源连接器或接收器连接器连接到 Apache Kafka、Amazon Managed Streaming for Apache Kafka（MSK）或 Amazon Kinesis Data Streams 的适用于 Apache Flink 的亚马逊托管服务工作负载上管理您的架构。当数据流应用程序与 Schema Registry 集成时，您可以使用管理架构演变的兼容性检查来提高数据质量并防止意外更改。
使用适用于 Apache Flink 的亚马逊托管服务，可以构建处理后的记录对结果只有一次影响的应用程序，这种方法也称为恰好一次处理。即使发生应用程序中断的情况（例如内部服务维护或用户发起的应用程序更新），该服务也将确保所有数据都得到处理，不会存在重复的数据。
服务可以将之前的和正在处理的计算或状态存储在运行的应用程序存储中。比较任何时间周期的实时结果和历史结果，在发生应用程序中断时实现快速恢复。状态永远是加密的，并且以增量方式保存在运行应用程序存储中。
您可以通过 API 调用创建和删除持久的应用程序备份。在发生中断后立即从最新的备份还原应用程序，或者将应用程序还原至较早的版本。