Amazon MSK 的快速代理
简单、经济实惠且可靠的 Apache Kafka 管理
什么是 Amazon MSK 的快速代理？
Amazon Managed Streaming for Apache Kafka（Amazon MSK）的快速代理是一种新的代理类型，使 Apache Kafka 工作负载更易于管理，更具成本效益，并且更具弹性。快速代理具有与您期望的 Apache Kafka 相同的低延迟，包括无限的弹性存储容量和智能再平衡。快速代理以原生方式向 Amazon S3 表类数据存储服务上的 Apache Iceberg 表传输流式传输数据，这是一项完全托管的功能，可将您的流式传输数据持续呈现为可查询的 Apache Iceberg 表，无需构建或运行单独的 ETL 管线即可进行实时分析。
无需管理基础设施即可轻松操作 Apache Kafka
Amazon MSK 的快速代理无需深入的技术专业知识，从而简化了 Apache Kafka 的管理。借助完全托管的存储、自动维护以及灵活扩缩和智能再平衡功能，快速代理无需进行复杂的存储规划、手动分区平衡，从而可以轻松地随着工作负载的变化调整容量。这样您的组织就可以专注于核心业务计划，而不是将时间和资源花费在 Apache Kafka 操作上。
扩展速度最多可提高 20 倍，只需为所需的存储空间付费
Amazon MSK 的快速代理提供的可持续吞吐量性能是标准代理的三倍。此外，与扩缩标准代理相比，扩缩快速代理的速度快、安全性最高可达 20 倍，所需的代理数量减少了 50％。使用按使用量付费存储（默认情况下包括三向复制），您可以提高性价比。
以可预测的韧性进行构建，恢复时间缩短 90%
持续监控 Amazon MSK 的快速代理是否存在资源失衡，恢复代理的速度最多比标准 Apache Kafka 代理快 90%。这最大限度地减少了数据过载和配置错误对集群可用性和性能的影响。借助智能再平衡的默认设置、关键集群配置以及用于复制和恢复等后台操作的预留带宽，集群可用性具有高度可预测性和稳定性。
使用原生摄取功能传输到流式传输表
使用快速代理向流式传输表传输会不断将 Apache Kafka 主题变为 Amazon S3 表类数据存储服务上的 Apache Iceberg 表。Amazon MSK 数据交付到流式表的功能，与自行管理部署相比，可将 Apache Kafka 数据摄取并交付到 Amazon S3 表类数据存储服务的成本降低多达 60%，并将下游查询成本相比自行管理 Apache Kafka 部署降低多达 30%。借助此功能，智能内联压缩消除了小文件对性能的影响，并在不牺牲数据新鲜度的情况下保持查询性能可预测，同时内置协调机制可解决高吞吐量消费者之间的并发写入冲突。Amazon MSK 支持在交付到 Amazon S3 表类数据存储服务上的 Apache Iceberg 时吞吐量高达 10 GB/s，并且由于此原生功能不会增加代理出站吞吐量，客户可以避免扩展连接器管道带来的增量基础设施成本，并使容量与实际需求而非峰值相匹配。客户将数据交付到流式表，并使用任意选择的引擎（如 Apache Spark、Trino 或 Apache Flink）查询或转换这些数据。您还可以将源格式的流式传输数据传输到通用的 S3 存储桶，以用于备份或下游数据处理使用案例。
统计数据
- 与标准 Apache Kafka 代理相比，每个代理的吞吐量更高
- 3x
- 与标准 Apache Kafka 代理相比，扩缩速度更快
- 20x
- 与标准 Apache Kafka 代理相比，恢复时间缩短
- 90%
- 与标准 Apache Kafka 代理相比，智能再平衡的性能更快
- 180x
查看 Amazon MSK 的快速代理的实际使用情况
AppFolio 通过为我们的客户提供基于云的平台来运营业务，为房地产行业的未来提供动力。通过迁移到 Amazon MSK 的快速代理，我们增强了平台的可靠性，同时获得了显著的运营优势。Amazon MSK 的快速代理的弹性存储和增强的吞吐量进一步优化了我们管理客户房地产投资组合中数据的方法。通过无缝迁移流程和提高的事件解决能力，我们现在满怀信心地扩大我们的 Amazon Web Services 覆盖范围，进而更好地为我们的客户提供服务。
软件工程副总裁 Soeren Thust
开始使用
在用户指南中了解有关 Amazon MSK 的快速代理的更多信息
了解更多