大数据实时计算

Amazon Kinesis Data Streams 是一项实时计算服务，可让您更加便于实时处理数据流。它允许您在数据生成时持续收集和处理数据，从而迅速对关键的业务和运营信息作出反应。通过实时计算，您可以实现以下功能：

实时计算使您能够从不断产生的数据中获取价值，而不必等待批量处理或离线分析。这对于需要快速响应和决策的应用程序至关重要。

Amazon Kinesis Data Streams 的设置和使用非常简单。只需数秒，您即可在 亚马逊云科技 管理控制台中创建一个 Kinesis 数据流。然后，您可以借助 Amazon Kinesis Producer Library （KPL） 和 Kinesis Client Library （KCL） 轻松地向 Kinesis 数据流添加数据和构建处理应用程序。

通过这些库和工具，您无需担心底层的流管理和扩展细节，可以专注于构建实时计算应用程序的业务逻辑。

Amazon Kinesis Data Streams 支持并行处理同一个数据流。您可以让多个 Kinesis 应用程序同时从同一个流中读取和处理数据。这种并行处理能力使您可以：

通过并行处理，您可以充分利用计算资源，加快实时计算的处理速度。同时，不同的应用程序可以独立扩展，满足不同的性能需求。

Amazon Kinesis Data Streams 具有出色的弹性和动态扩展能力。它可以将流的吞吐量从每小时数 MB 扩展为每小时数 TB，并将每秒支持的写入记录数从数千个扩展为数百万个。您可以根据输入数据量的变化随时动态调整流的吞吐量。

这种弹性扩展能力确保了实时计算的高性能和可扩展性。无论数据量如何增长，Kinesis 都能够处理高吞吐量的数据流，满足实时计算的需求。同时，您只需为所使用的资源付费，可以优化成本。

通过弹性动态扩展，实时计算应用程序可以轻松应对突发流量和长期增长。您无需预先配置静态资源，也无需手动扩展基础设施。Kinesis 会自动管理所需的资源，确保实时计算的高可用性和可靠性。

批处理是指将大量数据集中起来，一次性地进行处理。它通常在预定时间或按需执行，适用于高容量、重复性的任务，如更新数据库、生成报告和打印文档等。而实时计算则是对用户输入或外部事件立即做出响应，具有低延迟的特点。实时系统旨在提供即时结果，而批处理则可以容忍较长的处理时间，只要能在业务期限内可靠地完成整个任务即可。

批处理适用于需要处理所有记录数据的应用程序，例如计算总数等，必须完成整个批处理后才能获得可用结果。而实时系统更适合只需要单个输入数据的应用程序，对低延迟的要求更高。

现代批处理应用程序通常利用网格计算和其他可扩展架构，将批处理作业分配到多个处理器上，以提高吞吐量。而实时系统则更注重响应性和低延迟处理。

批处理的延迟通常在分钟到小时的范围内，而实时计算需要在秒或毫秒级别的延迟。批处理可以处理大量数据，而实时计算则处理单个记录或微批次数据。

批处理适用于对大型数据集进行复杂分析和查询，而实时计算则更适合需要快速响应传入数据的实时分析和响应功能。

根据英特尔高级副总裁 Raja Koduri 的说法，实现可供数十亿人实时访问的持久沉浸式计算，需要将当前最先进的计算效率提高 1000 倍。这对硬件和软件基础设施都提出了极高要求。

目前，缺乏开放的硬件和软件基础设施、垄断性的平台开发模式以及缺乏明确的治理标准，阻碍了元宇宙等应用的大规模发展。我们需要建立开放、共享的平台，促进生态系统繁荣。

实时计算需要持续低延迟地处理数据，这与传统的批量处理模式不同。要实现实时计算，组织需要具备支持连续实时数据处理的计算资源和基础设施。

缺乏明确的治理标准也是当前阻碍元宇宙等应用发展的一大障碍。我们需要建立健全的治理机制，规范平台运营，保护用户权益。

总之，实现真正的实时计算仍然任重道远。我们需要在硬件、软件、平台、数据处理和治理等多个层面进行创新和突破，才能最终实现这一目标。