什么是流式处理

流式处理应用可以通过对业务和客户活动数据流进行分析和机器学习，生成实时报告和警报。例如，金融机构利用流式处理跟踪实时股市变化，计算风险指标，并根据股价波动自动重新平衡投资组合。

通过实时分析信用卡交易数据，流式处理可用于欺诈检测。

通过实时跟踪性能指标（如太阳能公司的发电量），流式处理可最小化违约罚款。

物联网设备（如车辆、工业设备和农业机械）产生的传感器数据需要持续监控，以检测问题、优化性能并自动响应（如订购备件）。流式处理可以实现这一目标。

在房地产、广告和零售等行业，客户数据会被分析以提供个性化优惠。流式处理可用于实时推荐。

媒体和游戏公司使用流式处理分析用户交互，优化内容传递。

流式处理将数据视为连续的事件流，每个事件到达时就立即进行处理。与之相反，批处理会在一段时间内收集数据，然后将整个批次数据一次性处理。流式处理更适合需要高计算强度、数据并行性和数据局部性的应用，如图像、视频和信号处理。而批处理则更适合需要所有记录数据的应用，如涉及总计的计算。

流式处理更适合实时分析和需要低延迟响应的功能，如社交媒体分析等实时应用。而批处理则更适合复杂分析和可以在非高峰时段运行的任务，如每月会计等高容量、重复性数据作业。流式处理管道持续运行但计算需求较低，批处理管道运行频率较低但需要高计算能力。

流式处理系统旨在为数据流公开并行处理能力，并依赖流算法进行高效实现。而批处理通常使用现代批处理框架来提供高容量处理的容错能力和可扩展性。

与传统处理器不同，流式处理技术不依赖硬件缓存，而是由编译器和硬件显式管理数据移动。因此，下一代大规模并行处理器在流式处理中面临的主要挑战是数据带宽，而不是计算资源。这可能会导致数据移动成为瓶颈。

尽管流式处理可以从流式处理器中合理地期望获得一个数量级的加速，但并非所有应用程序都能从中获益。实际上，通信延迟是最大的问题，对于小数据集，使用流式处理器效果往往适得其反。

流式处理应用程序需要一致性、低延迟和高可用性。来自生产者的延迟可能会导致系统备份和错误。原始数据流也可能会迅速增加，因此系统应该即使在高峰负载下也能正确排序数据、保证可用性和一致性。

处理流式数据的另一个挑战是处理不完美的数据性质。来源的临时错误可能会导致损坏或丢失元素，从而使保证数据一致性变得具有挑战性。

流式处理中的一个挑战是数组结构（AoS）和结构数组（SoA）的问题，这对程序员来说可能很具有挑战性。合理组织数据结构对于充分利用流式处理的并行性至关重要。

改变内核是一个代价高昂的操作，对于小流会产生罚款，这种行为被称为"短流效应"。为了避免这些问题，已经部署了"über shaders"和"纹理地图集"等技术。

由于数据的时间敏感性，流式处理系统必须具有容错能力，否则在中断或故障时数据将永远丢失。流式处理系统通常包括数据验证逻辑来缓解这些错误。