什么是联邦学习？

联邦学习可以让多家医疗机构在不共享敏感患者数据的情况下，共同训练机器学习模型，用于疾病检测等任务。这对于未来数字健康的发展至关重要。例如，可以在多家医院的医学影像数据上训练癌症检测算法，而无需将患者数据集中。

联邦学习可应用于智能城市感知，如基于分布式数据源预测 PM2.5 浓度等，同时保护数据隐私。这有助于提高城市运营效率，改善公共服务质量。

在工业生产环境中，联邦学习可以利用分散的数据源优化生产流程，提高效率，而无需共享敏感的生产数据。这对于保护商业机密至关重要。

物联网设备和机器人通常会产生大量分散的数据。联邦学习可以在不交换原始数据的情况下，利用这些数据训练模型，提高机器人在各种环境中的导航能力。

联邦学习可用于在多个用户设备上训练语言模型和个人助理，而无需将用户的私人文本数据集中。这有助于提高语言模型的性能，同时保护用户隐私。

联邦学习与传统机器学习最主要的区别在于数据处理方式的不同。在传统机器学习中，数据是集中存储的，用于训练模型。而联邦学习则侧重于多个实体（客户端）协作训练模型，同时确保各自的数据保持分散状态。

联邦学习的一个主要特征是数据异质性。由于客户端数据的分散性，无法保证每个客户端持有的数据样本是独立同分布的，这与传统分布式学习的假设不同。联邦学习旨在在多个本地数据集上训练机器学习模型（如深度神经网络），而无需显式交换数据样本。

联邦学习的出现还受到了数据隐私、数据最小化和数据访问权限等问题的推动，而这些并非传统机器学习方法的主要关注点。

在联邦学习中，本地模型在本地数据上进行训练，模型参数在本地节点之间交换以生成全局共享模型。而传统机器学习则需要将所有数据集中化，以便在固定数据集上训练模型。联邦学习允许模型持续利用来自分布式源的新数据进行优化，因此更具适应性。

联邦学习最早可追溯至 2014 年的一项论文研究，该研究提出了一种在不同位置训练的多个模型之间进行预测聚合的方法。随后在 2015 年和 2016 年期间，联邦学习在电信领域的应用场景中开始出现相关的首批研究成果，主要围绕联邦平均算法展开。

2017 年和 2018 年，联邦学习的研究重点转向了资源分配策略的优化，尤其是通过流言算法来减少节点之间的通信需求。同时，也有研究致力于通过稀疏化和量化等方法来降低训练过程中的带宽占用。

近年来，联邦学习的研究开始更多地关注现实世界中的传播信道问题，而之前的实现大多假设了理想信道。另一个活跃的研究方向是针对具有不同计算复杂度的异构本地模型，开发联邦学习算法来生成单一强大的全局推理模型。