Enel 使用亚马逊 SageMaker 自动进行大规模电网资产管理和异常检测

这是Enel计算机视觉负责人Mario Namtao Shianti Larcher的客座文章。

Enel 最初是意大利的国家电力实体 ，如今是一家跨国公司，业务遍及32个国家，也是世界上第一家拥有7400万用户的专用网络运营商。它也被公认为第一家装机容量为55.4吉瓦的可再生能源企业。近年来，该公司通过开发强大的内部专业知识，在机器学习（ML）领域进行了大量投资，这使他们能够实现雄心勃勃的项目，例如自动监控其230万公里的配电网络。

每年，Enel都会使用直升机、汽车或其他方式检查其配电网络；拍摄数百万张照片；并重建其网络的三维图像，这是使用激光雷达技术获得的 点云 三维重建网络。

检查这些数据对于监控电网状态、识别基础设施异常和更新已安装资产的数据库至关重要，它可以对基础设施进行精细控制，包括安装在给定电线杆上的最小绝缘体的材料和状态。考虑到数据量（仅在意大利每年就有超过4000万张图像）、需要识别的项目数量及其特异性，完全手动的分析在时间和金钱方面都非常昂贵，而且容易出错。幸运的是，由于计算机视觉和深度学习领域的巨大进步以及这些技术的成熟和民主化，有可能部分甚至完全实现这一昂贵的过程的自动化。

当然，这项任务仍然非常具有挑战性，而且，与所有现代人工智能应用程序一样，它需要计算能力和有效处理大量数据的能力。

Enel基于 亚马逊SageMaker 建立了自己的机器学习平台（内部称为机器学习工厂），该平台被确立为标准解决方案，用于在Enel跨不同的数字中心（业务部门）为不同的用例构建和训练模型，数十个机器学习项目正在亚马逊S ageMaker 培训、 亚马逊SageMaker Processing和亚马逊云科技 Step F uncti ons 等其他亚马逊云科技服务 上开发。

Enel 从两个不同的来源收集图像和数据：

  1. 航空网络检查：
    • 激光雷达点云 ——它们的优点是可以对基础设施进行极其精确和地理定位的三维重建，因此对于计算距离或以二维图像分析无法获得的精度进行测量非常有用。
    • 高分辨率图像 — 这些基础设施图像是在几秒钟内拍摄的。这使得检测点云中太小而无法识别的元素和异常成为可能。
  2. 卫星图像 — 尽管这些图像可能比电力线路检查（有些图像是免费或收费的）更实惠，但它们的分辨率和质量通常无法与Enel直接拍摄的图像相提并论。这些图像的特征使它们可用于某些任务，例如评估森林密度和宏观类别或寻找建筑物。

在这篇文章中，我们将详细讨论Enel如何使用这三个来源，并分享Enel如何使用SageMaker自动执行大规模电网评估管理和异常检测流程。

分析高分辨率照片以识别资产和异常情况

与检查期间收集的其他非结构化数据一样，拍摄的照片存储在 亚马逊简单存储服务 （Amazon S3）上。其中一些是手动标记的，目的是为不同的计算机视觉任务训练不同的深度学习模型。

从概念上讲，处理和推理管道采用分层方法，分为多个步骤：首先，识别图像中感兴趣的区域，然后对其进行裁剪，识别其中的资产，最后根据材料或其上存在的异常情况对这些区域进行分类。由于同一极点通常出现在多张图像中，因此还必须能够对其图像进行分组以避免重复，这种操作称为 重新 识别。

对于所有这些任务，Enel 使用 PyTorch 框架和最新的架构进行图像分类和物体检测，例如 Effici entNet/EfficientDet 或其他架构对某些异常（例如变压器漏油）进行语义分割。对于重新识别任务，如果他们因为缺少摄像机参数而无法按几何形状进行识别，则使用基于 simCLR 的自监督方法或 基于 Transformer 的架构。如果无法访问大量配备高性能 GPU 的实例，就不可能训练所有这些模型，因此所有模型都是使用带有 GPU 加速机器学习实例的 Amazon SageMaker 训练任务并行训练的。推理具有相同的结构，由 Step Functions 状态机编排，该状态机控制多个 SageMaker 处理和训练作业，尽管名称如此，但这些任务在训练和推理中同样有用。

以下是机器学习管道的高级架构及其主要步骤。

Architectural Diagram

此图显示了 ODIN 图像推理流水线的简化架构，该流水线从数据集图像中提取和分析 ROI（例如电力帖子）。管道进一步深入研究投资回报率，提取和分析电气元件（变压器、绝缘体等）。最终确定组件（ROI 和元素）后，重新识别过程开始：基于三维元数据匹配网络地图中的图像和极点。这允许对指向同一极点的 ROI 进行聚类。之后，异常最终确定并生成报告。

使用 LiDAR 点云提取精确测量值

高分辨率照片非常有用，但是由于它们是二维的，因此不可能从中提取精确的测量值。激光雷达点云在这里起到了救援作用，因为它们是三维的，并且云中的每个点的位置都存在小于几厘米的相关误差。

但是，在许多情况下，原始点云并无用处，因为如果你不知道一组点代表一棵树、一条电力线还是房子，你就无法用它做太多事情。出于这个原因，Enel 使用语义点云分割算法 KpConv 为每个点分配一个类。对云进行分类后，可以弄清楚植被是否离电力线太近，而不是测量电线杆的倾斜度。由于 SageMaker 服务的灵活性，该解决方案的管道与已经描述的流程没有太大区别，唯一的区别是，在这种情况下，还必须使用 GPU 实例进行推理。

以下是点云图像的一些示例。

LiDAR image 1

LiDAR image2

从太空看电网：绘制植被图以防止服务中断

使用直升机和其他手段检查电网通常非常昂贵，而且不能过于频繁地进行。另一方面，拥有在短时间间隔内监测植被趋势的系统对于优化能源分配器最昂贵的过程之一：树木修剪非常有用。这就是Enel在其解决方案中还包括卫星图像分析的原因，通过多任务方法可以识别植被的存在位置，其密度以及分为宏观类别的植物类型。

对于这个用例，在尝试了不同的分辨率之后，Enel得出结论，哥白尼计划 提供的免费 Sentinel 2图像 具有最佳的成本效益比。除植被外，Enel还使用卫星图像来识别建筑物，这是了解建筑物的存在与Enel供电地点之间是否存在差异以及数据库中是否存在不规则连接或问题的有用信息。对于后一种用例，Sentinel 2 的分辨率（其中一个像素代表 10 平方米的面积）是不够的，因此需要购买分辨率为 50 平方厘米的付费图像。该解决方案在使用的服务和流量方面也与以前的解决方案没有太大区别。

以下是带有资产（电线杆和绝缘体）标识的航拍照片。

ENEL Grid 数据科学总监安吉拉·意大利诺说：

“在Enel，我们使用计算机视觉模型来检查配电网络，使用数千万张高质量图像和激光雷达点云重建网络的三维图像。训练这些 ML 模型需要访问大量配备高性能 GPU 的实例，并能够高效地处理大量数据。借助 Amazon SageMaker，我们可以快速并行训练所有模型，而无需管理基础设施，因为 Amazon SageMaker 培训会根据需要向上和向下扩展计算资源。使用亚马逊 SageMaker，我们能够构建系统的三维图像，监控异常情况，并高效地为超过 6,000 万客户提供服务。”

结论

在这篇文章中，我们看到了像Enel这样的能源界的顶级企业如何使用计算机视觉模型和SageMaker训练和处理工作来解决那些必须管理如此庞大的基础设施、跟踪已安装资产并识别电力线的异常情况和危险来源（例如离电力线太近的植被）的人面临的主要问题之一。

了解有关 Sage Maker 相关功能的更多信息。

作者简介

Mario Namtao Shianti Larcher 是 Enel 的计算机视觉主管。他拥有数学、统计学背景以及机器学习和计算机视觉方面的深厚专业知识，他领导着一支由十多名专业人员组成的团队。Mario的角色包括实施先进的解决方案，这些解决方案可以有效地利用人工智能和计算机视觉的力量来利用Enel的大量数据资源。除了他的专业努力外，他还培养了对传统艺术和人工智能生成的艺术的个人热情。

克里斯蒂安·加瓦泽尼 是亚马逊网络服务的高级解决方案架构师。他拥有超过20年的售前顾问经验，专注于数据管理、基础设施和安全。在业余时间，他喜欢和朋友一起打高尔夫球，也喜欢只预订机票和驾车出国旅行。

Giuseppe Angelo Porcel li 是亚马逊网络服务的首席机器学习专家解决方案架构师。凭借数年的软件工程和机器学习背景，他与任何规模的客户合作，深入了解他们的业务和技术需求，并设计出充分利用 亚马逊云科技 云和亚马逊机器学习堆栈的人工智能和机器学习解决方案。他曾参与过不同领域的项目，包括 mLOP、计算机视觉、自然语言处理，并涉及大量 亚马逊云科技 服务。在空闲时间，朱塞佩喜欢踢足球。