如何利用 Amazon Batch 处理遥感数据集

遥感数据集以量大，数据获取困难出名，如何处理这些数据曾是让诸多科学家头疼的问题，本文将介绍现代科学是如何使用 Amazon Batch 轻松玩转遥感计算。

经过半个多世纪的发展，遥感技术及多领域应用已进入新的阶段。它不但可以被动接收地物反射的自然光，还可以接收地物发射的长波红外辐射，并能够利用合成孔径雷达和激光雷达主动发射电磁波，实现全天候的对地观测。遥感技术与国民经济、生态保护和国防安全的关系也越来越紧密，比如土地资源调查、生态环境监测、农业监测与作物估产、灾害预报与灾情评估、海洋环境调查等，包括与日常生活息息相关的天气预报、空气质量监测、电子地图与导航等活动，遥感都发挥了重大作用。目前，遥感科技已显现出高空间分辨率、高光谱分辨率、高时间分辨率的“三高”新特征，并开拓了更多的应用新领域。

遥感成像方式的多样化以及遥感数据获取能力的增强，导致遥感数据的多元化和海量化。然而,现有的遥感数据获取、影像分析和海量数据处理还面临着一些挑战。

• 遥感数据量大、数据获取困难。国内科研机构经常使用的 Landsat 、MODIS、Sentinel-1、Sentinel-2 等大量数据存储在国外，数据回传到国内 IDC 和超算中心面临困难。
• 海量的遥感数据分析对计算资源有更高的要求。IDC 和超算中心上千台主机计算环境的运维和管理也成为科研工作者面临的挑战。要花费精力在业务价值之后的环境管理上面。

本方案架构为客户在 Amazon Web Services 云上快速部署遥感数据计算提供指导。方案以计算遥感数据 NDVI 为例，介绍如何使用 Amazon Batch、ECS、ECR、S3 等服务，完成整个计算流程。帮助您轻松地在 Amazon Web Services 开启遥感数据计算旅程。

本架构主要使用到的服务简介：

•  Amazon Step Functions : Amazon Web Services 平台提供的无服务器（Serverless）的任务编排服务
• Amazon Lambda: Amazon Web Services 平台提供的无服务器（Serverless）的函数计算服务
• Amazon Batch: Amazon Web Services 平台提供的批量计算服务
• Amazon ECR: Amazon Web Services 平台提供的容器镜像仓库服务
• Amazon DynamoDB: Amazon Web Services 平台提供的 NoSQL 数据库服务
• Amazon SNS：Amazon Web Services 平台提供的消息通知服务，发送邮件、短信等通知
• Amazon S3: Amazon Web Services 平台分布式对象存储服务。提供 99.999999999% 的持久性
• Amazon CloudWatch：Amazon Web Services 平台提供的监控与日志收集服务

方案架构实现流程介绍：

• 构建计算遥感数据使用的自定义容器镜像，并存储到 Amazon ECR 容器镜像仓库
• 定义 Amazon Batch 计算环境和计算任务，以运行自定义容器镜像
• 定义 Amazon Lambda 执行计算任务初始化工作
• 定义 Amazon SNS 服务，邮件订阅接收消息
• 定义 Amazon Step Functions 状态机，来编排任务流。调度 Amazon Lambda 进行任务初始化，并行调度 Amazon Batch 计算任务实现遥感数据计算，调度 Amazon SNS 接收任务执行结果通
• 启动 Amazon Step Functions 状态机执行计算，监控任务执行过程
  基于 Amazon Batch 开展遥感计算优势
• Amazon Open Data 公共数据集中提供了大量的实时和历史卫星遥感数据，并且数据类别还在不断的增加。用户在 Amazon Web Services 平台可以快速下载遥感数据，降低数据获取时间成本。同时也可以在数据资源所有区域直接开启计算资源进行分析，减少数据复制时间与存储成本。
• 利用 Amazon Web Services 提供的批量计算服务 Amazon Batch，用户可快速的构建自定义的遥感数据计算分析环境，批量启动研究所需的计算资源，计算完成后资源自动释放，无需花费时间精力运维计算环境。
• 计算资源使用 Amazon Spot 实例大量节约计算成本。

相关文章

返回上一级 其他云技术文章 >>