首页  »  亚马逊云科技解决方案  »  汽车行业   »  自动驾驶数据湖  »  自动驾驶数据湖解决方案

自动驾驶数据湖解决方案

此亚马逊云科技解决方案有何用途 ?

借助亚马逊云科技丰富的数据分析服务, 该端到端自动驾驶数据湖解决方案实现数据的注入、ETL(抽取、转换、加载)、编目、脱敏、标注、分析和可视化查询,充分满足全球化架构部署对自动驾驶安全与合规的要求。该解决方案已在全球范围广泛应用。

方案优势

车端数据快速上云

使用 Amazon IoT CoreAmazon Kinesis Data Firehose 实时提取车辆遥测数据。

海量数据及时处理

Amazon EMR 使用开源 Apache 大数据处理引擎(如 Spark),及时处理大容量的复杂数据。

数据处理透明可控

借助 Apache Airflow,将工作流作为代码库的一部分来实现透明、可重复的管道执行。

数据语义丰富,可读性好

基于 ASAM OpenSCENARIO 描述场景,并将元数据提取到 Amazon DynamoDBAmazon OpenSearch Service 中,方便搜索、可视化和分析。

数据关联清晰,查询便捷

将数据沿袭存储在 Amazon Neptune 中,并使用 Amazon Glue Data Catalog 对数据进行编目,呈现清晰的数据关系加速查询。

亚马逊云科技解决方案概述

以下架构图展示了整个方案的部署架构。(可单击放大查看)

图示说明:
 
  1. 使用 Amazon Outposts 或第三方硬件处理来自自动驾驶车队的原始硬盘数据,以进行验证/质量检查。
  2. 使用 Amazon IoT CoreAmazon Kinesis Data Firehose 近乎实时地采集车辆遥测数据。
  3. 删除和转换低质量数据。
  4. 使用 Amazon MWAA 计划和管理提取、转换、加载 (ETL) 作业和管道。
  5. 根据 GPS 位置和时间戳,利用天气条件丰富数据,然后同步数据用于后续处理管道。
  6. 在 ASAM OpenSCENARIO 中使用 Amazon EMR 检测场景,并将其放入 Amazon DynamoDBAmazon OpenSearch Service 中。
  7. 将数据血缘存储在 Amazon Neptune 中,并使用 Amazon Glue Data Catalog 对数据进行编目。
  8. 使用 Amazon LambdaAmazon Rekognition 检测和模糊人脸和文本。
  9. 使用 Amazon SageMaker Ground Truth 和/或第三方标签工具/系统对原始数据或匿名数据进行自动标注。
  10. 提供高级分析和可视化工具链,包括使用 Amazon AppSync 针对特定场景的搜索功能、使用 Amazon QuickSight 进行 KPI 报告和监控、使用 Webviz 或 RVIZ 或其他工具进行可视化。

自动驾驶数据湖解决方案

版本 1.1
上次更新日期:2022 年 4 月
作者:亚马逊云科技
预计部署时间:8 小时

源代码: