自动驾驶数据湖解决方案

借助亚马逊云科技丰富的数据分析服务, 该端到端自动驾驶数据湖解决方案实现数据的注入、ETL（抽取、转换、加载）、编目、脱敏、标注、分析和可视化查询，充分满足全球化架构部署对自动驾驶安全与合规的要求。该解决方案已在全球范围广泛应用。

方案优势

使用 Amazon IoT Core 和 Amazon Kinesis Data Firehose 实时提取车辆遥测数据。

Amazon EMR 使用开源 Apache 大数据处理引擎（如 Spark），及时处理大容量的复杂数据。

借助 Apache Airflow，将工作流作为代码库的一部分来实现透明、可重复的管道执行。

基于 ASAM OpenSCENARIO 描述场景，并将元数据提取到 Amazon DynamoDB 和 Amazon OpenSearch Service 中，方便搜索、可视化和分析。

将数据沿袭存储在 Amazon Neptune 中，并使用 Amazon Glue Data Catalog 对数据进行编目，呈现清晰的数据关系加速查询。

以下架构图展示了整个方案的部署架构。（可单击放大查看）

图示说明：

使用 Amazon Outposts 或第三方硬件处理来自自动驾驶车队的原始硬盘数据，以进行验证/质量检查。
使用 Amazon IoT Core 和 Amazon Kinesis Data Firehose 近乎实时地采集车辆遥测数据。
删除和转换低质量数据。
使用 Amazon MWAA 计划和管理提取、转换、加载（ETL）作业和管道。
根据 GPS 位置和时间戳，利用天气条件丰富数据，然后同步数据用于后续处理管道。
在 ASAM OpenSCENARIO 中使用 Amazon EMR 检测场景，并将其放入 Amazon DynamoDB 和 Amazon OpenSearch Service 中。
将数据血缘存储在 Amazon Neptune 中，并使用 Amazon Glue Data Catalog 对数据进行编目。
使用 Amazon Lambda 和 Amazon Rekognition 检测和模糊人脸和文本。
使用 Amazon SageMaker Ground Truth 和/或第三方标签工具/系统对原始数据或匿名数据进行自动标注。
提供高级分析和可视化工具链，包括使用 Amazon AppSync 针对特定场景的搜索功能、使用 Amazon QuickSight 进行 KPI 报告和监控、使用 Webviz 或 RVIZ 或其他工具进行可视化。