自动驾驶数据湖中国区增强方案

该解决方案借助亚马逊云科技丰富的机器学习、数据分析、计算和存储服务，支持 3D 点云标注和车道线检测等自动驾驶典型业务场景；充分满足全球化架构部署对自动驾驶安全与合规的要求。该端到端自动驾驶数据湖方案已在全球范围内落地，并得到广泛应用。

方案优势

使用 Amazon IoT Core 和 Amazon Kinesis Data Firehose 实时提取车辆遥测数据。

Amazon EMR 使用开源 Apache 大数据处理引擎（如 Spark）为大容量的复杂数据处理提供运行时。

借助 Apache Airflow，将工作流作为代码库的一部分来实现透明、可重复的管道执行。

基于 ASAM OpenSCENARIO 描述场景，并将元数据提取到 Amazon DynamoDB 和 Amazon Elasticsearch Service 中。

将数据沿袭存储在 Amazon Neptune 中，并使用 Amazon Glue Data Catalog 对数据进行编目。

基于 Amazon SageMaker，可以实现端到端的自动驾驶模型构建、超参数优化、压缩和部署。

以下架构图展示了整个方案的部署架构。（可单击放大查看）

图1：自动驾驶数据湖中国区增强方案

图示说明：

车端数据可以基于 Amazon IoT Greengrass 与 Amazon IoT Core 进行实时数据上传，也可以基于 HTTPS 与 Amazon API Gateway 进行安全连接并进行实时数据上传。而 Amazon IoT Core 通过 Amazon Kinesis，Amazon API Gateway 通过 Amazon Lambda 将数据注入 Amazon S3。
本地数据脱敏后，也可以通过 Amazon Snowball 进行海量数据离线上传到 Amazon S3。
Amazon S3 上的数据，基于 Amazon Lambda 和 Amazon OpenSearch 分别进行元数据抽取和检索。
基于 Amazon Workspaces 进行数据标注；基于 Amazon Fargate 进行数据验证；处理后的数据存入 Amazon S3。
更进一步，基于 Amazon SageMaker、Amazon EC2 和 Amazon S3、Amazon EFS、Amazon FSx for Lustre 可以进行模型训练和仿真；基于 Amazon Fargate 和 Amazon OpenSearch 可以进行 KPI Calculation。
基于 Apache Airflow 和 Amazon SQS 进行任务编排和管理。
基于 Amazon CodePipeline、CodeCommit、CodeBuild 和 CodeDeploy 实现 CI/CD。
基于 Amazon Config、Amazon CloudTrail、Amazon GuardDuty、Amazon KMS 进行跟安全相关的配置和管理。