Amazon EMR 现在支持 Apache Spark 作业中的原生数据质量检查
Amazon EMR 现在可以原生验证 Apache Spark 作业中的数据质量。数据工程团队可以在不良数据到达下游系统之前在线发现质量问题，而无需构建或维护单独的验证基础设施。Amazon EMR Data Quality 由 Amazon Glue 提供支持，无需额外付费，使用与 Amazon Glue 相同的声明性规则语言（数据质量定义语言）和 API，可在两个引擎上提供一致的体验，并且可以在 EC2、EKS 和无服务器部署模式下与 Apache Iceberg、Apache Hudi 和 Delta Lake 结合使用。
借助此功能，您可以在 Spark 脚本中编写验证规则或引用存储在 Amazon Glue Data Catalog 中的规则，然后将其应用于管线的任何阶段，即读取数据之后、转换期间或处理之后。Amazon EMR Data Quality 拥有 30 多种规则类型，包括可与历史运行进行比较的动态规则，以及无需指定固定阈值即可跟踪一段时间内的偏移、基于机器学习的异常检测，让您可以灵活地选择适合您需求的验证框架。您可以根据质量评估结果采取诸如使管线失败、筛选无效记录或将它们路由到隔离区等操作。结果是在数据集、规则和行级别生成的，因此您可以轻松识别哪些记录或规则导致了质量失败。
Amazon EMR Data Quality 已在由光环新网运营的亚马逊云科技中国（北京）区域和由西云数据运营的亚马逊云科技中国（宁夏）区域推出，用于 Apache Spark（emr-spark-8.1.0）的 Amazon 运行时。
要开始使用，请访问 Amazon EMR Data Quality 文档，将用于数据质量验证的 DQDL 规则添加到 EMR 工作负载的 Spark 脚本中。