雅虎 DSP 广告定位使用 Amazon SageMaker 来降低运营成本并增加受众范围

导言和背景

雅虎提供全渠道需求方平台（DSP），为广告商提供一流的技术、庞大的规模、获得优质供应的渠道和值得信赖的消费者关系。需求方平台用于数字广告，使广告商和代理商能够通过单一界面从多个广告交易所和供应方平台（SSP）购买广告库存。雅虎的 DSP 提供高级受众定位选项，允许广告商根据行为、位置和其他因素吸引客户。雅虎在其 DSP 中提供了用于预测用户转化率的建模和评分系统。广告中的"用户转化率"一词是指用户与广告或产品清单互动，然后采取所需的操作。广告商将此行为定义为对其业务有价值。Yahoo DSP 使用机器学习 (ML) 和广告商转化规则来预测哪些用户最有可能进行转化。包括曝光量、点击量和转化率在内的近乎实时的广告事件与匿名用户相关联，然后根据离线训练模型进行评分，将用户分配到受众细分群体。"受众细分"是一组具有共同或相关的特定兴趣、人口统计或行为的用户，用于定位广告活动。然后，这些受众细分被发送到定位系统进行广告投放，这样他们就可以接触到相关广告商的广告系列。

Yahoo DSP 建模和评分系统以前在本地（本地）运行，训练、测试、故障排除、部署和管理机器学习模型的工作流程基于自定义脚本。这些手动操作非常耗时，并导致本地资源的利用率不理想。工作负载由数千个模型组成，这些模型对每天超过 50 亿个事件中的数十亿个匿名用户 ID 进行预测。机器学习训练数据集包含数十万个功能，该团队每天需要重新训练数百个模型以使其保持最新状态。该团队面临着将如此庞大的 ML 工作负载迁移到云端的艰巨挑战。

Yahoo DSP 与亚马逊云科技合作，将建模和评分工作负载迁移到经过现代化和优化的平台。本博客介绍了使用 mLOP（机器学习操作）优秀实践在亚马逊云科技上实施的可扩展和自动化解决方案。

解决方案

该解决方案具有用于预测用户群的近实时 (NRT) 处理组件，以及用于特征提取和模型训练的离线处理组件。NRT 组件每天处理数十亿个事件。它筛选和汇总事件，将对 Amazon SageMaker AI 推理终端节点的调用次数从数十亿减少到数亿。端到端延迟（从事件摄取到用户区段可供广告服务器使用）为几分钟。

NRT 处理工作流程（图 1）使用 Amazon Managed Service for Apache Flink 来持续处理来自外部数据源的事件。Amazon SageMaker AI 推理端点提供完全托管的服务，用于托管在离线批处理组件中训练的模型。

离线批处理组件（图 2）利用 Amazon EMR 从用户数据存储中提取特征和标签。每周在 Amazon EMR 上使用 SparkML 对模型进行再训练。提取的特征存储在用于 NRT 处理的在线功能库中。

该解决方案利用 Amazon SageMaker AI 功能商店的独特功能来保持在线和离线功能同步。

近实时处理图

近实时 (NRT) 处理

Amazon Managed Service for Apache Flink 使用来自外部数据源的印象/像素事件，并按如下方式进行处理。

处理传入的事件——筛选出没有相关详细信息的事件，并提取曝光量和点击次数等功能。例如，使用对提取的要素进行五分钟的聚合来减少下游需要处理的要素数量。(1)
从要素存储中读取要素并使用来自事件的更新数据更新记录。通过将实时特征与在线特征组的功能合并来构建用于推理的特征向量。(2)
使用特征向量作为有效载荷调用 Amazon SageMaker AI 推理端点。(3) 通过应用基于推理分数的自定义限定逻辑（涉及来自在线特征组的其他决定性变量）来计算用户符合条件的细分市场。
将用户的区段发送到广告服务系统。(4)

离线批处理

作为批处理工作流程优化和现代化的一部分，Yahoo Data Science 团队设计了减少功能数量的创新方法，并转向了双模型系统，而不是像本地解决方案中的数千个模型。本地系统为每个受众使用二进制模型，从而生成了数千个模型。通过实验和多次迭代，该团队发现了使用两个模型的好处，一个二进制模型对任何受众的转换器进行分类，一个用于确定特定受众群体的多标签分类模型（2）。二进制模型允许减少多标签模型需要处理的用户数量，提高速度并降低成本。离线特征提取工作流程为大约十亿用户提取功能，并将这些功能加载到在线功能商店 (3)。Apache Airflow 的托管工作流程 (MWAA) 用于安排离线标签/特征提取和模型训练。然后，经过训练的模型从 SparkML 离线训练转换为 SageMaker 托管的 MLeap 推理格式，并部署到 Amazon SageMaker AI 的推理终端节点中。

成果

与本地解决方案相比，借助新的解决方案，Yahoo DSP 广告定位团队节省了约 50％的成本并提高了转化率。通过利用功能存储、推理终端节点等 Amazon SageMaker AI 功能以及其他亚马逊云科技服务，例如适用于 Apache Flink 和 EMR 的 Amazon Managed Service，雅虎简化了机器学习流程，无需手动干预。这使数据科学家能够专注于创新，并快速迭代不同的 ML 模型和算法。例如，卓越的定位算法使受众覆盖面增加了 10％。借助 Amazon SageMaker AI 支持的自动工作流程，与之前所需的十五种资源相比，雅虎团队仅用三种资源——一名数据科学家和两名机器学习工程师，效率显著提高了 80%。

长期目标

尽管该解决方案降低了成本并提高了流媒体模型的性能，但许多批量预测受众仍在使用传统系统。雅虎计划使用相同的管道来完全取代旧系统。该项目目前正在进行中。

结论

在这篇文章中，我们解释了媒体和数字广告行业的领先企业雅虎 DSP 如何使用 Amazon SageMaker AI 来降低成本并以有限的资源实现效率提升，同时改善关键绩效指标。本博客中概述的解决方案还展示了雅虎如何简化 DSP 评分系统并利用云端可用的规模、弹性、安全性和创新。

吉尔·巴雷托

吉尔·巴雷托是雅虎广告系统的首席软件工程师。他在软件开发方面拥有 20 多年的经验，在开发大数据和机器学习解决方案方面拥有 10 多年的经验。他一直在开发解决方案，以帮助广告商吸引目标受众。在业余时间，他喜欢徒步旅行和与孩子们一起建造乐高城市。

王杰

Jack Wang 是雅虎家居和生态系统的高级工程师，在设计和构建 E2E 大数据和 AI/ML 批处理/流媒体解决方案方面拥有 10 多年的经验。此前，作为移动计算倡导者，自 2000 年代初以来，他一直在华硕担任专栏作家和安卓/Windows Mobile 工程师。他目前对构建基于代理的局部推理以及生成式 AI 模型的 PEFT 感兴趣。