SikSin 如何利用 亚马逊云科技 Data Lab 和 Amazon Personalize

这篇文章是与来自 SikSin 的崔秉俊和杨尚哈共同撰写的。

SikSin 是一个技术平台，将客户与满足其多种需求的餐厅合作伙伴联系起来。客户使用SikSin平台搜索和发现餐厅，阅读和撰写评论以及查看照片。从餐馆老板的角度来看，SikSin使餐厅合作伙伴能够吸引和获取顾客，从而发展业务。SikSin与850家企业和5万多家餐厅建立了合作伙伴关系。他们向超过22万名会员发放餐厅电子代金券，包括个人和企业会员。SikSin平台在一个月内接待了超过300万用户。2022年，SikSin入选《金融时报》亚太地区高增长公司前100名。

SikSin希望改善客户体验并提高客户参与度。SikSin 面临两个业务挑战：

  • 客户参与度 — SikSin 维护着超过 750,000 家餐厅的数据，并有 4,000 多篇餐厅文章（而且还在不断增加）。SikSin正在寻找一种个性化和定制的方法，为客户提供餐厅推荐并让他们参与内容，从而提供个性化的客户体验。
  • 数据分析活动 ——由于数据分散在多个系统中，SikSin Food Service团队在报告生成方面遇到了困难。该团队之前必须向 IT 团队提交请求，然后等待可能过时的答案。对于 IT 团队来说，他们需要手动从文件、数据库和应用程序中提取数据，然后根据每个请求将它们合并，这是一项耗时的活动。SikSin Food Service团队希望通过多个维度查看网络分析日志数据，例如客户资料和地点。示例包括页面浏览量、转化率和渠道。

为了克服这两个挑战，SikSin 参与了 亚马逊云科技 数据实验室计划 ，以协助他们构建原型解决方案。亚马逊云科技 数据实验室加快了客户与 亚马逊云科技 技术资源之间的联合工程互动，以创建可加速数据和分析现代化计划的切实可交付成果。Build Lab 是一个 2-5 天的密集型构建，由技术客户团队组成。

在这篇文章中，我们将分享SikSin如何在数据实验室和 Amazon Personalize的帮助下为加速其数据项目奠定基础。

用例

Data Lab 团队和 SikSin 团队连续举行了三次会议，讨论业务和技术需求，并决定研究两个用例来解决他们的两个业务挑战：

  • 创建个性化推荐 — SikSin 希望部署机器学习 (ML) 模型，在平台的登录页面上生成个性化内容，尤其是餐厅和餐厅文章。成功的标准是增加每次会话的页面浏览量和会员订阅量，降低跳出率，并最终吸引更多的访客和会员浏览SikSin的内容。
  • 建立自助分析 ——SikSin的业务用户希望通过让数据更易于访问来缩短获得见解的时间，同时让业务用户能够查询数据，从而消除对IT团队的依赖。关键是将来自 BigQuery 的网络日志和来自 亚马逊关系数据服务 (Amazon RDS) 的运营业务数据整合到一个地方，并在需要时分析数据。

解决方案概述

以下架构描述了 SikSin 团队在为期 4 天的构建实验室中建造的内容。解决方案中有两个部分可以满足 SikSin 的业务和技术需求。第一部分 (1—8) 用于构建个性化推荐，第二部分 (A—D) 用于建立自助分析。

SikSin Solution Architecture

SikSin 部署了 ML 模型，使用以下 亚马逊云科技 服务生成个性化内容推荐：

  1. 亚马逊云科技 数据库迁移服务 (亚马逊云科技 DMS) 可帮助快速安全地将数据库迁移到 亚马逊云科技，同时最大限度地减少停机时间。SikSin 团队使用 亚马逊云科技 DMS 进行满负载，将数据库表中的数据作为目标导入到 亚马逊简单存储服务 （Amazon S3）中。Amazon S3 是一项对象存储服务，提供业界领先的可扩展性、数据可用性、安全性和性能。A WS Glue 爬虫 使用 数据架构定义 填充 亚马逊云科技 Glue 数据目录 （在登录文件夹中）。
  2. A WS L am bda 函数检查登录文件夹中是否还有以前的文件，并将这些文件存档到备份文件夹（如果有）中。
  3. 亚马逊云科技 Glu e 是一项无服务器数据集成服务，可以更轻松地发现、准备、移动和集成来自多个来源的数据，用于分析、机器学习和应用程序开发。SikSin 团队创建了 亚马逊云科技 Glue Spark 提取、转换和加载 (ETL) 任务，为机器学习模型准备输入数据集。这些数据集用于在批量模式下训练 ML 模型。共有五个用于训练的数据集和两个用于批量推理作业的数据集。
  4. Amazon Personalize 允许开发者使用机器学习快速构建和部署精选推荐和大规模智能用户细分。由于 Amazon Personalize 可以根据您的个人需求进行定制，因此您可以在正确的时间和地点提供正确的客户体验。此外，用户还将选择现有的机器学习模型（也称为 配方 ）、训练模型并运行批量推断以提出建议。
  5. Amazon Personalize 任务可预测每行输入数据（餐厅和餐厅文章），并在指定的 S3 输出文件夹中生成机器学习生成的推荐。推荐记录是使用交互数据、产品数据和预测模型浮出水面的。亚马逊云科技 Glue 爬虫使用数据架构定义填充 亚马逊云科技 Glue 数据目录（在输出文件夹中）。
  6. SikSin 团队在 亚马逊云科技 Glue 任务中应用了业务逻辑和筛选条件，准备了最终数据集以供推荐。
  7. 亚马逊云科技 Step Fun ctions 使您能够使用状态机构建可扩展的分布式应用程序。SikSin 团队使用 亚马逊云科技 Step Functions Workf low Studio 来直观地创建、运行和调试工作流程。此工作流程是根据时间表触发的。该过程包括数据提取、清理、处理以及 Amazon Personalize 中定义的所有步骤。这还包括根据管道的逻辑流程管理运行依赖关系、调度、错误捕获和并发性。
  8. 亚马逊简单通知服务 (Amazon SNS) 发送通知。SikSin 团队使用亚马逊 SNS 通过电子邮件和以 Lambda 功能为目标的谷歌环聊发送通知。

为了建立自助分析环境以使业务用户能够进行数据分析，SikSin 使用了以下服务：

  1. 适用于 亚马逊云科技 Glue 的谷歌 BigQuery Connec tor 简化了连接 亚马逊云科技 Glue 任务以从 BigQuery 提取数据的流程。SikSin 团队使用该连接器从 BigQuery 中提取网络分析日志并将其加载到 S3 存储桶中。
  2. 亚马逊云科技 Glue DataBrew 是一款可视化数据准备工具，可让数据分析师和数据科学家轻松清理和规范化数据，为分析和机器学习做好准备。您可以从 250 多种预建转换中进行选择，以自动执行数据准备任务，所有这些都无需编写任何代码。SikSin Food Service 团队使用它来直观地检查大型数据集并为其数据分析活动塑造数据。S3 存储桶（位于中间文件夹中）包含业务运营数据，例如客户、地点、文章和产品，以及从 亚马逊云科技 DMS 加载的参考数据以及 亚马逊云科技 Glue 任务的网络分析日志和数据。
  3. 亚马逊云科技 Glue Python 外壳运行任务来清理和联接数据，并应用业务规则为查询准备数据。SikSin 团队使用了 亚马逊云科技 SDK Pandas ，这是一项 亚马逊云科技 专业服务开源 Python 计划，它将熊猫库的功能扩展到 亚马逊云科技，将 DataFrames 和 亚马逊云科技 数据相关服务连接起来。输出文件以 Apache Parquet 格式存储在单个文件夹中。亚马逊云科技 Glue 爬虫将数据架构定义（在输出文件夹中）填充到 亚马逊云科技 Glue 数据目录中。
  4. SikSin 餐饮服务团队使用 亚马逊 A thena 和亚马 逊 Quicksight 来查询和可视化数据分析。Athena 是一项交互式查询服务，可使用标准 SQL 轻松分析 Amazon S3 中的数据。QuickSight 是一项基于机器学习的商业智能服务，专为云而构建。

业务成果

SikSin Food Service团队现在能够访问可用数据，以便有效地执行数据分析和操作操作，也可以自己获得见解。这使团队和其他业务部门能够立即了解客户在平台上如何与SikSin的内容和服务进行互动，并更快地做出决策。例如，通过数据输出，餐饮服务团队能够为其外部利益相关者和客户提供见解和数据点，以启动新的商业构想。此外，该团队分享说：“我们预计推荐和个性化内容将提高转化率和客户参与度。”

亚马逊云科技 数据实验室让 SikSin 能够全面审查和评估哪些数据实际可用和可用。SikSin的目标是成功建立用于数据分析的数据管道，SikSin团队意识到了数据清理、分类和标准化的重要性。SikSin餐饮服务团队负责人崔秉俊说：“只有在数据完好无损且经过适当清理的情况下，才有可能进行富有成效的分析和建议。”完成数据实验室后，SikSin完成并设置了一个可以简化数据清理管道的内部流程。

SikSin停留在研究阶段，寻找解决个性化挑战的解决方案。亚马逊云科技 数据实验室让 SikSin IT 团队能够亲身体验这项技术并构建最低限度的可行产品 (MVP)，以探索 Amazon Personalize 如何在其环境中使用数据。他们通过数据实验室通过采用 亚马逊云科技 DMS、Aws Glue、Amazon Personalize 和 Step Functions 实现了这一目标。SikSin IT团队负责人Sangha Yang评论道：“尽管现在仍处于构建原型的初期阶段，但我对亚马逊云科技提供的正确支持非常有信心，可以很快在生产层面采用有效的推荐系统。”

结论

经过为期 4 天的构建实验室，SikSin 团队留下了可根据其需求量身定制的工作原型，为最终用户获得对其数据的宝贵见解开辟了明确的前进道路。数据实验室使SikSin团队能够将该解决方案的架构设计和原型构建加快数月。根据从数据实验室获得的经验教训，SikSin计划在23财年推出一个配备推荐功能的全球新闻内容平台。

正如 SikSin 的成就所证明的那样，Amazon Personalize 允许开发者使用机器学习快速构建和大规模部署精选推荐和智能用户细分。由于 Amazon Personalize 可以根据您的个人需求进行定制，因此您可以在正确的时间和地点提供正确的客户体验。无论您是想优化推荐、更准确地定位客户、最大限度地提高数据的价值，还是想使用业务规则推广商品。

为了利用机器学习加速数字化转型，Data Lab 计划可通过为特定用例提供规范性架构指导、共享最佳实践和消除技术障碍来为您提供支持。您将使用根据您的需求量身定制的架构或工作原型、生产路径以及对 亚马逊云科技 服务的更深入了解。

请联系您的 亚马逊云科技 客户经理或解决方案架构师开始使用。如果您没有 亚马逊云科技 账户经理，请联系 销售人员 。

作者简介

bdb-2857-BJ 崔秉俊 是SikSin餐饮服务团队的负责人。

bdb-2857-SH Sangha Yang 是 SikSin 的 IT 团队负责人。

bdb-2857-younggu Younggu Yun 在韩国 亚马逊云科技 数据实验室 工作。他的职责包括通过提供规范性架构指导、分享最佳实践和共同构建创新解决方案，帮助亚太地区的客户实现其业务目标并克服技术挑战。

李俊宇 是 亚马逊云科技 的客户经理。他提供技术和业务支持，通过为客户引入本地和全球计划，帮助客户解决问题并丰富客户旅程。

bdb-2857-jinwoo Jinwoo Park 是 亚马逊云科技 的高级解决方案架构师。他为 亚马逊云科技 客户提供技术支持，帮助他们成功完成云之旅。他帮助客户构建更安全、更高效、更具成本效益的架构和解决方案，并提供最佳实践和研讨会。

*前述特定亚马逊云科技生成式人工智能相关的服务仅在亚马逊云科技海外区域可用，亚马逊云科技中国仅为帮助您发展海外业务和/或了解行业前沿技术选择推荐该服务。