亚马逊 OpenSearch 无服务器扩展了对大型工作负载和集合的支持

我们最近宣布了对 Amazon OpenSearch 无服务器 的新增功能 ，它可以扫描和搜索高达 6 TB 的源数据。启动时，OpenSearch Serverless 支持在集合中搜索一个或多个索引，总大小最多为 1 TB。凭借对 6 TB 源数据的支持，您现在可以更有效地扩展日志分析、机器学习应用程序和电子商务数据。使用 OpenSearch Serverless，您可以享受这些扩展限制带来的好处，而不必担心规模、监控使用情况或手动扩展 OpenSearch 域。如果您不熟悉 OpenSearch Serverless，请参阅使用 Amazon OpenSearch Serverles s 的简单方法进行 日志分析 以开始使用。

OpenSearch 无服务器中用于数据提取、搜索和查询的计算容量以 OpenSearch 计算单位 (OCU) 来衡量。为了支持更大的数据集，我们已将索引和搜索的 OCU 限制从 50 提高到 100，包括可用区中断和基础设施故障时的冗余。这些 OCU 在不同的集合之间共享，每个集合都包含一个或多个大小不同的索引。您可以使用 亚马逊云科技 命令行接口 (亚马逊云科技 CLI)、软件开发工具包或 AW S 管理控制台 独立配置搜索和索引的最大 OCU 限制 来管理成本。此外，您可以拥有多个 6 TB 的集合。如果您希望将索引和集合大小的 OCU 限制扩展到 6 TB 以上，请通过 亚马逊云科技 Support 联系我们。

将最大 OCU 设置为 100

要开始使用，您必须先将索引和搜索的 OCU 限制更改为 100。请注意，您只需为消耗的资源付费，而不必为最大 OCU 配置付费。

摄取数据

您可以使用在以下 研讨会上 共享的负载生成脚本，也可以使用自己的应用程序或数据生成器来创建负载。您可以运行这些脚本的多个实例，以生成大量的索引请求。如以下屏幕截图所示，在此测试中，我们创建了六个约为 1 TB 或更大的索引。

在 OpenSearch 无服务器中自动扩展资源

下图中的重点显示了 OpenSearch Serverless 如何通过自动扩展 OCU 来响应不断增长的索引流量，从 2,000 次批量请求操作增加到每秒 7,000 个批量请求。每个批量请求都包含 7,500 个文档。OpenSearch Serverless 使用各种系统信号根据您的工作负载需求自动扩展 OCU。

当工作负载的活动水平下降时，OpenSearch Serverless 还会缩小索引 OCU 的规模。下图中的突出显示点显示，索引流量从每秒 7,000 次批量采集操作逐渐减少到每秒 1,000 次以下。OpenSearch 无服务器通过减少 OCU 的数量来对负载变化做出反应。

结论

我们鼓励您利用 6 TB 索引支持并对其进行测试！迁移您的数据，探索提高的吞吐量，并利用增强的扩展功能。我们的目标是提供符合您要求的无缝高效体验。

要开始使用，请参阅 Amazon OpenSearch 无服务器 的简单方法进行 日志分析 。要亲身体验 OpenSearch 无服务器功能，请参加 Amazon OpenSearch 无服务器 入门 研讨会，该研讨会提供了配置和设置 OpenSearch 无服务器集合的分步指南。

如果您对这篇文章有反馈，请在评论部分分享。如果您对这篇文章有疑问，请在 亚马逊 OpenSearch Servic e 论坛上开始一个新话题 或联系 亚马逊云科技 S upport。

作者简介

Prashant Agrawal 是亚马逊 OpenSearch Service 的高级搜索专家解决方案架构师。他与客户紧密合作，帮助他们将工作负载迁移到云端，并帮助现有客户微调集群以提高性能并节省成本。在加入 亚马逊云科技 之前，他帮助各种客户使用 OpenSearch 和 Elasticsearch 进行搜索和日志分析用例。不工作时，你会发现他在旅行和探索新的地方。简而言之，他喜欢做 “吃” → “旅行” → “重复”。