概述
随着您在 Amazon S3 上存储数百万或数十亿个对象或者 TB 到 PB 级的数据,了解存储使用情况变得越来越重要。Amazon S3 提供了多项可以帮助您更好地大规模了解、分析和优化存储的功能。
S3 Storage Lens 存储统计管理工具
S3 Storage Lens 存储统计管理工具让您可以了解整个组织内的对象存储使用情况和活动趋势,为您提供切实可行的建议来优化成本,提高应用程序性能和加强数据保护。S3 Storage Lens 存储统计管理工具是首个云存储分析解决方案,可跨组织中的数千个账户提供对象存储使用情况和活动的单一视图,并且通过深入挖掘,生成多个聚合级别的见解。凭借在帮助客户优化存储方面超过 16 年的经验,S3 Storage Lens 存储统计管理工具可以分析整个组织范围内的指标以提供上下文建议,从而便于立即采取相应行动。
Amazon S3 用于在数千个账户和存储桶、多个区域和数十亿个前缀中存储大型共享数据集。使用 S3 Storage Lens 存储统计管理工具,您可以轻松了解存储空间,并对其进行分析以检测异常值。S3 Storage Lens 存储统计管理工具向 S3 控制台中的交互式控制面板提供有关 S3 存储使用情况和活动的各种免费指标和高级指标。免费指标面向所有客户免费提供,同时也可以启用高级指标(按月收取每个对象的监控费用),接收更多指标、前缀级别见解、自定义元数据筛选、延长数据留存以及向 Amazon CloudWatch 发布指标的选项。有关高级指标定价的详细信息,请访问 Amazon S3 定价页面。
S3 Storage Lens 存储统计管理工具的工作原理
所有 Amazon S3 客户都可以在 S3 控制台中访问交互式 S3 Storage Lens 存储统计管理工具控制面板,其中包含预先配置的视图,用于可视化存储使用情况和活动趋势。使用 S3 Storage Lens 存储统计管理工具免费指标,您可以接收 62 项存储桶级不同类别的指标(唯一指标和派生指标),并在控制面板中获得 14 天的历史数据。您可以按摘要、成本优化、数据保护、访问管理、性能或事件筛选控制面板,从而分析预期用例的特定指标。除了 S3 控制台中的控制面板之外,还可以将 CSV 或 Parquet 格式的指标导出到您选择的 S3 存储桶中,供进一步使用。有关 S3 Storage Lens 存储统计管理工具的更多信息,请阅读文档。
升级到 S3 Storage Lens 高级存储统计管理工具指标的益处
额外指标
高级指标将提供与活动(例如请求数)、更深层次的成本优化(例如 S3 生命周期规则数)、高级性能指标(例如对象和请求大小数)、额外数据保护(例如 S3 复制规则数)和详细状态代码(例如 403 个授权错误)相关的见解。
前缀级别指标
前缀级别指标使您能够深入了解存储桶中的精细前缀,从而使您可以查看每个存储桶数十亿个前缀的存储和使用活动。查看每个前缀的指标并更有效地优化存储。
15 个月的历史趋势
借助 S3 Storage Lens 高级存储统计管理工具指标,您可以根据 15 个月的历史数据获得见解。对于可选指标导出,您可以配置所需的任何保留期。
CloudWatch 集成
通过S3 Storage Lens 高级存储统计管理工具,您可以通过 Amazon CloudWatch 访问 S3 Storage Lens 存储统计管理工具指标以创建警报,或者通过 CloudWatch API 向集成的可观测性合作伙伴发送指标。
S3 Storage Lens 组
通过 S3 Storage Lens 组,您可以查看按对象标签、前缀、后缀、年限或大小筛选的指标。例如,您可以按对象标签筛选指标以识别增长最快的数据集,或者根据对象大小和年限对存储进行可视化,为存储归档策略提供依据。
使用 S3 Storage Lens 组创建自定义筛选条件
S3 Storage Lens 组使用基于对象元数据的自定义筛选条件汇总指标。S3 Storage Lens 组可帮助您深入了解数据的特征,例如按年限划分的对象分布情况、最常见的文件类型等。此信息可帮助您更好地了解和优化 S3 存储。通过 S3 Storage Lens 组,您可以查看按对象标签、前缀、后缀、年限或大小筛选的指标。例如,您可以按对象标签筛选指标以识别增长最快的数据集,或者根据对象大小和年限对存储进行可视化,为存储归档策略提供依据。要开始使用,您可以通过 S3 控制台、CLI 或 SDK 创建 S3 Storage Lens 组,并将其附加到您的 S3 Storage Lens 存储统计管理工具控制面板。请查看文档了解更多信息。
Amazon S3 存储类分析
S3 存储类分析使您能够跨对象监控访问模式,帮助您决定何时将数据转换为正确的存储类以优化成本。然后,您可以使用此信息配置 S3 生命周期策略以进行数据传输。S3 生命周期策略还可用于在对象的生命周期结束时对它们进行过期操作。如果您观察到您的访问模式频繁更改,则可以使用 S3 Intelligent-Tiering,后者将会根据不断变化的访问模式在 4 种访问层之间自动移动您的数据。这 4 种访问层包括频繁访问层、低成本不频繁访问层、存档访问层和用于节省成本的深度存档访问层。存储类分析还在亚马逊云科技管理控制台上提供存储使用情况的每日可视化数据,您可以将这些数据导出到 S3 存储桶,以便使用所选商业智能工具(如 Amazon QuickSight)进行分析。要了解有关存储类分析的更多信息,请访问存储类分析文档指南。
使用案例:
-
成本优化
Amazon S3 清单
Amazon S3 清单是一项可帮助您管理存储的功能。S3 清单每天或每周针对 S3 存储桶或前缀提供一份有关对象及其相应元数据的报告。该报告可验证对象的加密和复制状态,以帮助满足业务、合规性和法规要求。您还可以使用 S3 清单报告加快业务工作流和大数据作业。
S3 清单报告包括相应的元数据,例如,存储桶名称、键名称、上次修改日期、对象大小、存储类、其他属性中的复制或加密状态。S3 清单报告可每日或每周提供,并且可以加密以保护敏感数据。此外,还可以将该报告配置为交付多个报告,以交付与您的特定需求相关的不同类型的元数据。它为 S3 存储桶或共享前缀提供您的对象及其对应元数据的列表,可用于对您的存储执行对象级分析。
使用案例:
-
审核对象的加密状态,以满足安全和合规性要求
-
将对象的复制状态跟踪到其他亚马逊云科技区域
-
加快业务工作流和大数据作业
-
识别 S3 批量操作的目标对象