计算机总线是什么？

Amazon SageMaker 是一项全托管服务，能够帮助开发人员与数据科学家快速、轻松地构建、训练并部署任意规模的机器学习（ML）模型。在本文中，我们将重点介绍在 Amazon SageMaker 上进行训练时，能够切实提高 I/O 以优化 GPU 性能的通用型技术。这些技术方法具有良好的普适性，不对基础设施或深度学习框架本身做出任何要求。通过优化 I/O 处理例程，整个 GPU 训练中的性能提升最多可提升至 10 倍水平。

本分步演示描述了流数据的写入工作的完成，如何使用 Hive 兼容文件夹结构，借助 Kinesis Data Firehose 将流数据写入 Amazon S3。 接着，它显示了 Amazon Web Services Glue 爬网程序如何推断架构和提取我们在 Kinesis Data Firehose 中指定的正确分区名称，并在 Amazon Web Services Glue 数据目录中对其进行编目。 最后，我们运行示例查询，确认能正确识别分区。

在云上进行高性能计算的客户越来越多，利用云计算资源充足、按需使用、弹性伸缩的特点，客户不仅能快速的得到结果，而且成本很低。为了让客户能快速的部署高性能计算集群，亚马逊云科技推出了开源的 ParallelCluster 集群管理软件，该软件可以让客户在数分钟之内部署一个高性能计算集群。ParallelCluster 支持 Torque、Slurm、SGE 等调度引擎，集群的大小可以根据任务数量动态伸缩，而且支持 SPOT 实例，能最大程度的帮助客户降低成本。

本文将讨论如何提高数据预处理能力，并尽可能精简常用函数以进一步增强数据加载效率。TensorFlow、MXNet Gluon 以及 PyTorch 都提供用于并行加载数据的数据加载器库。在以下 PyTorch 示例中，增加工作程序的数量能够让更多工作程序并行处理数据条目。多处理机制的引入能够避免 Python 全局解释器锁（GIL）使用全部 CPU 进行完全并行，进而导致资源余量不足；但这同时也意味着内存利用率将与工作程序的数量等比例增加，因为每个进程都需要在内存中保留自己的对象副本。