铠侠 CM6 评测适用于数据中心的 PCIe Gen4 SSD

在 SSD 行业，在过去的几年里，我们变得自满了。自 2012 年以来，PCIe Gen3 随着 NVMe SSD 的到来而出现，然后不久之后使新接口饱和。然后，我们进入了一个重大进步的时期，这主要是由于新的 NAND 技术带来了更大、更实惠的容量点。借助 PCIe Gen4，我们现在有机会利用更高带宽的接口。在这篇评论中，我们将介绍铠侠 CM6，它是市场上首批 PCIe Gen4 驱动器之一。从某种程度上了解该产品的严肃性，单个铠侠 CM6 能够在 PCIe Gen3 x8 控制器上超越一系列 SAS SSD，同时还具有 2.5 英寸的小型外形尺寸且可热插拔。

在设置此审查的过程中，我们实际上发现了一些非常有趣的服务器架构原则，这些原则导致我们无法使用我们的 PCIe Gen3 数据集，而是使用非常具体的配置。由于我们想就此提供系统和市场观点，因此我们的主编 Patrick 将在本文末尾对一些市场观点进行权衡。

Kioxia CM6描述

铠侠 CM6 采用相当标准的 2.5 英寸驱动器外形尺寸。我们将注意到，STH 报道铠侠正在开发采用新 EDSFF 外形尺寸的 EDSFF PCIe Gen4 SSD，该外形尺寸将在未来几个季度变得更加流行。虽然您可能熟悉已经存在了几十年的 2.5 英寸外形尺寸，但如果您想查看 EDSFF 系统，您可以在此处查看示例 。这一代的主要变化是连接。我们有符合 SFF-TA-1001 U.3 标准的 SFF-8639 有线产品。这旨在帮助服务器更好地处理 SATA、SAS 和 NVMe SSD 的组合。正如我们将在性能部分展示的那样，像铠侠 CM4 这样的 PCIe Gen6 SSD 将使 SATA 和 SAS 在很大程度上变得无关紧要。尽管如此，这还是使用了多年前开创的传统布局，因为基本的连接器外形尺寸（如 2.5 英寸外形尺寸）是为旋转磁盘设计的。

我们之前讨论了铠侠 CD6 和 CM6 PCIe Gen4 SSD 的主要规格，但我们想在这里提取一些规格信息。这些是铠侠 CM6 的规格。我们正在专门测试 CM6（混合用途）6.4TB（低于 6400GB）版本。这将为我们提供 3 DWPD 的耐用性和性能，远远超过 PCIe Gen3 x4 NVMe SSD。这种耐用性可能比大多数人在这样的驱动器上使用的都要多，因为它的额定使用量超过 19TB/天。

这里的其他一些关键功能是该驱动器具有断电保护 （PLP） 以及许多数据恢复功能，例如能够从整个 NAND 芯片故障中恢复。此外，我们还更新了安全选项，这在当前驱动器中非常重要。铠侠还在考虑 SAS 更换计划，并提供双端口支持，其中 PCIe x4 接口被拆分为两个 PCIe Gen4 x2 接口。这允许将驱动器连接到两个控制器以进行主动-主动配置。我们还没有看到很多这样的 PCIe Gen4 双活解决方案可用，但生态系统需要驱动器来使其成为可用的服务器功能。

在性能方面，铠侠和 Microsoft 使用 Storage Spaces Direct 的 CM6 SSD 的性能超过 7GB/s。这令人印象深刻，也是我们想要测试驱动器的原因。

让我们继续进行性能测试。在那里，我们发现的比我们预期的要多得多。

铠侠 CM6 性能

我们将首先进行一些独特的测试，我们甚至在获得结果之前必须进行这些测试。然后我们将讨论我们的结果。

PCIe Gen4 NVMe 性能不同

有点出乎意料但也许应该出乎意料的是，AMD EPYC 7002 “Rome” 与 Intel Xeon 可扩展系列的 PCIe Gen3 性能并不完全相同。它很接近，但也有不同。我们甚至走上了将 2 插槽系统上生成的数据放在单插槽 Intel Xeon 平台上的道路。虽然我们可以在同一台机器上获得一致的 Intel 到 Intel 性能，但性能并不像 Intel 到 AMD 那样一致。

因此，我们意识到我们需要在全 AMD EPYC 7002 平台上重新测试对比驱动器。这些增量很小。就现实世界的影响而言，大多数人会认为这完全无关紧要。它们通常在 2% 以内，可以归因于测试变体，但由于这不是 2% 的全面范围，而是更多的 +/- 2% 范围，因此我们不得不呼吁不使用旧数据进行审查，因为我们努力保持一致性。为此，我们必须研究 AMD EPYC 性能的另一个方面：PCIe 布局。

即使在 AMD EPYC 7002 系列中，也需要了解芯片的布局和功能。一个很好的例子是内存带宽减半的 AMD EPYC 7002 Rome CPU。在那篇文章中，我们将介绍 SKU 以及为什么它们的设计内存通道较少。

事实证明，当我们在 AMD EPYC SKU 上测试 PCIe Gen4 器件时，工作负载在内核上的实际放置（即 AMD CCD）以及 PCIe 通道的位置实际上很重要。从上图中可以看出，在大型 I/O 芯片（或 IOD）上，CCD、RAM 和 PCIe 通道可能彼此相距甚远。当我们运行工作负载时，这是一个非常小的影响 （<1%），但我们可以衡量它。

此外，我们发现，在一些延迟测试中，48 核 （6 CCD） SKU 和较低时钟速度的 SKU 的一致性不如较高时钟频率和 4 倍或 8 倍 CCD SKU。即使使用单个 PCIe Gen4 设备，所有 AMD EPYC 7002 SKU 也不是一样的。正如我们在这里测试的那样，这在单个驱动器上不太明显，但转移到一系列驱动器上成为一个更大的挑战，即使在 EPYC 平台上使用 PCIe Gen3 SSD，也可以看到这些驱动器。

我们花了这么长时间才发布这篇评论的原因很简单，它花了很长时间来验证，然后决定解决方法。由于 PCIe 映射到 IO 芯片在许多系统上不容易追踪，并且我们需要一个 x8 插槽来容纳 PCIe Gen4 SSD 和 Gen3 时代的 SSD （PM1725a），我们最终不得不围绕 Tyan EPYC Rome CPU 测试系统中的单个 x16 插槽构建我们的测试设置。 然后将工作负载映射到该插槽周围的 AMD CCD。我们还使用了 AMD EPYC 7F52，因为它具有完整的 8x CCD 支持和 256MB L3 缓存，同时还利用了高时钟速度，因此我们在测试中没有最终受到单线程限制。

同样，这些是非常小的 deltas，但非常重要。因此，当人们查看 Arm 参与者时，它们也会有所不同，例如 Ampere （Altra）、华为（ 鲲鹏 920）、Annapurna Labs/亚马逊 AWS （Graviton 2）、NVIDIA-Mellanox Bluefield，以及即将推出的 Marvell 的 ThunderX3，以及 IBM 的 Power9 / 10。最重要的是，一旦我们摆脱了英特尔至强拥有 97-98%+ 市场份额，并且我们拥有 NVMe SSD 的局面，这一切都很重要。这也是我们多年来一直在测试的东西，包括几年前的 Cavium ThunderX2 评论 。PCIe 控制器和芯片能力的差异在业内是众所周知的，也是 STH 多年来一直在关注的问题。

这样做的一个缺点是，我们进行了大量测试，然后围绕单个 PCIe Gen4 插槽进行构建，我们的测试能力变成了串行而不是并行，当您也无法使用历史数据进行比较时，这令人不快。尽管如此，为了测试 Kioxia CM6（以及即将推出的 CD6），我们必须达到这种细节水平，以便与其他驱动器进行有效的比较。使用我们基于 Xeon 的 PCIe Gen3 测试结果是站不住脚的。

拥有一整套 24x SSD 是一种更常见的部署场景，可以减轻上述测试的需要，但由于我们关注的是单个驱动器，因此这一点变得很重要，尤其是在应用程序级测试中。

传统的“四角”测试

我们的第一个测试是查看铠侠 CM6 6.4TB SSD 的顺序传输速率和 4K 随机 IOPS 性能。请原谅比正常比较集小的比较集，但如果您需要解释，请参阅上文，了解我们为什么不使用旧版至强可扩展平台结果。

总体而言，我们看到的性能与我们在规格表上看到的性能相当。我们没有完全达到 Microsoft 的 7GB/s 的 129K 顺序读取性能，但这仍然非常好。如果不出意外，通过验证测试平台的经验告诉我们，我们可以预期会出现一些增量。

这里的关键要点是，我们看到铠侠 CM6 的性能优于传统的 PCIe Gen3 x4 SSD，我们一直在使用英特尔 DC P4510 作为此类 ~1-3 DWPD 驱动器的参考。不仅如此，我们实际上获得了比 PCIe Gen3 x8 设备（例如三星 PM1725a 6.4TB AIC）更好的性能。使用 8 个通道来获得这种性能水平是不可取的，因为它限制了系统中可以使用的设备数量。与 PCIe x8 设备相比，更改为 PCIe Gen4 x4 意味着我们可以将可能连接到服务器的驱动器数量增加一倍。

STH 应用测试

以下是与我们的 PCIe 3.0 x4 和 x8 参考驱动器相比的实际应用测试的快速浏览：

如您所见，就铠侠 CM6 和 PCIe Gen4 的影响而言，这里存在很多变化。让我们来讨论一下性能驱动因素。

在 NVIDIA T4 MobileNet V1 脚本上，我们看到的性能影响很小，但我们看到了一些。这里的关键是，我们主要受到 NVIDIA T4 性能的限制，存储不是瓶颈。我们确实看到了 CM6 看起来基于延迟的好处。同样，我们的 Adobe Media Encoder 脚本会定时复制到驱动器，然后转码视频文件，然后传输驱动器。在这里，我们的影响更大，因为我们涉及一些更大的顺序读/写，主要的性能驱动因素是编码速度。从这些测试中得出的关键结论是，如果您的计算受限，但仍需要为工作流的某些部分进行存储，则会产生明显的影响，但影响不如获得更多计算那么大。换句话说，应用程序可以从铠侠 CM6 PCIe Gen4 SSD 中受益，但不一定会看到 PCIe Gen3 SSD 的加速 2 倍。

在 KVM 虚拟化测试中，我们看到对存储的依赖程度更高。第一个 KVM 虚拟化工作负载 1 的 CPU 限制比工作负载 2 或 VM Boot Storm 工作负载更多，因此我们看到了强大的性能，尽管不如其他两个 。这些是基于 KVM 虚拟化的工作负载，我们的客户正在测试在给定时间可以在线多少 VM，同时在目标 SLA 下完成工作。每个 VM 都是一个独立的工作线程。根据我们的性能分析，我们知道，由于使用的数据库，工作负载 2 实际上可以通过快速存储和傲腾持久内存更好地扩展。同时，如果数据集较大，PMem 将不具备扩展能力。此分析也是我们在 CPU 评审中使用工作负载 1 的原因。

转到文件服务器和 nginx CDN，我们看到新的 CM6 的 QoS 比 PCIe Gen3 驱动器要好得多。如果我们认为 PCIe Gen4 上的 SSD 也具有低延迟链路，也许这是有道理的。在 nginx CDN 测试中，我们使用来自 STH 网站的旧快照和访问模式，并禁用缓存，以显示在这种情况下的性能。以下是分布的快速浏览：

总体而言，我们看到了一些异常值，但这是一个出色的表现。大部分工作负载通常为 Web 托管缓存，但它至少为我们提供了实际使用场景的服务质量点。

由于本节已经很长，我们花了一些时间来简化结果。关键要点是：

• 如果您主要受 CPU/GPU 性能的限制，CM6 可能会有一些好处，但程度较小。
• 您越是专注于原始性能移动数据，例如在我们的虚拟化、文件服务器、nginx CDN 测试中，铠侠 CM6 就可以提供巨大的性能提升。
• 一半。从可维护性的角度来看，x8 驱动器不可热插拔，因为它是一个附加卡，而 U.3 CM6 可以轻松更换，这使其成为达到这个性能范围的更有用的选择。

接下来，在进行最后的发言之前，我们将给出一些市场观点。

市场视角

STH 主编 Patrick Kennedy 的市场观点

如果您有 4-5 年前的 SATA 或 SAS2 SSD 阵列，让我们正确看待铠侠 CM6 的性能水平。本文今天发表的原因之一是，四年前，直到今天，我们发布了测试群联 S10DC 数据中心 SSD 参考平台 。如果您还没有听说过 Phison，他们是许多 SSD 供应商使用的控制器公司。这是一个 24 盘位 SATA SSD 平台，带有三个 SAS HBA。如果您看看我们今天所处的位置，只有 1-2 个 Kioxia CM6 SSD 提供与 24 盘位服务器解决方案类似，有时甚至更好的性能水平。

PCIe Gen4 有机会提供重大的 IT 更新性能提升，远远超过 2 倍的性能提升。在此示例中，我们实际上是在查看 1-2 个 2.5 英寸托架，可提供 24 个托架 2U 双至强服务器的性能。如果您仍在使用传统的 SATA 或 SAS SSD，PCIe Gen3 NVMe SSD 通常会提供令人信服的转换理由。对于像铠侠 CM6 这样的 PCIe Gen4 SSD，数字变得疯狂。性能是一个方面，但就容量而言，这些 960GB SSD 在四年前是很大的，但 CM6 混合用途 SSD（例如我们测试的 SSD）可扩展到每个 12.8TB。即使使用容量作为限制器，我们也可以在两个驱动器插槽中获得类似的容量，而不是 24 个。

PCIe Gen4 使 SATA SSD 对于性能应用来说完全过时了。SATA SSD 仍然具有用于启动设备和类似用例的有用应用程序，但不在性能领域。

下一个问题是平台方面。这也许是目前更大的障碍。SSD 连接的 PCIe 通道通常终止于以下两个位置之一。要么是 PCIe 交换机，要么是直接到 CPU。有一些公司在使用 PCIe HBA，但最终这些公司会在 CPU 和驱动器之间的链中添加另一个设备，因此这些设备更适合希望保留旧企业模型的落后组织，而不是大型组织和更敏捷的组织。

铠侠 CM6 是一款数据中心产品。大多数服务器 CPU 供应商，包括 x86 端的 AMD 及其 EPYC 7002 系列或“罗马” 处理器，以及 IBM（POWER9 和即将推出的 POWER10）等公司，以及 Ampere （Altra）、华为（ 鲲鹏 920）、Annapurna Labs/Amazon AWS （Graviton 2）、NVIDIA-Mellanox Bluefield 等 Arm 玩家骨干，以及即将推出的 Marvell 的 ThunderX3 都支持 PCIe Gen4。尽管如此，所有这些参与者加起来，销售的服务器数量不如英特尔至强的强大功能。即使推出此功能一年多，AMD 也只设法在出货量方面占据了大约 6% 的数据中心市场份额，而其他公司加起来并没有那么大。

虽然 PCIe Gen4 将成为推动组织使用英特尔至强替代平台的一个因素，但英特尔最终将在 2020 年晚些时候推出其 PCIe Gen4“Ice Lake”至强。大多数 OEM 预计将于 2021 年第一季度晚些时候开始向客户批量发货，一些 SKU 将推迟到 2022 年第二季度初。自 2020 年初以来，这些日期已经推迟了。

这使得 PCIe Gen4 处于“泡菜”（棒球破败的另一个名称）中，作为夹在两种对立力量之间的标准。当前至强使用的 PCIe Gen3 在数据中心设备中占据主导地位，而 PCIe Gen5 则使用 PCIe Gen5，其中服务器架构将通过 CXL 等技术开始根本性转变。英特尔的“Sapphire Rapids”一代至强计划于 2021 年底开始初步生产发货，并于 2022 年开始批量发货。AMD 和 Arm 玩家也将提供 PCIe Gen5 和 CXL 产品，可能在英特尔之前。这意味着，在 PCIe Gen3 SSD 使用超过 7 年的地方，我们只有大约四分之六到八的 PCIe Gen4 SSD 占据主导地位。

对于那些今天寻求最大 SSD 性能的人来说，铠侠 CM6 和 CD6（即将推出评论）是新事物且非常快速。您将需要探索替代架构，例如 AMD EPYC 7002（以及 2020 年晚些时候的 EPYC 7003 Milan）、Ampere Altra、IBM Power9/Power10、Marvell ThunderX3、NVIDIA Bluefield、华为金鹏 920 或其他基于 Arm 的处理器之一。这种探索的好处是降低成本、提高 CPU 和网络性能，以及显著提高存储性能。

此外，还要感谢团队有勇气进行 PCIe 测试。这使得测试平台需要 6 周的时间才能获得足够的测试运行数据，以验证我们无法在 Xeon 平台上比较结果的假设，并且我们需要将测试限制在特定的 AMD EPYC 7002 PCIe 通道集上以获得可用的结果。简单的答案是只说 PCIe 通道是 PCIe 通道，而不是去详细讨论。从好的方面来说，现在验证已经完成，我们的 EPYC 7002 CPU 测试平台可供 CPU 审查，因此预计该系列将恢复

最后

突破铠侠 CM6 的性能界限需要关注的不仅仅是 PCIe Gen4 接口。要从这些驱动器中获得最大性能，需要了解平台和软件堆栈。除了我们在这里展示的内容之外，还有其他限制。例如，AMD EPYC 7002 平台中的 PCIe Gen4 带宽可能会使 CPU 内存带宽和互连带宽的大部分达到饱和，这可能会限制高端阵列的性能。此外，旨在为硬盘驱动器和 SATA/SAS2 SSD 提供服务的软件堆栈可能需要重新调整，以实现更高水平的性能，而且这种调整可能不仅适用于未来的 x86 架构。Amazon、Microsoft 和 Google 等公司正在积极寻求 PCIe Gen4 Arm 基础设施。

回顾这次练习，我们可能对 EPYC v.Xeon PCIe Gen4 与 Gen3 性能。尽管如此，如果不考虑这些变量，那么就很难进行像样的比较。这将是存储性能的一个更大方面，因为我们摆脱了 Xeon 在市场上的几乎垄断地位。是时候开始讨论了。

在我们的测试中，铠侠 CM6 的表现非常出色。它通过我们的测试提供动力，清楚地显示了驱动器本身的好处。对于那些仍然坚持使用 SATA III SSD 阵列的人来说，现在是淘汰它们的时候了。性能整合率超过 10：1 意味着可以节省大量运营成本。当我们看到市场预测者预测 SATA SSD 销量急剧下降时，铠侠 CM6 作为第一代 PCIe Gen4 数据中心驱动器，清楚地向我们展示了为什么不仅 2.5 英寸硬盘驱动器在数据中心受到威胁，SATA 和 SAS SSD 也受到威胁。

铠侠是第一家提供 PCIe Gen4 SSD 的主要存储供应商。如果您购买的是 AMD EPYC 服务器或基于 Arm/Power 的服务器，那么通过 PCIe Gen3 NAND SSD 获得铠侠 CM6 会带来切实的好处。当配备 PCIe Gen4 的 Intel Ice Lake Xeon 最终到来时，情况可能会发生变化，但就目前而言，铠侠在市场上拥有领先的产品。

Tpis

文章来源于STH，谢谢你们经常的测评内容，对原文感兴趣的朋友可以查看此链接。