华擎 Rack 4U8G TURIN2 前角 2
华擎 Rack 4U8G-TURIN2 对经典的 AI 服务器设计进行了令人耳目一新的尝试，利用 AMD EPYC CPU 提供了一些不同的东西。当然，由于这是一台华擎 Rack 服务器，我们还获得了一些独特的服务器工程设计。这使得它成为一个有趣的研究。
对于这个视频，我们有一段由我们的新摄影师 Sam 拍摄的视频：
youtube观看此视频
我们始终建议在自己的浏览器、选项卡或应用程序中打开它，以获得最佳观看体验。正如您可能想象的那样，华擎机架发送了服务器，AMD 向我们发送了 CPU、Broadcom 和 NVIDIA NIC、NVIDIA GPU、Astera Labs CXL 内存扩展模块等等，所以我们不得不说这是赞助的。
ASRock Rack 4U8G-TURIN2 外部硬件概述
该系统本身是一个 4U 服务器，厚度为 786 毫米或略低于 31 英寸深。
华擎 Rack 4U8G TURIN2 正面
服务器的顶部 2U 装满了 2.5 英寸驱动器托架，前四个是 NVMe。
华擎 Rack 4U8G TURIN2 前置 NVMe
我们能够将铠侠 CD6 和 CM6 SSD 放入其中，驱动器托盘采用免工具设计，使其易于安装驱动器。
华擎机架式 4U8G TURIN2 NVMe 驱动器托盘，带铠侠 SSD
您将看到背板已填充，但驱动器周围有很大的气流空间。
华擎 Rack 4U8G TURIN2 前驱动器托盘出存储背板
仅看正面，您可能不知道的是，如果添加了 SAS 控制器，这 20 个额外的驱动器托架可以是 SAS/SATA，如果通过 MCIO 电缆配置了额外的通道，则可以是 NVMe。默认情况下，它们不会在此服务器中连接，因为连接集中在 GPU 区域。
华擎 Rack 4U8G TURIN2 内部概述背板视图
NVMe 驱动器下方是一个全高扩展切口，然后是带有四个 USB 3 Type-A 端口和一个 VGA 端口的前置 I/O。
华擎 Rack 4U8G TURIN2 前置 IO USB
忠实于华擎 Rack 的设计语言，我们在华擎 Rack 6U8X-EGS2 H200 NVIDIA HGX H200 AI 服务器上看到的是，前部网络端口插入了电缆。有两个 1GbE 端口，一个由 Intel i350 提供支持，然后是一个带外管理端口。如果你想把这些连接到前联网，那么你可以把机箱的拆下来，然后在那里使用它们。我们很快就会向您展示这些在系统后端的位置。
华擎 Rack 4U8G TURIN2 前置 IO 网卡
右侧还有另一个全高扩展槽。
华擎 Rack 4U8G TURIN2 正面直角
这将我们带到了输入 OCP NIC 3.0 插槽。三个前中间扩展插槽是有线的，使其成为一个 PCIe Gen5 x8 插槽，并带有与其中一个 NIC 插槽的额外 x8 连接。例如，您可以移动 MCIO 电缆并将其变成 400GbE NIC 的 x16 插槽。
华擎机架 4U8G TURIN2，带 Broadcom OCP NIC 和前置 IO
在整个服务器中，我们将讨论很多关于灵活性的问题。这是一个很好的例子，顶部是空的 MCIO 存储连接器，下面是 SAS/SATA 连接，然后将两个 MCIO x8 端口之一插入 OCP NIC 3.0 插槽。
华擎 Rack 4U8G TURIN2 OCP NIC 3.0 MCIO 连接器和存储背板
移动到系统的背面，很明显这是为 PCIe 扩展卡设计的。
华擎 Rack 4U8G TURIN2 后部概述
服务器的整个顶部 3U 只是扩展卡插槽。
ASRock Rack 4U8G TURIN2 后 PSU 角度
在底部，我们有四个电源。根据规格表，这些应该是 2.7kW 80Plus Titanium PSU，但我们有这款服务器的早期样品，所以这些是 2kW 80Plus Platinum 单元。如果您在系统中运行高端卡并希望保持冗余，那么每个 PSU 额外的 700W 功率非常重要。
华擎 Rack 4U8G TURIN2 后置 PSU 输出
在背面 I/O 上，我们可以看到 VGA 端口和一对 USB 端口。用于管理和 1GbE 连接的三个网络端口通过我们在机箱正面看到的电缆馈送。因此，如果您想在后面连接这些电缆，您只需保持这些网络电缆的连接即可。
华擎 Rack 4U8G TURIN2 后 IO 2
如果您愿意，您可以在前面有一个管理端口，在后面有一个 1GbE 端口，或者您可以在后面有一个管理端口和一个 1GbE 端口，前面有一个 1GbE 端口。这似乎是一个简单的解决方案，但它也为系统提供了很大的灵活性。
接下来，让我们进入系统内部，看看它是如何工作的。
ASRock Rack 4U8G-TURIN2 内部硬件概述
在系统内部，我们有一个经典的 8-GPU 服务器布局。
ASRock Rack 4U8G TURIN2 内部概述
在前面，我们有存储和前面的 I/O 以及双 AMD EPYC 9004/9005 CPU 插槽。
华擎 Rack 4U8G TURIN2 内部概述 CPU 插槽
在这里，我们可以再看看只有两根 MCIO 电缆的背板，总共有 16 个通道用于四个 NVMe SSD 托架。
华擎 Rack 4U8G TURIN2 内部概述背板视图
处理器是双 AMD EPYC 9004 或 9005 系列。
已安装华擎机架 4U8G TURIN2 AMD EPYC 9005
在过去十年中，这些系统的常见点是这些散热器也有风扇，但与其他类别的服务器不同的是。
ASRock Rack 4U8G TURIN2 散热器
同样，这是一个早期的生产系统，所以这个特定的单元已经经过了几次重新粘贴。
华擎 Rack 4U8G TURIN2 散热器底部浆料
尽管如此，系统中仍有很大的空间来处理这些。
华擎 Rack 4U8G TURIN2 散热器
每个 CPU 插槽都有 12 个 DDR5 RDIMM 插槽。拥有 1DPC 解决方案可以使机箱长度相对紧凑。它还可以确保内存以尽可能快的速度运行，因为在每个插槽有 24 个 DDR5 DIMM 插槽的 AMD EPYC 9004/9005 服务器上可能会失去内存速度，即使只有 12 个插槽被填满。
华擎 Rack 4U8G TURIN2 CPU 插槽
如果你愿意，你可以查找华擎 Rack TURIN2D24G-2L+/500W 主板，但实际上在 2.5 英寸存储和 PCIe 扩展插槽下有两个 M.2 插槽。这些是低速的 PCIe Gen3 插槽，所以速度不快，但它们可以用于启动。SSD 如此可靠是一件好事，而且这里有一对，因为它们不容易获得。
华擎 Rack 4U8G TURIN2 电缆布线和前 MB 区域
CPU 插槽背后有两大特点。首先，我们有一个大风扇阵列。其次，我们有大量的 MICO 连接器。这些 MCIO x8 连接器每个都带有 8 个 PCIe Gen5 通道。
华擎 Rack 4U8G TURIN2 风扇和 MCIO 连接器
风扇位于带有 LED 状态指示灯的热插拔模块上，也许是最容易看到的方向指示灯。箭头是从钣金上剪下来的。
华擎 Rack 4U8G TURIN2 风扇方向
这是工作台上的一个风扇模块。
华擎 Rack 4U8G TURIN2 扇出
华擎 Rack 4U8G TURIN2 内部风扇
PCIe 扩展区域包含八个 PCIe Gen5 x16 双宽插槽和气流导向器，以确保气流继续通过卡，而不是绕过侧面。
华擎 Rack 4U8G TURIN2 内部概述 背面
这就是我们在机箱后部有这么多扩展槽的原因。
华擎 Rack 4U8G TURIN2 后扩展槽
您可能会注意到一堆电缆。有两种主要的电缆类型。首先是带来 PCIe 数据连接的 MCIO x8 电缆。其他是电源线。
华擎机架 4U8G TURIN2 后置 PCIe 区域 2
每个插槽最多有两根 MCIO x8 电缆，用于 PCIe Gen5 x16 连接。当然，如果您只需要 x8 通道，那么您可以将第二根电缆重新安置在系统中的其他位置。
华擎 Rack 4U8G TURIN2 后置 MCIO
当然，我们想知道，如果我们去掉两侧的气流导向器会发生什么。
华擎机架 4U8G TURIN2 后置 PCIe 区域，无气流导流器 1
如你所见，我们在顶部还有两个未连接的插槽，但其中一个只是一个单宽插槽。
华擎 Rack 4U8G TURIN2 后置 PCIe 区域，无气流导板顶部
底部还有另一个双宽槽。
华擎 Rack 4U8G TURIN2 后置 PCIe 区域，无气流导流器底部
如果你是混卡，或者使用 PIe Gen5 x8 双宽卡，那么你可以在这里得到 10 张卡。你很快就会注意到的是 PCIe 板简单而小巧。这里没有大型 PCIe 开关，只有插槽。这是一个直接连接到 AMD EPYC CPU 设计的插槽，没有 PCIe 开关。
华擎机架 4U8G TURIN2 后置 PCIe 区域，无气流导板 2
华擎 Rack 也有许多不同的电源连接器。GPU 和加速器可以使用不同类型的电源连接器。额外的电源线意味着我们可以在这里使用不同类型的加速器。
接下来，让我们来看看框图。
华擎 Rack 4U8G-TURIN2 框图
我们找不到这个平台的框图，但我们找到了主板的框图。
华擎 Rack TURIN2D24G-2L 主板框图
真的，这向我们展示了系统中发生的事情。我们有两个 AMD EPYC 9004/ 9005 CPU。然后系统的其余部分专门用于通过 MCIO 连接器提供 PCIe 通道。有 10 个 PCIe Gen5 x16 根路由到 20 个 MCIO x8 连接器。当我们查看系统内部时，您可以看到其中 16 个 MCIO 连接器用于 GPU，然后其他 4 个用于存储和前端网络。这也意味着 M.2 插槽位于较慢的 Gen3 x2 链路上。
160 个 PCIe Gen5 通道解决方案使该平台与众不同。过去，拥有这么多 PCIe 通道至少需要两个大型 PCIe 交换机。现在，所有连接都可以转到 CPU。这样做的另一个影响是，由于我们在都灵 CPU 上有 CXL 2.0，如果您只想通过添加 CXL Type-3 内存扩展设备来扩展内存容量和带宽，这实际上是更有趣的平台之一。如果您的架构中有 PCIe 交换机，那么这些交换机需要支持 CXL，而目前大多数交换机不需要。
华擎 Rack 4U8G-TURIN2 管理
在管理方面，该系统使用 ASPEED AST2600 BMC。由于我们只是在华擎 Rack AM5D4ID-2T/BCM 评测中进行了深入研究，因此我们不会深入探讨，我们只展示其中的关键功能。 登录后，我们可以看到华擎 Rack 皮肤管理界面。这是一个行业标准的 IPMI 界面。
华擎 Rack Management Dashboard
包括带有远程媒体的 HTML5 iKVM 等功能。戴尔、惠普和联想等公司对 iKVM 功能收取高额费用。现在，像 Supermicro 这样的公司对可通过 HTML5 iKVM 安装的远程媒体收费。这是一个小功能，但对许多用户来说很方便，华擎将其包含在主板中真是太好了。
华擎 Rack Proxmox 和 8.1 HTML5 IKVM
这一代的另一个新功能是默认密码是 admin/ admin，但随后它会立即提示更改一些验证规则（例如，您不能只将 “admin” 设为新密码）。这样做是为了遵守当地法规 。
ASRock Rack Management 更改默认密码
接下来，让我们来看看性能。
华擎 Rack 4U8G-TURIN2 性能
对于这样的系统，性能通常归结为冷却大型组件。这些主要是 CPU、GPU 和 NIC（现在是 CXL Type-3 内存扩展模块），因为 SSD 通常位于机箱前部的标准 2.5 英寸托盘中。因此，我们使用了 AMD EPYC 9575F，这是频率优化的 64 核部件，是 AI 服务器中流行的部件。
华擎 Rack 4U8G-TURIN2 AMD EPYC 9575F 性能
对于只想要内核的人，我们还尝试了 AMD EPYC 9965。
华擎机架 4U8G-TURIN2 AMD EPYC 9965 性能
总体而言，CPU 的性能与它们在高端 2U 服务器中的性能相同。这就是我们希望看到的。
另一方面，AI 加速器可能更具影响力。不幸的是，我们没有大量的实验室预算，无法让我们用八张相同的卡来填充系统。相反，我们所做的只是混合和匹配卡，以查看 GPU 和网络方面的性能。
华擎 Rack 4U8G-TURIN2 PCIe 卡性能
同样，我们看到的结果在我们认为的误差范围内。我们应该注意的一点是，如果将 NIC 前置安装，它们会获得大量的气流。另一方面，如果将它们从后安装到 GPU 插槽中，则需要将插槽留空，以确保通过热 NIC（如 NVIDIA BlueField-3 DPU 的单插槽散热器）获得适当的气流。
也许这也显示了这种设计的巨大优势。您可以混合和匹配零件并使用 NVLink 桥接零件。
接下来，让我们来看看功耗。
ASRock Rack 4U8G-TURIN2 功耗
我们的系统配备了两个 AcBel 2kW 80Plus Platinum 电源。如前所述，这个的规格说我们应该有 2.7kW 80Plus Titanium 电源会更好，尤其是对于高端配置。
华擎 Rack 4U8G TURIN2 后置 PSU 输出
使用错误的电源给出功耗数据感觉有点奇怪，而且我们还在成对的 GPU 中使用了一组混合的加速器，而不是一组八个 GPU。尽管如此，一个好的经验法则是 AMD EPYC CPU 每个可以使用其 500W，内存和 SSD 通常另外是 250-300W，NIC 可以在 15W 到 100W 之间变化。除此之外，您还有八个 GPU、FPGA、AI 加速器、CXL 存储卡，它们的功耗相当不同。最后，您可以再添加 10-20% 用于冷却。该公式应该可以让您处于此服务器的正确范围内。我们设法将系统功率提高到略高于 5kW，但肯定还有上升的空间。
就噪音而言，它应该在数据中心运行。
STH 服务器蜘蛛：华擎机架 4U8G-TURIN2
在 2018 年下半年，我们引入了 STH 服务器爬虫作为服务器系统能力所在位置的快速参考。我们的目标是开始快速直观地描述服务器所针对的参数类型。
STH 服务器蜘蛛华擎机架 4U8G-TURIN2
这是一款主要专注于 GPU 计算的服务器，但是，我们很快就会注意到，它充满了 CXL 内存扩展设备，也可以配置为高内存容量。真的，这是一个非常灵活的平台。同时，我们只打算将 STH 服务器爬虫用于我们认为最常见的用例。
最后的话
很难相信我们在 2015 年就审查了我们的第一台华擎 Rack 8-GPU 服务器 。将近十年后，AI 服务器已经从低容量的“边缘”服务器转变为高容量和高价值的细分市场。华擎 Rack 4U8G-TURIN2 以更精致、更灵活的设计以及更大的计算能力真正展示了这种演变。利用新的 AMD EPYC 9004/ 9005 CPU 意味着系统可以跳过使用 PCIe 交换机，这对于那些试图降低复杂性和功耗的人来说是一个很大的好处。
华擎机架 4U8G TURIN2 后置 PCIe 区域，无气流导板 2
总的来说，这是一个非常简洁的设计，看起来既熟悉又可能很难想象十年前。
Tips
文章来源于网络，感谢STH对文章的精彩描述，对原文感兴趣的朋友可以查看此链接。
文章评论