数据中心的时钟

图 3 和图 4 分别展示了服务器主板上的 PCIe 内部时钟和外部时钟架构。在内部时钟服务器上，CPU 生成 PCIe 时钟。然后，这些 PCIe 时钟由 PCIe 时钟缓冲器扇出。缓冲输出为各种端点计时，或通过 PCIe 连接器传递到子卡。

外部时钟服务器上可能有多种 PCIe 时钟源：来自外部时钟发生器的本地 PCIe 时钟或由 CPU 生成的 PCIe 时钟。每个端点或连接器都可以从这些源中选择一个，具体取决于它们所属的时钟域。

器件和接口通常需要由振荡器或时钟发生器提供的低频单端时钟。

图 3 服务器主板内部时钟架构示例。

图 4 服务器主板外部时钟架构示例。

数据中心安全控制模块 (DC-SCM) 是由 Open Compute Project 定义的附加卡。在图 5 所示的示例中，从服务器主板为 DC-SCM 卡提供了 PCIe 参考时钟。然而，基板管理控制器和 USB 主机控制器都需要 PCIe 时钟。您不能简单地将布线分开并将一个时钟路由到两个器件，因为这会使振幅减半并降低信号完整性。因此，时钟信号将不再满足 PCIe 合规性要求，这就是需要 PCIe 时钟缓冲器的原因。时钟缓冲器会接收一个时钟输入并生成多个输入副本，而不会降低信号完整性。

图 5 DC-SCM 时钟架构示例。

与 DC-SCM 类似，其他扩展卡或 PCIe 插入卡也可能需要时钟缓冲器来分配 PCIe 时钟，如图 6 所示。

图 6 PCIe 插入卡时钟架构示例。

网络接口卡 (NIC) 将服务器连接至网络。SmartNIC 提供了额外的计算资源来减轻服务器 CPU 的负载。NIC 和 SmartNIC 都需要 PCIe 和以太网时钟。在图 7 所示的示例中，有两个 PCIe 时钟源：一个是来自 CC 架构主板的通用 PCIe 时钟，另一个是用于 IR 架构的本地 PCIe 时钟。在正常工作模式下，NIC 在 CC 上运行。但是，如果 CC 丢失或不可用，NIC 可以切换到 IR 并改为使用本地 PCIe 时钟。此外，由于 NIC 通过以太网端口连接到交换机，应用特定集成电路中的以太网串行器/解串器通常需要高性能的 156.25MHz 时钟。

用于 AI 培训等特定计算任务的硬件加速器的 PCIe 时钟要求与 SmartNIC 类似。图 8 展示了一个 PCIe 时钟架构示例。PCIe 时钟仅在本地生成，而不是采用 CC 和 IR 架构并在两者之间进行切换。在该示例中，CPU、图形处理单元和其他端点需要许多时钟。因此，一个双通道时钟发生器以及两个 20 通道时钟缓冲器可以生成多达 40 个 PCIe 时钟。硬件加速器不需要以太网时钟，因为它未连接到 SmartNIC 等 ToR 交换机。可能存在除 PCIe 以外的专有链路，该链路可能需要额外的高性能时钟，但与以太网时钟类似。

图 9 是仅使用 IR PCIe 架构的另一个示例。双通道 PCIe 时钟发生器用于为固态硬盘 (SSD) 控制器计时。

图 7 NIC 和 SmartNIC 时钟架构示例。

图 8 硬件加速器时钟架构示例。

图 9 PCIe SSD 时钟架构示例。

以太网通道速度为 56Gbps 或更高会显著影响任何无源电缆的插入损耗。因此，需要“主动”互连来降低损耗和提高数据质量。根据距离的不同，有不同类型的主动互连。有源电缆（包括基于铜的有源电缆和基于光纤的有源光缆）可以短距离连接，例如在 NIC 与 ToR 交换机之间连接。

光学模块用于较长距离的连接。还有不同类型的光学模块。其中一些用于数据中心内的 ToR 交换机和主干或光纤交换机之间，而另一些则可用于数据中心之间。

由于以太网通道速度较高，光学模块数字信号处理器需要一个极低噪声的以太网时钟，如图 10 所示。另一方面，有源电缆中的以太网重定时器只需要一个常规时钟，如图 11 所示。

1PPS 信号携带时钟同步信息，并从主干或光纤交换机向下传递到 ToR 交换机，然后传递到 NIC 或 SmartNIC。您可能需要在有源电缆焊盘卡中使用 1PPS 缓冲区或电平转换器进行电平转换并生成其他副本。

图 10 光学模块时钟架构示例。

图 11 有源电缆时钟架构示例。

为高速以太网串行器/解串器生成参考时钟需要一个抖动极低的时钟发生器，如图 12 所示。主干或光纤交换机还需要与 ToR 交换机类似或更好的以太网时钟性能。此外，您还需要一个用于网络同步的计时数字锁相环 (DPLL)，如图 13 所示。

图 12 简化的 ToR 交换机时钟架构。

图 13 简化的主干或光纤交换机时钟架构。