一提算力就想到显卡？算力中心里其实不只有GPU

2026/07/21携剑陟峰人

摘要：今天谈AI算力，很多人首先想到的是GPU和显卡数量。但在一座真正的算力中心里，CPU、GPU、各类专用加速器、DPU、高速互联、网络、存储和调度软件缺一不可。GPU让AI算力被更多人看见，但算力中心最终交付的，是一套能够持续完成训练和推理任务的系统能力。

这几年，AI硬件新闻越来越像显卡新品发布会。

H100、H200、B200、B300，这些名字频繁出现在大模型、算力中心和科技公司的新闻里。很多人讨论一家公司有没有AI能力，最后常常会落到一个问题：有多少张卡？

这并不奇怪。大模型训练和推理需要大量并行计算，GPU的型号、数量和显存容量，确实会直接影响模型能不能跑起来、一次能跑多大、能服务多少人。GPU因此成了今天最容易被看见的“算力”。

但如果算力只等于GPU，就很难解释另一件事：为什么英伟达在推出一代代GPU之后，还在不断补齐CPU、DPU？今年3月的GTC大会上，英伟达发布了Vera CPU，并把Vera CPU、Rubin GPU、NVLink、ConnectX SuperNIC、BlueField DPU、Spectrum网络等组件放进同一套Vera Rubin平台里。

桌面侧也是类似的趋势。NVIDIA DGX Spark不是单纯的一块显卡，而是一台基于GB10 Grace Blackwell Superchip的桌面AI系统；AMD的Strix Halo则是Ryzen AI Max系列处理器的代号，把CPU、集成GPU、NPU和统一内存放在同一个本地AI平台里。DGX Spark和Strix Halo并不是同一种产品，但都在说明一件事：AI计算正在从“买一块更强的卡”，变成“组织一套更完整的系统”。

这也是我写这个系列文章的原因。CPU、GPU、TPU、NPU、LPU、DPU，外加NVLink、InfiniBand、以太网、DPU、液冷，这些词对很多非业内朋友来说很容易混在一起。它们有的是计算芯片，有的是基础设施处理器，有的是互联技术，还有的是整机和机架级系统，不能放在同一个层级比较。

服务器，才是把算力转化为Token的核心设备

上篇文章 [[算力中心到底是什么（终稿）]] 里，我把算力中心拆成了计算、存储、网络、调度、能源、软件与应用六个部分。这六部分都不能少，但如果只看“模型是在哪里真正跑起来的”，核心仍然是一个个服务器，也可以叫算力节点。

我们在对话框里输入一句话，看到模型一个字一个字地返回，Token并不是从一个抽象的“云”里自然产生的。请求会被系统接收并调度到某台或某组计算服务器；模型参数和当前上下文被准备好；GPU或其他加速器持续完成大规模矩阵计算，模型才会预测出下一个Token。随后，这个过程继续循环，直到输出结束。

**所以，服务器不是GPU的外壳。**更准确地说，服务器是把CPU、GPU、内存、存储、网络接口和软件组织在一起的计算单元。GPU负责其中最重的并行计算，但没有CPU运行系统和组织任务，没有内存和存储准备模型与数据，没有网络连接其他节点，GPU也无法单独对外提供稳定的模型服务。

我们平时看到的FLOPS、TOPS，描述的是处理器在特定精度、特定条件下的理论运算能力。这些指标很重要，但它们回答的是“这颗芯片能做多快的运算”，并不直接回答“这台服务器能跑多大的模型”“这个集群多久能完成训练”“这个推理服务能支撑多少并发”。

因此，算力至少可以分成三个层次：

  1. 芯片算力：一颗CPU、GPU或专用加速器，在特定任务上的运算能力。
  2. 服务器算力：CPU、加速器、内存、存储、总线和软件一起组成的单机能力；这是把芯片能力转成Token和模型服务的直接载体。
  3. 集群有效算力：多台服务器经过网络、存储和调度协同后，真正可以交付给训练和推理任务的能力。

算力中心最终交付的是第三层。但要理解第三层是怎样形成的，必须先把一台计算服务器拆开看：谁在直接做模型计算，谁负责控制，谁让数据和任务能够稳定地到达计算单元？

AI算力中心里，谁在做什么

从一台计算服务器的内部看，“算力芯片”这个说法就显得过于笼统了。AI系统里的处理器并不都在做同一件事：有的直接承担模型计算，有的负责通用控制，有的专门处理数据通路。先把它们在服务器中的位置分清，才能理解为什么GPU很重要，却不是算力中心的全部。

类别代表主要工作在算力中心里的位置
通用计算CPU操作系统、复杂逻辑、任务控制、数据预处理系统控制和通用处理基础
AI加速计算GPU大规模并行计算、模型训练与推理当前最主要的AI加速资源之一
专用AI加速TPU、NPU、LPU等针对特定模型、场景或计算方式优化异构计算资源
基础设施处理DPU网络、存储、安全、虚拟化等数据处理卸载让数据更高效、更安全地流动

CPU并没有因为GPU的流行而“过时”。它仍然运行操作系统，处理复杂分支逻辑，组织任务，管理内存和I/O，并把合适的工作交给GPU或其他加速器。GPU的优势在于大量并行计算，特别适合神经网络中的矩阵运算；但GPU服务器没有CPU，自己并不能构成一套完整的计算系统。

TPU是Google为机器学习工作负载设计的专用处理器，代表的是一条更专用化的路线。NPU通常指面向神经网络运算设计的加速单元，更常出现在手机、PC、摄像头和边缘设备中，强调低功耗和本地推理。LPU则主要是Groq提出的Language Processing Unit，目标是优化大语言模型推理时的时延与吞吐；它目前更适合作为一种厂商定义的架构路线来理解，而不是一个已经完全标准化的行业分类。

DPU又是另一类角色。它通常不直接承担大模型训练，而是把网络、存储、安全和虚拟化中的部分数据处理工作从CPU上卸载下来。AI集群规模变大后，数据如何在GPU、存储和网络之间移动，已经不再是附属问题。DPU的意义，就是让CPU、GPU和网络各自做更擅长的事情。

因此，CPU、GPU、TPU、NPU、LPU、DPU不是六种互相替代的“显卡”。它们更像一个分工不同的团队：有人负责通用控制，有人负责大规模计算，有人负责专用加速，还有人负责让数据和资源有序流动。

为什么头部厂商都在做完整生态

英伟达的产品路线很能说明这个变化。大家最熟悉的可能是GPU，但在Grace + Blackwell这一代平台中，CPU、GPU、BlueField DPU、NVLink/NVSwitch、Spectrum以太网或Quantum InfiniBand，以及CUDA、NCCL、DOCA等软件，已经共同构成了一个面向AI的系统。到了Vera Rubin平台，这种组合还在继续往CPU、GPU、DPU、SuperNIC、交换机和推理加速器一起设计的方向发展。

AMD走的是另一条技术路线，但解决的问题类似。它正在把EPYC CPU、Instinct GPU、Pensando AI NIC、机架级互联和ROCm软件平台组合到Helios参考设计中。Google的AI Hypercomputer则把Axion CPU、TPU或NVIDIA GPU、Titanium基础设施卸载、数据中心网络和GKE调度能力组织在一起。AWS的Trainium体系也不只是一颗训练芯片，还包括Graviton主机CPU、Nitro、EFA网络、Neuron SDK和集群管理服务。AWS对这一整套协同设计的说明很直接：从芯片、服务器、网络到软件和服务，都需要一起优化。

不同厂商的名字当然不同，技术路线也不完全一样。但如果把品牌名先放一边，会发现它们都在补齐相似的功能层：通用计算、AI加速、硬件卸载、高速互联、集群网络和软件调度。

原因并不复杂。算力设备越贵，越不能让它因为等数据、等网络、等任务而闲着，行业内俗称传输/处理瓶颈，数据传输的每一个路径都可能产生瓶颈。今天各家争夺的，不只是芯片性能，而是谁能把更多时间真正留给有效计算。

不过，这套分工并不是AI时代突然冒出来的。今天我们把CPU、GPU、DPU、网络和软件拆得很细，容易误以为它们从一开始就是一张复杂的架构图。实际上，在GPU成为主角之前，一台服务器已经在处理同样的基本问题：谁负责计算，数据暂时放在哪里，数据长期保存在哪里，又怎样和外部系统通信。

要理解为什么CPU没有因为GPU出现而退出舞台，也要理解为什么AI服务器仍然离不开内存、存储和网络，最直接的办法不是继续背缩写，而是回到一台可以打开机箱、看见主板和硬盘的物理服务器。

从小型机到x86，算力曾经与一台服务器绑定

我刚参加工作时，给客户上架服务器是很具体的事情。打开机箱，把CPU装进主板插槽，插上内存，安装阵列卡，接上硬盘、电源和网线。今天再回头看，这些部件正好对应了一套计算系统最基本的分工。CPU装好不代表机器就能跑，内存是否识别、硬盘阵列是否正常、网卡链路是否起来，都会影响最后的交付。

那时我们谈一台服务器，通常不会先问它有多少“算力”。更常见的问法是：它跑什么系统，能支撑多少用户，数据库放在哪里，磁盘坏了怎么办，断电之后能不能恢复。算力和一台具体设备之间的关系很紧，一台机器往往对应一套明确的业务。

当时的服务器从结构上看，小型机和后来的x86服务器，都可以放进冯·诺依曼结构的框架里理解：程序和数据存放在存储器中，处理器不断执行取指、译码和运算，再把结果写回；输入输出设备负责与磁盘、网络和其他外部系统交换数据。

这张图很简单，但它解释了为什么一台服务器不是只有CPU。内存决定程序运行时能放下多少数据，存储决定系统和业务数据放在哪里，网卡决定它怎样连接到其他系统，阵列卡、供电和散热则共同决定它能否长期稳定工作。

小型机更强调软硬件一体化、可靠性和关键业务承载；x86服务器则依靠标准化硬件、开放生态和更低的横向扩展成本，逐渐成为企业计算的主力。它们的路线不同，但底层都在回答同一个问题：怎样用一套可控的硬件系统，稳定地承载业务。

也正因为如此，当时一台机器出了问题，影响的往往就是一套明确的应用；新上一个系统，也经常意味着采购、上架和配置一台新的物理服务器。硬件成本、软件兼容性、运维习惯和可靠性要求，让“业务与机器相对绑定”成为很常见的状态。

可当物理服务器越来越多，新的问题又出现了：有的机器忙不过来，有的机器长期闲着；一个新项目要上线，采购和交付周期往往比业务变化还慢。后面虚拟化和云计算的出现，本质上就是在解决这个问题。

虚拟化改变了人们使用服务器的方式

虚拟化最直观的变化，是让一台物理服务器不再只能承载一套系统。CPU、内存、存储等资源被抽象出来，多个相对隔离的虚拟机可以运行在同一台物理机上。对于业务部门来说，申请资源开始比申请一台实体服务器更重要。

这一步看上去只是提高了服务器利用率，实际上改变了计算能力的交付方式。以前交付一套系统，可能要交付一台机器；后来，交付的是几核CPU、多少内存、多大磁盘和一组网络配置。再往后，云计算把这些资源做成可以申请、释放、计量和弹性扩展的服务。

服务器并没有消失，它从业务主机变成了资源池中的一个节点。这个变化为后来的AI集群提供了非常重要的基础：人们开始习惯按资源申请计算能力，而不是一定要占有某一台机器。

GPU时代的AI服务器，为什么又让硬件变得具体

AI服务器仍然是服务器。它依然需要CPU、主机内存、存储、网卡、操作系统和管理模块。不同之处在于，它需要处理的不是以事务和业务逻辑为主的负载，而是大规模矩阵计算、模型参数加载、分布式训练和高并发推理。

因此，AI服务器不是把CPU换成GPU，而是把计算方式变成了异构协作：CPU负责控制、调度和通用任务，GPU、TPU或其他加速器负责适合并行执行的计算。加速器侧通常配置高带宽内存HBM，主机侧仍需要大容量DDR内存来支持操作系统、数据预处理和任务控制。两种内存服务的对象不同，谁也替代不了谁。

为了让加速器不等待，服务器里的每条数据通路都要重新审视。PCIe仍是连接CPU、GPU、网卡和存储的重要基础通道；NVLink/NVSwitch、Infinity Fabric和UALink等技术，则用于部分高性能加速器之间更高带宽、更低时延的互联。它们不是简单地“取代PCIe”，而是在不同位置解决不同层次的传输瓶颈。

存储也不再只是“把数据存下来”。训练数据、模型文件和检查点需要持续送到计算节点，本地高速NVMe、并行文件系统和高性能网络共同决定了GPU会不会在等待数据。GPUDirect Storage这类能力优化的是数据通路，本身并不是一种新的硬盘。

加速器密度提高后，功耗和热密度也会一起上升。传统风冷并没有退出，但在高密度AI机柜中，冷板液冷等方案会越来越常见。此时，服务器的边界开始向机柜、供配电和制冷系统延伸。它不再只是IT设备，也开始成为一套基础设施工程。

这也是为什么今天的AI服务器更常被当作集群节点，而不是一台独立的业务主机。当模型规模超过单张卡、单台机器能承载的范围，多卡、多机协同就不可避免。问题也从“单机够不够快”变成了：模型能不能放入显存，多张卡能不能高效通信，数据能不能持续送达，任务能不能被调度到合适的节点，硬件故障后能不能快速恢复。

**GPU改变的并不只是服务器性能，更改变了服务器之间的协作方式。**单台服务器已经不是完整答案，集群才是AI算力的主要形态。

前沿不只是下一种更快的芯片

未来的算力中心，当然还会继续追逐更强的芯片。但真正值得关注的，不只是下一代GPU、下一种专用加速器，或者下一代互联协议。

一方面，计算会继续异构化。不同任务对精度、显存、时延、吞吐和功耗的要求不同，不会永远由同一种芯片完成。另一方面，训练和推理也会进一步分化：训练更关注规模、吞吐和集群效率；在线推理还要面对时延、并发、稳定性和单次调用成本。

这意味着算力中心的核心能力会越来越像“组织能力”。它要把不同卡型、不同节点、不同网络拓扑、不同存储层和不同任务需求放在一起，通过软件调度成真正可申请、可计量、可交付的资源。硬件采购只是第一步，硬件是否被用好，才决定它最后能产生多少价值。

网络、存储、调度、能源和制冷，都是这套组织能力的一部分。后面的文章会把它们拆开讲，但需要先有一个基本认识：AI没有让服务器、网络和存储失去价值，反而把它们重新拉回了系统的中心。

写在最后

今天一提算力就想到GPU，并不完全错。GPU确实推动了这一轮AI基础设施建设，也让“算力”从一个相对专业的词，变成了大众都在讨论的话题。

但把GPU数量直接等同于算力中心的全部能力，就会漏掉更关键的部分。CPU负责控制和通用任务，专用加速器处理不同类型的AI负载，DPU和网络负责数据通路，存储持续供给数据，调度软件把这些硬件组织成服务，供电和制冷保证它们能稳定运行。

从小型机、x86服务器、虚拟化、云计算到今天的GPU算力集群，底层设备一直都在。变化的是计算能力被组织和交付的方式：从一台机器承载一套业务，到资源池按需分配，再到异构集群协同完成模型任务。

所以，下一次再看到一座算力中心宣布部署了多少张GPU时，可以多问几句：这些卡怎样互联？数据从哪里来？任务怎样调度？功耗和散热怎么解决？最后，能够稳定交付多少训练和推理能力？

这些问题的答案，才是“算力”真正落地的地方。

下一篇，我想继续从一个很容易被忽略、却会直接让GPU等待的环节开始：存储。训练数据、模型文件和检查点到底怎样进入计算节点？从DAS、NAS、SAN到AI数据底座，存储的角色又发生了什么变化？