算力

它是什么

算力是支撑现代人工智能模型完成预训练、微调与在线推理所需的计算吞吐与硬件工程能力。在 AI 原生体系中，算力不再单纯指代单颗处理器的标称运算频率，而是由矩阵加速芯片、高带宽显存层级、高速跨卡互连拓扑以及底层并行编译框架协同构成的异构计算系统。[S1][S2]

与传统以串行指令分支为中心的通用计算不同，大语言模型与深度学习的核心算力高度特化于大规模张量乘法与矩阵累加（GEMM）。在整个产业生态中，算力是连接算法理论与业务交付的物理承载层。

为什么需要它

算力直接决定了 AI 产品的能力天花板与单位经济模型（Unit Economics）：

1. 决定服务吞吐与响应体验：大模型生成具有逐字自回归特性，模型权重的搬运速度决定了每秒输出 Token 数（TPS），而前缀并行计算算力决定了首字延迟（TTFT）。缺乏适配的算力架构，再优秀的设计也无法提供流畅的交互响应。
2. 决定业务商业化盈亏平衡：训练算力表现为固定资产投资，而推理算力则是随着用户请求量线性增长的边际可变成本。如果未能从物理算力层理解内存带宽利用率与芯片选型，随着用户规模放大，算力账单将迅速吞噬所有毛利。[S2]
3. 决定模型容量与上下文边界：无论上下文窗口多长、参数规模多大，最终都受限于物理显存的物理容量与通信带宽边界。

它如何工作

现代 AI 算力系统主要依托四个维度的软硬件协同展开运转：

• 异构处理单元分工：CPU 负责复杂的操作系统调用、数据预处理与串行调度控制；GPU 凭借数千个流式多处理器（SM）支撑大规模并行浮点计算；TPU 与专用 NPU 则通过脉动阵列（Systolic Array）直接固化矩阵运算流水线，换取极高的能效比。[S1]
• 内存墙与高带宽内存（HBM）：在大语言模型推理中，由于每个 Token 生成都需要将数百亿参数从显存完整遍历一次，系统瓶颈往往不是算力运算器，而是数据传输速度。高带宽内存（HBM）通过 3D 堆叠与先进封装直连芯片核心，成为突破这一物理瓶颈的关键。
• 分布式集群互连：当单卡显存无法容纳千亿级模型权重时，系统采用张量并行（Tensor Parallelism）、流水线并行与数据并行切分模型，并通过跨卡高速互连网络消除通信延迟，使成百上千张加速卡表现得如同一台超级计算机。
• 训练算力与推理算力的双重形态：训练更看重长时间持续满载的吞吐量与算力利用率（MFU）；推理则面临高突发并发、动态批处理（Dynamic Batching）与极低延迟约束，要求架构在延迟预算与利用率之间做出动态权衡。

必须澄清的误会

算力 ≠ 峰值浮点运算次数（FLOPS）。 芯片厂商宣传的理论峰值通常基于理想矩阵形状与极致工况。在真实生产场景中，受限于内存读写开销、跨卡通信以及内核切换开销，实际算力利用率（Model FLOPs Utilization, MFU）往往只有 30% 到 55%，切忌直接按标称算力倒推服务容量。

算力 ≠ 参数规模。 模型参数量代表神经网络的表征知识容量，而算力代表运行这套参数所耗费的物理时间与能量。同样参数规模的模型，通过优化批处理与显存管理，所需的服务算力成本可以相差数倍。

算力 ≠ 模型服务。 算力是硬件与通信资源的供给总量，模型服务则是将这些物理算力转化为稳定、低延迟对外 API 的调度与推理运行时。调度架构优秀的服务层能使相同硬件承载翻倍的有效吞吐。

训练算力 ≠ 推理算力。 训练是固定数据集上的大批量离线重算，硬件选型偏好最高密度的高精度矩阵单元；推理则是面向终端多用户的小批量实时流式响应，重在低延迟访存带宽与量化支持。

真实例子

以一个拥有百万级活跃用户的 AI 助手产品为例，团队在 70B 模型上线之初遭遇了严重的算力瓶颈：单请求生成时间超过 8 秒，GPU 机器租用成本占到月度收入的 65%。

工程师通过分析算力利用率发现，由于每个请求都在逐字生成，GPU 处于严重的「内存带宽受限（Memory-Bound）」状态，大量计算核心在空转等待数据从显存搬运至运算核心。团队随后实施了算力级优化：引入 PagedAttention 技术消除显存碎片，将上下文 KV Cache 进行高效分页复用；同时采用 FP8 量化将权重体积减半，使原本需要双机通信的模型收敛至单台 8 卡服务器内部的互连拓扑中。最终在模型语义输出质量零损失的前提下，单卡并发承载量提升了 2.4 倍，硬件账单下降了 58%。

什么时候适合与不适合

适合自建或独占算力池的场景：当业务调用量达到可预测的稳定基线、具备严格的数据主权与网络隔离合规要求、或者在推理吞吐层面自建节点成本已显著低于公有云 API 调用时，投资或包断专用算力能够带来显著的单位成本优势与服务质量确定性。

不适合盲目采购或包断算力的场景：在产品尚未验证市场契合度（PMF）、业务流量处于早期剧烈波动阶段、或者模型架构处于快速迭代选型期时，过早重资产购买算力服务器会带来沉重的折旧包袱与硬件代差锁死风险，此时应坚定采用按量计费的 Serverless 推理接口。

亲自试一下

用约 25 分钟，选取一个 7B 或 70B 模型，分别估算 FP16 与 INT4 精度下的显存占用（参数量乘字节数）加 KV Cache 开销，算下单张 24GB 或 80GB 卡的最大理论并发数。

具体执行步骤如下：

1. 计算纯模型权重加载显存：7B 参数在 FP16（每参数 2 字节）下约需 14GB，在 INT4（每参数 0.5 字节）下约需 3.5GB。
2. 设定典型上下文长度为 2048 Token，根据模型层数与注意力头数估算单并发会话的 KV Cache 显存消耗（通常在数百 MB 级别）。
3. 用显卡总显存减去权重显存与推理框架运行时预留显存，计算剩余空间所能支持的理论最大并发数，观察精度量化对算力并发密度的决定性影响。

接下来学什么

理解了底层物理算力的约束与成本模型后，建议顺着系统落地路径深入阅读：

• 前往第 10 站 AI 工程、部署与运维，探索 模型服务、延迟优化 与 限流，看软件层如何向硬件榨取最大利用率；
• 前往第 9 站 评估、可观测性与质量，学习如何衡量端到端吞吐量与系统稳定性。

来源与修订

本篇关于现代 AI 算力体系的技术分析参考了 Google TPU VM 体系架构设计文档 [S1] 与 Stanford AI Index 2026 报告中的经济性与算力趋势章节 [S2]。内容于 2026-09-28 完成针对大模型训练与推理系统瓶颈的技术审校，后续若半导体互连协议与软硬件栈出现颠覆性演进，应以权威工程规范为准启动修订。