一套推理服务把显卡限制到较低功率后,仪表上的瓦数下降了,但任务变慢、重试增多,服务器还可能整夜待机。企业真正需要判断的是:在相同业务要求下,完成一组有效工作究竟消耗多少电。本文讨论长期有效的测量与决策方法,不发布硬件排行榜,也不把示例数字当作壹典项目成果。
采购问题正在从设备规格延伸到运行账单
当 AI 由偶尔试用进入日常问答、材料处理和批量分析,设备的运行时长、空闲比例与失败恢复开始影响持续成本。这里的变化是应用阶段带来的决策变化,不是关于全行业能耗增速的统计断言。设备选型仍需看性能,但仅凭额定功率或每秒生成量,无法回答一整天的服务用电。
MLCommons 的数据中心推理基准明确把功率结果限定于对应测试,并采用整机墙端测量;TDP 或电源额定值不等于该测量结果。[1] 这提供了一个有用的边界原则:离开原来的系统、负载和测试条件,数字不能直接变成现场承诺。
本文建议先用企业大模型私有化部署的服务容量验收确定质量与交付期限,再比较能耗。若某配置无法按时完成必要任务,即使瞬时功率很低,也不是同等服务能力下的节能选项。比较对象应是一套可交付方案,而不只是两张显卡。
把瓦、瓦时与碳排放分开记录
功率表示用电速率,能量还取决于持续时间。平均功率 500 W 持续两小时,对应 1 kWh;1000 W 持续半小时,对应 0.5 kWh。这是单位换算,未考虑其他运行阶段,不能据此断言高功率设备总是更省电。对变化负载,需要按时间累计功率,或使用同一边界的电能计数器差值。
NVIDIA 文档区分 GPU 板卡与模块的功率读数,也区分瞬时与平均读数及支持条件。[2] 因而采集时应写明字段、设备与采样语义。不能把一个板卡读数命名为整台服务器耗电,也不能把不支持返回的缺失值当成零。
建议把三个层次各自命名:加速器能量用于定位模型优化;服务器交流输入能量用于比较节点运行;含检索、存储等依赖的应用能量用于比较服务。若冷却和机房配套不在仪表范围内,应列为未包含项;若另行估算,应标注估算方法,避免与已经包含的部分重复相加。
碳排放另需电力碳强度及其他边界信息。SCI v1.1.0 将运行排放与硬件隐含排放按功能单位表达。[3] 本文只提出用电验收方法,没有完整排放数据时,应报告 kWh,而不把减少电费或 GPU 用电直接写成完整生命周期减碳。
定义一个不会奖励失败的业务分母
建议以同一观察窗口内“按期且通过约定质量检查的唯一任务数”作为主分母,并同时报告提交总数、合格数、超时数、失败数与完整用电。一次业务请求触发三次模型调用,仍只算一个任务;重试和回退消耗的电不能从分子中消失。
质量检查需要在测量前冻结。例如材料抽取任务可规定必填字段、来源对应与严重错误条件;任务混合时,按短问答、长文档和批量处理分别报告,再按共同业务配比比较。不能让某方案只处理容易任务,另一个处理所有难题,再用合并平均值评优。
每千输出 token 的能量可帮助诊断解码效率,但不同分词器、输出长度和冗余程度会影响它。若模型用更长答案表达同一结论,token 分母增大不等于业务产出增大。保留技术指标,同时用固定任务集判断业务结果,能够减少这种指标错位。
合格任务能耗也不是唯一门槛。把一半请求直接拒绝,可能让剩余工作的单位能耗变好,却破坏覆盖要求。因此先规定最低交付比例、关键任务质量和截止时间;任何一项不满足,报告为服务不等价,不能仅按单位能耗排序。
构造算例:低功率方案为什么可能反而多耗电
以下为构造示例,所有数字都是假设,没有进行设备实验。两套专用服务在同一个八小时窗口内接收同样的 1000 个任务,均有 900 个按期且质量合格;其余 100 个的失败处理已包含在活动阶段。假设 A 活动两小时平均 800 W,之后六小时待机 200 W;B 活动四小时平均 500 W,之后四小时待机 200 W。
A 的窗口能量为 0.8×2+0.2×6=2.8 kWh;B 为 0.5×4+0.2×4=2.8 kWh。二者每个合格任务均约 3.11 Wh。B 的活动功率低 37.5%,却没有在这个窗口减少用电。只有在两者质量、完成期限等门槛确实相同时,这一比较才有意义。
若另一个经过验证的运行策略允许任务结束后关机,并暂且假设启停开销为零,A 与 B 的活动用电分别为 1.6 和 2.0 kWh,排序又会改变。真实决策必须补回模型装载、预热、启动时间与启停失败的代价;八小时之外的常驻服务也不能凭空省略。
这里可得出的只是机制判断:功率、运行时间与空闲策略共同决定能量。它不能证明某个品牌、功率上限或调度方式更优。现场应先测出占比,再决定优先缩短活动时间、减少闲置,还是改进重试与任务路径。
把一次比较做成可以复测的证据包
第一步建立清单。记录机器与依赖、软件和模型版本、输入集、请求到达轨迹、缓存初始状态、质量规则、时间目标、仪表位置和时钟。选择代表常态、高峰与低负载的窗口;若一天只有很短的高峰,不能只测那个最有利于摊薄闲置的阶段。
第二步同步记录。以统一时钟保存任务起止、重试、最终状态及能量时间序列。累计计数器重置、采样断档和其他租户负载应明确标记。短任务若比采样周期还短,可以测一批固定任务的总能量,但不能假装每个任务都已获得精确独立读数。
第三步做配对比较。在相同任务和到达轨迹下更改一个主要因素,保留重复运行的区间与异常解释。冷热缓存、首次加载和稳定运行分开标记。顺序执行会受温度或后台作业影响时,可交替运行候选;不要删除不利轮次,只呈现最低的一次。
第四步分别输出整窗能量与可解释的优化归因。减去空闲基线可以帮助研究增量负载,但不能把这个差值当作企业实际支付的全部用电。共享服务器无法独立计量时,写清分摊模型与不确定性;差异小于测量波动时,结论应是尚不能区分。
何时优化,何时先保持现状
稳定批量任务可评估集中运行与结束后释放资源;低延迟交互业务则要为常驻容量支付代价。降低功率上限、量化、换模型或增加批量都只是候选措施,每项都要重新检查质量与期限。若节能使异常工单增加,人工处理成本也应进入经营比较,不能只看电表。
建议用三种结果结束评估:证据充分且服务等价时进入小范围应用;服务等价但测量差异不明确时继续观察;质量或期限不合格时退回方案调整。保留原配置与回退条件,并在上线后核查真实负载是否仍属于测试范围。
最后同时报告强度和总量。单位任务用电下降而任务量显著增加,整体用电仍可能上升。采购或优化决策应明确到底要降低单位交付成本、限制机房功率,还是减少总能量;不同目标可能需要不同方案。本文依据查阅于 2026 年 11 月 8 日,动态技术文档应与实际安装版本核对。
