NVIDIA H200 / B300 服务器压力测试项目：32 项判据与合格阈值
本文出品｜PowerShell 中文社区团队
业务范围：企业底层 IT 基础设施技术服务——AD 域控建设迁移与故障处置、Exchange 邮件系统运维、VMware / Citrix 虚拟化、国产分布式存储故障定位、NVIDIA B300 / H100 / H200 算力服务器整机验收与压力测试、PowerShell 自动化脚本定制与运维培训。
创始人：邓鹏，PowerShell 中文社区（powershell.com.cn）创始人，毕业西安交通大学计，51CTO 认证讲师（2021 年度十大新锐讲师）。
服务与咨询：H200服务器单项测试服务 38,000 元/台（不含税），定制化 AI 测试价格另议。邮箱 dengpeng@powershell.com.cn ｜ 官网 www.powershell.com.cn
nvidia-smi 显示 8 张卡都在，只能证明这台机器能开机，不能证明它能干活。卡间互联带宽、满载稳定性、真实并发下的吞吐与延迟——这三样最值钱的东西，nvidia-smi 一个都不显示。
所以压测不是“走个流程”，是把“这台机器能用”从一句口头承诺，变成 32 个有阈值、可复现、能签字的判据。下面这份清单，就是按这个目标写的：每一项只写“达到多少算合规”，不写某台机器的实测值，因为标准要能通用，数据只对单机有效。
一、为什么必须测：六类代价，逐条对账
| 风险 | 具体表现 | 你要付的代价 |
| 性能不达标 | 峰值吞吐远低于预期，并发一上来延迟就崩 | 采购决策被质疑，扩容预算批不下来 |
| 责任无法界定 | 厂商一句“交付时是正常的” | 返修、换件、二次上门全自费，谈判没筹码 |
| 缺陷藏在质保期后 | ECC 错误累积、链路劣化、散热衰减 | 过保即故障，备件与停机成本自担 |
| 隐性缺陷被集群放大 | 单机看着正常，多机训练就 hang、就 timeout | 训练任务重跑，GPU 小时数白烧 |
| 上线即事故 | P99 延迟远超 SLA | 业务方投诉到管理层，项目回滚 |
| 无据可查 | 出事时拿不出一份时序数据 | 复盘变成互相指责，问题永远说不清 |
最贵的往往不是硬件，而是“说不清”。一份带阈值、带时间戳的测试记录，是你在任何一次争议里唯一能拿出来的东西。
二、三阶测试模型：顺序不能乱
| 阶 | 测什么 | 回答的问题 | 不通过说明什么 |
| 第一阶 | 整机硬件基线（CPU / 内存 / 磁盘 / 网络 / GPU 满载） | 这台机器有没有坏件 | 单件硬件缺陷，直接报修，不必往下测 |
| 第二阶 | GPU 互联（NVLink / 拓扑 / P2P / 带宽 / NCCL） | 8 张卡能不能协同工作 | 卡都好但配合不好：拓扑、链路、固件问题 |
| 第三阶 | 业务负载（真实模型 + 并发梯度） | 能交付多少吞吐和延迟 | 软件栈、参数配置或模型适配问题 |
跳过任何一阶都会互相掩盖：只测第三阶，性能差你分不清是卡的问题还是参数问题；只测第一阶，会拿到一份“全部通过”却无法预测业务表现的报告。
三、测试项目清单（A 组：整机硬件基线 · 12 项）
A 组不过，B、C 组不用测。标 ★ 的为重点项目。
| # | 测试项（工具） | 合规阈值 | 重点 |
| A1 | CPU 全核满载（sysbench） | 满载线程数 = 逻辑核数 100%，无掉线程 | — |
| A2 | CPU 调度延迟（sysbench） | P95 ≤ 5 ms | — |
| A3 | CPU 温度与降频（平台采集） | 峰值温度 ≤ 85℃，降频幅度 0% | — |
| A4 | 内存带宽（STREAM Triad / Copy） | ≥ 理论带宽的 75% | — |
| A5 | 内存容量校验（校验引擎） | 覆盖 ≥ 80% 可用内存，错误页 = 0 | ★ |
| A6 | 系统盘顺序读写（fio） | ≥ 标称值的 80% | — |
| A7 | 数据盘顺序读写（fio） | ≥ 接口 / 盘标称值的 80%，写测不得跳过 | ★ |
| A8 | RAID / HBA 状态（阵列卡工具） | 无降级、无告警，缓存策略与合同一致 | — |
| A9 | 网卡链路协商（ethtool） | 协商速率 = 标称速率，双工正常 | — |
| A10 | 网卡带宽与重传（iperf3） | 带宽 ≥ 标称速率 90%，重传率 < 0.1% | ★ |
| A11 | IB / RDMA 端口与带宽（ibstat / perftest） | 端口 ACTIVE，带宽 ≥ 标称 90%（集群场景必测） | ★ |
| A12 | 8 卡满载稳定性（gpu_burn ≥ 30 分钟） | 全部卡 exit code = 0，错误计数 = 0 | ★ |
四、测试项目清单（B 组：GPU 互联 · 10 项）
B 组是 AI 服务器故障率最高的部分，也是验收最容易放水的地方。
| # | 测试项（工具） | 合规阈值 | 重点 |
| B1 | 8 卡识别与 ECC 状态（nvidia-smi） | 识别 8/8，无 ERR，ECC 双比特错误 = 0 | ★ |
| B2 | 每卡 NVLink 链路数（nvlink -s） | = 机型设计值（H200 NVL 为 18 条/卡） | ★ |
| B3 | 单链路速率（同上） | ≥ 26.562 GB/s 每链路 | ★ |
| B4 | 链路错误计数（nvlink -e） | Replay / Recovery / CRC 全部 = 0 | ★ |
| B5 | 互联拓扑矩阵（nvidia-smi topo -m） | 与机型架构完全一致，域划分写入报告 | ★ |
| B6 | CUDA P2P 可达性（p2pBandwidthLatencyTest） | 全部卡对 OK（不得出现 NG） | ★ |
| B7 | 组内带宽 CE / SM（nvbandwidth） | CE ≥ 120 GB/s；SM 读 ≥ 120 GB/s、SM 写 ≥ 100 GB/s | ★ |
| B8 | 跨域带宽 PCIe P2P（nvbandwidth） | ≥ 20 GB/s | ★ |
| B9 | Host ↔ GPU 带宽（nvbandwidth） | 单向 ≥ 25 GB/s | — |
| B10 | NCCL 集合通信（nccl-tests） | 4 卡 AllReduce ≥ 250 GB/s；8 卡全量 ≥ 45 GB/s；#wrong = 0 | ★ |
B10 的阈值必须分规模设定。多 NVLink 域机型（4+4）跨域走 PCIe，8 卡全量 AllReduce 天然远低于组内值，这是架构特性不是故障。基线不写进验收单，事后必然被质疑“标准哪来的”。
五、测试项目清单（C 组：大模型推理 · 10 项）
压测前先固定三件事，否则数据不可复现：固定输出长度（--ignore-eos）、固定数据集与随机种子、固定硬件采样口径（≥ 1 次/秒）。
| # | 测试项（判据类型） | 合规阈值 | 重点 |
| C1 | 模型加载与显存占用（成功率） | 加载成功，显存不越界、无 OOM | ★ |
| C2 | 单流吞吐与 TPOT（基线值） | 记录基线；TPOT ≤ 15 ms | ★ |
| C3 | 并发梯度吞吐曲线（拐点识别） | 至少 5 档并发（1 / 8 / 32 / 64 / 128），且能定位饱和拐点 | ★ |
| C4 | TTFT 均值与 P99（SLA 阈值） | 在线场景 P99 ≤ 1 s；离线批处理 ≤ 3 s | ★ |
| C5 | 短输入场景 ≤ 512（吞吐） | 输出吞吐 ≥ 基线 90% | — |
| C6 | 长输入场景 16k（预填充速率） | 预填充 ≥ 10k tok/s，P99 TTFT ≤ 10 s | ★ |
| C7 | 超长输入场景 64k+（功能可用性） | 请求成功率 100%，且不得挤占同期短请求 SLA | — |
| C8 | 投机解码接受率（真实语料复测） | 平均接受长度 ≥ 2，否则关闭或降到 2–3 | ★ |
| C9 | 压测期硬件状态（全程采样） | 温度 ≤ 87℃、无 thermal slowdown、显存波动正常 | ★ |
| C10 | 稳定性与错误率（全场景） | 请求成功率 100%，无超时、无失败、无 hang | ★ |
六、重点项目：这 10 项为什么必须盯死
| 重点项目 | 为什么它是重点 |
| A5 内存校验 | 内存错误是最“隐蔽”的硬件故障，表现为随机崩溃、任务莫名失败，事后极难归因 |
| A7 磁盘写测 | 写测常因“盘已挂载 / safe 模式”被跳过，等于写性能从未验证，必须标注为待补测 |
| A10 / A11 网络 | 单机自测发现不了交换机端口与线缆问题；IB 未接链路时，必须写明“集群性能未验证” |
| A12 满载稳定性 | 30 分钟满载是区分“能开机”和“能连续工作”的最低成本手段 |
| B2–B4 链路完整性 | 链路数与速率不达标、错误计数非零，都会在训练时放大成 hang 或数据损坏 |
| B5 拓扑矩阵 | 不知道几个 NVLink 域，就无法解释后续任何一个带宽数字，也无法制定并行策略 |
| B7 / B8 带宽分布 | 看矩阵不看平均：一对离群链路比“整体达标”更有诊断价值 |
| B10 NCCL 分规模基线 | 训练实际走的就是集合通信，这是唯一能预测训练效率的指标 |
| C4 P99 TTFT | 平均值好看不代表能用；P99 才决定能否直接开放在线流量 |
| C8 投机解码 | 随机语料是最差 case，必须用真实业务语料复测后，再决定是否保留 |
七、判定规则：怎么算“通过”
公差 ±3%：所有带宽、吞吐类指标允许 ±3% 波动，超出即需复测；
基线优先于理论值：性能类指标以同批次健康机为基线，理论值仅作参考；
未覆盖 = 未通过：任何被跳过的测试项（写测跳过、IB 未接、跨机未测）必须在报告中标为“待补测”，不得计入通过项；
零容忍项：ECC 双比特错误、NVLink 链路错误计数、NCCL #wrong、请求失败率——出现任意一个非零值，直接判不通过；
签字条件：每一条“通过”必须能指到对应的日志、截图或时序曲线。写“运行正常”但没有数据的条目，视为未测。
八、六个常见误区
8 卡 AllReduce 低就判定硬件故障——先看拓扑，多域机型跨 PCIe 是常态；
功耗没跑到功耗墙上限就认为性能不足——推理是带宽受限负载，看吞吐和延迟；
满载 87℃ 就以为过热——关键看是否触发 thermal slowdown 与是否降频；
单机网络测试通过就认为集群没问题——必须跨机、满端口、长时间；
只测推理不测硬件——硬件基线不过，推理数据全部失真；
报告只写“全部通过”——写清未覆盖项与边界条件，才是保护自己的方式。
九、需要现场测试或验收支持？
PowerShell 中文社区团队承接企业底层 IT 基础设施技术服务：AD 域控建设迁移与故障处置、Exchange 邮件系统运维、VMware / Citrix 虚拟化、国产分布式存储故障定位，以及 NVIDIA B300 / H100 / H200 算力服务器整机验收、NVLink 互联验证、大模型推理压测与长稳测试，同时提供 PowerShell 自动化脚本定制与运维实战培训。
创始人：邓鹏｜PowerShell 中文社区创始人，毕业西安交通大学计算机专业，51CTO 认证讲师（2021 年度十大新锐讲师）。长期从事企业级身份管理、虚拟化与算力服务器交付。
报价：H200服务器单项测试服务 38,000 元/台（不含税）；定制化 AI 测试（多机集群、训练性能、特定模型适配）价格另议。技术服务不含硬件设备采购。
联系方式：邮箱 dengpeng@powershell.com.cn ｜ 官网 www.powershell.com.cn
服务流程：现状调研 → 风险评估 → 方案确认 → 报价确认 → 现场实施 → 验收交付。生产环境高危操作，一律在备份与回滚方案确认后执行。
本文所列阈值为通用验收参考，实际项目应结合机型规格书、业务 SLA 与合同约定确定最终判据。
