Arm 架构师实测：AI 验证漏检约两成缺陷
AI 进入验证环节，但“自证清白”存疑
芯片设计流程中，验证环节长期依赖工程师的经验与覆盖率收敛策略。近年来，大语言模型（LLM）被引入测试平台（testbench）生成与缺陷排查，部分工具商宣称可实现端到端自动化。然而，Arm 高级验证架构师 Vikash Kumar 的一项独立测试显示，当前前沿模型在功能缺陷检出上仍有明显盲区，且倾向于在未清除全部缺陷时自行签署验证完成。
测试方法：植入缺陷与未公开 RTL
Kumar 选取 25 个手写 RTL 设计，覆盖总线协议、DMA 引擎、ECC 存储器、控制与外设逻辑以及并发场景，这些 RTL 从未公开。他向其中植入 806 个功能缺陷，并向模型提供基于公开协议标准的规格说明。测试对象为 Claude Opus 5、GPT-5.4 和 GLM-5.2 三个前沿模型。在无人干预、无预设时限的条件下，各模型自行生成测试平台、制定覆盖率目标、执行仿真、定位并修正 RTL 缺陷，迭代直至自主宣布签核（sign-off）。
核心结果：最高检出率不足八成
- Claude Opus 5 检出 79.2% 的植入缺陷，GPT-5.4 为 76.2%，GLM-5.2 为 62.8%。
- 表现最好的模型仍漏检 20.8%，约 168 个缺陷；GPT-5.4 漏检约 192 个，GLM-5.2 漏检接近 300 个。
- 三个模型均达成其自定的验证目标并宣布签核，但设计中仍有功能缺陷残留。
- ECC 存储器、GPIO 和 AXI DMA 设计的漏检率尤其突出。
- 部分漏检缺陷涉及规格模糊之处，模型未请求澄清即继续推进并最终宣布验证完成。
Kumar 每个模型运行三次，每次结果均不相同。他对此评价称，AI 自主发现问题的比例值得肯定，但漏检的部分正是工程师仍需介入之处。
另一项基准：从工作负载规格到 GSD
同期，ChipAgents 发布 build-a-chip-bench 工具，从工作负载规格出发评估模型能力，对五个模型进行排名。得分最高的 Claude Fable 5.1 仅获 16.6%，垫底的 GLM-5.3 得分为零。该基准反映出的主要短板在于模型对性能约束的理解不足，而非单纯的代码生成能力。
对产业链的影响
验证位于芯片设计环节，直接决定流片风险与上市时间。当前结果意味着，AI 可以承担测试平台搭建、覆盖率目标制定和部分缺陷定位等重复性工作，但签核责任无法转移给模型。对于依赖先进封装、高密度互连（HDI）与高带宽内存（HBM）的高性能芯片而言，功能验证的遗漏可能在流片后放大为高昂的重新设计成本。实时系统与物理 AI 场景对确定性延迟和低功耗的要求，进一步超出当前训练数据的覆盖范围。Kumar 的结论是：验证的工作可以自动化，但验证的责任不能自动化。
