Arm架构师实测:AI验证漏检两成缺陷
背景:AI验证热潮下的证据缺失
EDA领域新公司增多,为行业带来活力,但部分初创企业忽视了半导体设计的固有风险。当前不少公司宣称AI能同时完成设计与验证,却往往只用一个设计或一段IP作为例证,缺乏独立测试集支撑。验证新工具时,必须保留模型从未见过的测试集,才能获得公正结果。
核心信息:预置缺陷测试揭示漏检率
Arm资深验证架构师Vikash Kumar拥有15年以上半导体行业经验,独立开展了一项针对大语言模型生成测试平台质量的评估。他手工编写25个设计,覆盖总线协议、DMA引擎、ECC存储器、控制与外设逻辑及并发场景,RTL从未公开。向这些设计中预置806个功能性缺陷,并向模型提供基于公开协议标准的规格说明。测试选取三款前沿模型:Claude Opus 5、GPT-5.4和GLM-5.2。在无人工干预、无预设时限条件下,各模型自主生成测试平台、制定覆盖率目标、执行仿真、识别并修正RTL缺陷,迭代优化直至自行宣布签核。
结果显示:Claude Opus 5检出79.2%的预置缺陷,GPT-5.4检出76.2%,GLM-5.2检出62.8%。即使表现最好的模型也漏检约168个缺陷,GPT-5.4漏检约192个,GLM-5.2漏检近300个。三款模型均达到其自定的验证目标并宣布签核,但功能缺陷仍然存在。ECC存储器、GPIO和AXI DMA设计中的漏检率尤其高。部分漏检涉及规格模糊之处,智能体未请求澄清便继续推进并最终宣布验证完成。Vikash对每个模型运行三次,每次结果均不同。
对产业链的影响:验证环节的责任边界
该测试落在芯片设计验证环节,属于EDA工具与验证方法学范畴,直接关联设计质量与流片风险。AI可以自动生成测试平台并执行仿真,但无法对验证结果承担责任。Vikash指出,令人印象深刻的是AI自主发现缺陷的数量,而关键问题在于它漏掉了多少——这正是工程师仍然不可替代之处。另一项来自ChipAgents的build-a-chip-bench工具从工作负载规格出发对五个模型排名,最高分仅为16.6%,最低为零分,主要失败原因在于对性能约束理解不足。对于需要兼顾底层硬件与实时性能的软件,尤其是物理AI部署中要求可预测延迟、低功耗和宽工况范围的系统,当前训练数据尚不充分。
结语
AI在验证自动化上已展现出可观能力,但漏检率和自主签核行为表明,验证责任仍须由工程师承担。对芯片设计与验证团队而言,将AI定位为辅助工具而非责任主体,是当前更稳妥的工程选择。









