先做原理验证,再做平台接入
对边缘 AI 项目来说,很多人是先做一个漂亮的“部署页面”,然后假设模型已经能在设备上稳定跑。我更倾向于反过来:先把模型导出、转换、推理和 benchmark 跑通,再把这些结果接进 WAVE-cloud 的任务系统。
这条验证链可以拆成下面几个节点。每一步都应该保留日志、输入样例、输出结果和性能数据。
- PyTorch
- ONNX
- RTX inference
- ATC
- OM
- AscendCL / pyACL
- report
为什么要保留 RTX 对照
如果只看 Ascend 端结果,很难判断问题来自模型本身、ONNX 导出、ATC 转换还是推理代码。RTX 侧的 ONNX 推理结果可以作为中间基准:它帮助我们确认导出模型有没有破坏精度,也能定位转换前后的输出差异。
我会记录的指标:
mAP / AP-small、单张延迟、FPS、模型体积、算子不兼容列表、量化前后精度差、典型失败样本。
WAVE-cloud 中的产品化入口
等验证链稳定后,平台里真正需要的是一个能说明模型状态的部署档案:导出参数、转换命令、设备信息、输入尺寸、精度快照、性能快照和失败原因。这些记录会让团队成员知道模型是否已经适合进入演示或比赛材料。
Comments
评论