爱芯元智在 AX8850 上跑通 Laya 开源决策模型,单问题推理 28.75ms
爱芯元智把 3.2 亿参数的开源类型化决策模型 Laya 部署到 AX8850,单问题前向推理 28.75ms,贪吃蛇每步三次推理约 90ms,全程不联网。
推荐理由:原文给出 AX8850 上单问题 28.75ms、抖动亚毫秒的实测数据,可对照云端决策 API 的延迟与隐私取舍。
爱芯元智把 3.2 亿参数的开源类型化决策模型 Laya 部署到 AX8850,单问题前向推理 28.75ms,贪吃蛇每步三次推理约 90ms,全程不联网。
推荐理由:原文给出 AX8850 上单问题 28.75ms、抖动亚毫秒的实测数据,可对照云端决策 API 的延迟与隐私取舍。