转载:https://ai.zol.com.cn/1271/12716172.html
2026-11-10 15:40:42·[ 中关村在线 原创 ]·作者:十三号胡同
2026年11月10日,在AMD Advancing AI World Tour首尔站活动中,模型轻量化技术企业Nota AI发布了一项面向AMD异构计算平台的创新优化方案。
实际测试表明,该方案通过深度重构显卡与神经网络处理器之间的协同机制,将AI推理响应时间最高压缩了52%。
其技术关键在于突破传统处理器各自独立运行的模式。在搭载AMD锐龙AI Max+395处理器的实测环境中,推理流程被智能拆分为两个阶段:神经网络处理器(NPU)专责预填充任务,高效处理输入文本;显卡(GPU)则承担解码任务,专注生成最终输出结果。
这种分工充分发挥了两类处理器在架构设计上的天然优势。为进一步提升资源利用效率,方案实现了NPU与GPU共享同一套模型权重参数,避免了权重重复加载造成的内存浪费,使整体内存占用降低11%至32%。
在阿里通义千问Qwen3-8B开源模型上的验证显示,该异构执行方案相较AMD当前主流混合部署方式,端到端响应完成时间缩短28%至52%,单Token能耗下降31%。
目前,该技术已全面集成至Nota自研的NetsPresso模型优化平台。平台内置AI Agent智能调度模块,可自动识别硬件配置特征,并动态生成最优执行策略。
在Llama、Phi、Mistral等多款主流开源大模型上的综合测试表明,采用该异构协同方案的推理速度,较仅依赖NPU单独运行提升2.5至3.8倍。
本文属于原创文章,如若转载,请注明来源:Nota AI发布AMD异构协同优化方案,推理速度提升3.8倍、响应降52%https://ai.zol.com.cn/1271/12716172.html


微讯资讯
相关广告