快科技3月4日新闻,微软明天发布,经由过程Azure AI Foundry接入DeepSeek的R1 7B跟14B蒸馏模子,Copilot+ PC可实现当地运转这些模子。实在早在往年1月,微软就发布要把DeepSeek-R1模子的NPU优化版本带到搭载高bet36体育在线通骁龙X处置器的Copilot+ PC上。微软表现,这些模子将起首在搭载高通骁龙X处置器的装备上上线,随后扩大到英特尔酷睿Ultra 200V跟AMD锐龙处置器开元平台登录的装备。

这些模子运转在NPU上,能够在增加对PC电池续航跟散热机能影响的同时,连续取得AI盘算才能,同时CPU跟GPU能够履行其余义务,进步装备的团体效力。微软还夸大,他们应用了外部主动量化东西Aqua,将全部DeepSeek模子变体量化为int4权重。不外现在模子的速率依然较低,14B模子仅为8 tok/sec,而1.5B模子濒临40 tok/sec,微软表现正在进一步优化以进步速率。开辟者能够经由过程下载AI Toolkit VS Code扩大,在Copilobeat365亚洲体育在线官网t+ PC上运转DeepSeek模子的全体蒸馏版本(1.5B、7B跟14B)。

【本文停止】如需转载请务必注明出处:快科技义务编纂:彩色