您现在的位置是:产品中心 >>正文
昇腾A2芯片立功!华为首次公开美团LongCat
产品中心2人已围观
简介7月6日消息,华为CANN昇腾AI异构计算架构)团队首次公开披露了美团万亿参数大模型LongCat-2.0在昇腾A2芯片上的完整部署方案。LongCat-2.0,总参数量达1.6万亿,原生支持100万 ...
LongCat-2.0是片立美团继1月发布LongCat-Flash-2601后又一次重磅开源。
Prefill阶段融合流水线并行与序列并行双重策略,功华最大限度利用芯片带宽与算力。为首将MoE专家计算与Dense层计算拆分为独立计算流,开美有效支撑大规模分布式推理。昇腾总参数量达1.6万亿,片立
功华功华华为CANN(昇腾AI异构计算架构)团队首次公开披露了美团万亿参数大模型LongCat-2.0在昇腾A2芯片上的为首完整部署方案。CANN推理团队针对LongCat-2.0的开美MoE超稀疏专家架构与百万级长序列进行了系统级优化。此次华为首次公开昇腾A2完整部署方案与技术细节,昇腾LongCat-2.0基于昇腾Atlas A2 192卡集群部署,片立单机16卡。功华
计算流调度上实现计算与通信双流并行,为首Prefill阶段采用64张昇腾A2协同调度,开美Decode阶段利用A2超大L2 Cache优势实现模型权重异步预取,将模型划分为8个独立计算Stage,Prefill阶段采用FlashComm算法降低Vector算力消耗。压缩MoE通信耗时10倍。
昇腾A2单卡内置高速网卡可提供200Gbps传输带宽,该模型是业界首个完全基于国产算力完成训练与推理全流程的万亿参数模型。标志着国产芯片已具备承载万亿参数大模型推理任务的能力,
LongCat-2.0,短请求采用DP128+EP128方案,
Decode阶段根据序列长度差异化切分, 7月6日消息,超长序列采用DP16CP8+EP128方案,为AI算力国产替代提供了可复用的技术范本。原生支持100万Token超长上下文。
算法层面,
业内人士表示,最终实现TPOT时延仅20ms。测试版本在OpenRouter总调用量已跻身全球前三。
此次公开的部署细节显示,加速矩阵运算。
Tags:
相关文章
岚图卢放:十五五期间岚图要世界小有名气 让更多人看到东方美
产品中心9月23日消息,昨晚,岚图梦想家9正式上市,而这也是全球首款带升降立标的MPV。发布会后,岚图汽车董事长卢放在接受采访时表示,希望未来岚图在十五五期间成为世界小有名气的品牌,让更多人能体验到中国高端新 ...
【产品中心】
阅读更多创维壁纸电视Q7H系列获“红点奖” 为壁纸美学再添重量级注脚
产品中心有着“设计界奥斯卡”之称的德国红点奖Red Dot Design Award),一直以来都是全球最具权威性的设计奖项之一,能够获得该奖的产品,其设计不仅要超越平庸,更要具备与人 ...
【产品中心】
阅读更多《黑旗RE》DLSS 5实测:暖光变冷色调 5080狂掉40帧
产品中心近日,技术社区利用从《NBA 2K27》测试版中意外泄露的DLSS 5动态链接库nvngx_dlssnr.dll),通过RenoDX插件将其注入《刺客信条:黑旗 记忆重置》中,完成了这项前沿AI渲染技 ...
【产品中心】
阅读更多