7月3日,摩尔线程宣布,将其夸娥(KUAE)智算集群解决方案(下称“夸娥”)的GPU(图形处理器)规模从千卡级别扩展至万卡。
万卡级别的夸娥具备万P级算力(1P算力等于每秒1千万亿次浮点运算),专为万亿参数的大模型训练而设计。摩尔线程创始人兼CEO张建中说,在AI主战场,万卡已是最低标配。
张建中说,在建设智算中心的时候,单点集群至少得是几万卡,否则很难训练出一个世界级的高质量大模型。他举例,从单点集群看,美国人工智能研究公司OpenAI已经做到5万张卡左右,谷歌是2.6万张卡,Meta公司是2.45万张卡,国内目前还相对落后。
与此同时,企业的大模型的准确度和精度都是客户选择的重要标准,所以模型的参数量和数据量越大越好。大模型也在不停地迭代,参与大模型竞争的用户都希望能在两周或最少一个月内完成大模型的迭代。这些都需要更高的算力。
张建中说,建设万卡集群需要攻克超大规模组网互连、稳定运行、生态兼容和资金等方面的问题,是一个很难的系统工程,摩尔线程花了4年才完成。在他看来,摩尔线程不能只做一家GPU芯片公司,而是要成为一家系统平台公司。
当天,摩尔线程联合中国移动通信集团青海有限公司、中国联通青海公司、北京德道信科集团、中国能源建设股份有限公司总承包公司、桂林华崛大数据科技有限公司,分别就三个万卡集群项目进行了战略签约。
公开信息显示,摩尔线程成立于2020年10月,是一家以GPU芯片设计为主的集成电路高科技公司,其创始人张建中曾担任英伟达全球副总裁、中国区总经理。2023年12月,基于MTTS4000大模型智算加速卡,摩尔线程推出了以夸娥智算集群为核心的智算中心产品组合,以打造大模型和通用人工智能的算力基础设施。