推广 热搜: 山东  高仿  济南  负压管道除菌过滤器  包装  机械  合明科技  认证流程  IGBT清洗  负压除菌过滤器 

中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源

   日期:2024-06-19     浏览:1    
核心提示:中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源每日经济新闻2024-06-19 12:396月19日,《每日经济新闻》记
 中国电信发布单体稠密万亿参数语义模型 用了普通训练方案9%的算力资源
 

6月19日,《每日经济新闻》记者从中国电信处获悉,近日,中国电信人工智能研究院(TeleAI)联合北京智源人工智能研究院发布了全球首个单体稠密万亿参数语义模型Tele-FLM-1T,成为国内首批发布稠密万亿参数大模型的机构。

《每日经济新闻》记者了解到,针对大模型训练算力消耗高的问题,TeleAI与智源基于模型生长和损失预测等关键技术联合研发出的Tele-FLM系列模型,仅使用了业界普通训练方案9%的算力资源,基于112台A800服务器,用时4个月完成了3个模型总计2.3T tokens的训练。

中国电信方面透露,Tele-FLM-1T版本即将开源,期望为社区训练万亿稠密模型提供技术参考,避免万亿模型训练收敛难等问题。

据悉,作为最早布局并首先开源大模型的央企机构,TeleAI去年发布了千亿参数“星辰”语义大模型;今年2月,TeleAI自主研发的星辰大模型首次通过了“境内深度合成服务算法备案”。今年5月15日,根据北京市生成式人工智能服务备案信息公告,星辰大模型再次通过产品备案。“双备案”标志着星辰大模型可正式对外提供生成式人工智能服务。

开源方面,TeleAI已接连开源7B、12B、52B参数规模大模型。随着TeleChat系列模型的发布,TeleAI还同步对多个大模型落地项目进行了能力升级,如在某市民生诉求场景项目上,通过引入TeleChat-52B模型能力,整体应用效果提升40%。

                                             每日经济新闻

 
特别提示:本信息由相关企业和个人自行提供,真实性未证实,仅供参考。请谨慎采用,风险自负。
打赏
 
更多>同类新闻

推荐图文
推荐新闻
点击排行

网站首页  |  关于我们  |  联系方式  |  使用协议  |  版权隐私  |  网站地图  |  排名推广  |  广告服务  |  积分换礼  |  RSS订阅  |  违规举报  |  鲁ICP备17028834号-2
联系本站 客服QQ群1: 335698955 客服QQ群2:212962348 客服QQ:点击这里给我发消息 E-mail:qiduow@163.com
CopyRight 2009-2020 Abcde.Com All Rights Reserved. Powered by 奇多资讯网 51LA统计
Powered By QIDUOWANG Powered By QINDOWANG