16点聊电商:元象开源650亿参数大模型:全链条自研 免费商用

2023-11-06 16:28 | 来源:亿邦动力 | 作者:胡镤心 | [电商] 字号变大| 字号变小


 元象同时提供模型训练、推理、部署、精调等全方位技术服务,赋能文娱、金融、医疗等各行各业,帮助在智能客服、创意写作、精准推荐等多场景打造行业领先的用户体验...

        【亿邦原创】11月6日,元象XVERSE公司宣布开源650亿参数高性能通用大模型XVERSE-65B,无条件免费商用,业界尚属首次。XVERSE-13B模型全面升级,提高“小”模型能力上限。这将让海量中小企业、研究者和AI开发者更早一步实现“大模型自由”,根据其算力、资源限制和具体任务需求,自由使用、修改或蒸馏元象大模型,推动研究与应用的突破创新。

        元象XVERSE创始人姚星表示:“面对研发时间紧、算力持续短缺等挑战,团队依靠丰富经验,三个月内研发出多款高性能7B、13B模型,并最早为社区献上一个‘大有可为’的65B模型,为研究、商业及生态创造三重价值。”

        XVERSE-65B底座模型在2.6万亿Tokens的高质量数据上从头训练,上下文窗口扩展至16K,支持中、英、俄、法等40多种语言。

        65B模型的性能主要表现在三方面:

        一、理解、生成、推理和记忆等基础能力,到模型的多样性、创造性和精度表现,从优异到强大;

        二、扩展了工具调用、代码解释、反思修正等能力,为构建智能体(AI Agent)奠定技术基础,提高模型实用性;

        三、显著缓解7B、13B中常见且可能很严重的幻觉问题,减少大模型“胡说八道”,提高准确性和专业度。

        元象大模型系列均为全链条自研,涵盖多项关键技术与研发创新。

复杂分布式系统设计:

借鉴团队研发腾讯围棋AI“绝艺”、王者荣耀AI“绝悟”等大系统上的丰富经验,自研高效算子、显存优化、并行调度策略、数据-计算-通信重叠、平台与框架协同等关键技术,打造高效稳定的训练系统,千卡集群峰值算力利用率达58.5%,位居业界前列。

全面提升性能:

65B训练中采用FlashAttention2加速计算,3D并行基础上采用虚拟流水线(virtual pipeline)技术,降低较长流水线产生过高气泡率,提升计算推理效率;上下文窗口长度从8K逐步提升到16K,使其不仅能出色完成复杂任务,包括长文理解、长文生成和超长对话,还拓展了工具调用、代码解释及反思修正能力,能更好构建智能体(AI Agent)。

极致提升训练稳定性:

因计算量庞大,通信拥塞、芯片过热或计算节点故障成为65B训练常态,初期出现过一周最高八次故障的情况。通过集群基础设施运营、资源调度、训练框架和调度平台协同等持续优化,元象打造出高稳定、低中断、强容错的训练系统,将每周有效训练率提升至98.6%。

        目前,元象大模型可在Github、Hugging Face、魔搭ModelScope等多平台搜索“XVERSE”下载,简单登记后即可无条件免费商用,能满足中小企业、科研机构和个人开发者绝大部分的应用与迭代需求。

        元象同时提供模型训练、推理、部署、精调等全方位技术服务,赋能文娱、金融、医疗等各行各业,帮助在智能客服、创意写作、精准推荐等多场景打造行业领先的用户体验。

        2023年10月,腾讯音乐率先宣布与元象大模型建立战略合作,共同推出lyraXVERSE加速大模型、全面升级其音乐助手“AI小琴”,未来还将持续探索AI与3D前沿技术,引领音乐娱乐创新方向。

        姚星表示:“真实世界的感知智能(3D),与真实世界的认知智能(AI),是探索通用人工智能(AGI)的必由之路,也是元象持续探索前沿科技的动力。XVERSE开源系列致力于推动大模型国产可替代与持续技术创新,为实体经济、数字经济发展注入强劲动力。我们期待与企业和开发者携手,共同开启大模型应用新时代!”

电鳗快报


1.本站遵循行业规范,任何转载的稿件都会明确标注作者和来源;2.本站的原创文章,请转载时务必注明文章作者和来源,不尊重原创的行为我们将追究责任;3.作者投稿可能会经我们编辑修改或补充。

相关新闻

信息产业部备案/许可证编号: 京ICP备17002173号-2  电鳗快报2013-2023 www.dmkb.net

  

电话咨询

关于电鳗快报

关注我们