“天工2.0”MoE大模型发布

2024-02-22 10:19:56 来源: 中国网科技

　　“天工AI”国内首个MoE架构免费向C端用户开放的大语言模型应用全新问世

　　北京时间2月6日，昆仑万维正式发布新版MoE大语言模型“天工2.0”与新版“天工AI智能助手”APP，这是国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用。用户即日起可在各手机应用市场下载“天工AI智能助手”APP，体验昆仑万维“天工2.0”MoE大模型的卓越性能。

　　“天工2.0”是昆仑万维自去年4月发布双千亿级大语言模型“天工”以来的最大规模版本升级，其采用业内顶尖的MoE专家混合模型架构，应对复杂任务能力更强、模型响应速度更快、训练及推理效率更高、可扩展性更强。

　　此次更新全面升级了AI搜索、对话、阅读、创作的回答质量与响应速度，搭载强大的多模态能力，支持图文对话、文生图等多模态应用，支持最高100K的超长上下文窗口(超过15万个汉字)，并新增了AI绘画、数据分析、AI伴侣、AI算命、热梗百科等多项新兴玩法，让AI更聪明、更实用、更有趣，成为每个人日常生活中的全能AI小助手。

　　昆仑万维致力于人工智能模型算法的创新与开拓，不断探索通用人工智能技术前沿。除了双千亿级大语言模型“天工”、MoE专家混合大模型“天工2.0”外，昆仑万维还围绕“天工”系列大模型，推出了百亿级开源大语言模型系列“天工Skywork-13B”、AI Agent开发平台“天工SkyAgents”、多模态大语言模型“天工Skywork-MM”等前沿AI产品，并已逐步构建起AI大模型、AI搜索、AI音乐、AI Story、AI游戏等AI业务矩阵，是国内模型技术与工程能力最强、布局最全面的人工智能大模型企业之一。

　　MoE：全球顶尖的大模型核心技术路径

　　MoE(Mixture-of-Experts，专家混合模型)是当前大语言模型赛道技术最顶尖、研发最前沿的底层架构，是全球最领先的大模型核心技术路径之一。

　　自2023年6月以来，昆仑万维不断针对MoE架构技术最前沿进行研发探索，并成功发布国内首个搭载MoE架构并面向全体C端用户免费开放的千亿级参数大语言模型AI应用——“天工AI智能助手”APP。

　　“天工AI智能助手”以昆仑万维“天工2.0”MoE大模型为核心技术引擎，其技术原理是将复杂的大模型任务拆解为多个更小、更细分的子任务，每个子任务都由垂直领域的专家模型处理，从而使得昆仑万维“天工2.0”不仅大幅提高了模型训练与推理的性能和效率，更能实现多个垂直领域的知识融合，使模型能够更好地理解和处理不同应用场景下的复杂问题，为用户提供更准确、更全面的回答方案。

　　同时，昆仑万维技术团队更是通过一系列针对性的MoE技术攻关，在投入大量研发训练资源后，最终解决了困扰整个MoE产业的模型不收敛、特定任务泛化效果较差等核心性能问题，使“天工2.0”的模型性能得到显著提升。

　　模型性能更强、速度更快、架构更灵活

　　“天工2.0”的技术领先性体现在其核心MoE架构的卓越优势。MoE架构主要由门控模型/路由器(Gating Model/Router)和一组专家模型(Experts Models)构成，当数据输入门控模型/路由器时，系统会根据任务类型将每个token分配给一个或多个专家模型，使得每个专家模型可以专注于处理该部分数据，从而获得模型性能的整体提升。

　　较之传统大模型架构，“天工2.0”具有以下优势：

　　1.应对复杂任务能力更强：“天工2.0”MoE模型集成了多个专家模型，每个专家模型都能针对不同的数据分布和构建模式进行搭建，从而显著提升大模型在各个细分领域的专业能力，整体模型通过整合各自专家模型的输出结果，使得“天工2.0”在处理复杂任务、多模态任务时拥有显著性能提升。

　　2.速度更快、效率更高：由于MoE模型推理计算过程中只有少数特定专家模型被激活，相较于同等参数规模的稠密模型，“天工2.0”MoE模型呈现出极高的稀疏性，使其拥有更高的推理计算效率，从而让用户获得更快的AI响应速度。

　　3.灵活、多样、可扩展性更强：一方面，模型稀疏性使得“天工2.0”能够在不增加计算量的前提下显著扩张模型规模，在同等计算资源下获得更强的模型性能；另一方面，通过增加专家模型数量、调整专家模型的权重配比，“天工2.0”能够极大丰富模型的可扩展性，构建更为灵活、多样、可扩展性更强的新时代大模型。

　　“天工AI智能助手”APP全面升级

　　“天工AI智能助手”APP基于昆仑万维自研“天工”系列大模型打造，是一款能搜、能聊、能写、能画的AI智能助手，其拥有强大的自然语言处理和智能交互能力，能够实现个性化AI搜索、智能问答、AI绘画、聊天互动、文本生成、编写代码、语言翻译等多种应用场景，并且具有丰富的知识储备。

　　伴随着“天工2.0”大模型的重磅升级，“天工AI智能助手”也迎来了版本的全面更新。

　　1.强大的多模态能力：“天工AI智能助手”所采用的多模态大模型基于一体化的开发策略，在底座模型的基础上进行深入开发与优化，引入多分辨率的视觉编码器和强大的语言基座模型，使其能够支持任意尺寸的图片输入和复杂的用户指令。

　　在强大的多模态大模型能力加持下，新版“天工AI智能助手”具备优秀的视觉理解、推理和指令遵循能力，能够满足图文对话、图文创作、知识问答等多种用户需求。同时，得益于模型杰出的理解能力，新版“天工AI智能助手”生成的图像在内容丰富度、精细度和图像质量上均表现卓越。

　　与此同时，在强大的多模态能力加持下，“天工AI智能助手”还能生成图文并茂的答案内容，让用户问出“螺蛳粉怎么做？”“怎么用吉他弹《稻香》？”“2024春节放假安排？”这类问题时能够得到图像/视频辅助呈现，使得AI回答的结果更直观，内容更丰富。

　　2.支持100K超长上下文窗口：“天工AI智能助手”的超长上下文窗口技术基于100K原生文本进行训练，能够支持最高100K(超过15万汉字)的文本对话，并能够通过扩展技术可以支持200K超长文档理解。在InfiniteBench评测中，“天工”系列大模型多项指标全球第一，10项指标平均分47.5分，超过Claude2，接近GPT4-128k的52.6分。

　　在针对超长上下文模型的“大海捞针”测试中，研究人员会在海量的文档集里面插入特定信息，然后对文档集进行提问，期待模型能从“茫茫文海”中找出正确的关键信息，以验证模型的长上下信息提取能力。在“大海捞针”测试中，“天工”模型取得了100%正确结果。

　　3.搜得更准、写得更好、读得更快：新版“天工AI智能助手”拥有更强大的关键词与语义分析能力更精准识别用户任务需求，在AI搜索、对话、阅读、创作等不同应用场景中，都能针对用户的不同需求提供更准确、更具体的回答与追问建议。同时，新版“天工AI智能助手”AI搜索质量、安全能力、答案丰富程度都进一步提高。

　　例如，在“天工AI智能助手”中，用户可使用“AI阅读”功能快速提炼总结文献内容，并针对文献内容细节进行追问，得到快速、准确、具体的答案内容。