腾讯自研！混元大模型正式亮相：拥有强大的中国创作能力，通过腾讯云对外开放

9月7日消息今日在2023腾讯全球数字生态大会上，腾讯混元大模型正式亮相并宣布已通过腾讯云对外开放。

据了解，腾讯混元大模型是腾讯全联自主研发的通用大语言模型。参数规模超千亿，预训练语料超2万亿。中文创作能力强，语言复杂。环境下的逻辑推理能力，以及可靠的任务执行能力。

从参数优先到实用优先

值得注意的是，腾讯的混元模式是“来自实践，去实践”的实用级模式。 腾讯云、腾讯广告、腾讯游戏、腾讯金融科技、腾讯会议、腾讯文档、微信搜一搜、QQ浏览器等50多个腾讯业务和产品已接入腾讯混元大模型进行测试，并取得初步成效。

据了解，混元大模型将作为腾讯云MaaS服务的基础。客户不仅可以通过API直接调用混元，还可以以混元为基础模型，构建针对不同行业场景的专属应用。

腾讯集团高级执行副总裁、云与智慧产业群CEO唐道生表示：“以大模型生成技术为核心，人工智能正在成为下一轮数字化发展的关键驱动力，也为行业痛点带来解决方案。一种新的思维方式。大模型需要基于行业场景，与企业数据融合，才能释放最大价值。”

自主研发全链路技术

腾讯集团副总裁姜杰表示，腾讯混元大模型从第一个代币开始就从零开始训练，掌握了从模型算法到机器学习框架再到AI基础设施的全链路自研技术。

腾讯集团副总裁蒋杰

2021年开始，腾讯陆续推出千亿、万亿参数的大规模NLP稀疏模型，打破三大CLUE榜单记录，实现中文理解能力新突破。

目前业界大模型的应用还局限于场景，主要集中在容错性高、任务简单的休闲场景。腾讯在算法层面进行了一系列自研创新，提高模型的可靠性和成熟度。

针对大模型容易出现“乱码”的问题，腾讯优化了预训练算法和策略，相比主流开源大模型减少了30%~50%的混元大模型错觉；通过强化学习的方法，让模型学会识别陷阱问题；通过位置编码优化，提高超长文档的处理效果和性能；提出了一种新的思维链策略，让大型模型能够像人类一样根据实际应用场景进行推理和决策。

此外，腾讯还开发了自己的机器学习框架Angel，相比业界主流框架，训练速度提升一倍，推理速度提升1.3倍。

腾讯混元大模型完全自主研发

得益于全链路自研技术，腾讯混元大模型能够理解上下文含义，并具备记忆长文本的能力，使其能够顺利进行专业领域的多轮对话。此外，还可以创作文学创作、文本摘要、角色扮演等内容，充分了解用户意图，高效准确地提供及时响应。

在中国信息通信研究院标准符合性测试《大规模预训练模型技术和应用的评估方法》中，混元大模型评估了共66项能力项目，在“模型开发”和“模型”两个重要领域进行了综合评价能力”获得了当前最高分。在主流评估集MMLU、CEval和AGI-eval上，混元大模型表现出色，尤其是在语文、高考题和数学方面。

上海财经大学校长刘元春认为：“借助全链路自研，我国将不断积累大模型相关的人才和技术，逐步形成系统化的产业链，人才链、技术链、创新链，最终走出一条发展通用人工智能的中国道路，将帮助我们在数字技术创新方面取得突破性进展。”

腾讯全面拥抱大模特

蒋杰表示：“我们开发大模型的目的不是为了在评测中获得高分，而是将技术应用到实际场景中。腾讯将全面拥抱大模型。”

在本次大会上，姜杰演示了腾讯会议、腾讯文档、腾讯广告等业务接入腾讯混元大模型后的实际应用。

比如腾讯会议基于混元大模型打造了AI助手。只需简单的自然语言指令即可完成会议信息提取、内容分析等复杂任务，还可以在会后生成智能摘要纪要。根据实测，混元大模型在指令理解、会议中问答、会议总结、会议待办事项等多个方面都取得了较高的用户采用率。

腾讯混元大模型在腾讯会议中的应用

在文档处理方面，腾讯的混元大模型支持数十种文本创作场景，并已应用于腾讯文档推出的智能助手功能中。 同时，混元还可以一键生成标准格式文本，精通上百种Excel公式，支持自然语言生成功能，根据表格内容生成图表。目前这些功能均处于内测阶段，成熟后将向用户开放。打开。

在广告业务场景中，腾讯混元大模型支持智能广告素材创作，可适应行业和地域特征，满足千人需求，实现文字、图片、视频的自然融合。此外，基于混元大模型的能力，广告智能导购可以帮助商家在企业微信等场景中提升服务质量和效率。

腾讯混元大模型在腾讯广告中的应用

据了解，今年6月，腾讯云推出模型即服务（MaaS）解决方案，提供涵盖模型预训练、模型微调、智能应用开发等一站式行业大模型服务。

近期，腾讯云也全面融入了Llama 2、Bloom等20余款主流机型。和混元一样，都支持直接部署、直接调用。客户可以根据实际需求，基于混元或开源模型创建自己的专属行业模型。