Youtu-Embedding：腾讯开源的企业级通用文本表示模型，加速RAG落地

Youtu-Embedding是什么

Youtu-Embedding是腾讯优图实验室于2025年10月正式开源的面向企业级应用的通用文本表示模型，可同时胜任文本检索、意图理解、相似度判断、分类聚类等六大主流任务。 作为一款业界领先的文本嵌入模型，它在信息检索（IR）、语义相似度（STS）、聚类、重排序和分类等各类自然语言处理任务上均展现出卓越性能。 在权威的中文文本嵌入评测基准CMTEB上，以77.58的高分荣登榜首（截至2025年9月），证明了其强大的表征能力。

该模型采用”LLM基础预训练 → 弱监督对齐 → 协同-判别式微调“的精密三阶段训练流程，系统性地将大模型的广博知识转化为专用于嵌入任务的判别能力。 更重要的是，研发团队设计了统一数据格式、任务差异化损失函数和动态单任务采样机制，成功解决了多任务学习中的”负迁移”难题，实现了多任务的稳定协同训练。 模型支持即插即用和基于业务数据的定制化训练，并可集成到LangChain、LlamaIndex等主流框架，特别适合构建RAG检索增强生成系统。

Youtu-Embedding有什么主要功能

• 文本检索: 快速从海量文本中检索出与查询内容最相关的文本片段，适用搜索引擎、知识库检索等场景
• 意图理解: 精准识别用户输入的意图，帮助构建智能客服系统，更好地理解用户需求
• 相似度判断: 准确判断文本之间的语义相似性，支持多种语义表达形式的比较分析
• 文本分类: 将文本自动归类到预定义的类别中，提升内容管理和组织效率
• 文本聚类: 对大量文本进行自动分组，发现潜在的主题和模式
• 重排序功能: 根据相关性对检索结果进行优化排序，提升信息获取的准确性

Youtu-Embedding的技术原理

• 三阶段训练架构: 先锋性地采用了”LLM基础预训练 → 弱监督对齐 → 协同-判别式微调”的训练管道，系统性地将大语言模型的广博知识提炼成嵌入任务所需的专门判别能力
• 协同判别式微调框架(CoDiEmb): 基于腾讯自研的CoDi框架进行训练，通过统一数据格式、任务差异化损失函数及动态单任务采样机制，使模型能够以更小的参数规模和更低的训练成本在多个任务上实现全面收敛
• 动态单任务采样器: 为防止混合任务批次的梯度干扰，实施了自定义动态采样器，确保在单次训练迭代中，所有GPU处理同一数据集的非重叠分片，为模型提供纯净稳定的梯度信号
• 20亿参数规模: 首个发布的模型版本拥有2B（20亿）参数，在保证性能的同时兼顾了计算效率
• 多任务统一训练: 通过创新的框架设计，成功避免了传统模型在新领域容易出现的”负迁移”问题

Youtu-Embedding的官网或项目地址

• GitHub仓库: https://github.com/TencentCloudADP/youtu-embedding
• HuggingFace模型库: https://huggingface.co/tencent/Youtu-Embedding
• 技术论文: https://arxiv.org/pdf/2508.11442
• 腾讯云API接入: 通过腾讯云API服务可直接调用模型能力，详见腾讯云API文档
• 官方介绍页面: https://youtu-embedding-v1.github.io/

Youtu-Embedding的使用场景有哪些

Youtu-Embedding可广泛应用于以下场景：

• 企业级智能客服: 快速理解用户问题并从知识库中精准检索答案，提升客服效率和用户体验
• 知识库管理: 对海量知识文档进行分类、聚类和相似度判断，帮助高效整理和检索知识库内容
• 智能问答系统: 精准匹配用户问题与知识库中的答案，支持多种语义表达，提升问答系统的准确性和响应速度
• 内容推荐: 通过判断文本相似度，为用户推荐相关性高的内容，提升内容分发的精准度
• RAG检索增强生成: 在RAG系统中负责将用户问题和知识库文档转化为向量，计算相似度找到最相关文档，为生成模型提供高质量的上下文
• 金融风控分析: 分析文本中的风险信号，辅助金融机构进行合规检查和风险评估
• 学术研究辅助: 帮助研究人员快速检索相关文献，发现研究领域的关联性