司南OpenCompass

OpenCompass是什么？

OpenCompass（司南）是由上海人工智能实验室推出的权威大型模型评估平台，提供一站式评测服务，涵盖知识、语言、理解、推理、安全等多维度能力评估。它支持超过70个数据集和20+主流模型（如HuggingFace、API模型），通过分布式高效评测技术实现任务并行处理，大幅提升效率。平台还内置Zero-Shot、Few-Shot等多种评估范式，并生成可视化报告，为模型优化提供数据支持。

该平台创新性地采用客观评测与主观评测相结合的体系，客观评测通过困惑度（ppl）或生成式（gen）量化模型表现，主观评测则借助人类或大模型模拟打分。其推出的Compass Arena竞技场支持匿名模型对战，覆盖27个主流大模型，通过双盲测试消除品牌偏见。工具层提供CompassHub评测集、CompassRank榜单和CompassKit全栈工具链，推动评测标准化。

OpenCompass的功能有哪些？

• 综合榜单展示：提供大语言模型（LLM）和多模态大模型（如视觉语言模型）的月度榜单，展示平均分数及细粒度指标（如MMBench、MathVista等）。
• 动态更新机制：支持社区提交评测结果，榜单实时更新，确保透明性和公正性。
• 基准测试资源导航：汇集创新性基准测试资源，支持用户上传和共享自定义评测数据集。
• 灵活扩展性：用户可新增数据集、自定义任务分割策略，或接入新集群管理系统。
• 视觉语言模型评测：通过MMBench等数据集，评估图像理解、目标检测、关系推理等20余项细分能力。
• 评测工具链（CompassKit）：提供开源评测框架，支持评测集自动下载、多后端推理加速（如LMDeploy、vLLM）及API模型兼容。
• 完整文档资源：包括安装指南、配置教程、数据集说明及开源代码，支持一键复现评测结果。
• 多维度评估：覆盖知识、语言、理解、推理、考试五大能力维度，整合超70个评测数据集，提供超40万题的评测方案。
• 模型支持：支持超20种开源模型（如HuggingFace模型）及API模型（如ChatGPT、GPT-4）的评测，预留接口支持自定义模型接入。
• 分布式评测：通过任务分割和并行计算技术，千亿参数模型全量评测仅需数小时。
• 多样化评测范式：支持零样本、小样本、思维链评测，结合标准或对话型提示词模板，激发模型性能。

OpenCompass适合哪些人用？

• AI 研究人员与工程师：需要量化评估大模型在知识、语言、理解、推理等维度的能力，或对比不同模型的性能差异。
• 学术机构与科研团队：需要权威、中立的评测数据支持论文研究或模型优化。
• 企业技术决策者：需为大模型技术选型（如开源模型 vs. API 模型）提供客观依据，或评估自研模型的商业化潜力。
• 开发者与开源社区：希望快速接入新模型或数据集，或参与社区贡献（如提交评测集、优化提示词模板）。
• 教育机构与学习者：用于教学或学习大模型评测方法，理解不同模型能力的边界。
• 技术爱好者与开源贡献者：关注大模型技术前沿动态，或希望参与评测基准的创新。