什么是 MTEB 排行榜?
MTEB(Massive Text Embedding Benchmark)是目前最权威的文本嵌入模型评测基准之一,由 Hugging Face 社区维护。该排行榜实时展示了在 100 多个数据集、8 大任务(检索、重排序、语义相似度、分类、聚类、摘要等)上,全球数千个模型的性能排名。
核心功能
- 多维评分:提供 nDCG@10、MAP、Spearman 等标准化指标。
- 一键复现:每行结果都附带可运行的 notebook 与配置。
- 模型对比:勾选任意模型即可生成并排对比图表。
- 动态更新:社区提交新结果后 24 h 内自动刷新榜单。
适用人群
- 研究者:寻找当前 SOTA 模型与可复现的基线。
- 工程师:按任务类型快速筛选最适合的生产模型。
- 学生:理解不同架构、尺寸、训练数据对性能的影响。
使用指南
- 进入排行榜后,通过顶部过滤器选择任务、语言或模型规模。
- 点击模型名称跳转至 Hugging Face Model Card,查看详细说明与下载。
- 使用“Submit”按钮上传自己的评测结果,成为排行榜贡献者。