什麼是 MTEB 排行榜?
MTEB(Massive Text Embedding Benchmark)是目前最權威的文本嵌入模型評測基準之一,由 Hugging Face 社區維護。該排行榜實時展示了在 100 多個數據集、8 大任務(檢索、重排序、語義相似度、分類、聚類、摘要等)上,全球數千個模型的性能排名。
核心功能
- 多維評分:提供 nDCG@10、MAP、Spearman 等標準化指標。
- 一鍵復現:每行結果都附帶可運行的 notebook 與配置。
- 模型對比:勾選任意模型即可生成並排對比圖表。
- 動態更新:社區提交新結果後 24 h 內自動刷新榜單。
適用人羣
- 研究者:尋找當前 SOTA 模型與可復現的基線。
- 工程師:按任務類型快速篩選最適合的生產模型。
- 學生:理解不同架構、尺寸、訓練數據對性能的影響。
使用指南
- 進入排行榜後,通過頂部過濾器選擇任務、語言或模型規模。
- 點擊模型名稱跳轉至 Hugging Face Model Card,查看詳細說明與下載。
- 使用“Submit”按鈕上傳自己的評測結果,成爲排行榜貢獻者。