用eval_mteb.py算出来的mteb指标和Leaderboard展示的差距很大,不清楚为什么?
#16
by
YangGuang30
- opened
只算了中文的retrievel任务MMarcoRetrieval: 0.4945
DuRetrieval: 0.38997
可能是你没有加Instruction到query前面
我们最新更新了eval_mteb的脚本,可以用新的脚本测试一下
只算了中文的retrievel任务MMarcoRetrieval: 0.4945
DuRetrieval: 0.38997
可能是你没有加Instruction到query前面
我们最新更新了eval_mteb的脚本,可以用新的脚本测试一下