用eval_mteb.py算出来的mteb指标和Leaderboard展示的差距很大,不清楚为什么?

#16
by YangGuang30 - opened

只算了中文的retrievel任务MMarcoRetrieval: 0.4945
DuRetrieval: 0.38997

可能是你没有加Instruction到query前面

Alibaba-NLP org

我们最新更新了eval_mteb的脚本,可以用新的脚本测试一下

Sign up or log in to comment