|
BM25 |
0.368 |
0.418 |
0.140 |
0.284 |
0.376 |
0.212 |
0.285 |
0.316 |
0.389 |
0.528 |
0.401 |
|
0.338 |
|
|
Command to generate run:
python -m pyserini.search.lucene \
--language ar \
--topics mrtydi-v1.1-arabic-test \
--index mrtydi-v1.1-arabic \
--output run.mrtydi.bm25.ar.test.txt \
--batch 36 --threads 12 \
--bm25 --hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-arabic-test \
run.mrtydi.bm25.ar.test.txt
Command to generate run:
python -m pyserini.search.lucene \
--language bn \
--topics mrtydi-v1.1-bengali-test \
--index mrtydi-v1.1-bengali \
--output run.mrtydi.bm25.bn.test.txt \
--batch 36 --threads 12 \
--bm25 --hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-bengali-test \
run.mrtydi.bm25.bn.test.txt
Command to generate run:
python -m pyserini.search.lucene \
--language en \
--topics mrtydi-v1.1-english-test \
--index mrtydi-v1.1-english \
--output run.mrtydi.bm25.en.test.txt \
--batch 36 --threads 12 \
--bm25 --hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-english-test \
run.mrtydi.bm25.en.test.txt
Command to generate run:
python -m pyserini.search.lucene \
--language fi \
--topics mrtydi-v1.1-finnish-test \
--index mrtydi-v1.1-finnish \
--output run.mrtydi.bm25.fi.test.txt \
--batch 36 --threads 12 \
--bm25 --hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-finnish-test \
run.mrtydi.bm25.fi.test.txt
Command to generate run:
python -m pyserini.search.lucene \
--language id \
--topics mrtydi-v1.1-indonesian-test \
--index mrtydi-v1.1-indonesian \
--output run.mrtydi.bm25.id.test.txt \
--batch 36 --threads 12 \
--bm25 --hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-indonesian-test \
run.mrtydi.bm25.id.test.txt
Command to generate run:
python -m pyserini.search.lucene \
--language ja \
--topics mrtydi-v1.1-japanese-test \
--index mrtydi-v1.1-japanese \
--output run.mrtydi.bm25.ja.test.txt \
--batch 36 --threads 12 \
--bm25 --hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-japanese-test \
run.mrtydi.bm25.ja.test.txt
Command to generate run:
python -m pyserini.search.lucene \
--language ko \
--topics mrtydi-v1.1-korean-test \
--index mrtydi-v1.1-korean \
--output run.mrtydi.bm25.ko.test.txt \
--batch 36 --threads 12 \
--bm25 --hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-korean-test \
run.mrtydi.bm25.ko.test.txt
Command to generate run:
python -m pyserini.search.lucene \
--language ru \
--topics mrtydi-v1.1-russian-test \
--index mrtydi-v1.1-russian \
--output run.mrtydi.bm25.ru.test.txt \
--batch 36 --threads 12 \
--bm25 --hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-russian-test \
run.mrtydi.bm25.ru.test.txt
Command to generate run:
python -m pyserini.search.lucene \
--language sw \
--topics mrtydi-v1.1-swahili-test \
--index mrtydi-v1.1-swahili \
--output run.mrtydi.bm25.sw.test.txt \
--batch 36 --threads 12 \
--bm25 --hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-swahili-test \
run.mrtydi.bm25.sw.test.txt
Command to generate run:
python -m pyserini.search.lucene \
--language te \
--topics mrtydi-v1.1-telugu-test \
--index mrtydi-v1.1-telugu \
--output run.mrtydi.bm25.te.test.txt \
--batch 36 --threads 12 \
--bm25 --hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-telugu-test \
run.mrtydi.bm25.te.test.txt
Command to generate run:
python -m pyserini.search.lucene \
--language th \
--topics mrtydi-v1.1-thai-test \
--index mrtydi-v1.1-thai \
--output run.mrtydi.bm25.th.test.txt \
--batch 36 --threads 12 \
--bm25 --hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-thai-test \
run.mrtydi.bm25.th.test.txt
|
|
mDPR (split encoders), pre-FT w/ NQ |
0.291 |
0.291 |
0.291 |
0.205 |
0.271 |
0.212 |
0.234 |
0.282 |
0.188 |
0.110 |
0.171 |
|
0.231 |
|
|
Command to generate run:
python -m pyserini.search.faiss \
--encoder castorini/mdpr-question-nq \
--topics mrtydi-v1.1-arabic-test \
--index mrtydi-v1.1-arabic-mdpr-nq \
--output run.mrtydi.mdpr-split-pft-nq.ar.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-arabic-test \
run.mrtydi.mdpr-split-pft-nq.ar.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder castorini/mdpr-question-nq \
--topics mrtydi-v1.1-bengali-test \
--index mrtydi-v1.1-bengali-mdpr-nq \
--output run.mrtydi.mdpr-split-pft-nq.bn.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-bengali-test \
run.mrtydi.mdpr-split-pft-nq.bn.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder castorini/mdpr-question-nq \
--topics mrtydi-v1.1-english-test \
--index mrtydi-v1.1-english-mdpr-nq \
--output run.mrtydi.mdpr-split-pft-nq.en.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-english-test \
run.mrtydi.mdpr-split-pft-nq.en.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder castorini/mdpr-question-nq \
--topics mrtydi-v1.1-finnish-test \
--index mrtydi-v1.1-finnish-mdpr-nq \
--output run.mrtydi.mdpr-split-pft-nq.fi.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-finnish-test \
run.mrtydi.mdpr-split-pft-nq.fi.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder castorini/mdpr-question-nq \
--topics mrtydi-v1.1-indonesian-test \
--index mrtydi-v1.1-indonesian-mdpr-nq \
--output run.mrtydi.mdpr-split-pft-nq.id.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-indonesian-test \
run.mrtydi.mdpr-split-pft-nq.id.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder castorini/mdpr-question-nq \
--topics mrtydi-v1.1-japanese-test \
--index mrtydi-v1.1-japanese-mdpr-nq \
--output run.mrtydi.mdpr-split-pft-nq.ja.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-japanese-test \
run.mrtydi.mdpr-split-pft-nq.ja.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder castorini/mdpr-question-nq \
--topics mrtydi-v1.1-korean-test \
--index mrtydi-v1.1-korean-mdpr-nq \
--output run.mrtydi.mdpr-split-pft-nq.ko.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-korean-test \
run.mrtydi.mdpr-split-pft-nq.ko.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder castorini/mdpr-question-nq \
--topics mrtydi-v1.1-russian-test \
--index mrtydi-v1.1-russian-mdpr-nq \
--output run.mrtydi.mdpr-split-pft-nq.ru.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-russian-test \
run.mrtydi.mdpr-split-pft-nq.ru.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder castorini/mdpr-question-nq \
--topics mrtydi-v1.1-swahili-test \
--index mrtydi-v1.1-swahili-mdpr-nq \
--output run.mrtydi.mdpr-split-pft-nq.sw.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-swahili-test \
run.mrtydi.mdpr-split-pft-nq.sw.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder castorini/mdpr-question-nq \
--topics mrtydi-v1.1-telugu-test \
--index mrtydi-v1.1-telugu-mdpr-nq \
--output run.mrtydi.mdpr-split-pft-nq.te.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-telugu-test \
run.mrtydi.mdpr-split-pft-nq.te.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder castorini/mdpr-question-nq \
--topics mrtydi-v1.1-thai-test \
--index mrtydi-v1.1-thai-mdpr-nq \
--output run.mrtydi.mdpr-split-pft-nq.th.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-thai-test \
run.mrtydi.mdpr-split-pft-nq.th.test.txt
|
|
mDPR (tied encoders), pre-FT w/ NQ |
0.221 |
0.254 |
0.243 |
0.244 |
0.281 |
0.206 |
0.223 |
0.250 |
0.262 |
0.097 |
0.158 |
|
0.222 |
|
|
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-nq \
--topics mrtydi-v1.1-arabic-test \
--index mrtydi-v1.1-arabic-mdpr-tied-pft-nq \
--output run.mrtydi.mdpr-tied-pft-nq.ar.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-arabic-test \
run.mrtydi.mdpr-tied-pft-nq.ar.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-nq \
--topics mrtydi-v1.1-bengali-test \
--index mrtydi-v1.1-bengali-mdpr-tied-pft-nq \
--output run.mrtydi.mdpr-tied-pft-nq.bn.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-bengali-test \
run.mrtydi.mdpr-tied-pft-nq.bn.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-nq \
--topics mrtydi-v1.1-english-test \
--index mrtydi-v1.1-english-mdpr-tied-pft-nq \
--output run.mrtydi.mdpr-tied-pft-nq.en.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-english-test \
run.mrtydi.mdpr-tied-pft-nq.en.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-nq \
--topics mrtydi-v1.1-finnish-test \
--index mrtydi-v1.1-finnish-mdpr-tied-pft-nq \
--output run.mrtydi.mdpr-tied-pft-nq.fi.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-finnish-test \
run.mrtydi.mdpr-tied-pft-nq.fi.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-nq \
--topics mrtydi-v1.1-indonesian-test \
--index mrtydi-v1.1-indonesian-mdpr-tied-pft-nq \
--output run.mrtydi.mdpr-tied-pft-nq.id.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-indonesian-test \
run.mrtydi.mdpr-tied-pft-nq.id.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-nq \
--topics mrtydi-v1.1-japanese-test \
--index mrtydi-v1.1-japanese-mdpr-tied-pft-nq \
--output run.mrtydi.mdpr-tied-pft-nq.ja.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-japanese-test \
run.mrtydi.mdpr-tied-pft-nq.ja.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-nq \
--topics mrtydi-v1.1-korean-test \
--index mrtydi-v1.1-korean-mdpr-tied-pft-nq \
--output run.mrtydi.mdpr-tied-pft-nq.ko.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-korean-test \
run.mrtydi.mdpr-tied-pft-nq.ko.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-nq \
--topics mrtydi-v1.1-russian-test \
--index mrtydi-v1.1-russian-mdpr-tied-pft-nq \
--output run.mrtydi.mdpr-tied-pft-nq.ru.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-russian-test \
run.mrtydi.mdpr-tied-pft-nq.ru.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-nq \
--topics mrtydi-v1.1-swahili-test \
--index mrtydi-v1.1-swahili-mdpr-tied-pft-nq \
--output run.mrtydi.mdpr-tied-pft-nq.sw.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-swahili-test \
run.mrtydi.mdpr-tied-pft-nq.sw.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-nq \
--topics mrtydi-v1.1-telugu-test \
--index mrtydi-v1.1-telugu-mdpr-tied-pft-nq \
--output run.mrtydi.mdpr-tied-pft-nq.te.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-telugu-test \
run.mrtydi.mdpr-tied-pft-nq.te.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-nq \
--topics mrtydi-v1.1-thai-test \
--index mrtydi-v1.1-thai-mdpr-tied-pft-nq \
--output run.mrtydi.mdpr-tied-pft-nq.th.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-thai-test \
run.mrtydi.mdpr-tied-pft-nq.th.test.txt
|
|
mDPR (tied encoders), pre-FT w/ MS MARCO |
0.441 |
0.397 |
0.327 |
0.275 |
0.352 |
0.311 |
0.282 |
0.356 |
0.342 |
0.310 |
0.269 |
|
0.333 |
|
|
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco \
--topics mrtydi-v1.1-arabic-test \
--index mrtydi-v1.1-arabic-mdpr-tied-pft-msmarco \
--output run.mrtydi.mdpr-tied-pft-msmarco.ar.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-arabic-test \
run.mrtydi.mdpr-tied-pft-msmarco.ar.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco \
--topics mrtydi-v1.1-bengali-test \
--index mrtydi-v1.1-bengali-mdpr-tied-pft-msmarco \
--output run.mrtydi.mdpr-tied-pft-msmarco.bn.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-bengali-test \
run.mrtydi.mdpr-tied-pft-msmarco.bn.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco \
--topics mrtydi-v1.1-english-test \
--index mrtydi-v1.1-english-mdpr-tied-pft-msmarco \
--output run.mrtydi.mdpr-tied-pft-msmarco.en.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-english-test \
run.mrtydi.mdpr-tied-pft-msmarco.en.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco \
--topics mrtydi-v1.1-finnish-test \
--index mrtydi-v1.1-finnish-mdpr-tied-pft-msmarco \
--output run.mrtydi.mdpr-tied-pft-msmarco.fi.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-finnish-test \
run.mrtydi.mdpr-tied-pft-msmarco.fi.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco \
--topics mrtydi-v1.1-indonesian-test \
--index mrtydi-v1.1-indonesian-mdpr-tied-pft-msmarco \
--output run.mrtydi.mdpr-tied-pft-msmarco.id.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-indonesian-test \
run.mrtydi.mdpr-tied-pft-msmarco.id.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco \
--topics mrtydi-v1.1-japanese-test \
--index mrtydi-v1.1-japanese-mdpr-tied-pft-msmarco \
--output run.mrtydi.mdpr-tied-pft-msmarco.ja.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-japanese-test \
run.mrtydi.mdpr-tied-pft-msmarco.ja.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco \
--topics mrtydi-v1.1-korean-test \
--index mrtydi-v1.1-korean-mdpr-tied-pft-msmarco \
--output run.mrtydi.mdpr-tied-pft-msmarco.ko.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-korean-test \
run.mrtydi.mdpr-tied-pft-msmarco.ko.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco \
--topics mrtydi-v1.1-russian-test \
--index mrtydi-v1.1-russian-mdpr-tied-pft-msmarco \
--output run.mrtydi.mdpr-tied-pft-msmarco.ru.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-russian-test \
run.mrtydi.mdpr-tied-pft-msmarco.ru.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco \
--topics mrtydi-v1.1-swahili-test \
--index mrtydi-v1.1-swahili-mdpr-tied-pft-msmarco \
--output run.mrtydi.mdpr-tied-pft-msmarco.sw.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-swahili-test \
run.mrtydi.mdpr-tied-pft-msmarco.sw.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco \
--topics mrtydi-v1.1-telugu-test \
--index mrtydi-v1.1-telugu-mdpr-tied-pft-msmarco \
--output run.mrtydi.mdpr-tied-pft-msmarco.te.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-telugu-test \
run.mrtydi.mdpr-tied-pft-msmarco.te.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco \
--topics mrtydi-v1.1-thai-test \
--index mrtydi-v1.1-thai-mdpr-tied-pft-msmarco \
--output run.mrtydi.mdpr-tied-pft-msmarco.th.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-thai-test \
run.mrtydi.mdpr-tied-pft-msmarco.th.test.txt
|
|
mDPR (tied encoders), pre-FT w/ MS MARCO, FT w/ all |
0.695 |
0.623 |
0.492 |
0.559 |
0.578 |
0.501 |
0.486 |
0.516 |
0.644 |
0.891 |
0.618 |
|
0.600 |
|
|
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco-ft-all \
--topics mrtydi-v1.1-arabic-test \
--index mrtydi-v1.1-arabic-mdpr-tied-pft-msmarco-ft-all \
--output run.mrtydi.mdpr-tied-pft-msmarco-ft-all.ar.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-arabic-test \
run.mrtydi.mdpr-tied-pft-msmarco-ft-all.ar.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco-ft-all \
--topics mrtydi-v1.1-bengali-test \
--index mrtydi-v1.1-bengali-mdpr-tied-pft-msmarco-ft-all \
--output run.mrtydi.mdpr-tied-pft-msmarco-ft-all.bn.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-bengali-test \
run.mrtydi.mdpr-tied-pft-msmarco-ft-all.bn.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco-ft-all \
--topics mrtydi-v1.1-english-test \
--index mrtydi-v1.1-english-mdpr-tied-pft-msmarco-ft-all \
--output run.mrtydi.mdpr-tied-pft-msmarco-ft-all.en.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-english-test \
run.mrtydi.mdpr-tied-pft-msmarco-ft-all.en.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco-ft-all \
--topics mrtydi-v1.1-finnish-test \
--index mrtydi-v1.1-finnish-mdpr-tied-pft-msmarco-ft-all \
--output run.mrtydi.mdpr-tied-pft-msmarco-ft-all.fi.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-finnish-test \
run.mrtydi.mdpr-tied-pft-msmarco-ft-all.fi.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco-ft-all \
--topics mrtydi-v1.1-indonesian-test \
--index mrtydi-v1.1-indonesian-mdpr-tied-pft-msmarco-ft-all \
--output run.mrtydi.mdpr-tied-pft-msmarco-ft-all.id.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-indonesian-test \
run.mrtydi.mdpr-tied-pft-msmarco-ft-all.id.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco-ft-all \
--topics mrtydi-v1.1-japanese-test \
--index mrtydi-v1.1-japanese-mdpr-tied-pft-msmarco-ft-all \
--output run.mrtydi.mdpr-tied-pft-msmarco-ft-all.ja.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-japanese-test \
run.mrtydi.mdpr-tied-pft-msmarco-ft-all.ja.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco-ft-all \
--topics mrtydi-v1.1-korean-test \
--index mrtydi-v1.1-korean-mdpr-tied-pft-msmarco-ft-all \
--output run.mrtydi.mdpr-tied-pft-msmarco-ft-all.ko.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-korean-test \
run.mrtydi.mdpr-tied-pft-msmarco-ft-all.ko.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco-ft-all \
--topics mrtydi-v1.1-russian-test \
--index mrtydi-v1.1-russian-mdpr-tied-pft-msmarco-ft-all \
--output run.mrtydi.mdpr-tied-pft-msmarco-ft-all.ru.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-russian-test \
run.mrtydi.mdpr-tied-pft-msmarco-ft-all.ru.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco-ft-all \
--topics mrtydi-v1.1-swahili-test \
--index mrtydi-v1.1-swahili-mdpr-tied-pft-msmarco-ft-all \
--output run.mrtydi.mdpr-tied-pft-msmarco-ft-all.sw.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-swahili-test \
run.mrtydi.mdpr-tied-pft-msmarco-ft-all.sw.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco-ft-all \
--topics mrtydi-v1.1-telugu-test \
--index mrtydi-v1.1-telugu-mdpr-tied-pft-msmarco-ft-all \
--output run.mrtydi.mdpr-tied-pft-msmarco-ft-all.te.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-telugu-test \
run.mrtydi.mdpr-tied-pft-msmarco-ft-all.te.test.txt
Command to generate run:
python -m pyserini.search.faiss \
--encoder-class auto \
--encoder castorini/mdpr-tied-pft-msmarco-ft-all \
--topics mrtydi-v1.1-thai-test \
--index mrtydi-v1.1-thai-mdpr-tied-pft-msmarco-ft-all \
--output run.mrtydi.mdpr-tied-pft-msmarco-ft-all.th.test.txt \
--batch 36 --threads 12 \
--hits 100
Evaluation commands:
python -m pyserini.eval.trec_eval \
-c -M 100 -m recip_rank mrtydi-v1.1-thai-test \
run.mrtydi.mdpr-tied-pft-msmarco-ft-all.th.test.txt
|