Difference between revisions of "2010:Query-by-Singing/Humming Results"

From MIREX Wiki
(qbsh, result)
 
 
(5 intermediate revisions by 2 users not shown)
Line 13: Line 13:
  
 
===General Legend===
 
===General Legend===
−
====Team ID====
+
== General Legend ==
−
'''YF1''' = [https://www.music-ir.org/mirex/results/2010/qbt/QbshJang.pdf Jyh-Shing Roger Jang] matched by beginning of the song<br />
+
{| border="1" cellspacing="0" style="text-align: left; width: 800px;"
−
'''YF2''' = [https://www.music-ir.org/mirex/results/2010/qbt/QbshJang.pdf Jyh-Shing Roger Jang] matched by anywhere of the song<br />
+
|- style="background: yellow;"
−
'''HAFR''' = [https://www.music-ir.org/mirex/results/2010/qbt/HAFR.pdf Pierre Hanna, Julien Allali, Pascal Ferraro,Matthias Robine]<br />
+
! width="80" | Sub code
−
"JY1"<br/>
+
! width="200" | Submission name
−
"JY2"<br/>
+
! width="80" style="text-align: center;" | Abstract
 +
! width="440" | Contributors
 +
|-
 +
! HAFR1
 +
| QBH Simbals ||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2010/HAFR1.pdf PDF] || [http://dept-info.labri.fr/~hanna Pierre Hanna], [http://simbals.labri.fr Julien Allali], [http://simbals.labri.fr Pascal Ferraro], [http://simbals.labri.fr Matthias Robine]
 +
|-
 +
! JY1
 +
| The programs of QBSH -beginning||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2010/JY1.pdf PDF] || [http://www.tsinghua.edu.cn/eng/index.jsp Jingzhou Yang]
 +
|-
 +
! JY2
 +
| The programs of QBSH -anywhere||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2010/JY1.pdf PDF] || [http://www.tsinghua.edu.cn/eng/index.jsp Jingzhou Yang]
 +
|-
 +
! YF1
 +
| Yeh, Fang -beginning||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2010/YF1.pdf PDF] || [http://mirlab.org/users/kenshincs Tzu-chun Yeh], [http://mirlab.org/users/markfang Yi-fan Fang]
 +
|-
 +
! YF2
 +
| Yeh, Fang -anywhere ||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2010/YF1.pdf PDF] || [http://mirlab.org/users/kenshincs Tzu-chun Yeh], [http://mirlab.org/users/markfang Yi-fan Fang]
 +
|}
  
 
===Task 1 Results===
 
===Task 1 Results===
Line 29: Line 46:
  
 
=====Task 1a Friedman's Test for Significant Differences=====
 
=====Task 1a Friedman's Test for Significant Differences=====
−
The Friedman test was run in MATLAB against the QBSH Task 1 MRR data over the 48 ground truth song groups.
+
The Friedman test was run in MATLAB against the QBSH Task 1a Simple/MRR data over the 48 ground truth song groups.
 
Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);
 
Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);
  
 
Simple Hit/Miss Count:
 
Simple Hit/Miss Count:
−
<csv>2010/qbsh/friedman/Qbsh1aTask2Simple_friedman_tukeyKramerHSD.csv</csv>
+
<csv>2010/qbsh/friedman/QbshTask1aSimpleByGroup.friedman.tukeyKramerHSD.csv</csv>
  
−
[[Image:2010_sqbsh1atask2simple_friedman_mean_ranks.pngγçä]]
+
[[Image:2010QbshTask1aSimpleByGroup.friedman.tukeyKramerHSD.png|500px]]
  
 
MRR Method:
 
MRR Method:
−
<csv>2010/qbsh/friedman/Qbsh1aTask2Mrr_friedman_tukeyKramerHSD.csv</csv>
+
<csv>2010/qbsh/friedman/QbshTask1aMrrByGroup.friedman.tukeyKramerHSD.csv</csv>
  
−
[[Image:2010_sqbsh1atask2mrr_friedman_mean_ranks.pngγçä]]
+
[[Image:2010QbshTask1aMrrByGroup.friedman.tukeyKramerHSD.png|500px]]
  
 
=====Task 1a Summary Results by Query Group=====
 
=====Task 1a Summary Results by Query Group=====
Line 62: Line 79:
  
 
=====Task 1b Friedman's Test for Significant Differences=====
 
=====Task 1b Friedman's Test for Significant Differences=====
−
The Friedman test was run in MATLAB against the QBSH Task 1 MRR data over the 48 ground truth song groups.
+
The Friedman test was run in MATLAB against the QBSH Task 1b Simple/MRR data over the 106 ground truth song groups.
 
Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);
 
Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);
  
 
Simple Hit/Miss Count:
 
Simple Hit/Miss Count:
−
<csv>2010/qbsh/friedman/Qbsh1bTask2Simple_friedman_tukeyKramerHSD.csv</csv>
+
<csv>2010/qbsh/friedman/QbshTask1bSimpleByGroup.friedman.tukeyKramerHSD.csv</csv>
  
−
[[Image:2010_sqbsh1btask2simple_friedman_mean_ranks.pngγçä]]
+
[[Image:2010QbshTask1bSimpleByGroup.friedman.tukeyKramerHSD.png|500px]]
  
 
MRR Method:
 
MRR Method:
−
<csv>2010/qbsh/friedman/Qbsh1bTask2Mrr_friedman_tukeyKramerHSD.csv</csv>
+
<csv>2010/qbsh/friedman/QbshTask1bMrrByGroup.friedman.tukeyKramerHSD.csv</csv>
  
−
[[Image:2010_sqbsh1btask2mrr_friedman_mean_ranks.pngγçä]]
+
[[Image:2010QbshTask1bMrrByGroup.friedman.tukeyKramerHSD.png|500px]]
 
=====Task 1b Summary Results by Query Group=====
 
=====Task 1b Summary Results by Query Group=====
 
Simple Hit/Miss Count
 
Simple Hit/Miss Count
Line 112: Line 129:
  
 
=====Task 2 Friedman's Test for Significant Differences=====
 
=====Task 2 Friedman's Test for Significant Differences=====
−
The Friedman test was run in MATLAB against the QBSH Task 1 MRR data over the 48 ground truth song groups.
+
The Friedman test was run in MATLAB against the QBSH Task 2 data over the 48 ground truth song groups.
 
Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);
 
Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);
  
−
<csv>2010/qbsh/friedman/QbshTask2_friedman_tukeyKramerHSD.csv</csv>
+
<csv>2010/qbsh/friedman/QbshTask2Group.friedman.tukeyKramerHSD.csv</csv>
  
−
[[Image:2010_sqbshtask2_friedman_mean_ranks.png γçä]]
+
[[Image:2010QbshTask2Group.friedman.tukeyKramerHSD.png|500px]]
  
  
Line 128: Line 145:
 
===Runtime Results===
 
===Runtime Results===
  
−
<csv>2010/qbsh/qbshRunTime.csv</csv>
+
<csv>2010/qbsh/QbshRunTime.csv</csv>
  
 
[[Category: Results]]
 
[[Category: Results]]

Latest revision as of 14:46, 3 August 2010

Introduction

These are the results for the 2008 running of the Query-by-Singing/Humming task. For background information about this task set please refer to the 2010:Query by Singing/Humming page.

Task Descriptions

Task 1 Goto Task 1 Results: The first subtask is the same as last year. In this subtask, submitted systems take a sung query as input and return a list of songs from the test database. Mean reciprocal rank (MRR) of the ground truth, as well as the simple hit(1)/miss(0) counting, is calculated over the top 10 returns. Two data sets are used:

Task 2 Goto Task 2 Results: The second subtask is the query against other humming. In the second subtask, Roger Jang's MIR-QBSH corpus has been divided into two groups (2040 as queries and 2391 as database). The query is performed against the other humming database and the top 10 closed are returned. The score is simple count of how many returns belong to the same ground truth song.

General Legend

General Legend

Sub code Submission name Abstract Contributors
HAFR1 QBH Simbals PDF Pierre Hanna, Julien Allali, Pascal Ferraro, Matthias Robine
JY1 The programs of QBSH -beginning PDF Jingzhou Yang
JY2 The programs of QBSH -anywhere PDF Jingzhou Yang
YF1 Yeh, Fang -beginning PDF Tzu-chun Yeh, Yi-fan Fang
YF2 Yeh, Fang -anywhere PDF Tzu-chun Yeh, Yi-fan Fang

Task 1 Results

Task 1a, Jang's dataset Results

Task 1a Overall Results
HAFR1 JY1 JY2 YF1 YF2
Simple Count 0.771 0.967 0.956 0.947 0.912
MRR 0.665 0.947 0.926 0.915 0.871
Total Count 4408 4431 4431 4431 4431

download these results as csv

Task 1a Friedman's Test for Significant Differences

The Friedman test was run in MATLAB against the QBSH Task 1a Simple/MRR data over the 48 ground truth song groups. Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);

Simple Hit/Miss Count:

TeamID TeamID Lowerbound Mean Upperbound Significance
JY1 JY2 -0.1065 0.7292 1.5649 FALSE
JY1 YF1 0.1331 0.9688 1.8044 TRUE
JY1 YF2 1.2060 2.0417 2.8774 TRUE
JY1 HAFR1 2.2997 3.1354 3.9711 TRUE
JY2 YF1 -0.5961 0.2396 1.0753 FALSE
JY2 YF2 0.4768 1.3125 2.1482 TRUE
JY2 HAFR1 1.5706 2.4063 3.2419 TRUE
YF1 YF2 0.2372 1.0729 1.9086 TRUE
YF1 HAFR1 1.3310 2.1667 3.0024 TRUE
YF2 HAFR1 0.2581 1.0938 1.9294 TRUE

download these results as csv

2010QbshTask1aSimpleByGroup.friedman.tukeyKramerHSD.png

MRR Method:

TeamID TeamID Lowerbound Mean Upperbound Significance
JY1 JY2 0.2666 1.1354 2.0043 TRUE
JY1 YF2 0.3916 1.2604 2.1293 TRUE
JY1 YF1 1.5374 2.4063 3.2751 TRUE
JY1 HAFR1 2.6624 3.5313 4.4001 TRUE
JY2 YF2 -0.7438 0.1250 0.9938 FALSE
JY2 YF1 0.4020 1.2708 2.1397 TRUE
JY2 HAFR1 1.5270 2.3958 3.2647 TRUE
YF2 YF1 0.2770 1.1458 2.0147 TRUE
YF2 HAFR1 1.4020 2.2708 3.1397 TRUE
YF1 HAFR1 0.2562 1.1250 1.9938 TRUE

download these results as csv

2010QbshTask1aMrrByGroup.friedman.tukeyKramerHSD.png

Task 1a Summary Results by Query Group

Simple Hit/Miss Count

HAFR1 JY1 JY2 YF1 YF2
1 0.947 0.947 0.947 0.947 0.895
2 0.357 0.786 0.786 0.714 0.643
3 0.636 0.727 0.636 0.636 0.636
4 0.733 0.867 0.800 0.800 0.800
5 0.867 0.933 0.933 0.933 0.800
6 0.750 0.917 0.917 0.833 0.833
7 0.533 0.933 0.867 0.867 0.867
8 0.667 0.933 0.933 0.867 0.933
9 0.750 0.917 0.917 0.917 0.917
10 0.895 0.895 0.842 0.684 0.842
11 0.802 0.969 0.938 0.948 0.906
12 0.915 0.968 0.961 0.968 0.961
13 0.881 0.981 0.975 0.981 0.938
14 0.918 0.975 0.975 0.987 0.956
15 0.741 0.963 0.963 0.963 0.926
16 0.930 0.981 0.969 0.950 0.925
17 0.728 0.987 0.974 0.974 0.882
18 0.750 0.982 0.994 0.976 0.951
19 0.892 0.975 0.968 0.975 0.943
20 0.467 0.988 0.976 1.000 0.982
21 0.318 0.879 0.848 0.848 0.788
22 0.953 0.994 0.983 0.977 0.954
23 0.852 1.000 0.984 0.984 0.984
24 0.583 0.884 0.843 0.851 0.810
25 0.574 0.935 0.813 0.740 0.569
26 0.654 0.981 0.962 0.962 0.962
27 0.765 0.988 0.953 0.953 0.965
28 0.495 0.967 0.912 0.879 0.725
29 0.573 0.987 1.000 0.987 0.980
30 0.944 0.993 0.986 0.986 0.938
31 0.935 0.979 0.986 0.993 0.986
32 0.796 0.956 0.949 0.956 0.912
33 0.496 0.957 0.957 0.931 0.862
34 0.635 0.971 0.964 0.927 0.891
35 0.757 0.966 0.946 0.960 0.886
36 0.907 0.953 0.953 0.930 0.930
37 0.879 0.955 0.939 0.939 0.894
38 0.781 0.930 0.947 0.947 0.947
39 0.822 0.980 0.980 0.932 0.905
40 0.437 0.944 0.958 0.958 0.901
41 0.896 0.976 0.976 0.976 0.952
42 0.857 0.946 0.967 0.946 0.957
43 0.902 0.967 0.976 0.951 0.943
44 0.875 0.975 0.975 0.963 0.925
45 0.828 0.970 0.970 0.939 0.899
46 0.802 0.978 0.967 0.957 0.946
47 0.931 1.000 0.966 1.000 0.966
48 0.811 1.000 0.962 0.962 0.981

download these results as csv

MRR Method

HAFR1 JY1 JY2 YF1 YF2
1 0.877 0.886 0.882 0.848 0.874
2 0.357 0.786 0.786 0.560 0.653
3 0.636 0.682 0.636 0.636 0.636
4 0.689 0.807 0.800 0.800 0.800
5 0.722 0.889 0.833 0.800 0.844
6 0.676 0.917 0.917 0.792 0.833
7 0.533 0.880 0.867 0.867 0.867
8 0.589 0.889 0.933 0.933 0.807
9 0.667 0.917 0.917 0.833 0.875
10 0.855 0.860 0.716 0.842 0.613
11 0.717 0.946 0.932 0.883 0.928
12 0.787 0.959 0.952 0.937 0.958
13 0.739 0.927 0.908 0.915 0.934
14 0.813 0.965 0.954 0.876 0.954
15 0.662 0.963 0.963 0.907 0.926
16 0.894 0.962 0.942 0.905 0.915
17 0.555 0.982 0.961 0.760 0.895
18 0.641 0.982 0.986 0.938 0.955
19 0.805 0.969 0.965 0.931 0.966
20 0.301 0.979 0.968 0.955 0.984
21 0.242 0.838 0.778 0.667 0.723
22 0.912 0.989 0.979 0.954 0.959
23 0.707 0.992 0.973 0.957 0.970
24 0.489 0.809 0.775 0.752 0.790
25 0.396 0.824 0.739 0.449 0.610
26 0.568 0.953 0.919 0.942 0.952
27 0.583 0.980 0.942 0.934 0.941
28 0.382 0.945 0.766 0.606 0.793
29 0.434 0.978 0.983 0.954 0.971
30 0.876 0.993 0.957 0.901 0.971
31 0.838 0.972 0.976 0.974 0.993
32 0.643 0.946 0.918 0.898 0.951
33 0.363 0.938 0.923 0.812 0.882
34 0.530 0.955 0.938 0.842 0.898
35 0.673 0.945 0.912 0.845 0.941
36 0.841 0.953 0.919 0.930 0.930
37 0.798 0.934 0.899 0.837 0.905
38 0.635 0.890 0.885 0.911 0.922
39 0.695 0.963 0.959 0.854 0.903
40 0.312 0.927 0.926 0.851 0.899
41 0.817 0.966 0.937 0.924 0.954
42 0.756 0.940 0.914 0.893 0.915
43 0.800 0.941 0.952 0.863 0.920
44 0.836 0.975 0.964 0.916 0.939
45 0.772 0.944 0.947 0.868 0.913
46 0.744 0.952 0.922 0.923 0.943
47 0.826 0.972 0.943 0.940 0.957
48 0.697 0.970 0.953 0.920 0.937

download these results as csv

Task 1a Summary Results by Query

Simple Hit/Miss Counting [1]

MRR Method [2]

Task 1b, ThinkIT's dataset Results

Task 1b Overall Results
HAFR1 JY1 JY2 YF1 YF2
Simple Count 0.806 0.434 0.49 0.445 0.904
MRR 0.704 0.416 0.469 0.423 0.844
Total Count 355 355 355 355 355

download these results as csv

Task 1b Friedman's Test for Significant Differences

The Friedman test was run in MATLAB against the QBSH Task 1b Simple/MRR data over the 106 ground truth song groups. Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);

Simple Hit/Miss Count:

TeamID TeamID Lowerbound Mean Upperbound Significance
YF2 HAFR1 -0.0077 0.4481 0.9039 FALSE
YF2 JY2 1.0536 1.5094 1.9653 TRUE
YF2 YF1 1.2376 1.6934 2.1492 TRUE
YF2 JY1 1.2706 1.7264 2.1822 TRUE
HAFR1 JY2 0.6055 1.0613 1.5171 TRUE
HAFR1 YF1 0.7895 1.2453 1.7011 TRUE
HAFR1 JY1 0.8225 1.2783 1.7341 TRUE
JY2 YF1 -0.2719 0.1840 0.6398 FALSE
JY2 JY1 -0.2388 0.2170 0.6728 FALSE
YF1 JY1 -0.4228 0.0330 0.4888 FALSE

download these results as csv

2010QbshTask1bSimpleByGroup.friedman.tukeyKramerHSD.png

MRR Method:

TeamID TeamID Lowerbound Mean Upperbound Significance
YF2 HAFR1 0.1253 0.6085 1.0916 TRUE
YF2 JY2 1.0168 1.5000 1.9832 TRUE
YF2 YF1 1.1819 1.6651 2.1482 TRUE
YF2 JY1 1.1914 1.6745 2.1577 TRUE
HAFR1 JY2 0.4084 0.8915 1.3747 TRUE
HAFR1 YF1 0.5735 1.0566 1.5398 TRUE
HAFR1 JY1 0.5829 1.0660 1.5492 TRUE
JY2 YF1 -0.3181 0.1651 0.6482 FALSE
JY2 JY1 -0.3086 0.1745 0.6577 FALSE
YF1 JY1 -0.4737 0.0094 0.4926 FALSE

download these results as csv

2010QbshTask1bMrrByGroup.friedman.tukeyKramerHSD.png

Task 1b Summary Results by Query Group

Simple Hit/Miss Count

HAFR1 JY1 JY2 YF1 YF2
1 0.909 0.364 0.364 0.636 1.000
2 0.800 0.600 0.600 0.600 0.800
3 1.000 0.000 0.000 0.000 0.000
4 1.000 0.000 0.500 0.500 1.000
5 0.000 0.000 0.000 0.000 1.000
6 0.833 0.000 0.000 0.000 1.000
7 0.833 1.000 1.000 1.000 1.000
8 0.333 0.333 0.333 0.333 0.667
9 1.000 0.000 1.000 0.000 1.000
10 1.000 0.000 0.000 0.000 1.000
11 0.500 0.000 0.000 0.000 1.000
12 1.000 1.000 1.000 1.000 1.000
13 0.600 0.000 0.000 0.200 0.600
14 0.500 0.000 1.000 0.000 1.000
15 0.000 0.000 0.500 0.000 0.500
16 1.000 1.000 1.000 1.000 1.000
17 0.000 0.000 0.000 0.000 0.000
18 0.500 0.500 0.500 0.500 1.000
19 1.000 0.000 0.000 0.000 1.000
20 1.000 0.000 0.000 0.000 0.000
21 0.500 0.500 0.000 0.000 0.500
22 0.889 0.444 0.667 0.444 0.889
23 1.000 1.000 1.000 1.000 1.000
24 1.000 0.000 0.500 0.000 1.000
25 1.000 0.500 0.500 0.500 1.000
26 0.909 0.636 0.636 0.636 0.909
27 0.000 0.500 0.250 0.500 1.000
28 0.750 0.500 0.500 0.500 1.000
29 1.000 1.000 1.000 1.000 1.000
30 1.000 1.000 1.000 1.000 1.000
31 1.000 1.000 1.000 1.000 1.000
32 0.857 0.000 0.000 0.000 1.000
33 1.000 0.000 0.000 0.000 1.000
34 0.000 0.500 0.500 0.500 0.500
35 1.000 0.000 1.000 1.000 1.000
36 0.600 0.000 0.000 0.000 0.800
37 0.000 0.000 0.000 0.000 0.000
38 1.000 0.500 1.000 0.500 1.000
39 1.000 0.429 0.429 0.429 1.000
40 0.500 1.000 1.000 1.000 1.000
41 0.750 0.125 0.125 0.125 0.875
42 0.500 0.667 0.667 0.667 0.917
43 0.556 0.778 0.667 0.667 0.778
44 1.000 0.556 0.556 0.556 1.000
45 0.667 1.000 1.000 1.000 1.000
46 0.750 0.500 0.500 0.500 0.750
47 1.000 0.750 0.750 0.750 1.000
48 1.000 1.000 1.000 1.000 1.000
49 1.000 1.000 1.000 1.000 1.000
50 1.000 1.000 1.000 1.000 1.000
51 1.000 0.500 0.500 0.500 1.000
52 0.750 0.250 0.750 0.250 1.000
53 0.833 0.333 0.333 0.333 1.000
54 1.000 0.833 0.333 0.667 1.000
55 0.750 0.000 0.000 0.000 1.000
56 0.500 0.500 0.500 0.500 0.500
57 0.400 1.000 1.000 1.000 1.000
58 1.000 0.000 0.000 0.000 1.000
59 1.000 0.000 0.000 0.000 1.000
60 0.500 1.000 1.000 1.000 1.000
61 1.000 0.000 0.000 0.000 1.000
62 1.000 0.333 0.333 0.333 1.000
63 1.000 1.000 1.000 1.000 1.000
64 0.000 0.000 0.000 0.000 1.000
65 1.000 0.000 1.000 0.000 1.000
66 1.000 0.500 0.750 0.500 0.750
67 0.667 0.000 0.000 0.000 1.000
68 1.000 1.000 1.000 1.000 1.000
69 1.000 0.000 0.000 0.000 1.000
70 1.000 1.000 1.000 1.000 1.000
71 1.000 0.000 0.000 0.000 0.667
72 1.000 1.000 1.000 1.000 1.000
73 0.500 1.000 1.000 1.000 1.000
74 1.000 1.000 1.000 1.000 1.000
75 0.667 0.333 0.333 0.333 0.667
76 1.000 0.000 0.000 0.000 1.000
77 1.000 1.000 1.000 1.000 1.000
78 1.000 1.000 1.000 1.000 1.000
79 1.000 0.500 0.500 0.500 1.000
80 1.000 0.333 0.333 0.333 1.000
81 1.000 0.333 0.333 0.333 0.667
82 1.000 0.000 1.000 0.000 1.000
83 1.000 0.000 0.000 0.000 1.000
84 0.500 0.250 0.000 0.000 0.250
85 1.000 0.500 0.500 0.500 1.000
86 1.000 1.000 1.000 1.000 1.000
87 0.333 0.000 0.000 0.000 1.000
88 1.000 0.000 0.000 0.000 1.000
89 1.000 0.429 0.429 0.571 1.000
90 1.000 0.000 1.000 0.000 1.000
91 0.500 0.000 0.000 0.000 1.000
92 1.000 0.500 0.500 0.500 1.000
93 1.000 0.500 0.500 0.500 1.000
94 1.000 0.000 0.000 0.000 1.000
95 0.000 0.000 1.000 0.000 1.000
96 1.000 1.000 1.000 1.000 0.000
97 1.000 0.000 0.000 0.000 1.000
98 1.000 0.000 0.000 0.000 1.000
99 1.000 0.750 0.750 0.750 1.000
100 1.000 0.333 0.333 0.333 1.000
101 0.000 0.000 0.000 0.000 0.000
102 1.000 0.000 0.000 0.000 1.000
103 0.750 0.375 0.625 0.375 0.875
104 1.000 0.000 0.000 0.000 1.000
105 1.000 0.000 0.000 1.000 0.000
106 0.000 0.000 0.000 0.000 0.667

download these results as csv

MRR Method

HAFR1 JY1 JY2 YF1 YF2
1 0.909 0.364 0.364 0.450 0.955
2 0.550 0.600 0.600 0.600 0.800
3 1.000 0.000 0.000 0.000 0.000
4 0.500 0.000 0.500 0.083 0.667
5 0.000 0.000 0.000 0.000 0.250
6 0.833 0.000 0.000 0.000 0.792
7 0.833 1.000 1.000 1.000 1.000
8 0.333 0.333 0.167 0.333 0.500
9 0.850 0.000 1.000 0.000 1.000
10 1.000 0.000 0.000 0.000 1.000
11 0.167 0.000 0.000 0.000 0.750
12 1.000 1.000 1.000 1.000 1.000
13 0.295 0.000 0.000 0.100 0.600
14 0.500 0.000 1.000 0.000 0.667
15 0.000 0.000 0.500 0.000 0.500
16 1.000 1.000 0.813 1.000 0.667
17 0.000 0.000 0.000 0.000 0.000
18 0.500 0.500 0.500 0.500 1.000
19 1.000 0.000 0.000 0.000 0.667
20 0.571 0.000 0.000 0.000 0.000
21 0.500 0.125 0.000 0.000 0.250
22 0.648 0.444 0.667 0.444 0.806
23 1.000 1.000 1.000 1.000 1.000
24 1.000 0.000 0.500 0.000 1.000
25 0.583 0.500 0.500 0.500 1.000
26 0.818 0.636 0.568 0.564 0.848
27 0.000 0.292 0.250 0.300 1.000
28 0.525 0.500 0.500 0.500 0.875
29 1.000 1.000 1.000 1.000 1.000
30 1.000 1.000 1.000 0.800 1.000
31 1.000 1.000 1.000 1.000 1.000
32 0.786 0.000 0.000 0.000 1.000
33 1.000 0.000 0.000 0.000 1.000
34 0.000 0.500 0.500 0.125 0.125
35 1.000 0.000 1.000 0.100 1.000
36 0.600 0.000 0.000 0.000 0.800
37 0.000 0.000 0.000 0.000 0.000
38 1.000 0.500 1.000 0.500 1.000
39 0.702 0.429 0.429 0.429 1.000
40 0.500 1.000 1.000 1.000 1.000
41 0.688 0.125 0.125 0.125 0.729
42 0.417 0.667 0.667 0.667 0.861
43 0.457 0.678 0.611 0.667 0.778
44 0.849 0.556 0.556 0.556 1.000
45 0.667 1.000 1.000 1.000 1.000
46 0.500 0.375 0.067 0.500 0.500
47 1.000 0.750 0.750 0.750 1.000
48 1.000 1.000 1.000 1.000 1.000
49 0.500 1.000 1.000 1.000 1.000
50 1.000 1.000 1.000 1.000 1.000
51 1.000 0.500 0.500 0.500 1.000
52 0.750 0.250 0.750 0.250 1.000
53 0.833 0.333 0.333 0.333 1.000
54 1.000 0.583 0.139 0.667 1.000
55 0.363 0.000 0.000 0.000 1.000
56 0.500 0.500 0.500 0.500 0.500
57 0.229 1.000 1.000 1.000 1.000
58 1.000 0.000 0.000 0.000 1.000
59 0.464 0.000 0.000 0.000 1.000
60 0.500 1.000 1.000 1.000 1.000
61 1.000 0.000 0.000 0.000 1.000
62 0.833 0.167 0.111 0.333 1.000
63 1.000 1.000 1.000 1.000 0.750
64 0.000 0.000 0.000 0.000 1.000
65 1.000 0.000 1.000 0.000 1.000
66 1.000 0.500 0.750 0.500 0.750
67 0.370 0.000 0.000 0.000 1.000
68 0.625 1.000 1.000 1.000 1.000
69 1.000 0.000 0.000 0.000 1.000
70 1.000 1.000 1.000 1.000 1.000
71 1.000 0.000 0.000 0.000 0.667
72 1.000 1.000 1.000 1.000 1.000
73 0.500 1.000 1.000 1.000 1.000
74 1.000 1.000 1.000 1.000 1.000
75 0.667 0.333 0.333 0.333 0.381
76 1.000 0.000 0.000 0.000 1.000
77 0.777 1.000 1.000 1.000 1.000
78 0.200 1.000 0.250 1.000 1.000
79 1.000 0.500 0.500 0.500 1.000
80 1.000 0.333 0.333 0.333 1.000
81 1.000 0.333 0.333 0.333 0.667
82 1.000 0.000 1.000 0.000 1.000
83 1.000 0.000 0.000 0.000 0.528
84 0.090 0.125 0.000 0.000 0.042
85 0.875 0.500 0.500 0.500 1.000
86 1.000 1.000 1.000 1.000 1.000
87 0.333 0.000 0.000 0.000 1.000
88 1.000 0.000 0.000 0.000 0.500
89 0.871 0.304 0.429 0.571 0.802
90 0.292 0.000 1.000 0.000 1.000
91 0.500 0.000 0.000 0.000 1.000
92 1.000 0.500 0.500 0.500 1.000
93 1.000 0.500 0.500 0.500 1.000
94 1.000 0.000 0.000 0.000 1.000
95 0.000 0.000 1.000 0.000 1.000
96 1.000 1.000 0.333 0.500 0.000
97 1.000 0.000 0.000 0.000 1.000
98 0.333 0.000 0.000 0.000 1.000
99 0.778 0.750 0.750 0.750 0.833
100 1.000 0.333 0.333 0.333 1.000
101 0.000 0.000 0.000 0.000 0.000
102 1.000 0.000 0.000 0.000 1.000
103 0.583 0.375 0.625 0.375 0.708
104 1.000 0.000 0.000 0.000 1.000
105 0.143 0.000 0.000 1.000 0.000
106 0.000 0.000 0.000 0.000 0.333

download these results as csv

Task 1b Summary Results by Query

Simple Hit/Miss Counting [3]

MRR Method [4]

Task 1c, IOACAS2's dataset Results

As argued by Jang, there are some abnormal in the IOACAS2 data set. Therefore, we just provide the raw result without any further analysis.


Task 1c Summary Results by Query Group

Simple Hit/Miss Count

HAFR1 JY1 JY2 YF1 YF2
1 0.000 0.000 0.000 0.000 1.000
2 1.000 0.000 0.000 0.000 0.000
3 1.000 0.000 1.000 0.000 1.000
4 0.333 0.000 0.000 0.000 0.000
5 0.364 0.000 0.091 0.273 0.364
6 0.000 0.000 0.000 0.000 0.000
7 0.500 0.000 0.000 0.500 1.000
8 0.000 0.000 0.000 0.000 0.000
9 1.000 0.000 0.000 1.000 0.000
10 1.000 0.000 0.000 1.000 1.000
11 0.750 0.000 0.000 0.000 1.000
12 1.000 0.000 1.000 0.000 1.000
13 0.429 0.000 0.000 0.286 0.143
14 0.400 0.000 0.000 0.200 0.400
15 0.000 0.000 0.000 0.000 0.000
16 1.000 0.000 0.000 1.000 1.000
17 1.000 0.000 0.000 0.000 0.000
18 0.000 0.000 0.000 0.000 0.000
19 0.000 0.000 0.000 0.500 0.000
20 0.500 0.000 0.000 0.500 0.250
21 1.000 0.000 0.500 0.000 0.000
22 0.000 0.000 0.000 0.000 0.000
23 0.000 0.000 0.000 0.000 0.000
24 0.143 0.000 0.000 0.000 0.571
25 0.000 0.000 0.000 0.000 0.000
26 1.000 0.000 0.000 0.000 0.250
27 0.000 1.000 0.000 0.000 0.000
28 0.000 0.000 0.000 0.000 0.000
29 0.625 0.000 0.000 0.375 0.375
30 1.000 0.000 1.000 0.000 0.000
31 0.000 0.000 0.000 0.000 0.000
32 1.000 0.000 0.000 0.000 0.000
33 0.333 0.000 0.000 0.333 0.333
34 1.000 0.000 0.000 0.000 0.000
35 0.000 0.000 0.000 0.000 0.000
36 1.000 1.000 0.500 0.500 0.000
37 0.889 0.000 0.000 0.000 0.444
38 0.500 0.000 0.000 0.500 0.500
39 1.000 0.000 0.000 0.000 0.000
40 1.000 0.500 0.500 0.500 0.500
41 1.000 0.000 0.000 1.000 1.000
42 1.000 0.000 0.000 0.000 0.000
43 1.000 0.000 0.000 0.333 0.000
44 1.000 0.000 0.000 0.500 0.500
45 0.000 0.000 0.000 0.000 0.000
46 1.000 0.000 0.000 0.000 0.000
47 1.000 0.000 0.000 0.000 1.000
48 0.000 0.000 1.000 0.000 1.000
49 0.000 0.000 0.000 0.000 0.000
50 0.875 0.000 0.250 0.250 0.125
51 0.750 0.000 0.000 0.000 0.250
52 0.667 0.333 0.667 0.333 0.667
53 0.500 0.000 0.000 0.000 0.500
54 0.500 0.000 0.000 0.000 0.500
55 1.000 0.000 0.000 0.000 0.000
56 0.000 0.000 0.000 0.667 0.667
57 1.000 0.000 0.000 0.000 0.333
58 0.286 0.286 0.143 0.000 0.000
59 0.000 0.000 0.000 1.000 0.000
60 1.000 0.000 1.000 0.000 1.000
61 0.500 0.000 0.000 0.000 0.500
62 0.000 0.000 0.000 0.000 0.000
63 0.000 0.000 0.000 0.000 1.000
64 0.333 0.000 0.000 0.333 0.556
65 0.000 0.000 0.000 1.000 0.000
66 0.000 0.000 0.000 0.000 0.000
67 0.500 0.000 0.000 0.000 0.000
68 0.500 0.700 0.600 0.500 0.600
69 0.333 0.000 0.000 0.000 0.333
70 0.300 0.000 0.500 0.000 0.700
71 1.000 0.000 0.000 0.000 0.000
72 0.333 0.500 0.000 0.500 0.333
73 0.000 0.000 0.000 0.000 0.000
74 0.000 0.000 0.000 0.000 0.000
75 1.000 0.000 0.000 0.000 0.000
76 0.000 0.000 0.000 0.000 0.000
77 1.000 1.000 0.000 0.000 0.000
78 0.167 0.000 0.000 0.833 0.333
79 1.000 0.000 0.000 0.000 0.000
80 0.846 0.462 0.231 0.615 0.692
81 1.000 0.000 0.000 0.000 0.000
82 0.000 0.000 0.000 0.000 0.000
83 1.000 0.000 0.000 1.000 0.857
84 0.000 0.000 0.000 0.000 0.000
85 1.000 0.000 0.000 0.000 0.000
86 0.250 0.000 0.000 0.000 1.000
87 1.000 0.000 1.000 1.000 1.000
88 0.750 0.000 0.000 0.250 0.750
89 1.000 0.000 1.000 0.000 1.000
90 0.000 0.000 0.000 0.000 0.000
91 1.000 0.000 0.500 0.500 0.500
92 1.000 0.000 0.000 0.500 1.000
93 0.800 0.000 0.400 0.400 0.600
94 0.000 0.000 0.000 1.000 0.000
95 1.000 0.000 0.000 0.000 1.000
96 1.000 0.000 0.000 0.667 0.667
97 1.000 0.000 0.000 0.000 1.000
98 0.500 0.500 0.500 1.000 1.000
99 0.000 1.000 0.000 1.000 1.000
100 1.000 0.000 0.000 0.000 0.500
101 1.000 0.000 0.000 0.000 0.000
102 0.500 0.625 0.625 0.625 0.500
103 0.000 0.000 1.000 0.000 0.000
104 1.000 0.000 0.000 1.000 0.000
105 0.000 0.000 1.000 0.000 1.000
106 0.000 0.000 0.500 0.000 0.000
107 1.000 0.000 0.500 0.000 1.000
108 1.000 0.000 0.000 0.000 1.000
109 1.000 1.000 0.500 1.000 0.500
110 1.000 0.000 0.000 0.000 1.000
111 0.000 0.000 0.000 0.000 0.000
112 0.500 0.000 0.000 0.000 0.000
113 0.000 0.000 0.000 0.000 0.000
114 1.000 1.000 1.000 1.000 1.000
115 0.500 1.000 0.000 1.000 0.000
116 0.500 0.000 0.000 0.500 0.000
117 0.000 0.000 0.000 0.000 0.000
118 1.000 1.000 1.000 1.000 0.000
119 0.400 0.000 0.400 0.200 0.200
120 1.000 0.000 0.000 1.000 0.000
121 0.000 0.000 0.000 0.000 0.000
122 1.000 0.000 0.000 1.000 1.000
123 1.000 0.000 1.000 0.000 1.000
124 0.000 0.000 0.000 0.000 0.000
125 1.000 0.000 0.000 0.000 1.000
126 0.000 0.000 0.000 0.000 0.000
127 0.000 0.000 0.000 0.000 0.000
128 0.000 0.000 0.000 0.000 0.000
129 1.000 0.000 0.000 0.000 1.000
130 0.000 0.000 0.000 0.000 0.000
131 1.000 1.000 1.000 1.000 1.000
132 0.500 0.000 0.000 0.000 0.000
133 0.000 1.000 1.000 1.000 1.000
134 1.000 1.000 1.000 1.000 1.000
135 0.000 0.000 0.000 0.000 1.000
136 1.000 0.000 0.000 0.000 1.000
137 1.000 0.000 1.000 0.000 1.000
138 1.000 0.000 0.667 0.000 1.000
139 1.000 1.000 1.000 1.000 1.000
140 1.000 0.000 0.000 1.000 0.000
141 1.000 0.000 0.000 1.000 1.000
142 1.000 0.000 0.250 0.000 0.500
143 1.000 0.000 0.000 0.000 1.000
144 1.000 0.000 0.000 0.000 0.000
145 1.000 0.333 0.000 0.333 0.333
146 0.000 0.500 0.000 0.000 0.000
147 0.000 0.000 0.000 0.000 0.000
148 0.500 0.500 0.500 0.500 1.000
149 1.000 0.000 0.000 1.000 1.000
150 1.000 0.000 0.500 0.500 0.500
151 1.000 0.000 0.000 0.000 1.000
152 1.000 0.333 0.333 0.333 0.333
153 1.000 0.000 0.000 0.000 0.000
154 0.000 0.000 0.000 0.000 1.000
155 1.000 0.000 0.000 0.000 0.000
156 1.000 0.000 0.000 1.000 1.000
157 1.000 1.000 0.000 1.000 1.000
158 0.000 0.000 0.000 0.000 0.000
159 0.000 0.000 0.000 0.000 0.000
160 0.000 0.000 0.000 0.000 0.000
161 0.000 0.000 0.000 0.000 0.000
162 0.000 1.000 1.000 1.000 0.000
163 1.000 0.000 0.000 0.000 0.000
164 0.000 0.000 0.000 0.000 1.000
165 1.000 0.000 0.000 0.000 1.000
166 0.000 0.000 0.000 0.000 0.000
167 1.000 1.000 0.000 1.000 1.000
168 0.000 1.000 1.000 1.000 1.000
169 1.000 0.000 1.000 1.000 1.000
170 1.000 1.000 0.000 1.000 1.000
171 1.000 0.000 0.000 0.000 0.000
172 1.000 1.000 1.000 1.000 1.000
173 1.000 0.000 1.000 1.000 0.000
174 1.000 1.000 1.000 1.000 0.000
175 1.000 0.000 0.000 0.000 1.000
176 1.000 0.000 0.000 0.000 1.000
177 1.000 0.000 0.000 0.000 0.000
178 1.000 0.000 0.000 1.000 0.500
179 1.000 0.000 0.000 1.000 0.000
180 1.000 0.000 0.000 0.000 1.000
181 1.000 1.000 1.000 1.000 1.000
182 1.000 0.000 1.000 0.000 0.000
183 1.000 0.000 1.000 0.000 1.000
184 0.000 0.000 1.000 0.000 1.000
185 1.000 0.000 1.000 1.000 1.000
186 0.333 0.000 0.333 0.000 0.667
187 1.000 0.000 0.000 0.000 1.000
188 1.000 0.000 0.000 0.000 0.000
189 1.000 0.000 0.000 0.000 1.000
190 1.000 0.000 0.000 0.500 1.000
191 1.000 1.000 1.000 1.000 0.000
192 0.000 0.000 0.000 0.000 1.000

download these results as csv

MRR Method

HAFR1 JY1 JY2 YF1 YF2
1 0.000 0.000 0.000 0.000 1.000
2 0.583 0.000 0.000 0.000 0.000
3 1.000 0.000 1.000 0.000 1.000
4 0.333 0.000 0.000 0.000 0.000
5 0.195 0.000 0.013 0.132 0.197
6 0.000 0.000 0.000 0.000 0.000
7 0.500 0.000 0.000 0.500 1.000
8 0.000 0.000 0.000 0.000 0.000
9 1.000 0.000 0.000 1.000 0.000
10 1.000 0.000 0.000 1.000 1.000
11 0.625 0.000 0.000 0.000 0.486
12 1.000 0.000 1.000 0.000 1.000
13 0.429 0.000 0.000 0.063 0.143
14 0.400 0.000 0.000 0.025 0.167
15 0.000 0.000 0.000 0.000 0.000
16 1.000 0.000 0.000 1.000 0.167
17 0.625 0.000 0.000 0.000 0.000
18 0.000 0.000 0.000 0.000 0.000
19 0.000 0.000 0.000 0.056 0.000
20 0.500 0.000 0.000 0.090 0.031
21 1.000 0.000 0.167 0.000 0.000
22 0.000 0.000 0.000 0.000 0.000
23 0.000 0.000 0.000 0.000 0.000
24 0.014 0.000 0.000 0.000 0.571
25 0.000 0.000 0.000 0.000 0.000
26 0.567 0.000 0.000 0.000 0.250
27 0.000 0.500 0.000 0.000 0.000
28 0.000 0.000 0.000 0.000 0.000
29 0.406 0.000 0.000 0.313 0.266
30 1.000 0.000 0.333 0.000 0.000
31 0.000 0.000 0.000 0.000 0.000
32 0.750 0.000 0.000 0.000 0.000
33 0.167 0.000 0.000 0.333 0.037
34 1.000 0.000 0.000 0.000 0.000
35 0.000 0.000 0.000 0.000 0.000
36 0.750 0.750 0.167 0.167 0.000
37 0.750 0.000 0.000 0.000 0.315
38 0.500 0.000 0.000 0.500 0.250
39 1.000 0.000 0.000 0.000 0.000
40 1.000 0.500 0.500 0.500 0.500
41 1.000 0.000 0.000 0.333 1.000
42 1.000 0.000 0.000 0.000 0.000
43 0.778 0.000 0.000 0.111 0.000
44 1.000 0.000 0.000 0.125 0.500
45 0.000 0.000 0.000 0.000 0.000
46 1.000 0.000 0.000 0.000 0.000
47 0.333 0.000 0.000 0.000 0.250
48 0.000 0.000 0.500 0.000 1.000
49 0.000 0.000 0.000 0.000 0.000
50 0.661 0.000 0.030 0.030 0.125
51 0.531 0.000 0.000 0.000 0.250
52 0.667 0.333 0.667 0.333 0.400
53 0.125 0.000 0.000 0.000 0.500
54 0.500 0.000 0.000 0.000 0.188
55 0.143 0.000 0.000 0.000 0.000
56 0.000 0.000 0.000 0.117 0.500
57 0.156 0.000 0.000 0.000 0.033
58 0.286 0.143 0.024 0.000 0.000
59 0.000 0.000 0.000 1.000 0.000
60 0.333 0.000 1.000 0.000 1.000
61 0.250 0.000 0.000 0.000 0.500
62 0.000 0.000 0.000 0.000 0.000
63 0.000 0.000 0.000 0.000 0.200
64 0.204 0.000 0.000 0.333 0.254
65 0.000 0.000 0.000 1.000 0.000
66 0.000 0.000 0.000 0.000 0.000
67 0.071 0.000 0.000 0.000 0.000
68 0.425 0.558 0.398 0.500 0.533
69 0.333 0.000 0.000 0.000 0.333
70 0.300 0.000 0.303 0.000 0.650
71 1.000 0.000 0.000 0.000 0.000
72 0.125 0.269 0.000 0.417 0.125
73 0.000 0.000 0.000 0.000 0.000
74 0.000 0.000 0.000 0.000 0.000
75 0.600 0.000 0.000 0.000 0.000
76 0.000 0.000 0.000 0.000 0.000
77 1.000 1.000 0.000 0.000 0.000
78 0.021 0.000 0.000 0.611 0.097
79 1.000 0.000 0.000 0.000 0.000
80 0.552 0.088 0.042 0.387 0.551
81 0.800 0.000 0.000 0.000 0.000
82 0.000 0.000 0.000 0.000 0.000
83 0.814 0.000 0.000 0.800 0.356
84 0.000 0.000 0.000 0.000 0.000
85 0.500 0.000 0.000 0.000 0.000
86 0.125 0.000 0.000 0.000 1.000
87 1.000 0.000 1.000 1.000 1.000
88 0.750 0.000 0.000 0.250 0.750
89 1.000 0.000 1.000 0.000 1.000
90 0.000 0.000 0.000 0.000 0.000
91 1.000 0.000 0.125 0.100 0.500
92 1.000 0.000 0.000 0.500 1.000
93 0.700 0.000 0.400 0.400 0.600
94 0.000 0.000 0.000 0.200 0.000
95 1.000 0.000 0.000 0.000 1.000
96 0.778 0.000 0.000 0.667 0.444
97 1.000 0.000 0.000 0.000 0.750
98 0.500 0.250 0.250 1.000 1.000
99 0.000 0.250 0.000 0.500 0.200
100 0.667 0.000 0.000 0.000 0.083
101 0.250 0.000 0.000 0.000 0.000
102 0.438 0.625 0.542 0.563 0.500
103 0.000 0.000 1.000 0.000 0.000
104 0.143 0.000 0.000 0.200 0.000
105 0.000 0.000 1.000 0.000 1.000
106 0.000 0.000 0.250 0.000 0.000
107 0.667 0.000 0.056 0.000 1.000
108 1.000 0.000 0.000 0.000 1.000
109 0.556 0.571 0.100 1.000 0.500
110 1.000 0.000 0.000 0.000 1.000
111 0.000 0.000 0.000 0.000 0.000
112 0.500 0.000 0.000 0.000 0.000
113 0.000 0.000 0.000 0.000 0.000
114 1.000 1.000 1.000 1.000 1.000
115 0.500 0.225 0.000 1.000 0.000
116 0.050 0.000 0.000 0.500 0.000
117 0.000 0.000 0.000 0.000 0.000
118 1.000 1.000 1.000 0.143 0.000
119 0.133 0.000 0.072 0.100 0.200
120 1.000 0.000 0.000 0.250 0.000
121 0.000 0.000 0.000 0.000 0.000
122 0.143 0.000 0.000 1.000 0.125
123 1.000 0.000 0.100 0.000 1.000
124 0.000 0.000 0.000 0.000 0.000
125 1.000 0.000 0.000 0.000 1.000
126 0.000 0.000 0.000 0.000 0.000
127 0.000 0.000 0.000 0.000 0.000
128 0.000 0.000 0.000 0.000 0.000
129 1.000 0.000 0.000 0.000 1.000
130 0.000 0.000 0.000 0.000 0.000
131 1.000 1.000 1.000 1.000 1.000
132 0.500 0.000 0.000 0.000 0.000
133 0.000 0.500 1.000 1.000 1.000
134 0.333 1.000 1.000 1.000 1.000
135 0.000 0.000 0.000 0.000 0.167
136 1.000 0.000 0.000 0.000 1.000
137 0.333 0.000 0.500 0.000 0.500
138 1.000 0.000 0.381 0.000 0.611
139 1.000 0.250 1.000 1.000 1.000
140 1.000 0.000 0.000 1.000 0.000
141 1.000 0.000 0.000 1.000 0.200
142 0.578 0.000 0.083 0.000 0.115
143 0.111 0.000 0.000 0.000 0.111
144 0.500 0.000 0.000 0.000 0.000
145 1.000 0.056 0.000 0.167 0.333
146 0.000 0.050 0.000 0.000 0.000
147 0.000 0.000 0.000 0.000 0.000
148 0.500 0.125 0.500 0.500 1.000
149 1.000 0.000 0.000 1.000 1.000
150 0.625 0.000 0.071 0.500 0.167
151 1.000 0.000 0.000 0.000 0.500
152 0.833 0.083 0.067 0.056 0.333
153 1.000 0.000 0.000 0.000 0.000
154 0.000 0.000 0.000 0.000 0.500
155 1.000 0.000 0.000 0.000 0.000
156 0.333 0.000 0.000 1.000 1.000
157 1.000 0.143 0.000 1.000 1.000
158 0.000 0.000 0.000 0.000 0.000
159 0.000 0.000 0.000 0.000 0.000
160 0.000 0.000 0.000 0.000 0.000
161 0.000 0.000 0.000 0.000 0.000
162 0.000 1.000 0.333 0.250 0.000
163 0.250 0.000 0.000 0.000 0.000
164 0.000 0.000 0.000 0.000 0.167
165 1.000 0.000 0.000 0.000 0.167
166 0.000 0.000 0.000 0.000 0.000
167 1.000 0.167 0.000 1.000 1.000
168 0.000 1.000 0.500 1.000 0.500
169 1.000 0.000 0.333 1.000 1.000
170 1.000 0.333 0.000 1.000 1.000
171 0.111 0.000 0.000 0.000 0.000
172 0.500 1.000 1.000 1.000 1.000
173 1.000 0.000 1.000 0.167 0.000
174 0.250 1.000 0.200 0.500 0.000
175 1.000 0.000 0.000 0.000 1.000
176 1.000 0.000 0.000 0.000 0.333
177 1.000 0.000 0.000 0.000 0.000
178 0.625 0.000 0.000 1.000 0.100
179 0.333 0.000 0.000 1.000 0.000
180 1.000 0.000 0.000 0.000 0.200
181 1.000 1.000 1.000 1.000 1.000
182 1.000 0.000 1.000 0.000 0.000
183 0.250 0.000 1.000 0.000 0.333
184 0.000 0.000 0.333 0.000 1.000
185 1.000 0.000 0.333 0.500 1.000
186 0.033 0.000 0.037 0.000 0.667
187 0.250 0.000 0.000 0.000 1.000
188 1.000 0.000 0.000 0.000 0.000
189 1.000 0.000 0.000 0.000 1.000
190 1.000 0.000 0.000 0.500 1.000
191 1.000 1.000 1.000 1.000 0.000
192 0.000 0.000 0.000 0.000 1.000

download these results as csv

Task 1c Summary Results by Query

Simple Hit/Miss Counting [5]

MRR Method [6]

Task 2 Results

Task 2 Overall Results
HAFR1 JY1 JY2 YF1 YF2
Simple Count 6.979 9.135 9.073 8.741 8.741
Total Count 2020 2040 2040 2040 2040

download these results as csv

Task 2 Friedman's Test for Significant Differences

The Friedman test was run in MATLAB against the QBSH Task 2 data over the 48 ground truth song groups. Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);

TeamID TeamID Lowerbound Mean Upperbound Significance
JY1 JY2 -0.3070 0.5417 1.3903 FALSE
JY1 YF2 0.3597 1.2083 2.0570 TRUE
JY1 YF1 0.3597 1.2083 2.0570 TRUE
JY1 HAFR1 2.2347 3.0833 3.9320 TRUE
JY2 YF2 -0.1820 0.6667 1.5153 FALSE
JY2 YF1 -0.1820 0.6667 1.5153 FALSE
JY2 HAFR1 1.6930 2.5417 3.3903 TRUE
YF2 YF1 -0.8486 0.0000 0.8486 FALSE
YF2 HAFR1 1.0264 1.8750 2.7236 TRUE
YF1 HAFR1 1.0264 1.8750 2.7236 TRUE

download these results as csv

2010QbshTask2Group.friedman.tukeyKramerHSD.png


Task 2 Summary Results by Query Group
HAFR1 JY1 JY2 YF1 YF2
1 4.111 5.444 5.444 5.333 5.333
2 0.250 4.000 3.500 2.250 2.250
3 0.000 3.000 1.000 0.000 0.000
4 2.600 3.200 3.000 4.400 4.400
5 4.800 8.400 6.800 6.800 6.800
6 1.500 4.000 3.500 5.000 5.000
7 2.200 7.600 7.000 6.600 6.600
8 4.000 5.400 5.200 6.800 6.800
9 2.500 2.500 2.500 2.000 2.000
10 3.000 4.333 4.222 4.556 4.556
11 6.326 9.140 9.047 8.791 8.791
12 6.930 9.361 9.333 9.542 9.542
13 7.347 7.421 7.447 9.237 9.237
14 8.690 9.278 9.236 8.722 8.722
15 3.929 6.286 6.286 5.214 5.214
16 7.384 9.784 9.824 8.946 8.946
17 5.408 9.625 9.542 9.111 9.111
18 8.145 9.737 9.842 9.026 9.026
19 7.691 9.870 9.710 9.333 9.333
20 8.272 9.707 9.610 9.341 9.341
21 3.265 9.088 9.059 8.971 8.971
22 8.098 9.470 9.458 9.398 9.398
23 4.933 9.387 9.355 8.516 8.516
24 6.862 7.644 7.610 9.136 9.136
25 7.448 9.254 9.085 8.119 8.119
26 6.000 9.762 9.810 7.667 7.667
27 4.756 9.311 9.267 8.156 8.156
28 7.065 9.348 9.087 9.043 9.043
29 7.309 9.735 9.721 9.426 9.426
30 9.045 9.940 9.866 9.687 9.687
31 7.828 9.300 9.417 9.650 9.650
32 7.844 9.766 9.734 9.719 9.719
33 6.520 9.588 9.431 7.824 7.824
34 8.382 9.485 9.441 9.441 9.441
35 7.500 9.609 9.565 8.971 8.971
36 4.333 7.667 6.750 7.792 7.792
37 6.250 6.036 5.536 7.250 7.250
38 7.704 8.204 8.278 8.593 8.593
39 7.191 9.794 9.765 7.574 7.574
40 6.444 9.296 9.333 8.815 8.815
41 7.586 9.814 9.847 9.305 9.305
42 5.707 8.357 8.310 7.214 7.214
43 6.678 8.500 8.550 8.500 8.500
44 6.556 10.000 10.000 9.361 9.361
45 5.085 9.702 9.702 7.277 7.277
46 6.703 8.842 8.789 8.316 8.316
47 3.385 7.846 7.231 8.231 8.231
48 7.591 9.955 9.773 8.273 8.273

download these results as csv

Task 2 Summary Results by Query

[7]

Runtime Results

Participant Task Runtime(min) Machine
HAFR1 Task1a 1752 nema-c-1-2
HAFR1 Task1b 247 nema-c-1-2
HAFR1 Task1c 369 nema-c-1-2
HAFR1 Task2 411 nema-c-1-2
JY1 Task1a 324 win-0-1-1
JY1 Task1b 43 win-0-1-1
JY1 Task1c 43 win-0-1-1
JY1 Task2 232 win-0-1-1
JY2 Task1a 1136 win-0-1-1
JY2 Task1b 177 win-0-1-1
JY2 Task1c 323 win-0-1-1
JY2 Task2 499 win-0-1-1
YF1 Task1a 90 FAST3
YF1 Task1b 8 FAST3
YF1 Task1c 10 FAST3
YF1 Task2 512 FAST3
YF2 Task1a 2922 FAST3
YF2 Task1b 367 FAST3
YF2 Task1c 593 FAST3
YF2 Task2 510 FAST3

download these results as csv

Retrieved from "https://music-ir.org/mirex/w/index.php?title=2010:Query-by-Singing/Humming_Results&oldid=7677"