Difference between revisions of "2010:Query-by-Singing/Humming Results"
(→General Legend) |
|||
Line 25: | Line 25: | ||
|- | |- | ||
! JY1 | ! JY1 | ||
− | | The programs of QBSH || style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2010/JY1.pdf PDF] || [http://www.tsinghua.edu.cn/eng/index.jsp Jingzhou Yang] | + | | The programs of QBSH -beginning|| style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2010/JY1.pdf PDF] || [http://www.tsinghua.edu.cn/eng/index.jsp Jingzhou Yang] |
|- | |- | ||
! JY2 | ! JY2 | ||
− | | The programs of QBSH || style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2010/JY1.pdf PDF] || [http://www.tsinghua.edu.cn/eng/index.jsp Jingzhou Yang] | + | | The programs of QBSH -anywhere|| style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2010/JY1.pdf PDF] || [http://www.tsinghua.edu.cn/eng/index.jsp Jingzhou Yang] |
|- | |- | ||
! YF1 | ! YF1 |
Revision as of 15:37, 30 July 2010
Contents
- 1 Introduction
- 2 General Legend
Introduction
These are the results for the 2008 running of the Query-by-Singing/Humming task. For background information about this task set please refer to the 2010:Query by Singing/Humming page.
Task Descriptions
Task 1 Goto Task 1 Results: The first subtask is the same as last year. In this subtask, submitted systems take a sung query as input and return a list of songs from the test database. Mean reciprocal rank (MRR) of the ground truth, as well as the simple hit(1)/miss(0) counting, is calculated over the top 10 returns. Two data sets are used:
- Jang's Dataset Results Roger Jang's MIR-QBSH corpus with 48 songs as ground truth + 2000 Essen Collection MIDI noise files. See ESAC Data Homepage for more information about the Essen Collection. The queries consists of 4431 humming. All queries are from the beginning of references
- ThinkIT's Dataset Results IOACAS corpus 1 data set with 106 songs as ground truth + 2000 Essen Collection MIDI noise files. See ESAC Data Homepage for more information about the Essen Collection. The queries consists of 355 humming. There are no "singing from beginning" gurantee.
- IOACAS's 2nd Dataset Results IOACAS corpus 2 data set with 192 songs as ground truth + 2000 Essen Collection MIDI noise files. See ESAC Data Homepage for more information about the Essen Collection. The queries consists of 404 humming. There are no "singing from beginning" gurantee.
Task 2 Goto Task 2 Results: The second subtask is the query against other humming. In the second subtask, Roger Jang's MIR-QBSH corpus has been divided into two groups (2040 as queries and 2391 as database). The query is performed against the other humming database and the top 10 closed are returned. The score is simple count of how many returns belong to the same ground truth song.
General Legend
General Legend
Sub code | Submission name | Abstract | Contributors |
---|---|---|---|
HAFR1 | QBH Simbals | Pierre Hanna, Julien Allali, Pascal Ferraro, Matthias Robine | |
JY1 | The programs of QBSH -beginning | Jingzhou Yang | |
JY2 | The programs of QBSH -anywhere | Jingzhou Yang | |
YF1 | Yeh, Fang -beginning | Tzu-chun Yeh, Yi-fan Fang | |
YF2 | Yeh, Fang -anywhere | Tzu-chun Yeh, Yi-fan Fang |
Task 1 Results
Task 1a, Jang's dataset Results
Task 1a Overall Results
HAFR1 | JY1 | JY2 | YF1 | YF2 | |
---|---|---|---|---|---|
Simple Count | 0.771 | 0.967 | 0.956 | 0.947 | 0.912 |
MRR | 0.665 | 0.947 | 0.926 | 0.915 | 0.871 |
Total Count | 4408 | 4431 | 4431 | 4431 | 4431 |
Task 1a Friedman's Test for Significant Differences
The Friedman test was run in MATLAB against the QBSH Task 1a Simple/MRR data over the 48 ground truth song groups. Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);
Simple Hit/Miss Count:
TeamID | TeamID | Lowerbound | Mean | Upperbound | Significance |
---|---|---|---|---|---|
JY1 | JY2 | -0.1065 | 0.7292 | 1.5649 | FALSE |
JY1 | YF1 | 0.1331 | 0.9688 | 1.8044 | TRUE |
JY1 | YF2 | 1.2060 | 2.0417 | 2.8774 | TRUE |
JY1 | HAFR1 | 2.2997 | 3.1354 | 3.9711 | TRUE |
JY2 | YF1 | -0.5961 | 0.2396 | 1.0753 | FALSE |
JY2 | YF2 | 0.4768 | 1.3125 | 2.1482 | TRUE |
JY2 | HAFR1 | 1.5706 | 2.4063 | 3.2419 | TRUE |
YF1 | YF2 | 0.2372 | 1.0729 | 1.9086 | TRUE |
YF1 | HAFR1 | 1.3310 | 2.1667 | 3.0024 | TRUE |
YF2 | HAFR1 | 0.2581 | 1.0938 | 1.9294 | TRUE |
MRR Method:
TeamID | TeamID | Lowerbound | Mean | Upperbound | Significance |
---|---|---|---|---|---|
JY1 | JY2 | 0.2666 | 1.1354 | 2.0043 | TRUE |
JY1 | YF2 | 0.3916 | 1.2604 | 2.1293 | TRUE |
JY1 | YF1 | 1.5374 | 2.4063 | 3.2751 | TRUE |
JY1 | HAFR1 | 2.6624 | 3.5313 | 4.4001 | TRUE |
JY2 | YF2 | -0.7438 | 0.1250 | 0.9938 | FALSE |
JY2 | YF1 | 0.4020 | 1.2708 | 2.1397 | TRUE |
JY2 | HAFR1 | 1.5270 | 2.3958 | 3.2647 | TRUE |
YF2 | YF1 | 0.2770 | 1.1458 | 2.0147 | TRUE |
YF2 | HAFR1 | 1.4020 | 2.2708 | 3.1397 | TRUE |
YF1 | HAFR1 | 0.2562 | 1.1250 | 1.9938 | TRUE |
Task 1a Summary Results by Query Group
Simple Hit/Miss Count
HAFR1 | JY1 | JY2 | YF1 | YF2 | |
---|---|---|---|---|---|
1 | 0.947 | 0.947 | 0.947 | 0.947 | 0.895 |
2 | 0.357 | 0.786 | 0.786 | 0.714 | 0.643 |
3 | 0.636 | 0.727 | 0.636 | 0.636 | 0.636 |
4 | 0.733 | 0.867 | 0.800 | 0.800 | 0.800 |
5 | 0.867 | 0.933 | 0.933 | 0.933 | 0.800 |
6 | 0.750 | 0.917 | 0.917 | 0.833 | 0.833 |
7 | 0.533 | 0.933 | 0.867 | 0.867 | 0.867 |
8 | 0.667 | 0.933 | 0.933 | 0.867 | 0.933 |
9 | 0.750 | 0.917 | 0.917 | 0.917 | 0.917 |
10 | 0.895 | 0.895 | 0.842 | 0.684 | 0.842 |
11 | 0.802 | 0.969 | 0.938 | 0.948 | 0.906 |
12 | 0.915 | 0.968 | 0.961 | 0.968 | 0.961 |
13 | 0.881 | 0.981 | 0.975 | 0.981 | 0.938 |
14 | 0.918 | 0.975 | 0.975 | 0.987 | 0.956 |
15 | 0.741 | 0.963 | 0.963 | 0.963 | 0.926 |
16 | 0.930 | 0.981 | 0.969 | 0.950 | 0.925 |
17 | 0.728 | 0.987 | 0.974 | 0.974 | 0.882 |
18 | 0.750 | 0.982 | 0.994 | 0.976 | 0.951 |
19 | 0.892 | 0.975 | 0.968 | 0.975 | 0.943 |
20 | 0.467 | 0.988 | 0.976 | 1.000 | 0.982 |
21 | 0.318 | 0.879 | 0.848 | 0.848 | 0.788 |
22 | 0.953 | 0.994 | 0.983 | 0.977 | 0.954 |
23 | 0.852 | 1.000 | 0.984 | 0.984 | 0.984 |
24 | 0.583 | 0.884 | 0.843 | 0.851 | 0.810 |
25 | 0.574 | 0.935 | 0.813 | 0.740 | 0.569 |
26 | 0.654 | 0.981 | 0.962 | 0.962 | 0.962 |
27 | 0.765 | 0.988 | 0.953 | 0.953 | 0.965 |
28 | 0.495 | 0.967 | 0.912 | 0.879 | 0.725 |
29 | 0.573 | 0.987 | 1.000 | 0.987 | 0.980 |
30 | 0.944 | 0.993 | 0.986 | 0.986 | 0.938 |
31 | 0.935 | 0.979 | 0.986 | 0.993 | 0.986 |
32 | 0.796 | 0.956 | 0.949 | 0.956 | 0.912 |
33 | 0.496 | 0.957 | 0.957 | 0.931 | 0.862 |
34 | 0.635 | 0.971 | 0.964 | 0.927 | 0.891 |
35 | 0.757 | 0.966 | 0.946 | 0.960 | 0.886 |
36 | 0.907 | 0.953 | 0.953 | 0.930 | 0.930 |
37 | 0.879 | 0.955 | 0.939 | 0.939 | 0.894 |
38 | 0.781 | 0.930 | 0.947 | 0.947 | 0.947 |
39 | 0.822 | 0.980 | 0.980 | 0.932 | 0.905 |
40 | 0.437 | 0.944 | 0.958 | 0.958 | 0.901 |
41 | 0.896 | 0.976 | 0.976 | 0.976 | 0.952 |
42 | 0.857 | 0.946 | 0.967 | 0.946 | 0.957 |
43 | 0.902 | 0.967 | 0.976 | 0.951 | 0.943 |
44 | 0.875 | 0.975 | 0.975 | 0.963 | 0.925 |
45 | 0.828 | 0.970 | 0.970 | 0.939 | 0.899 |
46 | 0.802 | 0.978 | 0.967 | 0.957 | 0.946 |
47 | 0.931 | 1.000 | 0.966 | 1.000 | 0.966 |
48 | 0.811 | 1.000 | 0.962 | 0.962 | 0.981 |
MRR Method
HAFR1 | JY1 | JY2 | YF1 | YF2 | |
---|---|---|---|---|---|
1 | 0.877 | 0.886 | 0.882 | 0.848 | 0.874 |
2 | 0.357 | 0.786 | 0.786 | 0.560 | 0.653 |
3 | 0.636 | 0.682 | 0.636 | 0.636 | 0.636 |
4 | 0.689 | 0.807 | 0.800 | 0.800 | 0.800 |
5 | 0.722 | 0.889 | 0.833 | 0.800 | 0.844 |
6 | 0.676 | 0.917 | 0.917 | 0.792 | 0.833 |
7 | 0.533 | 0.880 | 0.867 | 0.867 | 0.867 |
8 | 0.589 | 0.889 | 0.933 | 0.933 | 0.807 |
9 | 0.667 | 0.917 | 0.917 | 0.833 | 0.875 |
10 | 0.855 | 0.860 | 0.716 | 0.842 | 0.613 |
11 | 0.717 | 0.946 | 0.932 | 0.883 | 0.928 |
12 | 0.787 | 0.959 | 0.952 | 0.937 | 0.958 |
13 | 0.739 | 0.927 | 0.908 | 0.915 | 0.934 |
14 | 0.813 | 0.965 | 0.954 | 0.876 | 0.954 |
15 | 0.662 | 0.963 | 0.963 | 0.907 | 0.926 |
16 | 0.894 | 0.962 | 0.942 | 0.905 | 0.915 |
17 | 0.555 | 0.982 | 0.961 | 0.760 | 0.895 |
18 | 0.641 | 0.982 | 0.986 | 0.938 | 0.955 |
19 | 0.805 | 0.969 | 0.965 | 0.931 | 0.966 |
20 | 0.301 | 0.979 | 0.968 | 0.955 | 0.984 |
21 | 0.242 | 0.838 | 0.778 | 0.667 | 0.723 |
22 | 0.912 | 0.989 | 0.979 | 0.954 | 0.959 |
23 | 0.707 | 0.992 | 0.973 | 0.957 | 0.970 |
24 | 0.489 | 0.809 | 0.775 | 0.752 | 0.790 |
25 | 0.396 | 0.824 | 0.739 | 0.449 | 0.610 |
26 | 0.568 | 0.953 | 0.919 | 0.942 | 0.952 |
27 | 0.583 | 0.980 | 0.942 | 0.934 | 0.941 |
28 | 0.382 | 0.945 | 0.766 | 0.606 | 0.793 |
29 | 0.434 | 0.978 | 0.983 | 0.954 | 0.971 |
30 | 0.876 | 0.993 | 0.957 | 0.901 | 0.971 |
31 | 0.838 | 0.972 | 0.976 | 0.974 | 0.993 |
32 | 0.643 | 0.946 | 0.918 | 0.898 | 0.951 |
33 | 0.363 | 0.938 | 0.923 | 0.812 | 0.882 |
34 | 0.530 | 0.955 | 0.938 | 0.842 | 0.898 |
35 | 0.673 | 0.945 | 0.912 | 0.845 | 0.941 |
36 | 0.841 | 0.953 | 0.919 | 0.930 | 0.930 |
37 | 0.798 | 0.934 | 0.899 | 0.837 | 0.905 |
38 | 0.635 | 0.890 | 0.885 | 0.911 | 0.922 |
39 | 0.695 | 0.963 | 0.959 | 0.854 | 0.903 |
40 | 0.312 | 0.927 | 0.926 | 0.851 | 0.899 |
41 | 0.817 | 0.966 | 0.937 | 0.924 | 0.954 |
42 | 0.756 | 0.940 | 0.914 | 0.893 | 0.915 |
43 | 0.800 | 0.941 | 0.952 | 0.863 | 0.920 |
44 | 0.836 | 0.975 | 0.964 | 0.916 | 0.939 |
45 | 0.772 | 0.944 | 0.947 | 0.868 | 0.913 |
46 | 0.744 | 0.952 | 0.922 | 0.923 | 0.943 |
47 | 0.826 | 0.972 | 0.943 | 0.940 | 0.957 |
48 | 0.697 | 0.970 | 0.953 | 0.920 | 0.937 |
Task 1a Summary Results by Query
Simple Hit/Miss Counting [1]
MRR Method [2]
Task 1b, ThinkIT's dataset Results
Task 1b Overall Results
HAFR1 | JY1 | JY2 | YF1 | YF2 | |
---|---|---|---|---|---|
Simple Count | 0.806 | 0.434 | 0.49 | 0.445 | 0.904 |
MRR | 0.704 | 0.416 | 0.469 | 0.423 | 0.844 |
Total Count | 355 | 355 | 355 | 355 | 355 |
Task 1b Friedman's Test for Significant Differences
The Friedman test was run in MATLAB against the QBSH Task 1b Simple/MRR data over the 106 ground truth song groups. Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);
Simple Hit/Miss Count:
TeamID | TeamID | Lowerbound | Mean | Upperbound | Significance |
---|---|---|---|---|---|
YF2 | HAFR1 | -0.0077 | 0.4481 | 0.9039 | FALSE |
YF2 | JY2 | 1.0536 | 1.5094 | 1.9653 | TRUE |
YF2 | YF1 | 1.2376 | 1.6934 | 2.1492 | TRUE |
YF2 | JY1 | 1.2706 | 1.7264 | 2.1822 | TRUE |
HAFR1 | JY2 | 0.6055 | 1.0613 | 1.5171 | TRUE |
HAFR1 | YF1 | 0.7895 | 1.2453 | 1.7011 | TRUE |
HAFR1 | JY1 | 0.8225 | 1.2783 | 1.7341 | TRUE |
JY2 | YF1 | -0.2719 | 0.1840 | 0.6398 | FALSE |
JY2 | JY1 | -0.2388 | 0.2170 | 0.6728 | FALSE |
YF1 | JY1 | -0.4228 | 0.0330 | 0.4888 | FALSE |
MRR Method:
TeamID | TeamID | Lowerbound | Mean | Upperbound | Significance |
---|---|---|---|---|---|
YF2 | HAFR1 | 0.1253 | 0.6085 | 1.0916 | TRUE |
YF2 | JY2 | 1.0168 | 1.5000 | 1.9832 | TRUE |
YF2 | YF1 | 1.1819 | 1.6651 | 2.1482 | TRUE |
YF2 | JY1 | 1.1914 | 1.6745 | 2.1577 | TRUE |
HAFR1 | JY2 | 0.4084 | 0.8915 | 1.3747 | TRUE |
HAFR1 | YF1 | 0.5735 | 1.0566 | 1.5398 | TRUE |
HAFR1 | JY1 | 0.5829 | 1.0660 | 1.5492 | TRUE |
JY2 | YF1 | -0.3181 | 0.1651 | 0.6482 | FALSE |
JY2 | JY1 | -0.3086 | 0.1745 | 0.6577 | FALSE |
YF1 | JY1 | -0.4737 | 0.0094 | 0.4926 | FALSE |
Task 1b Summary Results by Query Group
Simple Hit/Miss Count
HAFR1 | JY1 | JY2 | YF1 | YF2 | |
---|---|---|---|---|---|
1 | 0.909 | 0.364 | 0.364 | 0.636 | 1.000 |
2 | 0.800 | 0.600 | 0.600 | 0.600 | 0.800 |
3 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
4 | 1.000 | 0.000 | 0.500 | 0.500 | 1.000 |
5 | 0.000 | 0.000 | 0.000 | 0.000 | 1.000 |
6 | 0.833 | 0.000 | 0.000 | 0.000 | 1.000 |
7 | 0.833 | 1.000 | 1.000 | 1.000 | 1.000 |
8 | 0.333 | 0.333 | 0.333 | 0.333 | 0.667 |
9 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
10 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
11 | 0.500 | 0.000 | 0.000 | 0.000 | 1.000 |
12 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
13 | 0.600 | 0.000 | 0.000 | 0.200 | 0.600 |
14 | 0.500 | 0.000 | 1.000 | 0.000 | 1.000 |
15 | 0.000 | 0.000 | 0.500 | 0.000 | 0.500 |
16 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
17 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
18 | 0.500 | 0.500 | 0.500 | 0.500 | 1.000 |
19 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
20 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
21 | 0.500 | 0.500 | 0.000 | 0.000 | 0.500 |
22 | 0.889 | 0.444 | 0.667 | 0.444 | 0.889 |
23 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
24 | 1.000 | 0.000 | 0.500 | 0.000 | 1.000 |
25 | 1.000 | 0.500 | 0.500 | 0.500 | 1.000 |
26 | 0.909 | 0.636 | 0.636 | 0.636 | 0.909 |
27 | 0.000 | 0.500 | 0.250 | 0.500 | 1.000 |
28 | 0.750 | 0.500 | 0.500 | 0.500 | 1.000 |
29 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
30 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
31 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
32 | 0.857 | 0.000 | 0.000 | 0.000 | 1.000 |
33 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
34 | 0.000 | 0.500 | 0.500 | 0.500 | 0.500 |
35 | 1.000 | 0.000 | 1.000 | 1.000 | 1.000 |
36 | 0.600 | 0.000 | 0.000 | 0.000 | 0.800 |
37 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
38 | 1.000 | 0.500 | 1.000 | 0.500 | 1.000 |
39 | 1.000 | 0.429 | 0.429 | 0.429 | 1.000 |
40 | 0.500 | 1.000 | 1.000 | 1.000 | 1.000 |
41 | 0.750 | 0.125 | 0.125 | 0.125 | 0.875 |
42 | 0.500 | 0.667 | 0.667 | 0.667 | 0.917 |
43 | 0.556 | 0.778 | 0.667 | 0.667 | 0.778 |
44 | 1.000 | 0.556 | 0.556 | 0.556 | 1.000 |
45 | 0.667 | 1.000 | 1.000 | 1.000 | 1.000 |
46 | 0.750 | 0.500 | 0.500 | 0.500 | 0.750 |
47 | 1.000 | 0.750 | 0.750 | 0.750 | 1.000 |
48 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
49 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
50 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
51 | 1.000 | 0.500 | 0.500 | 0.500 | 1.000 |
52 | 0.750 | 0.250 | 0.750 | 0.250 | 1.000 |
53 | 0.833 | 0.333 | 0.333 | 0.333 | 1.000 |
54 | 1.000 | 0.833 | 0.333 | 0.667 | 1.000 |
55 | 0.750 | 0.000 | 0.000 | 0.000 | 1.000 |
56 | 0.500 | 0.500 | 0.500 | 0.500 | 0.500 |
57 | 0.400 | 1.000 | 1.000 | 1.000 | 1.000 |
58 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
59 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
60 | 0.500 | 1.000 | 1.000 | 1.000 | 1.000 |
61 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
62 | 1.000 | 0.333 | 0.333 | 0.333 | 1.000 |
63 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
64 | 0.000 | 0.000 | 0.000 | 0.000 | 1.000 |
65 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
66 | 1.000 | 0.500 | 0.750 | 0.500 | 0.750 |
67 | 0.667 | 0.000 | 0.000 | 0.000 | 1.000 |
68 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
69 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
70 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
71 | 1.000 | 0.000 | 0.000 | 0.000 | 0.667 |
72 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
73 | 0.500 | 1.000 | 1.000 | 1.000 | 1.000 |
74 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
75 | 0.667 | 0.333 | 0.333 | 0.333 | 0.667 |
76 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
77 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
78 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
79 | 1.000 | 0.500 | 0.500 | 0.500 | 1.000 |
80 | 1.000 | 0.333 | 0.333 | 0.333 | 1.000 |
81 | 1.000 | 0.333 | 0.333 | 0.333 | 0.667 |
82 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
83 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
84 | 0.500 | 0.250 | 0.000 | 0.000 | 0.250 |
85 | 1.000 | 0.500 | 0.500 | 0.500 | 1.000 |
86 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
87 | 0.333 | 0.000 | 0.000 | 0.000 | 1.000 |
88 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
89 | 1.000 | 0.429 | 0.429 | 0.571 | 1.000 |
90 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
91 | 0.500 | 0.000 | 0.000 | 0.000 | 1.000 |
92 | 1.000 | 0.500 | 0.500 | 0.500 | 1.000 |
93 | 1.000 | 0.500 | 0.500 | 0.500 | 1.000 |
94 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
95 | 0.000 | 0.000 | 1.000 | 0.000 | 1.000 |
96 | 1.000 | 1.000 | 1.000 | 1.000 | 0.000 |
97 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
98 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
99 | 1.000 | 0.750 | 0.750 | 0.750 | 1.000 |
100 | 1.000 | 0.333 | 0.333 | 0.333 | 1.000 |
101 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
102 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
103 | 0.750 | 0.375 | 0.625 | 0.375 | 0.875 |
104 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
105 | 1.000 | 0.000 | 0.000 | 1.000 | 0.000 |
106 | 0.000 | 0.000 | 0.000 | 0.000 | 0.667 |
MRR Method
HAFR1 | JY1 | JY2 | YF1 | YF2 | |
---|---|---|---|---|---|
1 | 0.909 | 0.364 | 0.364 | 0.450 | 0.955 |
2 | 0.550 | 0.600 | 0.600 | 0.600 | 0.800 |
3 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
4 | 0.500 | 0.000 | 0.500 | 0.083 | 0.667 |
5 | 0.000 | 0.000 | 0.000 | 0.000 | 0.250 |
6 | 0.833 | 0.000 | 0.000 | 0.000 | 0.792 |
7 | 0.833 | 1.000 | 1.000 | 1.000 | 1.000 |
8 | 0.333 | 0.333 | 0.167 | 0.333 | 0.500 |
9 | 0.850 | 0.000 | 1.000 | 0.000 | 1.000 |
10 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
11 | 0.167 | 0.000 | 0.000 | 0.000 | 0.750 |
12 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
13 | 0.295 | 0.000 | 0.000 | 0.100 | 0.600 |
14 | 0.500 | 0.000 | 1.000 | 0.000 | 0.667 |
15 | 0.000 | 0.000 | 0.500 | 0.000 | 0.500 |
16 | 1.000 | 1.000 | 0.813 | 1.000 | 0.667 |
17 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
18 | 0.500 | 0.500 | 0.500 | 0.500 | 1.000 |
19 | 1.000 | 0.000 | 0.000 | 0.000 | 0.667 |
20 | 0.571 | 0.000 | 0.000 | 0.000 | 0.000 |
21 | 0.500 | 0.125 | 0.000 | 0.000 | 0.250 |
22 | 0.648 | 0.444 | 0.667 | 0.444 | 0.806 |
23 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
24 | 1.000 | 0.000 | 0.500 | 0.000 | 1.000 |
25 | 0.583 | 0.500 | 0.500 | 0.500 | 1.000 |
26 | 0.818 | 0.636 | 0.568 | 0.564 | 0.848 |
27 | 0.000 | 0.292 | 0.250 | 0.300 | 1.000 |
28 | 0.525 | 0.500 | 0.500 | 0.500 | 0.875 |
29 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
30 | 1.000 | 1.000 | 1.000 | 0.800 | 1.000 |
31 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
32 | 0.786 | 0.000 | 0.000 | 0.000 | 1.000 |
33 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
34 | 0.000 | 0.500 | 0.500 | 0.125 | 0.125 |
35 | 1.000 | 0.000 | 1.000 | 0.100 | 1.000 |
36 | 0.600 | 0.000 | 0.000 | 0.000 | 0.800 |
37 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
38 | 1.000 | 0.500 | 1.000 | 0.500 | 1.000 |
39 | 0.702 | 0.429 | 0.429 | 0.429 | 1.000 |
40 | 0.500 | 1.000 | 1.000 | 1.000 | 1.000 |
41 | 0.688 | 0.125 | 0.125 | 0.125 | 0.729 |
42 | 0.417 | 0.667 | 0.667 | 0.667 | 0.861 |
43 | 0.457 | 0.678 | 0.611 | 0.667 | 0.778 |
44 | 0.849 | 0.556 | 0.556 | 0.556 | 1.000 |
45 | 0.667 | 1.000 | 1.000 | 1.000 | 1.000 |
46 | 0.500 | 0.375 | 0.067 | 0.500 | 0.500 |
47 | 1.000 | 0.750 | 0.750 | 0.750 | 1.000 |
48 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
49 | 0.500 | 1.000 | 1.000 | 1.000 | 1.000 |
50 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
51 | 1.000 | 0.500 | 0.500 | 0.500 | 1.000 |
52 | 0.750 | 0.250 | 0.750 | 0.250 | 1.000 |
53 | 0.833 | 0.333 | 0.333 | 0.333 | 1.000 |
54 | 1.000 | 0.583 | 0.139 | 0.667 | 1.000 |
55 | 0.363 | 0.000 | 0.000 | 0.000 | 1.000 |
56 | 0.500 | 0.500 | 0.500 | 0.500 | 0.500 |
57 | 0.229 | 1.000 | 1.000 | 1.000 | 1.000 |
58 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
59 | 0.464 | 0.000 | 0.000 | 0.000 | 1.000 |
60 | 0.500 | 1.000 | 1.000 | 1.000 | 1.000 |
61 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
62 | 0.833 | 0.167 | 0.111 | 0.333 | 1.000 |
63 | 1.000 | 1.000 | 1.000 | 1.000 | 0.750 |
64 | 0.000 | 0.000 | 0.000 | 0.000 | 1.000 |
65 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
66 | 1.000 | 0.500 | 0.750 | 0.500 | 0.750 |
67 | 0.370 | 0.000 | 0.000 | 0.000 | 1.000 |
68 | 0.625 | 1.000 | 1.000 | 1.000 | 1.000 |
69 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
70 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
71 | 1.000 | 0.000 | 0.000 | 0.000 | 0.667 |
72 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
73 | 0.500 | 1.000 | 1.000 | 1.000 | 1.000 |
74 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
75 | 0.667 | 0.333 | 0.333 | 0.333 | 0.381 |
76 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
77 | 0.777 | 1.000 | 1.000 | 1.000 | 1.000 |
78 | 0.200 | 1.000 | 0.250 | 1.000 | 1.000 |
79 | 1.000 | 0.500 | 0.500 | 0.500 | 1.000 |
80 | 1.000 | 0.333 | 0.333 | 0.333 | 1.000 |
81 | 1.000 | 0.333 | 0.333 | 0.333 | 0.667 |
82 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
83 | 1.000 | 0.000 | 0.000 | 0.000 | 0.528 |
84 | 0.090 | 0.125 | 0.000 | 0.000 | 0.042 |
85 | 0.875 | 0.500 | 0.500 | 0.500 | 1.000 |
86 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
87 | 0.333 | 0.000 | 0.000 | 0.000 | 1.000 |
88 | 1.000 | 0.000 | 0.000 | 0.000 | 0.500 |
89 | 0.871 | 0.304 | 0.429 | 0.571 | 0.802 |
90 | 0.292 | 0.000 | 1.000 | 0.000 | 1.000 |
91 | 0.500 | 0.000 | 0.000 | 0.000 | 1.000 |
92 | 1.000 | 0.500 | 0.500 | 0.500 | 1.000 |
93 | 1.000 | 0.500 | 0.500 | 0.500 | 1.000 |
94 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
95 | 0.000 | 0.000 | 1.000 | 0.000 | 1.000 |
96 | 1.000 | 1.000 | 0.333 | 0.500 | 0.000 |
97 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
98 | 0.333 | 0.000 | 0.000 | 0.000 | 1.000 |
99 | 0.778 | 0.750 | 0.750 | 0.750 | 0.833 |
100 | 1.000 | 0.333 | 0.333 | 0.333 | 1.000 |
101 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
102 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
103 | 0.583 | 0.375 | 0.625 | 0.375 | 0.708 |
104 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
105 | 0.143 | 0.000 | 0.000 | 1.000 | 0.000 |
106 | 0.000 | 0.000 | 0.000 | 0.000 | 0.333 |
Task 1b Summary Results by Query
Simple Hit/Miss Counting [3]
MRR Method [4]
Task 1c, IOACAS2's dataset Results
As argued by Jang, there are some abnormal in the IOACAS2 data set. Therefore, we just provide the raw result without any further analysis.
Task 1c Summary Results by Query Group
Simple Hit/Miss Count
HAFR1 | JY1 | JY2 | YF1 | YF2 | |
---|---|---|---|---|---|
1 | 0.000 | 0.000 | 0.000 | 0.000 | 1.000 |
2 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
3 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
4 | 0.333 | 0.000 | 0.000 | 0.000 | 0.000 |
5 | 0.364 | 0.000 | 0.091 | 0.273 | 0.364 |
6 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
7 | 0.500 | 0.000 | 0.000 | 0.500 | 1.000 |
8 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
9 | 1.000 | 0.000 | 0.000 | 1.000 | 0.000 |
10 | 1.000 | 0.000 | 0.000 | 1.000 | 1.000 |
11 | 0.750 | 0.000 | 0.000 | 0.000 | 1.000 |
12 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
13 | 0.429 | 0.000 | 0.000 | 0.286 | 0.143 |
14 | 0.400 | 0.000 | 0.000 | 0.200 | 0.400 |
15 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
16 | 1.000 | 0.000 | 0.000 | 1.000 | 1.000 |
17 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
18 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
19 | 0.000 | 0.000 | 0.000 | 0.500 | 0.000 |
20 | 0.500 | 0.000 | 0.000 | 0.500 | 0.250 |
21 | 1.000 | 0.000 | 0.500 | 0.000 | 0.000 |
22 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
23 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
24 | 0.143 | 0.000 | 0.000 | 0.000 | 0.571 |
25 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
26 | 1.000 | 0.000 | 0.000 | 0.000 | 0.250 |
27 | 0.000 | 1.000 | 0.000 | 0.000 | 0.000 |
28 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
29 | 0.625 | 0.000 | 0.000 | 0.375 | 0.375 |
30 | 1.000 | 0.000 | 1.000 | 0.000 | 0.000 |
31 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
32 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
33 | 0.333 | 0.000 | 0.000 | 0.333 | 0.333 |
34 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
35 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
36 | 1.000 | 1.000 | 0.500 | 0.500 | 0.000 |
37 | 0.889 | 0.000 | 0.000 | 0.000 | 0.444 |
38 | 0.500 | 0.000 | 0.000 | 0.500 | 0.500 |
39 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
40 | 1.000 | 0.500 | 0.500 | 0.500 | 0.500 |
41 | 1.000 | 0.000 | 0.000 | 1.000 | 1.000 |
42 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
43 | 1.000 | 0.000 | 0.000 | 0.333 | 0.000 |
44 | 1.000 | 0.000 | 0.000 | 0.500 | 0.500 |
45 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
46 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
47 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
48 | 0.000 | 0.000 | 1.000 | 0.000 | 1.000 |
49 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
50 | 0.875 | 0.000 | 0.250 | 0.250 | 0.125 |
51 | 0.750 | 0.000 | 0.000 | 0.000 | 0.250 |
52 | 0.667 | 0.333 | 0.667 | 0.333 | 0.667 |
53 | 0.500 | 0.000 | 0.000 | 0.000 | 0.500 |
54 | 0.500 | 0.000 | 0.000 | 0.000 | 0.500 |
55 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
56 | 0.000 | 0.000 | 0.000 | 0.667 | 0.667 |
57 | 1.000 | 0.000 | 0.000 | 0.000 | 0.333 |
58 | 0.286 | 0.286 | 0.143 | 0.000 | 0.000 |
59 | 0.000 | 0.000 | 0.000 | 1.000 | 0.000 |
60 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
61 | 0.500 | 0.000 | 0.000 | 0.000 | 0.500 |
62 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
63 | 0.000 | 0.000 | 0.000 | 0.000 | 1.000 |
64 | 0.333 | 0.000 | 0.000 | 0.333 | 0.556 |
65 | 0.000 | 0.000 | 0.000 | 1.000 | 0.000 |
66 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
67 | 0.500 | 0.000 | 0.000 | 0.000 | 0.000 |
68 | 0.500 | 0.700 | 0.600 | 0.500 | 0.600 |
69 | 0.333 | 0.000 | 0.000 | 0.000 | 0.333 |
70 | 0.300 | 0.000 | 0.500 | 0.000 | 0.700 |
71 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
72 | 0.333 | 0.500 | 0.000 | 0.500 | 0.333 |
73 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
74 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
75 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
76 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
77 | 1.000 | 1.000 | 0.000 | 0.000 | 0.000 |
78 | 0.167 | 0.000 | 0.000 | 0.833 | 0.333 |
79 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
80 | 0.846 | 0.462 | 0.231 | 0.615 | 0.692 |
81 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
82 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
83 | 1.000 | 0.000 | 0.000 | 1.000 | 0.857 |
84 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
85 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
86 | 0.250 | 0.000 | 0.000 | 0.000 | 1.000 |
87 | 1.000 | 0.000 | 1.000 | 1.000 | 1.000 |
88 | 0.750 | 0.000 | 0.000 | 0.250 | 0.750 |
89 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
90 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
91 | 1.000 | 0.000 | 0.500 | 0.500 | 0.500 |
92 | 1.000 | 0.000 | 0.000 | 0.500 | 1.000 |
93 | 0.800 | 0.000 | 0.400 | 0.400 | 0.600 |
94 | 0.000 | 0.000 | 0.000 | 1.000 | 0.000 |
95 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
96 | 1.000 | 0.000 | 0.000 | 0.667 | 0.667 |
97 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
98 | 0.500 | 0.500 | 0.500 | 1.000 | 1.000 |
99 | 0.000 | 1.000 | 0.000 | 1.000 | 1.000 |
100 | 1.000 | 0.000 | 0.000 | 0.000 | 0.500 |
101 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
102 | 0.500 | 0.625 | 0.625 | 0.625 | 0.500 |
103 | 0.000 | 0.000 | 1.000 | 0.000 | 0.000 |
104 | 1.000 | 0.000 | 0.000 | 1.000 | 0.000 |
105 | 0.000 | 0.000 | 1.000 | 0.000 | 1.000 |
106 | 0.000 | 0.000 | 0.500 | 0.000 | 0.000 |
107 | 1.000 | 0.000 | 0.500 | 0.000 | 1.000 |
108 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
109 | 1.000 | 1.000 | 0.500 | 1.000 | 0.500 |
110 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
111 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
112 | 0.500 | 0.000 | 0.000 | 0.000 | 0.000 |
113 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
114 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
115 | 0.500 | 1.000 | 0.000 | 1.000 | 0.000 |
116 | 0.500 | 0.000 | 0.000 | 0.500 | 0.000 |
117 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
118 | 1.000 | 1.000 | 1.000 | 1.000 | 0.000 |
119 | 0.400 | 0.000 | 0.400 | 0.200 | 0.200 |
120 | 1.000 | 0.000 | 0.000 | 1.000 | 0.000 |
121 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
122 | 1.000 | 0.000 | 0.000 | 1.000 | 1.000 |
123 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
124 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
125 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
126 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
127 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
128 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
129 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
130 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
131 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
132 | 0.500 | 0.000 | 0.000 | 0.000 | 0.000 |
133 | 0.000 | 1.000 | 1.000 | 1.000 | 1.000 |
134 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
135 | 0.000 | 0.000 | 0.000 | 0.000 | 1.000 |
136 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
137 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
138 | 1.000 | 0.000 | 0.667 | 0.000 | 1.000 |
139 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
140 | 1.000 | 0.000 | 0.000 | 1.000 | 0.000 |
141 | 1.000 | 0.000 | 0.000 | 1.000 | 1.000 |
142 | 1.000 | 0.000 | 0.250 | 0.000 | 0.500 |
143 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
144 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
145 | 1.000 | 0.333 | 0.000 | 0.333 | 0.333 |
146 | 0.000 | 0.500 | 0.000 | 0.000 | 0.000 |
147 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
148 | 0.500 | 0.500 | 0.500 | 0.500 | 1.000 |
149 | 1.000 | 0.000 | 0.000 | 1.000 | 1.000 |
150 | 1.000 | 0.000 | 0.500 | 0.500 | 0.500 |
151 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
152 | 1.000 | 0.333 | 0.333 | 0.333 | 0.333 |
153 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
154 | 0.000 | 0.000 | 0.000 | 0.000 | 1.000 |
155 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
156 | 1.000 | 0.000 | 0.000 | 1.000 | 1.000 |
157 | 1.000 | 1.000 | 0.000 | 1.000 | 1.000 |
158 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
159 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
160 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
161 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
162 | 0.000 | 1.000 | 1.000 | 1.000 | 0.000 |
163 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
164 | 0.000 | 0.000 | 0.000 | 0.000 | 1.000 |
165 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
166 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
167 | 1.000 | 1.000 | 0.000 | 1.000 | 1.000 |
168 | 0.000 | 1.000 | 1.000 | 1.000 | 1.000 |
169 | 1.000 | 0.000 | 1.000 | 1.000 | 1.000 |
170 | 1.000 | 1.000 | 0.000 | 1.000 | 1.000 |
171 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
172 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
173 | 1.000 | 0.000 | 1.000 | 1.000 | 0.000 |
174 | 1.000 | 1.000 | 1.000 | 1.000 | 0.000 |
175 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
176 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
177 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
178 | 1.000 | 0.000 | 0.000 | 1.000 | 0.500 |
179 | 1.000 | 0.000 | 0.000 | 1.000 | 0.000 |
180 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
181 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
182 | 1.000 | 0.000 | 1.000 | 0.000 | 0.000 |
183 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
184 | 0.000 | 0.000 | 1.000 | 0.000 | 1.000 |
185 | 1.000 | 0.000 | 1.000 | 1.000 | 1.000 |
186 | 0.333 | 0.000 | 0.333 | 0.000 | 0.667 |
187 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
188 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
189 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
190 | 1.000 | 0.000 | 0.000 | 0.500 | 1.000 |
191 | 1.000 | 1.000 | 1.000 | 1.000 | 0.000 |
192 | 0.000 | 0.000 | 0.000 | 0.000 | 1.000 |
MRR Method
HAFR1 | JY1 | JY2 | YF1 | YF2 | |
---|---|---|---|---|---|
1 | 0.000 | 0.000 | 0.000 | 0.000 | 1.000 |
2 | 0.583 | 0.000 | 0.000 | 0.000 | 0.000 |
3 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
4 | 0.333 | 0.000 | 0.000 | 0.000 | 0.000 |
5 | 0.195 | 0.000 | 0.013 | 0.132 | 0.197 |
6 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
7 | 0.500 | 0.000 | 0.000 | 0.500 | 1.000 |
8 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
9 | 1.000 | 0.000 | 0.000 | 1.000 | 0.000 |
10 | 1.000 | 0.000 | 0.000 | 1.000 | 1.000 |
11 | 0.625 | 0.000 | 0.000 | 0.000 | 0.486 |
12 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
13 | 0.429 | 0.000 | 0.000 | 0.063 | 0.143 |
14 | 0.400 | 0.000 | 0.000 | 0.025 | 0.167 |
15 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
16 | 1.000 | 0.000 | 0.000 | 1.000 | 0.167 |
17 | 0.625 | 0.000 | 0.000 | 0.000 | 0.000 |
18 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
19 | 0.000 | 0.000 | 0.000 | 0.056 | 0.000 |
20 | 0.500 | 0.000 | 0.000 | 0.090 | 0.031 |
21 | 1.000 | 0.000 | 0.167 | 0.000 | 0.000 |
22 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
23 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
24 | 0.014 | 0.000 | 0.000 | 0.000 | 0.571 |
25 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
26 | 0.567 | 0.000 | 0.000 | 0.000 | 0.250 |
27 | 0.000 | 0.500 | 0.000 | 0.000 | 0.000 |
28 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
29 | 0.406 | 0.000 | 0.000 | 0.313 | 0.266 |
30 | 1.000 | 0.000 | 0.333 | 0.000 | 0.000 |
31 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
32 | 0.750 | 0.000 | 0.000 | 0.000 | 0.000 |
33 | 0.167 | 0.000 | 0.000 | 0.333 | 0.037 |
34 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
35 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
36 | 0.750 | 0.750 | 0.167 | 0.167 | 0.000 |
37 | 0.750 | 0.000 | 0.000 | 0.000 | 0.315 |
38 | 0.500 | 0.000 | 0.000 | 0.500 | 0.250 |
39 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
40 | 1.000 | 0.500 | 0.500 | 0.500 | 0.500 |
41 | 1.000 | 0.000 | 0.000 | 0.333 | 1.000 |
42 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
43 | 0.778 | 0.000 | 0.000 | 0.111 | 0.000 |
44 | 1.000 | 0.000 | 0.000 | 0.125 | 0.500 |
45 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
46 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
47 | 0.333 | 0.000 | 0.000 | 0.000 | 0.250 |
48 | 0.000 | 0.000 | 0.500 | 0.000 | 1.000 |
49 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
50 | 0.661 | 0.000 | 0.030 | 0.030 | 0.125 |
51 | 0.531 | 0.000 | 0.000 | 0.000 | 0.250 |
52 | 0.667 | 0.333 | 0.667 | 0.333 | 0.400 |
53 | 0.125 | 0.000 | 0.000 | 0.000 | 0.500 |
54 | 0.500 | 0.000 | 0.000 | 0.000 | 0.188 |
55 | 0.143 | 0.000 | 0.000 | 0.000 | 0.000 |
56 | 0.000 | 0.000 | 0.000 | 0.117 | 0.500 |
57 | 0.156 | 0.000 | 0.000 | 0.000 | 0.033 |
58 | 0.286 | 0.143 | 0.024 | 0.000 | 0.000 |
59 | 0.000 | 0.000 | 0.000 | 1.000 | 0.000 |
60 | 0.333 | 0.000 | 1.000 | 0.000 | 1.000 |
61 | 0.250 | 0.000 | 0.000 | 0.000 | 0.500 |
62 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
63 | 0.000 | 0.000 | 0.000 | 0.000 | 0.200 |
64 | 0.204 | 0.000 | 0.000 | 0.333 | 0.254 |
65 | 0.000 | 0.000 | 0.000 | 1.000 | 0.000 |
66 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
67 | 0.071 | 0.000 | 0.000 | 0.000 | 0.000 |
68 | 0.425 | 0.558 | 0.398 | 0.500 | 0.533 |
69 | 0.333 | 0.000 | 0.000 | 0.000 | 0.333 |
70 | 0.300 | 0.000 | 0.303 | 0.000 | 0.650 |
71 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
72 | 0.125 | 0.269 | 0.000 | 0.417 | 0.125 |
73 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
74 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
75 | 0.600 | 0.000 | 0.000 | 0.000 | 0.000 |
76 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
77 | 1.000 | 1.000 | 0.000 | 0.000 | 0.000 |
78 | 0.021 | 0.000 | 0.000 | 0.611 | 0.097 |
79 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
80 | 0.552 | 0.088 | 0.042 | 0.387 | 0.551 |
81 | 0.800 | 0.000 | 0.000 | 0.000 | 0.000 |
82 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
83 | 0.814 | 0.000 | 0.000 | 0.800 | 0.356 |
84 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
85 | 0.500 | 0.000 | 0.000 | 0.000 | 0.000 |
86 | 0.125 | 0.000 | 0.000 | 0.000 | 1.000 |
87 | 1.000 | 0.000 | 1.000 | 1.000 | 1.000 |
88 | 0.750 | 0.000 | 0.000 | 0.250 | 0.750 |
89 | 1.000 | 0.000 | 1.000 | 0.000 | 1.000 |
90 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
91 | 1.000 | 0.000 | 0.125 | 0.100 | 0.500 |
92 | 1.000 | 0.000 | 0.000 | 0.500 | 1.000 |
93 | 0.700 | 0.000 | 0.400 | 0.400 | 0.600 |
94 | 0.000 | 0.000 | 0.000 | 0.200 | 0.000 |
95 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
96 | 0.778 | 0.000 | 0.000 | 0.667 | 0.444 |
97 | 1.000 | 0.000 | 0.000 | 0.000 | 0.750 |
98 | 0.500 | 0.250 | 0.250 | 1.000 | 1.000 |
99 | 0.000 | 0.250 | 0.000 | 0.500 | 0.200 |
100 | 0.667 | 0.000 | 0.000 | 0.000 | 0.083 |
101 | 0.250 | 0.000 | 0.000 | 0.000 | 0.000 |
102 | 0.438 | 0.625 | 0.542 | 0.563 | 0.500 |
103 | 0.000 | 0.000 | 1.000 | 0.000 | 0.000 |
104 | 0.143 | 0.000 | 0.000 | 0.200 | 0.000 |
105 | 0.000 | 0.000 | 1.000 | 0.000 | 1.000 |
106 | 0.000 | 0.000 | 0.250 | 0.000 | 0.000 |
107 | 0.667 | 0.000 | 0.056 | 0.000 | 1.000 |
108 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
109 | 0.556 | 0.571 | 0.100 | 1.000 | 0.500 |
110 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
111 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
112 | 0.500 | 0.000 | 0.000 | 0.000 | 0.000 |
113 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
114 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
115 | 0.500 | 0.225 | 0.000 | 1.000 | 0.000 |
116 | 0.050 | 0.000 | 0.000 | 0.500 | 0.000 |
117 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
118 | 1.000 | 1.000 | 1.000 | 0.143 | 0.000 |
119 | 0.133 | 0.000 | 0.072 | 0.100 | 0.200 |
120 | 1.000 | 0.000 | 0.000 | 0.250 | 0.000 |
121 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
122 | 0.143 | 0.000 | 0.000 | 1.000 | 0.125 |
123 | 1.000 | 0.000 | 0.100 | 0.000 | 1.000 |
124 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
125 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
126 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
127 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
128 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
129 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
130 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
131 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
132 | 0.500 | 0.000 | 0.000 | 0.000 | 0.000 |
133 | 0.000 | 0.500 | 1.000 | 1.000 | 1.000 |
134 | 0.333 | 1.000 | 1.000 | 1.000 | 1.000 |
135 | 0.000 | 0.000 | 0.000 | 0.000 | 0.167 |
136 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
137 | 0.333 | 0.000 | 0.500 | 0.000 | 0.500 |
138 | 1.000 | 0.000 | 0.381 | 0.000 | 0.611 |
139 | 1.000 | 0.250 | 1.000 | 1.000 | 1.000 |
140 | 1.000 | 0.000 | 0.000 | 1.000 | 0.000 |
141 | 1.000 | 0.000 | 0.000 | 1.000 | 0.200 |
142 | 0.578 | 0.000 | 0.083 | 0.000 | 0.115 |
143 | 0.111 | 0.000 | 0.000 | 0.000 | 0.111 |
144 | 0.500 | 0.000 | 0.000 | 0.000 | 0.000 |
145 | 1.000 | 0.056 | 0.000 | 0.167 | 0.333 |
146 | 0.000 | 0.050 | 0.000 | 0.000 | 0.000 |
147 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
148 | 0.500 | 0.125 | 0.500 | 0.500 | 1.000 |
149 | 1.000 | 0.000 | 0.000 | 1.000 | 1.000 |
150 | 0.625 | 0.000 | 0.071 | 0.500 | 0.167 |
151 | 1.000 | 0.000 | 0.000 | 0.000 | 0.500 |
152 | 0.833 | 0.083 | 0.067 | 0.056 | 0.333 |
153 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
154 | 0.000 | 0.000 | 0.000 | 0.000 | 0.500 |
155 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
156 | 0.333 | 0.000 | 0.000 | 1.000 | 1.000 |
157 | 1.000 | 0.143 | 0.000 | 1.000 | 1.000 |
158 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
159 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
160 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
161 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
162 | 0.000 | 1.000 | 0.333 | 0.250 | 0.000 |
163 | 0.250 | 0.000 | 0.000 | 0.000 | 0.000 |
164 | 0.000 | 0.000 | 0.000 | 0.000 | 0.167 |
165 | 1.000 | 0.000 | 0.000 | 0.000 | 0.167 |
166 | 0.000 | 0.000 | 0.000 | 0.000 | 0.000 |
167 | 1.000 | 0.167 | 0.000 | 1.000 | 1.000 |
168 | 0.000 | 1.000 | 0.500 | 1.000 | 0.500 |
169 | 1.000 | 0.000 | 0.333 | 1.000 | 1.000 |
170 | 1.000 | 0.333 | 0.000 | 1.000 | 1.000 |
171 | 0.111 | 0.000 | 0.000 | 0.000 | 0.000 |
172 | 0.500 | 1.000 | 1.000 | 1.000 | 1.000 |
173 | 1.000 | 0.000 | 1.000 | 0.167 | 0.000 |
174 | 0.250 | 1.000 | 0.200 | 0.500 | 0.000 |
175 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
176 | 1.000 | 0.000 | 0.000 | 0.000 | 0.333 |
177 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
178 | 0.625 | 0.000 | 0.000 | 1.000 | 0.100 |
179 | 0.333 | 0.000 | 0.000 | 1.000 | 0.000 |
180 | 1.000 | 0.000 | 0.000 | 0.000 | 0.200 |
181 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 |
182 | 1.000 | 0.000 | 1.000 | 0.000 | 0.000 |
183 | 0.250 | 0.000 | 1.000 | 0.000 | 0.333 |
184 | 0.000 | 0.000 | 0.333 | 0.000 | 1.000 |
185 | 1.000 | 0.000 | 0.333 | 0.500 | 1.000 |
186 | 0.033 | 0.000 | 0.037 | 0.000 | 0.667 |
187 | 0.250 | 0.000 | 0.000 | 0.000 | 1.000 |
188 | 1.000 | 0.000 | 0.000 | 0.000 | 0.000 |
189 | 1.000 | 0.000 | 0.000 | 0.000 | 1.000 |
190 | 1.000 | 0.000 | 0.000 | 0.500 | 1.000 |
191 | 1.000 | 1.000 | 1.000 | 1.000 | 0.000 |
192 | 0.000 | 0.000 | 0.000 | 0.000 | 1.000 |
Task 1c Summary Results by Query
Simple Hit/Miss Counting [5]
MRR Method [6]
Task 2 Results
Task 2 Overall Results
HAFR1 | JY1 | JY2 | YF1 | YF2 | |
---|---|---|---|---|---|
Simple Count | 6.979 | 9.135 | 9.073 | 8.741 | 8.741 |
Total Count | 2020 | 2040 | 2040 | 2040 | 2040 |
Task 2 Friedman's Test for Significant Differences
The Friedman test was run in MATLAB against the QBSH Task 2 data over the 48 ground truth song groups. Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);
TeamID | TeamID | Lowerbound | Mean | Upperbound | Significance |
---|---|---|---|---|---|
JY1 | JY2 | -0.3070 | 0.5417 | 1.3903 | FALSE |
JY1 | YF2 | 0.3597 | 1.2083 | 2.0570 | TRUE |
JY1 | YF1 | 0.3597 | 1.2083 | 2.0570 | TRUE |
JY1 | HAFR1 | 2.2347 | 3.0833 | 3.9320 | TRUE |
JY2 | YF2 | -0.1820 | 0.6667 | 1.5153 | FALSE |
JY2 | YF1 | -0.1820 | 0.6667 | 1.5153 | FALSE |
JY2 | HAFR1 | 1.6930 | 2.5417 | 3.3903 | TRUE |
YF2 | YF1 | -0.8486 | 0.0000 | 0.8486 | FALSE |
YF2 | HAFR1 | 1.0264 | 1.8750 | 2.7236 | TRUE |
YF1 | HAFR1 | 1.0264 | 1.8750 | 2.7236 | TRUE |
Task 2 Summary Results by Query Group
HAFR1 | JY1 | JY2 | YF1 | YF2 | |
---|---|---|---|---|---|
1 | 4.111 | 5.444 | 5.444 | 5.333 | 5.333 |
2 | 0.250 | 4.000 | 3.500 | 2.250 | 2.250 |
3 | 0.000 | 3.000 | 1.000 | 0.000 | 0.000 |
4 | 2.600 | 3.200 | 3.000 | 4.400 | 4.400 |
5 | 4.800 | 8.400 | 6.800 | 6.800 | 6.800 |
6 | 1.500 | 4.000 | 3.500 | 5.000 | 5.000 |
7 | 2.200 | 7.600 | 7.000 | 6.600 | 6.600 |
8 | 4.000 | 5.400 | 5.200 | 6.800 | 6.800 |
9 | 2.500 | 2.500 | 2.500 | 2.000 | 2.000 |
10 | 3.000 | 4.333 | 4.222 | 4.556 | 4.556 |
11 | 6.326 | 9.140 | 9.047 | 8.791 | 8.791 |
12 | 6.930 | 9.361 | 9.333 | 9.542 | 9.542 |
13 | 7.347 | 7.421 | 7.447 | 9.237 | 9.237 |
14 | 8.690 | 9.278 | 9.236 | 8.722 | 8.722 |
15 | 3.929 | 6.286 | 6.286 | 5.214 | 5.214 |
16 | 7.384 | 9.784 | 9.824 | 8.946 | 8.946 |
17 | 5.408 | 9.625 | 9.542 | 9.111 | 9.111 |
18 | 8.145 | 9.737 | 9.842 | 9.026 | 9.026 |
19 | 7.691 | 9.870 | 9.710 | 9.333 | 9.333 |
20 | 8.272 | 9.707 | 9.610 | 9.341 | 9.341 |
21 | 3.265 | 9.088 | 9.059 | 8.971 | 8.971 |
22 | 8.098 | 9.470 | 9.458 | 9.398 | 9.398 |
23 | 4.933 | 9.387 | 9.355 | 8.516 | 8.516 |
24 | 6.862 | 7.644 | 7.610 | 9.136 | 9.136 |
25 | 7.448 | 9.254 | 9.085 | 8.119 | 8.119 |
26 | 6.000 | 9.762 | 9.810 | 7.667 | 7.667 |
27 | 4.756 | 9.311 | 9.267 | 8.156 | 8.156 |
28 | 7.065 | 9.348 | 9.087 | 9.043 | 9.043 |
29 | 7.309 | 9.735 | 9.721 | 9.426 | 9.426 |
30 | 9.045 | 9.940 | 9.866 | 9.687 | 9.687 |
31 | 7.828 | 9.300 | 9.417 | 9.650 | 9.650 |
32 | 7.844 | 9.766 | 9.734 | 9.719 | 9.719 |
33 | 6.520 | 9.588 | 9.431 | 7.824 | 7.824 |
34 | 8.382 | 9.485 | 9.441 | 9.441 | 9.441 |
35 | 7.500 | 9.609 | 9.565 | 8.971 | 8.971 |
36 | 4.333 | 7.667 | 6.750 | 7.792 | 7.792 |
37 | 6.250 | 6.036 | 5.536 | 7.250 | 7.250 |
38 | 7.704 | 8.204 | 8.278 | 8.593 | 8.593 |
39 | 7.191 | 9.794 | 9.765 | 7.574 | 7.574 |
40 | 6.444 | 9.296 | 9.333 | 8.815 | 8.815 |
41 | 7.586 | 9.814 | 9.847 | 9.305 | 9.305 |
42 | 5.707 | 8.357 | 8.310 | 7.214 | 7.214 |
43 | 6.678 | 8.500 | 8.550 | 8.500 | 8.500 |
44 | 6.556 | 10.000 | 10.000 | 9.361 | 9.361 |
45 | 5.085 | 9.702 | 9.702 | 7.277 | 7.277 |
46 | 6.703 | 8.842 | 8.789 | 8.316 | 8.316 |
47 | 3.385 | 7.846 | 7.231 | 8.231 | 8.231 |
48 | 7.591 | 9.955 | 9.773 | 8.273 | 8.273 |
Task 2 Summary Results by Query
Runtime Results
file /nema-raid/www/mirex/results/2010/qbsh/qbshRunTime.csv not found