Difference between revisions of "2008:Query-by-Tapping Results"

From MIREX Wiki
(Friedman's Test for Significant Differences)
m (Robot: Automated text replacement (-mirex/abs/ +mirex/abstracts/))
 
(9 intermediate revisions by 5 users not shown)
Line 1: Line 1:
 
==Introduction==
 
==Introduction==
These are the results for the 2008 running of the Query-by-Tapping task. For background information about this task set please refer to the [[Query by Tapping]] page.  
+
These are the results for the 2008 running of the Query-by-Tapping task. For background information about this task set please refer to the [[2008:Query by Tapping]] page. 481 queries were used in this evaluation.
  
 
===General Legend===
 
===General Legend===
 
====Team ID====
 
====Team ID====
  
'''SH1''' = [https://www.music-ir.org/mirex/2008/abs/XXX.pdf S-J. Hsiao (show)]<br />
+
'''SH1''' = [https://www.music-ir.org/mirex/abstracts/2008/QT_show.pdf S-J. Hsiao (show)]<br />
'''SH2''' = [https://www.music-ir.org/mirex/2008/abs/XXX.pdf S-J. Hsiao (onset_show)]<br />
+
'''SH2''' = [https://www.music-ir.org/mirex/abstracts/2008/QT_show.pdf S-J. Hsiao (onset_show)]<br />
'''HL1''' = [https://www.music-ir.org/mirex/2008/abs/XXX.pdf H-R. Lee 1]<br />
+
'''HL1''' = [https://www.music-ir.org/mirex/abstracts/2008/mirex_QBT_1.pdf H-R. Lee 1]<br />
'''HL2''' = [https://www.music-ir.org/mirex/2008/abs/XXX.pdf H-R. Lee 2]<br />
+
'''HL2''' = [https://www.music-ir.org/mirex/abstracts/2008/mirex_QBT_2.pdf H-R. Lee 2]<br />
'''RT''' = [https://www.music-ir.org/mirex/2008/abs/XXX.pdf R. Typke]<br />
+
'''RT''' = [https://www.music-ir.org/mirex/abstracts/2008/QT_typke.pdf R. Typke]<br />
  
 
==Summary Results==
 
==Summary Results==
Line 15: Line 15:
 
===Overall MRR Results===
 
===Overall MRR Results===
  
<csv>qbt/QBTSummary.csv</csv>
+
<csv>2008/qbt/QBTSummary.csv</csv>
  
 
===Friedman's Test for Significant Differences===
 
===Friedman's Test for Significant Differences===
 
The Friedman test was run in MATLAB against the MRR summary data over the 103 query groups.<br /> Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);
 
The Friedman test was run in MATLAB against the MRR summary data over the 103 query groups.<br /> Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);
  
<csv>qbt/qbt.friedmans.csv</csv>
+
<csv>2008/qbt/qbt.friedman.detailed.csv</csv>
  
  
[[Image: qbt.friedman.png]]
+
[[Image: qbt.friedman.small.png]]
  
 
===MRR Results by Query Group===
 
===MRR Results by Query Group===
  
<csv>qbt/qbt_res_byQueryGroup.csv</csv>
+
<csv>2008/qbt/qbt_res_byQueryGroup.csv</csv>
  
 
===MRR Results by Query===
 
===MRR Results by Query===
  
<csv>qbt/qbt.res.csv</csv>
+
<csv>2008/qbt/qbt.res.csv</csv>
  
 
===Runtime Results===
 
===Runtime Results===
  
<csv>qbt.runtime.csv</csv>
+
<csv>2008/qbt.runtime.csv</csv>
  
  
 
[[Category: Results]]
 
[[Category: Results]]

Latest revision as of 21:49, 13 May 2010

Introduction

These are the results for the 2008 running of the Query-by-Tapping task. For background information about this task set please refer to the 2008:Query by Tapping page. 481 queries were used in this evaluation.

General Legend

Team ID

SH1 = S-J. Hsiao (show)
SH2 = S-J. Hsiao (onset_show)
HL1 = H-R. Lee 1
HL2 = H-R. Lee 2
RT = R. Typke

Summary Results

Overall MRR Results

TeamID HL1 HL2 RT SH1 SH2
Avg. MRR 0.300 0.050 0.520 0.180 0.510

download these results as csv

Friedman's Test for Significant Differences

The Friedman test was run in MATLAB against the MRR summary data over the 103 query groups.
Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);

TeamID TeamID Lowerbound Mean Upperbound Significance
HL1 HL2 1.0412 1.6117 2.1821 TRUE
HL1 RT -1.3423 -0.7718 -0.2014 TRUE
HL1 SH1 0.5169 1.0874 1.6578 TRUE
HL1 SH2 -0.9928 -0.4223 0.1481 FALSE
HL2 RT -2.9540 -2.3835 -1.8130 TRUE
HL2 SH1 -1.0947 -0.5243 0.0462 FALSE
HL2 SH2 -2.6044 -2.0340 -1.4635 TRUE
RT SH1 1.2888 1.8592 2.4297 TRUE
RT SH2 -0.2210 0.3495 0.9200 FALSE
SH1 SH2 -2.0802 -1.5097 -0.9392 TRUE

download these results as csv


File:Qbt.friedman.small.png

MRR Results by Query Group

Query Group HL1 HL2 RT SH1 SH2
1 0.40 0.15 0.63 0.10 0.62
2 1.00 0.00 1.00 0.00 1.00
3 0.00 0.13 1.00 0.00 0.00
4 0.00 1.00 1.00 0.00 0.33
5 1.00 0.00 1.00 1.00 1.00
6 0.13 0.00 0.33 0.00 0.29
7 1.00 0.00 1.00 0.00 1.00
8 0.25 0.00 1.00 0.00 0.50
9 0.17 0.00 1.00 0.00 0.17
10 0.33 0.00 1.00 0.00 0.00
11 1.00 0.00 0.50 0.00 1.00
12 0.16 0.00 0.75 0.50 0.50
13 0.17 0.00 1.00 1.00 1.00
14 0.50 0.02 0.79 0.02 0.86
15 1.00 0.00 1.00 0.00 1.00
16 0.04 0.04 0.49 0.63 0.61
17 0.48 0.13 0.61 0.10 0.39
18 0.54 0.00 0.56 0.01 0.21
19 0.00 0.00 0.76 0.18 0.58
20 1.00 0.00 1.00 0.00 0.50
21 0.50 0.05 0.60 1.00 1.00
22 0.13 0.00 0.50 0.00 0.05
23 0.00 0.00 0.00 0.00 0.00
24 1.00 0.00 0.50 0.00 1.00
25 0.71 0.00 0.74 0.30 0.79
26 0.50 0.00 0.00 0.00 0.00
27 0.48 0.02 0.62 0.88 1.00
28 0.56 0.00 0.44 0.33 0.44
29 1.00 0.00 1.00 0.00 1.00
30 0.11 0.01 0.38 0.09 0.41
31 0.00 0.00 1.00 0.00 0.00
32 0.44 0.00 0.73 0.33 0.00
33 0.09 0.04 0.57 0.00 0.52
34 0.20 0.02 0.55 0.47 0.73
35 0.25 0.00 1.00 0.00 0.00
36 0.54 0.00 0.75 0.11 0.25
37 0.00 0.00 0.14 0.11 0.00
38 0.00 0.00 1.00 0.00 1.00
39 0.17 0.00 1.00 0.00 1.00
40 0.16 0.14 0.86 0.01 0.86
41 0.41 0.00 0.48 0.17 0.65
42 1.00 0.00 1.00 0.00 1.00
43 0.13 0.00 0.61 0.08 0.37
44 1.00 0.00 0.75 0.00 1.00
45 1.00 0.00 0.00 0.50 0.07
46 0.70 0.00 1.00 0.10 0.67
47 0.67 0.17 0.00 0.00 0.56
48 0.42 0.00 0.50 0.40 1.00
49 0.12 0.25 0.08 1.00 0.50
50 1.00 0.00 0.27 0.06 0.04
51 0.25 0.00 0.46 0.00 0.00
52 0.05 0.00 0.67 0.00 0.56
53 0.03 0.00 0.54 0.25 0.41
54 0.20 0.00 1.00 0.00 0.50
55 0.09 0.01 0.62 0.20 0.80
56 0.75 0.00 1.00 0.00 1.00
57 0.27 0.00 0.30 0.20 0.80
58 0.41 0.00 0.50 0.22 0.52
59 0.20 0.00 0.00 0.02 0.00
60 0.04 0.00 0.52 0.00 0.53
61 0.17 0.00 0.47 0.17 0.83
62 0.28 0.00 0.81 0.00 0.79
63 0.11 0.00 1.00 0.00 0.00
64 0.13 0.08 0.25 0.00 0.14
65 0.10 0.00 0.00 0.00 1.00
66 1.00 0.00 0.50 1.00 1.00
67 0.00 0.00 0.50 0.00 0.00
68 0.62 0.00 0.26 0.25 0.73
69 0.17 0.07 0.32 0.44 0.68
70 0.58 0.25 0.50 0.08 0.38
71 0.33 0.00 0.50 0.00 0.20
72 0.10 0.13 0.44 0.40 0.45
73 0.61 0.02 0.79 0.01 0.79
74 0.17 0.20 0.54 0.24 0.60
75 0.27 0.02 0.19 0.03 0.68
76 0.67 0.20 0.83 0.39 0.74
77 0.17 0.00 0.00 0.00 0.00
78 0.33 0.00 0.00 0.00 0.00
79 0.37 0.00 0.75 0.00 0.50
80 0.67 0.00 1.00 0.08 1.00
81 1.00 0.00 1.00 0.14 0.25
82 0.83 0.02 1.00 0.17 0.04
83 0.88 0.00 0.58 0.00 1.00
84 0.33 0.00 1.00 0.00 0.50
85 0.04 0.00 0.60 0.00 0.00
86 1.00 0.00 1.00 0.00 0.20
87 0.01 0.00 0.15 0.03 0.38
88 0.75 0.00 1.00 0.00 0.42
89 0.54 0.00 0.42 0.50 1.00
90 0.00 0.00 0.75 0.17 0.50
91 0.25 0.04 0.80 0.20 0.80
92 0.04 0.00 0.50 0.00 0.03
93 0.10 0.00 1.00 0.17 1.00
94 0.02 0.07 0.36 0.00 0.03
95 0.17 0.06 1.00 0.29 1.00
96 0.50 1.00 0.50 1.00 0.00
97 0.03 0.00 0.33 0.33 1.00
98 1.00 0.17 0.75 0.00 0.00
99 0.39 0.15 0.55 0.36 0.77
100 0.39 0.25 0.13 0.03 0.00
101 0.67 0.11 0.71 0.00 0.17
102 1.00 0.38 0.75 0.17 0.88
103 0.02 0.71 0.57 0.36 0.47

download these results as csv

MRR Results by Query

songID HL1 HL2 RT SH1 SH2 Query Group
1 0.2000 1.0000 1.0000 1.0000 1.0000 1
2 1.0000 0.0000 1.0000 0.0000 1.0000 1
3 0.2500 1.0000 1.0000 0.0000 1.0000 1
4 0.3330 0.0000 1.0000 0.0000 1.0000 1
5 0.2000 0.0000 1.0000 0.0000 0.0000 1
6 0.5000 0.0000 0.0000 0.0000 0.0000 1
7 0.3330 0.0000 0.3330 0.0000 1.0000 1
8 1.0000 0.0000 1.0000 0.0000 1.0000 1
9 0.5000 0.0000 0.3330 0.3330 0.0000 1
10 0.1670 0.0000 1.0000 0.0000 1.0000 1
11 0.5000 0.0000 0.0000 0.0000 1.0000 1
12 0.2500 0.0000 0.0000 0.0000 0.0000 1
13 0.0000 0.0000 0.5000 0.0000 0.0000 1
14 1.0000 0.0000 1.0000 0.0000 1.0000 2
15 0.0000 0.1250 1.0000 0.0000 0.0000 3
16 0.0000 1.0000 1.0000 0.0000 0.3330 4
17 1.0000 0.0000 1.0000 1.0000 1.0000 5
18 1.0000 0.0000 1.0000 1.0000 1.0000 5
19 0.0000 0.0000 0.3330 0.0000 0.0000 6
20 0.0000 0.0000 0.0000 0.0000 0.0000 6
21 0.5000 0.0000 1.0000 0.0000 1.0000 6
22 0.0000 0.0000 0.0000 0.0000 0.1430 6
23 1.0000 0.0000 1.0000 0.0000 1.0000 7
24 0.0000 0.0000 1.0000 0.0000 0.5000 8
25 0.5000 0.0000 1.0000 0.0000 0.5000 8
26 0.1670 0.0000 1.0000 0.0000 0.1670 9
27 0.3330 0.0000 1.0000 0.0000 0.0000 10
28 1.0000 0.0000 1.0000 0.0000 1.0000 11
29 1.0000 0.0000 0.0000 0.0000 1.0000 11
30 0.1110 0.0000 0.5000 1.0000 0.0000 12
31 0.2000 0.0000 1.0000 0.0000 1.0000 12
32 0.1670 0.0000 1.0000 1.0000 1.0000 13
33 0.1430 0.0000 1.0000 0.0000 1.0000 14
34 1.0000 0.0000 1.0000 0.0000 1.0000 14
35 0.5000 0.0000 0.0000 0.0000 0.0000 14
36 0.0000 0.1670 0.5000 0.0000 1.0000 14
37 0.5000 0.0000 1.0000 0.1670 1.0000 14
39 1.0000 0.0000 1.0000 0.0000 1.0000 14
40 0.3330 0.0000 1.0000 0.0000 1.0000 14
41 1.0000 0.0000 1.0000 0.0000 1.0000 15
42 0.0000 0.0000 1.0000 0.3330 0.5000 16
43 0.0000 0.0000 0.3330 0.0000 0.1250 16
44 0.1670 0.0000 0.2500 1.0000 1.0000 16
45 0.0000 0.0000 0.2500 1.0000 0.5000 16
47 0.0000 0.0000 0.2500 0.5000 0.5000 16
48 0.1430 0.0000 0.2000 1.0000 0.0000 16
49 0.1430 0.0000 1.0000 0.2000 0.2500 16
50 0.0000 0.0000 0.3330 1.0000 1.0000 16
51 0.0000 0.0000 1.0000 0.1110 0.0000 16
52 0.1250 0.0000 1.0000 0.0000 1.0000 16
53 0.0000 0.0000 0.3330 0.0000 0.5000 16
54 0.0000 0.0000 0.3330 1.0000 0.5000 16
55 0.0000 0.0000 0.5000 0.5000 1.0000 16
56 0.0000 0.0000 0.3330 1.0000 1.0000 16
58 0.0000 0.3330 0.2500 0.2500 1.0000 16
59 0.1110 0.0000 1.0000 1.0000 1.0000 16
60 0.0000 0.0000 0.3330 1.0000 1.0000 16
62 0.1430 0.5000 1.0000 1.0000 0.0000 16
63 0.0000 0.0000 0.3330 0.0000 1.0000 16
64 0.1110 0.0000 0.0000 1.0000 0.3330 16
65 0.0000 0.0000 0.5000 1.0000 0.2500 16
66 0.0000 0.0000 0.3330 1.0000 1.0000 16
67 0.3330 1.0000 1.0000 1.0000 0.0000 17
68 0.1670 0.0000 1.0000 0.3330 0.0000 17
69 1.0000 0.0000 1.0000 0.0000 1.0000 17
70 1.0000 0.0000 0.0000 0.0000 1.0000 17
71 0.5000 0.0000 0.5000 0.0000 1.0000 17
72 0.2500 0.0000 0.2000 0.0000 0.1000 17
74 0.2500 0.0000 1.0000 0.0000 0.5000 17
75 1.0000 0.1430 0.0000 0.0000 0.0000 17
76 1.0000 0.0000 1.0000 0.0000 0.1670 17
77 0.0000 0.0000 0.0000 0.0000 0.0000 17
79 0.2000 0.0000 1.0000 0.0000 0.1430 17
80 0.1430 0.5000 0.1670 0.0000 0.1670 17
81 0.3330 0.0000 1.0000 0.0000 1.0000 17
82 0.0000 0.0000 1.0000 0.0000 1.0000 18
83 1.0000 0.0000 1.0000 0.0000 1.0000 18
84 0.0000 0.0000 0.0000 0.1670 0.5000 18
85 1.0000 0.0000 1.0000 0.0000 0.0000 18
86 0.0000 0.0000 0.0000 0.0000 0.0000 18
87 1.0000 0.0000 0.0000 0.0000 0.0000 18
88 0.5000 0.0000 0.3330 0.0000 0.0000 18
89 0.5000 0.0000 0.3330 0.0000 0.0000 18
91 0.0000 0.0000 0.0000 0.0000 0.0000 18
92 1.0000 0.0000 1.0000 0.0000 0.0000 18
93 0.5000 0.0000 1.0000 0.0000 0.0000 18
94 1.0000 0.0000 1.0000 0.0000 0.0000 18
95 0.0000 0.0000 1.0000 0.0000 0.5000 19
97 0.0000 0.0000 1.0000 0.0000 0.5000 19
98 0.0000 0.0000 0.2000 0.0000 0.5000 19
99 0.0000 0.0000 1.0000 0.2500 0.5000 19
101 0.0000 0.0000 1.0000 0.3330 0.5000 19
102 0.0000 0.0000 0.3330 0.5000 1.0000 19
103 1.0000 0.0000 1.0000 0.0000 0.5000 20
104 1.0000 0.0000 1.0000 1.0000 1.0000 21
105 0.0000 0.1000 0.2000 1.0000 1.0000 21
106 0.1430 0.0000 1.0000 0.0000 0.0000 22
107 0.1250 0.0000 0.0000 0.0000 0.1000 22
108 0.0000 0.0000 0.0000 0.0000 0.0000 23
109 1.0000 0.0000 0.5000 0.0000 1.0000 24
110 1.0000 0.0000 1.0000 1.0000 1.0000 25
111 1.0000 0.0000 1.0000 1.0000 1.0000 25
112 1.0000 0.0000 0.0000 0.0000 1.0000 25
113 1.0000 0.0000 1.0000 0.0000 0.5000 25
114 1.0000 0.0000 1.0000 0.0000 1.0000 25
115 0.0000 0.0000 1.0000 0.0000 1.0000 25
116 0.0000 0.0000 0.2000 0.1110 0.0000 25
117 0.5000 0.0000 0.0000 0.0000 0.0000 26
118 1.0000 0.0000 1.0000 1.0000 1.0000 27
119 0.1250 0.0000 1.0000 1.0000 1.0000 27
120 0.0000 0.0000 0.3330 1.0000 1.0000 27
123 1.0000 0.0000 0.5000 1.0000 1.0000 27
124 1.0000 0.0000 0.0000 1.0000 1.0000 27
125 0.0000 0.0000 1.0000 1.0000 1.0000 27
126 0.0000 0.0000 0.1430 1.0000 1.0000 27
127 0.0000 0.0000 1.0000 1.0000 1.0000 27
129 1.0000 0.0000 0.5000 0.3330 1.0000 27
130 0.0000 0.0000 1.0000 1.0000 1.0000 27
132 0.0000 0.0000 0.3330 0.3330 1.0000 27
133 1.0000 0.3330 1.0000 1.0000 1.0000 27
134 0.0000 0.0000 0.0000 1.0000 1.0000 27
135 1.0000 0.0000 0.5000 1.0000 1.0000 27
136 0.0000 0.0000 1.0000 0.3330 1.0000 27
137 1.0000 0.0000 1.0000 1.0000 1.0000 27
138 1.0000 0.0000 0.2500 1.0000 1.0000 27
139 1.0000 0.0000 0.1110 0.0000 0.3330 28
140 0.3330 0.0000 1.0000 1.0000 0.0000 28
141 0.3330 0.0000 0.2000 0.0000 1.0000 28
142 1.0000 0.0000 1.0000 0.0000 1.0000 29
143 0.2000 0.0000 0.0000 0.0000 0.0000 30
144 0.0000 0.1430 1.0000 0.0000 0.0000 30
145 0.2000 0.0000 1.0000 0.0000 1.0000 30
146 0.0000 0.0000 0.0000 0.0000 1.0000 30
147 0.1430 0.0000 1.0000 0.0000 1.0000 30
148 0.0000 0.0000 0.0000 0.0000 0.0000 30
149 0.0000 0.0000 0.0000 0.0000 0.0000 30
151 0.5000 0.0000 1.0000 0.0000 0.5000 30
152 0.1670 0.0000 0.0000 0.0000 0.0000 30
153 0.0000 0.0000 0.1250 0.0000 0.0000 30
154 0.0000 0.0000 0.0000 1.0000 1.0000 30
155 0.0000 0.0000 1.0000 0.0000 0.0000 31
156 1.0000 0.0000 1.0000 1.0000 0.0000 32
157 0.0000 0.0000 0.2000 0.0000 0.0000 32
158 0.3330 0.0000 1.0000 0.0000 0.0000 32
159 0.0000 0.0000 1.0000 0.0000 0.1110 33
160 0.0000 0.0000 0.0000 0.0000 0.0000 33
161 0.1430 0.0000 1.0000 0.0000 1.0000 33
162 0.3330 0.0000 1.0000 0.0000 1.0000 33
163 0.0000 0.0000 0.1000 0.0000 1.0000 33
164 0.5000 0.0000 1.0000 0.0000 1.0000 33
165 0.0000 0.0000 0.0000 0.0000 0.0000 33
167 0.0000 0.0000 1.0000 0.0000 1.0000 33
168 0.2500 0.0000 0.0000 0.0000 0.0000 33
170 0.0000 0.1670 0.0000 0.0000 0.0000 33
171 0.0000 0.0000 1.0000 0.0000 1.0000 33
172 0.0000 0.0000 0.1000 0.0000 0.0000 33
174 0.0000 0.0000 1.0000 0.0000 1.0000 33
175 0.0000 0.0000 0.0000 0.0000 0.0000 33
176 0.1670 0.0000 1.0000 0.0000 1.0000 33
177 0.2500 0.0000 1.0000 0.0000 1.0000 33
178 0.0000 0.5000 1.0000 0.0000 0.2000 33
179 0.0000 0.0000 0.1430 0.0000 0.0000 33
180 0.2500 0.0000 1.0000 1.0000 1.0000 34
181 1.0000 0.1670 0.0000 1.0000 1.0000 34
182 0.1250 0.0000 1.0000 0.1430 1.0000 34
183 0.2500 0.0000 0.0000 1.0000 1.0000 34
184 0.0000 0.0000 1.0000 1.0000 1.0000 34
185 0.2000 0.0000 0.0000 1.0000 0.0000 34
186 0.2500 0.0000 1.0000 0.0000 1.0000 34
187 0.1110 0.0000 1.0000 0.0000 1.0000 34
189 0.0000 0.0000 0.0000 0.0000 0.0000 34
190 0.0000 0.0000 0.0000 0.0000 0.0000 34
191 0.0000 0.0000 1.0000 0.0000 1.0000 34
192 0.2500 0.0000 1.0000 0.0000 0.0000 35
193 0.0000 0.0000 1.0000 0.0000 0.0000 36
194 0.1670 0.0000 0.0000 0.1000 0.0000 36
195 1.0000 0.0000 1.0000 0.3330 0.0000 36
196 1.0000 0.0000 1.0000 0.0000 1.0000 36
197 0.0000 0.0000 0.1430 0.1110 0.0000 37
198 0.0000 0.0000 1.0000 0.0000 1.0000 38
199 0.1000 0.0000 1.0000 0.0000 1.0000 39
200 0.2500 0.0000 1.0000 0.0000 1.0000 39
201 0.1110 1.0000 1.0000 0.0000 1.0000 40
202 0.0000 0.0000 1.0000 0.0000 1.0000 40
203 0.0000 0.0000 1.0000 0.1000 1.0000 40
204 1.0000 0.0000 1.0000 0.0000 1.0000 40
206 0.0000 0.0000 0.0000 0.0000 0.0000 40
207 0.0000 0.0000 1.0000 0.0000 1.0000 40
208 0.0000 0.0000 1.0000 0.0000 1.0000 40
209 0.2500 0.0000 0.5000 0.0000 0.5000 41
210 0.1670 0.0000 0.0000 1.0000 1.0000 41
212 1.0000 0.0000 1.0000 0.1670 1.0000 41
213 0.1000 0.0000 0.0000 0.1670 0.0000 41
214 0.5000 0.0000 0.5000 0.3330 1.0000 41
215 0.5000 0.0000 0.5000 0.0000 1.0000 41
217 0.1000 0.0000 1.0000 0.0000 1.0000 41
218 0.0000 0.0000 0.5000 0.0000 1.0000 41
219 0.5000 0.0000 0.3330 0.0000 0.0000 41
220 1.0000 0.0000 0.5000 0.0000 0.0000 41
221 1.0000 0.0000 1.0000 0.0000 1.0000 42
222 1.0000 0.0000 1.0000 0.0000 1.0000 42
223 0.1670 0.0000 0.5000 0.0000 0.2000 43
224 0.0000 0.0000 1.0000 0.0000 1.0000 43
225 0.0000 0.0000 0.5000 0.0000 0.0000 43
226 0.3330 0.0000 1.0000 0.5000 0.5000 43
227 0.3330 0.0000 1.0000 0.3330 1.0000 43
228 0.0000 0.0000 1.0000 0.0000 1.0000 43
229 0.0000 0.0000 0.0000 0.0000 0.0000 43
230 0.3330 0.0000 0.1110 0.0000 0.0000 43
231 0.0000 0.0000 0.0000 0.0000 0.0000 43
232 0.1670 0.0000 1.0000 0.0000 0.0000 43
233 1.0000 0.0000 1.0000 0.0000 1.0000 44
235 1.0000 0.0000 0.5000 0.0000 1.0000 44
237 1.0000 0.0000 0.0000 0.0000 0.0000 45
238 1.0000 0.0000 0.0000 1.0000 0.1430 45
239 1.0000 0.0000 1.0000 0.5000 1.0000 46
240 0.5000 0.0000 1.0000 0.0000 1.0000 46
241 1.0000 0.0000 1.0000 0.0000 0.3330 46
242 0.0000 0.0000 1.0000 0.0000 1.0000 46
244 1.0000 0.0000 1.0000 0.0000 0.0000 46
245 1.0000 0.3330 0.0000 0.0000 0.1110 47
246 0.3330 0.0000 0.0000 0.0000 1.0000 47
247 0.5000 0.0000 1.0000 1.0000 1.0000 48
248 0.5000 0.0000 0.5000 0.0000 1.0000 48
249 0.2500 0.0000 0.0000 0.2000 1.0000 48
250 0.1430 0.5000 0.1670 1.0000 1.0000 49
251 0.1000 0.0000 0.0000 1.0000 0.0000 49
252 1.0000 0.0000 0.1000 0.0000 0.0000 50
253 1.0000 0.0000 0.5000 0.0000 0.0000 50
254 1.0000 0.0000 0.2000 0.1670 0.1250 50
255 0.0000 0.0000 0.5000 0.0000 0.0000 51
256 0.0000 0.0000 0.3330 0.0000 0.0000 51
257 0.0000 0.0000 0.0000 0.0000 0.0000 51
258 1.0000 0.0000 1.0000 0.0000 0.0000 51
260 0.1000 0.0000 1.0000 0.0000 0.1250 52
261 0.0000 0.0000 0.3330 0.0000 1.0000 52
262 0.0000 0.0000 1.0000 0.0000 0.3330 53
263 0.1250 0.0000 1.0000 1.0000 0.1430 53
264 0.0000 0.0000 0.1670 0.0000 1.0000 53
266 0.0000 0.0000 0.0000 0.0000 0.1670 53
267 0.2000 0.0000 1.0000 0.0000 0.5000 54
268 0.2500 0.0000 1.0000 0.1670 1.0000 55
269 0.0000 0.0000 1.0000 0.1670 1.0000 55
270 0.0000 0.2500 0.5000 1.0000 1.0000 55
272 0.1110 0.0000 1.0000 0.2500 1.0000 55
273 0.0000 0.0000 0.0000 0.0000 0.5000 55
274 0.2500 0.0000 1.0000 0.1430 1.0000 55
275 0.0000 0.0000 0.0000 0.1670 1.0000 55
276 0.2500 0.0000 0.0000 0.0000 0.2000 55
277 0.0000 0.0000 1.0000 1.0000 1.0000 55
279 0.0000 0.0000 0.0000 0.1670 0.3330 55
281 0.1000 0.0000 0.0000 0.0000 1.0000 55
282 0.0000 0.0000 1.0000 0.0000 1.0000 55
283 0.0000 0.0000 0.1250 0.0000 0.1670 55
285 0.0000 0.0000 1.0000 0.1430 0.2500 55
286 0.2000 0.0000 1.0000 0.2000 1.0000 55
287 0.3330 0.0000 0.5000 0.0000 1.0000 55
288 0.0000 0.0000 1.0000 0.0000 1.0000 55
289 0.1250 0.0000 1.0000 0.1670 1.0000 55
290 1.0000 0.0000 1.0000 0.0000 1.0000 56
291 0.5000 0.0000 1.0000 0.0000 1.0000 56
292 0.1110 0.0000 0.0000 0.0000 0.0000 57
293 0.2500 0.0000 0.5000 1.0000 1.0000 57
294 0.0000 0.0000 1.0000 0.0000 1.0000 57
295 0.0000 0.0000 0.0000 0.0000 1.0000 57
296 1.0000 0.0000 0.0000 0.0000 1.0000 57
297 0.5000 0.0000 1.0000 1.0000 1.0000 58
298 1.0000 0.0000 0.0000 0.3330 0.0000 58
299 0.1250 0.0000 0.0000 0.0000 0.0000 58
300 0.2500 0.0000 1.0000 0.0000 1.0000 58
301 0.2500 0.0000 0.0000 0.0000 0.1250 58
303 0.3330 0.0000 1.0000 0.0000 1.0000 58
305 1.0000 0.0000 0.0000 0.0000 0.0000 59
306 0.0000 0.0000 0.0000 0.1000 0.0000 59
307 0.0000 0.0000 0.0000 0.0000 0.0000 59
308 0.0000 0.0000 0.0000 0.0000 0.0000 59
309 0.0000 0.0000 0.0000 0.0000 0.0000 59
310 0.0000 0.0000 1.0000 0.0000 1.0000 60
311 0.2500 0.0000 1.0000 0.0000 1.0000 60
312 0.0000 0.0000 0.0000 0.0000 0.0000 60
313 0.0000 0.0000 1.0000 0.0000 1.0000 60
315 0.0000 0.0000 0.0000 0.0000 0.0000 60
316 0.0000 0.0000 0.1110 0.0000 0.1670 60
317 0.1670 0.0000 1.0000 0.0000 1.0000 61
318 0.2000 0.0000 0.2500 1.0000 1.0000 61
319 0.1430 0.0000 0.0000 0.0000 1.0000 61
320 0.2000 0.0000 0.3330 0.0000 1.0000 61
322 0.3330 0.0000 0.2500 0.0000 1.0000 61
323 0.0000 0.0000 1.0000 0.0000 0.0000 61
324 1.0000 0.0000 1.0000 0.0000 1.0000 62
325 0.0000 0.0000 1.0000 0.0000 1.0000 62
326 0.1250 0.0000 1.0000 0.0000 1.0000 62
327 0.5000 0.0000 1.0000 0.0000 1.0000 62
328 0.5000 0.0000 0.0000 0.0000 0.0000 62
329 0.1110 0.0000 1.0000 0.0000 1.0000 62
332 0.0000 0.0000 0.2500 0.0000 0.1000 62
334 0.2500 0.0000 1.0000 0.0000 1.0000 62
335 0.0000 0.0000 1.0000 0.0000 1.0000 62
336 0.1110 0.0000 1.0000 0.0000 0.0000 63
337 0.0000 0.3330 0.0000 0.0000 0.2500 64
338 0.0000 0.0000 0.0000 0.0000 0.2000 64
339 0.0000 0.0000 0.0000 0.0000 0.0000 64
340 0.5000 0.0000 1.0000 0.0000 0.1000 64
342 0.1000 0.0000 0.0000 0.0000 1.0000 65
343 1.0000 0.0000 0.5000 1.0000 1.0000 66
345 0.0000 0.0000 0.5000 0.0000 0.0000 67
346 1.0000 0.0000 0.5000 1.0000 1.0000 68
347 0.0000 0.0000 0.0000 0.0000 0.1250 68
348 1.0000 0.0000 1.0000 0.0000 1.0000 68
349 1.0000 0.0000 0.0000 0.5000 1.0000 68
350 0.3330 0.0000 0.0000 0.0000 1.0000 68
351 1.0000 0.0000 0.3330 0.1110 1.0000 68
353 0.0000 0.0000 0.0000 0.1670 0.0000 68
355 0.2000 0.0000 0.5000 0.2000 1.0000 69
356 0.3330 0.0000 0.5000 1.0000 1.0000 69
357 0.0000 0.0000 0.0000 0.0000 0.0000 69
358 0.3330 1.0000 1.0000 0.0000 0.0000 69
359 0.1250 0.0000 0.0000 1.0000 0.0000 69
360 0.3330 0.0000 0.3330 0.0000 1.0000 69
361 0.1430 0.0000 0.0000 0.0000 1.0000 69
362 0.0000 0.0000 0.1000 0.0000 0.5000 69
364 0.1430 0.0000 0.5000 1.0000 1.0000 69
366 0.0000 0.0000 0.0000 1.0000 1.0000 69
368 0.5000 0.0000 0.5000 0.5000 1.0000 69
369 0.0000 0.0000 0.0000 0.5000 1.0000 69
370 0.2500 0.0000 1.0000 0.5000 1.0000 69
371 0.0000 0.0000 0.0000 0.5000 0.0000 69
372 1.0000 1.0000 1.0000 0.3330 1.0000 70
373 1.0000 0.0000 0.0000 0.0000 0.5000 70
374 0.0000 0.0000 1.0000 0.0000 0.0000 70
375 0.3330 0.0000 0.0000 0.0000 0.0000 70
376 0.3330 0.0000 0.5000 0.0000 0.2000 71
377 0.0000 1.0000 1.0000 1.0000 1.0000 72
378 0.3330 0.0000 0.0000 0.0000 0.0000 72
379 0.0000 0.0000 1.0000 0.2500 1.0000 72
380 0.0000 0.0000 1.0000 0.5000 1.0000 72
382 0.0000 0.0000 0.5000 0.2500 0.2000 72
383 0.0000 0.0000 0.0000 0.0000 0.2000 72
384 0.2000 0.0000 0.0000 1.0000 0.0000 72
385 0.2500 0.0000 0.0000 0.2000 0.2000 72
386 1.0000 0.0000 0.5000 0.0000 1.0000 73
387 1.0000 0.0000 1.0000 0.0000 1.0000 73
388 0.2000 0.2500 1.0000 0.1000 1.0000 73
389 0.5000 0.0000 1.0000 0.0000 1.0000 73
390 0.0000 0.0000 0.0000 0.0000 0.3330 73
391 1.0000 0.0000 1.0000 0.0000 1.0000 73
392 1.0000 0.0000 1.0000 0.0000 1.0000 73
394 1.0000 0.0000 1.0000 0.0000 1.0000 73
395 0.5000 0.0000 0.0000 0.0000 0.1670 73
396 0.1000 0.0000 1.0000 0.0000 1.0000 73
397 1.0000 0.0000 1.0000 0.0000 1.0000 73
398 0.0000 0.0000 1.0000 0.0000 0.0000 73
399 0.0000 0.0000 0.5000 0.0000 1.0000 74
400 0.2000 1.0000 1.0000 0.2000 1.0000 74
401 0.0000 0.0000 0.2000 1.0000 1.0000 74
402 0.5000 0.0000 1.0000 0.0000 0.0000 74
403 0.1670 0.0000 0.0000 0.0000 0.0000 74
404 0.5000 0.1430 0.0000 0.1670 1.0000 75
405 0.0000 0.0000 0.0000 0.0000 1.0000 75
406 0.0000 0.0000 0.0000 0.0000 0.1000 75
407 1.0000 0.0000 1.0000 0.0000 0.0000 75
408 0.1250 0.0000 0.1430 0.0000 1.0000 75
409 0.0000 0.0000 0.0000 0.0000 1.0000 75
410 1.0000 0.0000 1.0000 0.1000 1.0000 76
411 1.0000 0.0000 1.0000 0.5000 1.0000 76
412 0.0000 1.0000 1.0000 1.0000 0.5000 76
413 0.3330 0.0000 0.1430 0.3330 0.2000 76
414 1.0000 0.0000 1.0000 0.0000 1.0000 76
416 0.0000 0.0000 0.0000 0.0000 0.0000 77
417 0.3330 0.0000 0.0000 0.0000 0.0000 77
418 0.3330 0.0000 0.0000 0.0000 0.0000 78
419 0.5000 0.0000 1.0000 0.0000 1.0000 79
420 0.5000 0.0000 1.0000 0.0000 1.0000 79
421 0.3330 0.0000 0.0000 0.0000 0.0000 79
422 0.1430 0.0000 1.0000 0.0000 0.0000 79
423 0.0000 0.0000 1.0000 0.0000 1.0000 80
424 1.0000 0.0000 1.0000 0.2500 1.0000 80
425 1.0000 0.0000 1.0000 0.0000 1.0000 80
426 1.0000 0.0000 1.0000 0.1430 0.2500 81
427 1.0000 0.0000 1.0000 0.0000 0.0000 82
428 1.0000 0.0000 1.0000 0.0000 0.0000 82
429 1.0000 0.0000 1.0000 1.0000 0.0000 82
430 1.0000 0.1430 1.0000 0.0000 0.0000 82
431 1.0000 0.0000 1.0000 0.0000 0.1250 82
432 0.0000 0.0000 1.0000 0.0000 0.1000 82
433 0.5000 0.0000 1.0000 0.0000 1.0000 83
434 1.0000 0.0000 0.3330 0.0000 1.0000 83
435 1.0000 0.0000 0.5000 0.0000 1.0000 83
436 1.0000 0.0000 0.5000 0.0000 1.0000 83
437 0.3330 0.0000 1.0000 0.0000 0.5000 84
438 0.0000 0.0000 1.0000 0.0000 0.0000 85
439 0.0000 0.0000 0.0000 0.0000 0.0000 85
440 0.2000 0.0000 1.0000 0.0000 0.0000 85
443 0.0000 0.0000 0.0000 0.0000 0.0000 85
444 0.0000 0.0000 1.0000 0.0000 0.0000 85
445 1.0000 0.0000 1.0000 0.0000 0.2000 86
446 0.0000 0.0000 0.5000 0.0000 1.0000 87
447 0.0000 0.0000 0.1250 0.3330 1.0000 87
448 0.0000 0.0000 0.0000 0.0000 0.0000 87
449 0.0000 0.0000 0.0000 0.0000 0.0000 87
450 0.0000 0.0000 0.0000 0.0000 0.0000 87
451 0.0000 0.0000 0.0000 0.0000 0.5000 87
452 0.1000 0.0000 0.0000 0.0000 0.0000 87
453 0.0000 0.0000 0.0000 0.0000 0.0000 87
454 0.0000 0.0000 0.1430 0.0000 0.0000 87
455 0.0000 0.0000 0.0000 0.0000 1.0000 87
456 0.0000 0.0000 0.0000 0.0000 0.0000 87
457 0.0000 0.0000 1.0000 0.0000 1.0000 87
458 1.0000 0.0000 1.0000 0.0000 0.3330 88
459 0.5000 0.0000 1.0000 0.0000 0.5000 88
460 0.5000 0.0000 0.2500 0.5000 1.0000 89
461 0.1110 0.0000 0.5000 0.0000 1.0000 89
462 1.0000 0.0000 0.5000 1.0000 1.0000 89
463 0.0000 0.0000 0.5000 0.3330 1.0000 90
464 0.0000 0.0000 1.0000 0.0000 0.0000 90
465 0.1110 0.0000 1.0000 0.0000 1.0000 91
466 0.2500 0.0000 1.0000 0.0000 1.0000 91
467 0.3330 0.0000 0.0000 0.0000 0.0000 91
468 0.2000 0.2000 1.0000 0.0000 1.0000 91
469 0.3330 0.0000 1.0000 1.0000 1.0000 91
470 0.0000 0.0000 0.5000 0.0000 0.0000 92
471 0.1670 0.0000 1.0000 0.0000 0.1250 92
472 0.0000 0.0000 0.5000 0.0000 0.0000 92
473 0.0000 0.0000 0.0000 0.0000 0.0000 92
474 0.1000 0.0000 1.0000 0.0000 1.0000 93
475 0.1000 0.0000 1.0000 0.3330 1.0000 93
476 0.1250 0.1000 1.0000 0.0000 0.1670 94
477 0.0000 0.1000 1.0000 0.0000 0.0000 94
478 0.0000 0.0000 0.0000 0.0000 0.0000 94
479 0.0000 0.1000 0.1430 0.0000 0.0000 94
480 0.0000 0.0000 0.0000 0.0000 0.0000 94
481 0.0000 0.1000 0.0000 0.0000 0.0000 94
482 0.3330 0.1110 1.0000 0.0000 1.0000 95
483 0.3330 0.1110 1.0000 0.0000 1.0000 95
484 0.0000 0.1110 1.0000 1.0000 1.0000 95
485 0.5000 0.0000 1.0000 0.0000 1.0000 95
486 0.0000 0.0000 1.0000 0.0000 1.0000 95
488 0.0000 0.1110 1.0000 1.0000 1.0000 95
489 0.0000 0.0000 1.0000 0.0000 1.0000 95
490 0.5000 1.0000 0.5000 1.0000 0.0000 96
491 0.0000 0.0000 0.5000 1.0000 1.0000 97
492 0.1000 0.0000 0.5000 0.0000 1.0000 97
493 0.0000 0.0000 0.0000 0.0000 1.0000 97
495 1.0000 0.1670 0.5000 0.0000 0.0000 98
496 1.0000 0.1670 1.0000 0.0000 0.0000 98
497 0.1250 0.2000 0.3330 0.0000 0.5000 99
498 1.0000 0.2000 1.0000 0.0000 1.0000 99
499 1.0000 0.0000 0.5000 1.0000 0.5000 99
500 0.2000 0.2000 0.5000 0.5000 0.5000 99
501 0.1000 0.2000 0.0000 1.0000 1.0000 99
502 0.2000 0.2000 1.0000 1.0000 1.0000 99
503 0.2500 0.2000 1.0000 0.2000 1.0000 99
504 0.5000 0.2000 0.3330 0.2500 1.0000 99
506 0.2500 0.0000 0.0000 0.0000 0.0000 99
507 0.3330 0.2000 0.3330 0.0000 1.0000 99
508 0.3330 0.0000 1.0000 0.0000 1.0000 99
509 0.3330 0.2500 0.0000 0.0000 0.0000 100
510 1.0000 0.2500 0.0000 0.1000 0.0000 100
511 0.1110 0.2500 0.1670 0.0000 0.0000 100
512 0.1000 0.2500 0.3330 0.0000 0.0000 100
513 1.0000 0.3330 1.0000 0.0000 0.0000 101
514 0.5000 0.0000 1.0000 0.0000 0.0000 101
515 1.0000 0.0000 0.1670 0.0000 0.0000 101
516 0.5000 0.0000 1.0000 0.0000 0.0000 101
517 1.0000 0.3330 1.0000 0.0000 1.0000 101
518 0.0000 0.0000 0.1000 0.0000 0.0000 101
519 1.0000 0.5000 1.0000 0.0000 1.0000 102
520 1.0000 0.5000 1.0000 0.0000 1.0000 102
521 1.0000 0.5000 1.0000 1.0000 1.0000 102
522 1.0000 0.0000 1.0000 0.3330 1.0000 102
523 1.0000 0.0000 0.0000 0.0000 1.0000 102
524 1.0000 0.5000 1.0000 0.0000 1.0000 102
525 1.0000 0.5000 0.0000 0.0000 0.0000 102
526 1.0000 0.5000 1.0000 0.0000 1.0000 102
527 0.0000 0.0000 0.3330 1.0000 1.0000 103
528 0.0000 1.0000 1.0000 1.0000 0.0000 103
529 0.0000 0.0000 0.0000 0.0000 0.1670 103
530 0.1110 1.0000 0.1430 0.0000 0.0000 103
531 0.0000 1.0000 1.0000 0.0000 1.0000 103
532 0.0000 1.0000 1.0000 0.5000 0.1250 103
533 0.0000 1.0000 0.5000 0.0000 1.0000 103
Avg. MRR 0.3000 0.0500 0.5200 0.1800 0.5100

download these results as csv

Runtime Results

Participant Machine Runtime (sec)
HRL1 ANCIENT Indexing: 78 Matching: 1277
HRL2 ANCIENT Indexing: 76 Matching: 1241
RT ALE Indexing: 10 Matching: 230
SH1 FAST Indexing: 28 Matching: 389
SH2 FAST Indexing: 34 Matching: 309

download these results as csv