Difference between revisions of "2010:Query-by-Singing/Humming Results"

Revision as of 16:58, 28 July 2010

Introduction

These are the results for the 2008 running of the Query-by-Singing/Humming task. For background information about this task set please refer to the 2010:Query by Singing/Humming page.

Task Descriptions

Task 1 Goto Task 1 Results: The first subtask is the same as last year. In this subtask, submitted systems take a sung query as input and return a list of songs from the test database. Mean reciprocal rank (MRR) of the ground truth, as well as the simple hit(1)/miss(0) counting, is calculated over the top 10 returns. Two data sets are used:

Jang's Dataset Results Roger Jang's MIR-QBSH corpus with 48 songs as ground truth + 2000 Essen Collection MIDI noise files. See ESAC Data Homepage for more information about the Essen Collection. The queries consists of 4431 humming. All queries are from the beginning of references
ThinkIT's Dataset Results IOACAS corpus 1 data set with 106 songs as ground truth + 2000 Essen Collection MIDI noise files. See ESAC Data Homepage for more information about the Essen Collection. The queries consists of 355 humming. There are no "singing from beginning" gurantee.
IOACAS's 2nd Dataset Results IOACAS corpus 2 data set with 192 songs as ground truth + 2000 Essen Collection MIDI noise files. See ESAC Data Homepage for more information about the Essen Collection. The queries consists of 404 humming. There are no "singing from beginning" gurantee.

Task 2 Goto Task 2 Results: The second subtask is the query against other humming. In the second subtask, Roger Jang's MIR-QBSH corpus has been divided into two groups (2040 as queries and 2391 as database). The query is performed against the other humming database and the top 10 closed are returned. The score is simple count of how many returns belong to the same ground truth song.

General Legend

Sub code	Submission name	Abstract	Contributors
HAFR1	QBH Simbals	PDF	Pierre Hanna, Julien Allali, Pascal Ferraro, Matthias Robine
JY1	The programs of QBSH	PDF	Jingzhou Yang
JY2	The programs of QBSH	PDF	Jingzhou Yang
YF1	Yeh, Fang -beginning	PDF	Tzu-chun Yeh, Yi-fan Fang
YF2	Yeh, Fang -anywhere	PDF	Tzu-chun Yeh, Yi-fan Fang

Task 1 Results

Task 1a, Jang's dataset Results

Task 1a Overall Results

	HAFR1	JY1	JY2	YF1	YF2
Simple Count	0.771	0.967	0.956	0.947	0.912
MRR	0.665	0.947	0.926	0.915	0.871
Total Count	4408	4431	4431	4431	4431

download these results as csv

Task 1a Friedman's Test for Significant Differences

The Friedman test was run in MATLAB against the QBSH Task 1 MRR data over the 48 ground truth song groups. Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);

Simple Hit/Miss Count: file /nema-raid/www/mirex/results/2010/qbsh/friedman/Qbsh1aTask2Simple_friedman_tukeyKramerHSD.csv not found

File:2010 sqbsh1atask2simple friedman mean ranks.pngγçä

MRR Method: file /nema-raid/www/mirex/results/2010/qbsh/friedman/Qbsh1aTask2Mrr_friedman_tukeyKramerHSD.csv not found

File:2010 sqbsh1atask2mrr friedman mean ranks.pngγçä

Task 1a Summary Results by Query Group

Simple Hit/Miss Count

	HAFR1	JY1	JY2	YF1	YF2
1	0.947	0.947	0.947	0.947	0.895
2	0.357	0.786	0.786	0.714	0.643
3	0.636	0.727	0.636	0.636	0.636
4	0.733	0.867	0.800	0.800	0.800
5	0.867	0.933	0.933	0.933	0.800
6	0.750	0.917	0.917	0.833	0.833
7	0.533	0.933	0.867	0.867	0.867
8	0.667	0.933	0.933	0.867	0.933
9	0.750	0.917	0.917	0.917	0.917
10	0.895	0.895	0.842	0.684	0.842
11	0.802	0.969	0.938	0.948	0.906
12	0.915	0.968	0.961	0.968	0.961
13	0.881	0.981	0.975	0.981	0.938
14	0.918	0.975	0.975	0.987	0.956
15	0.741	0.963	0.963	0.963	0.926
16	0.930	0.981	0.969	0.950	0.925
17	0.728	0.987	0.974	0.974	0.882
18	0.750	0.982	0.994	0.976	0.951
19	0.892	0.975	0.968	0.975	0.943
20	0.467	0.988	0.976	1.000	0.982
21	0.318	0.879	0.848	0.848	0.788
22	0.953	0.994	0.983	0.977	0.954
23	0.852	1.000	0.984	0.984	0.984
24	0.583	0.884	0.843	0.851	0.810
25	0.574	0.935	0.813	0.740	0.569
26	0.654	0.981	0.962	0.962	0.962
27	0.765	0.988	0.953	0.953	0.965
28	0.495	0.967	0.912	0.879	0.725
29	0.573	0.987	1.000	0.987	0.980
30	0.944	0.993	0.986	0.986	0.938
31	0.935	0.979	0.986	0.993	0.986
32	0.796	0.956	0.949	0.956	0.912
33	0.496	0.957	0.957	0.931	0.862
34	0.635	0.971	0.964	0.927	0.891
35	0.757	0.966	0.946	0.960	0.886
36	0.907	0.953	0.953	0.930	0.930
37	0.879	0.955	0.939	0.939	0.894
38	0.781	0.930	0.947	0.947	0.947
39	0.822	0.980	0.980	0.932	0.905
40	0.437	0.944	0.958	0.958	0.901
41	0.896	0.976	0.976	0.976	0.952
42	0.857	0.946	0.967	0.946	0.957
43	0.902	0.967	0.976	0.951	0.943
44	0.875	0.975	0.975	0.963	0.925
45	0.828	0.970	0.970	0.939	0.899
46	0.802	0.978	0.967	0.957	0.946
47	0.931	1.000	0.966	1.000	0.966
48	0.811	1.000	0.962	0.962	0.981

download these results as csv

MRR Method

	HAFR1	JY1	JY2	YF1	YF2
1	0.877	0.886	0.882	0.848	0.874
2	0.357	0.786	0.786	0.560	0.653
3	0.636	0.682	0.636	0.636	0.636
4	0.689	0.807	0.800	0.800	0.800
5	0.722	0.889	0.833	0.800	0.844
6	0.676	0.917	0.917	0.792	0.833
7	0.533	0.880	0.867	0.867	0.867
8	0.589	0.889	0.933	0.933	0.807
9	0.667	0.917	0.917	0.833	0.875
10	0.855	0.860	0.716	0.842	0.613
11	0.717	0.946	0.932	0.883	0.928
12	0.787	0.959	0.952	0.937	0.958
13	0.739	0.927	0.908	0.915	0.934
14	0.813	0.965	0.954	0.876	0.954
15	0.662	0.963	0.963	0.907	0.926
16	0.894	0.962	0.942	0.905	0.915
17	0.555	0.982	0.961	0.760	0.895
18	0.641	0.982	0.986	0.938	0.955
19	0.805	0.969	0.965	0.931	0.966
20	0.301	0.979	0.968	0.955	0.984
21	0.242	0.838	0.778	0.667	0.723
22	0.912	0.989	0.979	0.954	0.959
23	0.707	0.992	0.973	0.957	0.970
24	0.489	0.809	0.775	0.752	0.790
25	0.396	0.824	0.739	0.449	0.610
26	0.568	0.953	0.919	0.942	0.952
27	0.583	0.980	0.942	0.934	0.941
28	0.382	0.945	0.766	0.606	0.793
29	0.434	0.978	0.983	0.954	0.971
30	0.876	0.993	0.957	0.901	0.971
31	0.838	0.972	0.976	0.974	0.993
32	0.643	0.946	0.918	0.898	0.951
33	0.363	0.938	0.923	0.812	0.882
34	0.530	0.955	0.938	0.842	0.898
35	0.673	0.945	0.912	0.845	0.941
36	0.841	0.953	0.919	0.930	0.930
37	0.798	0.934	0.899	0.837	0.905
38	0.635	0.890	0.885	0.911	0.922
39	0.695	0.963	0.959	0.854	0.903
40	0.312	0.927	0.926	0.851	0.899
41	0.817	0.966	0.937	0.924	0.954
42	0.756	0.940	0.914	0.893	0.915
43	0.800	0.941	0.952	0.863	0.920
44	0.836	0.975	0.964	0.916	0.939
45	0.772	0.944	0.947	0.868	0.913
46	0.744	0.952	0.922	0.923	0.943
47	0.826	0.972	0.943	0.940	0.957
48	0.697	0.970	0.953	0.920	0.937

download these results as csv

Task 1a Summary Results by Query

Simple Hit/Miss Counting [1]

MRR Method [2]

Task 1b, ThinkIT's dataset Results

Task 1b Overall Results

	HAFR1	JY1	JY2	YF1	YF2
Simple Count	0.806	0.434	0.49	0.445	0.904
MRR	0.704	0.416	0.469	0.423	0.844
Total Count	355	355	355	355	355

download these results as csv

Task 1b Friedman's Test for Significant Differences

The Friedman test was run in MATLAB against the QBSH Task 1 MRR data over the 48 ground truth song groups. Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);

Simple Hit/Miss Count: file /nema-raid/www/mirex/results/2010/qbsh/friedman/Qbsh1bTask2Simple_friedman_tukeyKramerHSD.csv not found

File:2010 sqbsh1btask2simple friedman mean ranks.pngγçä

MRR Method: file /nema-raid/www/mirex/results/2010/qbsh/friedman/Qbsh1bTask2Mrr_friedman_tukeyKramerHSD.csv not found

File:2010 sqbsh1btask2mrr friedman mean ranks.pngγçä

Task 1b Summary Results by Query Group

Simple Hit/Miss Count

	HAFR1	JY1	JY2	YF1	YF2
1	0.909	0.364	0.364	0.636	1.000
2	0.800	0.600	0.600	0.600	0.800
3	1.000	0.000	0.000	0.000	0.000
4	1.000	0.000	0.500	0.500	1.000
5	0.000	0.000	0.000	0.000	1.000
6	0.833	0.000	0.000	0.000	1.000
7	0.833	1.000	1.000	1.000	1.000
8	0.333	0.333	0.333	0.333	0.667
9	1.000	0.000	1.000	0.000	1.000
10	1.000	0.000	0.000	0.000	1.000
11	0.500	0.000	0.000	0.000	1.000
12	1.000	1.000	1.000	1.000	1.000
13	0.600	0.000	0.000	0.200	0.600
14	0.500	0.000	1.000	0.000	1.000
15	0.000	0.000	0.500	0.000	0.500
16	1.000	1.000	1.000	1.000	1.000
17	0.000	0.000	0.000	0.000	0.000
18	0.500	0.500	0.500	0.500	1.000
19	1.000	0.000	0.000	0.000	1.000
20	1.000	0.000	0.000	0.000	0.000
21	0.500	0.500	0.000	0.000	0.500
22	0.889	0.444	0.667	0.444	0.889
23	1.000	1.000	1.000	1.000	1.000
24	1.000	0.000	0.500	0.000	1.000
25	1.000	0.500	0.500	0.500	1.000
26	0.909	0.636	0.636	0.636	0.909
27	0.000	0.500	0.250	0.500	1.000
28	0.750	0.500	0.500	0.500	1.000
29	1.000	1.000	1.000	1.000	1.000
30	1.000	1.000	1.000	1.000	1.000
31	1.000	1.000	1.000	1.000	1.000
32	0.857	0.000	0.000	0.000	1.000
33	1.000	0.000	0.000	0.000	1.000
34	0.000	0.500	0.500	0.500	0.500
35	1.000	0.000	1.000	1.000	1.000
36	0.600	0.000	0.000	0.000	0.800
37	0.000	0.000	0.000	0.000	0.000
38	1.000	0.500	1.000	0.500	1.000
39	1.000	0.429	0.429	0.429	1.000
40	0.500	1.000	1.000	1.000	1.000
41	0.750	0.125	0.125	0.125	0.875
42	0.500	0.667	0.667	0.667	0.917
43	0.556	0.778	0.667	0.667	0.778
44	1.000	0.556	0.556	0.556	1.000
45	0.667	1.000	1.000	1.000	1.000
46	0.750	0.500	0.500	0.500	0.750
47	1.000	0.750	0.750	0.750	1.000
48	1.000	1.000	1.000	1.000	1.000
49	1.000	1.000	1.000	1.000	1.000
50	1.000	1.000	1.000	1.000	1.000
51	1.000	0.500	0.500	0.500	1.000
52	0.750	0.250	0.750	0.250	1.000
53	0.833	0.333	0.333	0.333	1.000
54	1.000	0.833	0.333	0.667	1.000
55	0.750	0.000	0.000	0.000	1.000
56	0.500	0.500	0.500	0.500	0.500
57	0.400	1.000	1.000	1.000	1.000
58	1.000	0.000	0.000	0.000	1.000
59	1.000	0.000	0.000	0.000	1.000
60	0.500	1.000	1.000	1.000	1.000
61	1.000	0.000	0.000	0.000	1.000
62	1.000	0.333	0.333	0.333	1.000
63	1.000	1.000	1.000	1.000	1.000
64	0.000	0.000	0.000	0.000	1.000
65	1.000	0.000	1.000	0.000	1.000
66	1.000	0.500	0.750	0.500	0.750
67	0.667	0.000	0.000	0.000	1.000
68	1.000	1.000	1.000	1.000	1.000
69	1.000	0.000	0.000	0.000	1.000
70	1.000	1.000	1.000	1.000	1.000
71	1.000	0.000	0.000	0.000	0.667
72	1.000	1.000	1.000	1.000	1.000
73	0.500	1.000	1.000	1.000	1.000
74	1.000	1.000	1.000	1.000	1.000
75	0.667	0.333	0.333	0.333	0.667
76	1.000	0.000	0.000	0.000	1.000
77	1.000	1.000	1.000	1.000	1.000
78	1.000	1.000	1.000	1.000	1.000
79	1.000	0.500	0.500	0.500	1.000
80	1.000	0.333	0.333	0.333	1.000
81	1.000	0.333	0.333	0.333	0.667
82	1.000	0.000	1.000	0.000	1.000
83	1.000	0.000	0.000	0.000	1.000
84	0.500	0.250	0.000	0.000	0.250
85	1.000	0.500	0.500	0.500	1.000
86	1.000	1.000	1.000	1.000	1.000
87	0.333	0.000	0.000	0.000	1.000
88	1.000	0.000	0.000	0.000	1.000
89	1.000	0.429	0.429	0.571	1.000
90	1.000	0.000	1.000	0.000	1.000
91	0.500	0.000	0.000	0.000	1.000
92	1.000	0.500	0.500	0.500	1.000
93	1.000	0.500	0.500	0.500	1.000
94	1.000	0.000	0.000	0.000	1.000
95	0.000	0.000	1.000	0.000	1.000
96	1.000	1.000	1.000	1.000	0.000
97	1.000	0.000	0.000	0.000	1.000
98	1.000	0.000	0.000	0.000	1.000
99	1.000	0.750	0.750	0.750	1.000
100	1.000	0.333	0.333	0.333	1.000
101	0.000	0.000	0.000	0.000	0.000
102	1.000	0.000	0.000	0.000	1.000
103	0.750	0.375	0.625	0.375	0.875
104	1.000	0.000	0.000	0.000	1.000
105	1.000	0.000	0.000	1.000	0.000
106	0.000	0.000	0.000	0.000	0.667

download these results as csv

MRR Method

	HAFR1	JY1	JY2	YF1	YF2
1	0.909	0.364	0.364	0.450	0.955
2	0.550	0.600	0.600	0.600	0.800
3	1.000	0.000	0.000	0.000	0.000
4	0.500	0.000	0.500	0.083	0.667
5	0.000	0.000	0.000	0.000	0.250
6	0.833	0.000	0.000	0.000	0.792
7	0.833	1.000	1.000	1.000	1.000
8	0.333	0.333	0.167	0.333	0.500
9	0.850	0.000	1.000	0.000	1.000
10	1.000	0.000	0.000	0.000	1.000
11	0.167	0.000	0.000	0.000	0.750
12	1.000	1.000	1.000	1.000	1.000
13	0.295	0.000	0.000	0.100	0.600
14	0.500	0.000	1.000	0.000	0.667
15	0.000	0.000	0.500	0.000	0.500
16	1.000	1.000	0.813	1.000	0.667
17	0.000	0.000	0.000	0.000	0.000
18	0.500	0.500	0.500	0.500	1.000
19	1.000	0.000	0.000	0.000	0.667
20	0.571	0.000	0.000	0.000	0.000
21	0.500	0.125	0.000	0.000	0.250
22	0.648	0.444	0.667	0.444	0.806
23	1.000	1.000	1.000	1.000	1.000
24	1.000	0.000	0.500	0.000	1.000
25	0.583	0.500	0.500	0.500	1.000
26	0.818	0.636	0.568	0.564	0.848
27	0.000	0.292	0.250	0.300	1.000
28	0.525	0.500	0.500	0.500	0.875
29	1.000	1.000	1.000	1.000	1.000
30	1.000	1.000	1.000	0.800	1.000
31	1.000	1.000	1.000	1.000	1.000
32	0.786	0.000	0.000	0.000	1.000
33	1.000	0.000	0.000	0.000	1.000
34	0.000	0.500	0.500	0.125	0.125
35	1.000	0.000	1.000	0.100	1.000
36	0.600	0.000	0.000	0.000	0.800
37	0.000	0.000	0.000	0.000	0.000
38	1.000	0.500	1.000	0.500	1.000
39	0.702	0.429	0.429	0.429	1.000
40	0.500	1.000	1.000	1.000	1.000
41	0.688	0.125	0.125	0.125	0.729
42	0.417	0.667	0.667	0.667	0.861
43	0.457	0.678	0.611	0.667	0.778
44	0.849	0.556	0.556	0.556	1.000
45	0.667	1.000	1.000	1.000	1.000
46	0.500	0.375	0.067	0.500	0.500
47	1.000	0.750	0.750	0.750	1.000
48	1.000	1.000	1.000	1.000	1.000
49	0.500	1.000	1.000	1.000	1.000
50	1.000	1.000	1.000	1.000	1.000
51	1.000	0.500	0.500	0.500	1.000
52	0.750	0.250	0.750	0.250	1.000
53	0.833	0.333	0.333	0.333	1.000
54	1.000	0.583	0.139	0.667	1.000
55	0.363	0.000	0.000	0.000	1.000
56	0.500	0.500	0.500	0.500	0.500
57	0.229	1.000	1.000	1.000	1.000
58	1.000	0.000	0.000	0.000	1.000
59	0.464	0.000	0.000	0.000	1.000
60	0.500	1.000	1.000	1.000	1.000
61	1.000	0.000	0.000	0.000	1.000
62	0.833	0.167	0.111	0.333	1.000
63	1.000	1.000	1.000	1.000	0.750
64	0.000	0.000	0.000	0.000	1.000
65	1.000	0.000	1.000	0.000	1.000
66	1.000	0.500	0.750	0.500	0.750
67	0.370	0.000	0.000	0.000	1.000
68	0.625	1.000	1.000	1.000	1.000
69	1.000	0.000	0.000	0.000	1.000
70	1.000	1.000	1.000	1.000	1.000
71	1.000	0.000	0.000	0.000	0.667
72	1.000	1.000	1.000	1.000	1.000
73	0.500	1.000	1.000	1.000	1.000
74	1.000	1.000	1.000	1.000	1.000
75	0.667	0.333	0.333	0.333	0.381
76	1.000	0.000	0.000	0.000	1.000
77	0.777	1.000	1.000	1.000	1.000
78	0.200	1.000	0.250	1.000	1.000
79	1.000	0.500	0.500	0.500	1.000
80	1.000	0.333	0.333	0.333	1.000
81	1.000	0.333	0.333	0.333	0.667
82	1.000	0.000	1.000	0.000	1.000
83	1.000	0.000	0.000	0.000	0.528
84	0.090	0.125	0.000	0.000	0.042
85	0.875	0.500	0.500	0.500	1.000
86	1.000	1.000	1.000	1.000	1.000
87	0.333	0.000	0.000	0.000	1.000
88	1.000	0.000	0.000	0.000	0.500
89	0.871	0.304	0.429	0.571	0.802
90	0.292	0.000	1.000	0.000	1.000
91	0.500	0.000	0.000	0.000	1.000
92	1.000	0.500	0.500	0.500	1.000
93	1.000	0.500	0.500	0.500	1.000
94	1.000	0.000	0.000	0.000	1.000
95	0.000	0.000	1.000	0.000	1.000
96	1.000	1.000	0.333	0.500	0.000
97	1.000	0.000	0.000	0.000	1.000
98	0.333	0.000	0.000	0.000	1.000
99	0.778	0.750	0.750	0.750	0.833
100	1.000	0.333	0.333	0.333	1.000
101	0.000	0.000	0.000	0.000	0.000
102	1.000	0.000	0.000	0.000	1.000
103	0.583	0.375	0.625	0.375	0.708
104	1.000	0.000	0.000	0.000	1.000
105	0.143	0.000	0.000	1.000	0.000
106	0.000	0.000	0.000	0.000	0.333

download these results as csv

Task 1b Summary Results by Query

Simple Hit/Miss Counting [3]

MRR Method [4]

Task 1c, IOACAS2's dataset Results

As argued by Jang, there are some abnormal in the IOACAS2 data set. Therefore, we just provide the raw result without any further analysis.

Task 1c Summary Results by Query Group

Simple Hit/Miss Count

	HAFR1	JY1	JY2	YF1	YF2
1	0.000	0.000	0.000	0.000	1.000
2	1.000	0.000	0.000	0.000	0.000
3	1.000	0.000	1.000	0.000	1.000
4	0.333	0.000	0.000	0.000	0.000
5	0.364	0.000	0.091	0.273	0.364
6	0.000	0.000	0.000	0.000	0.000
7	0.500	0.000	0.000	0.500	1.000
8	0.000	0.000	0.000	0.000	0.000
9	1.000	0.000	0.000	1.000	0.000
10	1.000	0.000	0.000	1.000	1.000
11	0.750	0.000	0.000	0.000	1.000
12	1.000	0.000	1.000	0.000	1.000
13	0.429	0.000	0.000	0.286	0.143
14	0.400	0.000	0.000	0.200	0.400
15	0.000	0.000	0.000	0.000	0.000
16	1.000	0.000	0.000	1.000	1.000
17	1.000	0.000	0.000	0.000	0.000
18	0.000	0.000	0.000	0.000	0.000
19	0.000	0.000	0.000	0.500	0.000
20	0.500	0.000	0.000	0.500	0.250
21	1.000	0.000	0.500	0.000	0.000
22	0.000	0.000	0.000	0.000	0.000
23	0.000	0.000	0.000	0.000	0.000
24	0.143	0.000	0.000	0.000	0.571
25	0.000	0.000	0.000	0.000	0.000
26	1.000	0.000	0.000	0.000	0.250
27	0.000	1.000	0.000	0.000	0.000
28	0.000	0.000	0.000	0.000	0.000
29	0.625	0.000	0.000	0.375	0.375
30	1.000	0.000	1.000	0.000	0.000
31	0.000	0.000	0.000	0.000	0.000
32	1.000	0.000	0.000	0.000	0.000
33	0.333	0.000	0.000	0.333	0.333
34	1.000	0.000	0.000	0.000	0.000
35	0.000	0.000	0.000	0.000	0.000
36	1.000	1.000	0.500	0.500	0.000
37	0.889	0.000	0.000	0.000	0.444
38	0.500	0.000	0.000	0.500	0.500
39	1.000	0.000	0.000	0.000	0.000
40	1.000	0.500	0.500	0.500	0.500
41	1.000	0.000	0.000	1.000	1.000
42	1.000	0.000	0.000	0.000	0.000
43	1.000	0.000	0.000	0.333	0.000
44	1.000	0.000	0.000	0.500	0.500
45	0.000	0.000	0.000	0.000	0.000
46	1.000	0.000	0.000	0.000	0.000
47	1.000	0.000	0.000	0.000	1.000
48	0.000	0.000	1.000	0.000	1.000
49	0.000	0.000	0.000	0.000	0.000
50	0.875	0.000	0.250	0.250	0.125
51	0.750	0.000	0.000	0.000	0.250
52	0.667	0.333	0.667	0.333	0.667
53	0.500	0.000	0.000	0.000	0.500
54	0.500	0.000	0.000	0.000	0.500
55	1.000	0.000	0.000	0.000	0.000
56	0.000	0.000	0.000	0.667	0.667
57	1.000	0.000	0.000	0.000	0.333
58	0.286	0.286	0.143	0.000	0.000
59	0.000	0.000	0.000	1.000	0.000
60	1.000	0.000	1.000	0.000	1.000
61	0.500	0.000	0.000	0.000	0.500
62	0.000	0.000	0.000	0.000	0.000
63	0.000	0.000	0.000	0.000	1.000
64	0.333	0.000	0.000	0.333	0.556
65	0.000	0.000	0.000	1.000	0.000
66	0.000	0.000	0.000	0.000	0.000
67	0.500	0.000	0.000	0.000	0.000
68	0.500	0.700	0.600	0.500	0.600
69	0.333	0.000	0.000	0.000	0.333
70	0.300	0.000	0.500	0.000	0.700
71	1.000	0.000	0.000	0.000	0.000
72	0.333	0.500	0.000	0.500	0.333
73	0.000	0.000	0.000	0.000	0.000
74	0.000	0.000	0.000	0.000	0.000
75	1.000	0.000	0.000	0.000	0.000
76	0.000	0.000	0.000	0.000	0.000
77	1.000	1.000	0.000	0.000	0.000
78	0.167	0.000	0.000	0.833	0.333
79	1.000	0.000	0.000	0.000	0.000
80	0.846	0.462	0.231	0.615	0.692
81	1.000	0.000	0.000	0.000	0.000
82	0.000	0.000	0.000	0.000	0.000
83	1.000	0.000	0.000	1.000	0.857
84	0.000	0.000	0.000	0.000	0.000
85	1.000	0.000	0.000	0.000	0.000
86	0.250	0.000	0.000	0.000	1.000
87	1.000	0.000	1.000	1.000	1.000
88	0.750	0.000	0.000	0.250	0.750
89	1.000	0.000	1.000	0.000	1.000
90	0.000	0.000	0.000	0.000	0.000
91	1.000	0.000	0.500	0.500	0.500
92	1.000	0.000	0.000	0.500	1.000
93	0.800	0.000	0.400	0.400	0.600
94	0.000	0.000	0.000	1.000	0.000
95	1.000	0.000	0.000	0.000	1.000
96	1.000	0.000	0.000	0.667	0.667
97	1.000	0.000	0.000	0.000	1.000
98	0.500	0.500	0.500	1.000	1.000
99	0.000	1.000	0.000	1.000	1.000
100	1.000	0.000	0.000	0.000	0.500
101	1.000	0.000	0.000	0.000	0.000
102	0.500	0.625	0.625	0.625	0.500
103	0.000	0.000	1.000	0.000	0.000
104	1.000	0.000	0.000	1.000	0.000
105	0.000	0.000	1.000	0.000	1.000
106	0.000	0.000	0.500	0.000	0.000
107	1.000	0.000	0.500	0.000	1.000
108	1.000	0.000	0.000	0.000	1.000
109	1.000	1.000	0.500	1.000	0.500
110	1.000	0.000	0.000	0.000	1.000
111	0.000	0.000	0.000	0.000	0.000
112	0.500	0.000	0.000	0.000	0.000
113	0.000	0.000	0.000	0.000	0.000
114	1.000	1.000	1.000	1.000	1.000
115	0.500	1.000	0.000	1.000	0.000
116	0.500	0.000	0.000	0.500	0.000
117	0.000	0.000	0.000	0.000	0.000
118	1.000	1.000	1.000	1.000	0.000
119	0.400	0.000	0.400	0.200	0.200
120	1.000	0.000	0.000	1.000	0.000
121	0.000	0.000	0.000	0.000	0.000
122	1.000	0.000	0.000	1.000	1.000
123	1.000	0.000	1.000	0.000	1.000
124	0.000	0.000	0.000	0.000	0.000
125	1.000	0.000	0.000	0.000	1.000
126	0.000	0.000	0.000	0.000	0.000
127	0.000	0.000	0.000	0.000	0.000
128	0.000	0.000	0.000	0.000	0.000
129	1.000	0.000	0.000	0.000	1.000
130	0.000	0.000	0.000	0.000	0.000
131	1.000	1.000	1.000	1.000	1.000
132	0.500	0.000	0.000	0.000	0.000
133	0.000	1.000	1.000	1.000	1.000
134	1.000	1.000	1.000	1.000	1.000
135	0.000	0.000	0.000	0.000	1.000
136	1.000	0.000	0.000	0.000	1.000
137	1.000	0.000	1.000	0.000	1.000
138	1.000	0.000	0.667	0.000	1.000
139	1.000	1.000	1.000	1.000	1.000
140	1.000	0.000	0.000	1.000	0.000
141	1.000	0.000	0.000	1.000	1.000
142	1.000	0.000	0.250	0.000	0.500
143	1.000	0.000	0.000	0.000	1.000
144	1.000	0.000	0.000	0.000	0.000
145	1.000	0.333	0.000	0.333	0.333
146	0.000	0.500	0.000	0.000	0.000
147	0.000	0.000	0.000	0.000	0.000
148	0.500	0.500	0.500	0.500	1.000
149	1.000	0.000	0.000	1.000	1.000
150	1.000	0.000	0.500	0.500	0.500
151	1.000	0.000	0.000	0.000	1.000
152	1.000	0.333	0.333	0.333	0.333
153	1.000	0.000	0.000	0.000	0.000
154	0.000	0.000	0.000	0.000	1.000
155	1.000	0.000	0.000	0.000	0.000
156	1.000	0.000	0.000	1.000	1.000
157	1.000	1.000	0.000	1.000	1.000
158	0.000	0.000	0.000	0.000	0.000
159	0.000	0.000	0.000	0.000	0.000
160	0.000	0.000	0.000	0.000	0.000
161	0.000	0.000	0.000	0.000	0.000
162	0.000	1.000	1.000	1.000	0.000
163	1.000	0.000	0.000	0.000	0.000
164	0.000	0.000	0.000	0.000	1.000
165	1.000	0.000	0.000	0.000	1.000
166	0.000	0.000	0.000	0.000	0.000
167	1.000	1.000	0.000	1.000	1.000
168	0.000	1.000	1.000	1.000	1.000
169	1.000	0.000	1.000	1.000	1.000
170	1.000	1.000	0.000	1.000	1.000
171	1.000	0.000	0.000	0.000	0.000
172	1.000	1.000	1.000	1.000	1.000
173	1.000	0.000	1.000	1.000	0.000
174	1.000	1.000	1.000	1.000	0.000
175	1.000	0.000	0.000	0.000	1.000
176	1.000	0.000	0.000	0.000	1.000
177	1.000	0.000	0.000	0.000	0.000
178	1.000	0.000	0.000	1.000	0.500
179	1.000	0.000	0.000	1.000	0.000
180	1.000	0.000	0.000	0.000	1.000
181	1.000	1.000	1.000	1.000	1.000
182	1.000	0.000	1.000	0.000	0.000
183	1.000	0.000	1.000	0.000	1.000
184	0.000	0.000	1.000	0.000	1.000
185	1.000	0.000	1.000	1.000	1.000
186	0.333	0.000	0.333	0.000	0.667
187	1.000	0.000	0.000	0.000	1.000
188	1.000	0.000	0.000	0.000	0.000
189	1.000	0.000	0.000	0.000	1.000
190	1.000	0.000	0.000	0.500	1.000
191	1.000	1.000	1.000	1.000	0.000
192	0.000	0.000	0.000	0.000	1.000

download these results as csv

MRR Method

	HAFR1	JY1	JY2	YF1	YF2
1	0.000	0.000	0.000	0.000	1.000
2	0.583	0.000	0.000	0.000	0.000
3	1.000	0.000	1.000	0.000	1.000
4	0.333	0.000	0.000	0.000	0.000
5	0.195	0.000	0.013	0.132	0.197
6	0.000	0.000	0.000	0.000	0.000
7	0.500	0.000	0.000	0.500	1.000
8	0.000	0.000	0.000	0.000	0.000
9	1.000	0.000	0.000	1.000	0.000
10	1.000	0.000	0.000	1.000	1.000
11	0.625	0.000	0.000	0.000	0.486
12	1.000	0.000	1.000	0.000	1.000
13	0.429	0.000	0.000	0.063	0.143
14	0.400	0.000	0.000	0.025	0.167
15	0.000	0.000	0.000	0.000	0.000
16	1.000	0.000	0.000	1.000	0.167
17	0.625	0.000	0.000	0.000	0.000
18	0.000	0.000	0.000	0.000	0.000
19	0.000	0.000	0.000	0.056	0.000
20	0.500	0.000	0.000	0.090	0.031
21	1.000	0.000	0.167	0.000	0.000
22	0.000	0.000	0.000	0.000	0.000
23	0.000	0.000	0.000	0.000	0.000
24	0.014	0.000	0.000	0.000	0.571
25	0.000	0.000	0.000	0.000	0.000
26	0.567	0.000	0.000	0.000	0.250
27	0.000	0.500	0.000	0.000	0.000
28	0.000	0.000	0.000	0.000	0.000
29	0.406	0.000	0.000	0.313	0.266
30	1.000	0.000	0.333	0.000	0.000
31	0.000	0.000	0.000	0.000	0.000
32	0.750	0.000	0.000	0.000	0.000
33	0.167	0.000	0.000	0.333	0.037
34	1.000	0.000	0.000	0.000	0.000
35	0.000	0.000	0.000	0.000	0.000
36	0.750	0.750	0.167	0.167	0.000
37	0.750	0.000	0.000	0.000	0.315
38	0.500	0.000	0.000	0.500	0.250
39	1.000	0.000	0.000	0.000	0.000
40	1.000	0.500	0.500	0.500	0.500
41	1.000	0.000	0.000	0.333	1.000
42	1.000	0.000	0.000	0.000	0.000
43	0.778	0.000	0.000	0.111	0.000
44	1.000	0.000	0.000	0.125	0.500
45	0.000	0.000	0.000	0.000	0.000
46	1.000	0.000	0.000	0.000	0.000
47	0.333	0.000	0.000	0.000	0.250
48	0.000	0.000	0.500	0.000	1.000
49	0.000	0.000	0.000	0.000	0.000
50	0.661	0.000	0.030	0.030	0.125
51	0.531	0.000	0.000	0.000	0.250
52	0.667	0.333	0.667	0.333	0.400
53	0.125	0.000	0.000	0.000	0.500
54	0.500	0.000	0.000	0.000	0.188
55	0.143	0.000	0.000	0.000	0.000
56	0.000	0.000	0.000	0.117	0.500
57	0.156	0.000	0.000	0.000	0.033
58	0.286	0.143	0.024	0.000	0.000
59	0.000	0.000	0.000	1.000	0.000
60	0.333	0.000	1.000	0.000	1.000
61	0.250	0.000	0.000	0.000	0.500
62	0.000	0.000	0.000	0.000	0.000
63	0.000	0.000	0.000	0.000	0.200
64	0.204	0.000	0.000	0.333	0.254
65	0.000	0.000	0.000	1.000	0.000
66	0.000	0.000	0.000	0.000	0.000
67	0.071	0.000	0.000	0.000	0.000
68	0.425	0.558	0.398	0.500	0.533
69	0.333	0.000	0.000	0.000	0.333
70	0.300	0.000	0.303	0.000	0.650
71	1.000	0.000	0.000	0.000	0.000
72	0.125	0.269	0.000	0.417	0.125
73	0.000	0.000	0.000	0.000	0.000
74	0.000	0.000	0.000	0.000	0.000
75	0.600	0.000	0.000	0.000	0.000
76	0.000	0.000	0.000	0.000	0.000
77	1.000	1.000	0.000	0.000	0.000
78	0.021	0.000	0.000	0.611	0.097
79	1.000	0.000	0.000	0.000	0.000
80	0.552	0.088	0.042	0.387	0.551
81	0.800	0.000	0.000	0.000	0.000
82	0.000	0.000	0.000	0.000	0.000
83	0.814	0.000	0.000	0.800	0.356
84	0.000	0.000	0.000	0.000	0.000
85	0.500	0.000	0.000	0.000	0.000
86	0.125	0.000	0.000	0.000	1.000
87	1.000	0.000	1.000	1.000	1.000
88	0.750	0.000	0.000	0.250	0.750
89	1.000	0.000	1.000	0.000	1.000
90	0.000	0.000	0.000	0.000	0.000
91	1.000	0.000	0.125	0.100	0.500
92	1.000	0.000	0.000	0.500	1.000
93	0.700	0.000	0.400	0.400	0.600
94	0.000	0.000	0.000	0.200	0.000
95	1.000	0.000	0.000	0.000	1.000
96	0.778	0.000	0.000	0.667	0.444
97	1.000	0.000	0.000	0.000	0.750
98	0.500	0.250	0.250	1.000	1.000
99	0.000	0.250	0.000	0.500	0.200
100	0.667	0.000	0.000	0.000	0.083
101	0.250	0.000	0.000	0.000	0.000
102	0.438	0.625	0.542	0.563	0.500
103	0.000	0.000	1.000	0.000	0.000
104	0.143	0.000	0.000	0.200	0.000
105	0.000	0.000	1.000	0.000	1.000
106	0.000	0.000	0.250	0.000	0.000
107	0.667	0.000	0.056	0.000	1.000
108	1.000	0.000	0.000	0.000	1.000
109	0.556	0.571	0.100	1.000	0.500
110	1.000	0.000	0.000	0.000	1.000
111	0.000	0.000	0.000	0.000	0.000
112	0.500	0.000	0.000	0.000	0.000
113	0.000	0.000	0.000	0.000	0.000
114	1.000	1.000	1.000	1.000	1.000
115	0.500	0.225	0.000	1.000	0.000
116	0.050	0.000	0.000	0.500	0.000
117	0.000	0.000	0.000	0.000	0.000
118	1.000	1.000	1.000	0.143	0.000
119	0.133	0.000	0.072	0.100	0.200
120	1.000	0.000	0.000	0.250	0.000
121	0.000	0.000	0.000	0.000	0.000
122	0.143	0.000	0.000	1.000	0.125
123	1.000	0.000	0.100	0.000	1.000
124	0.000	0.000	0.000	0.000	0.000
125	1.000	0.000	0.000	0.000	1.000
126	0.000	0.000	0.000	0.000	0.000
127	0.000	0.000	0.000	0.000	0.000
128	0.000	0.000	0.000	0.000	0.000
129	1.000	0.000	0.000	0.000	1.000
130	0.000	0.000	0.000	0.000	0.000
131	1.000	1.000	1.000	1.000	1.000
132	0.500	0.000	0.000	0.000	0.000
133	0.000	0.500	1.000	1.000	1.000
134	0.333	1.000	1.000	1.000	1.000
135	0.000	0.000	0.000	0.000	0.167
136	1.000	0.000	0.000	0.000	1.000
137	0.333	0.000	0.500	0.000	0.500
138	1.000	0.000	0.381	0.000	0.611
139	1.000	0.250	1.000	1.000	1.000
140	1.000	0.000	0.000	1.000	0.000
141	1.000	0.000	0.000	1.000	0.200
142	0.578	0.000	0.083	0.000	0.115
143	0.111	0.000	0.000	0.000	0.111
144	0.500	0.000	0.000	0.000	0.000
145	1.000	0.056	0.000	0.167	0.333
146	0.000	0.050	0.000	0.000	0.000
147	0.000	0.000	0.000	0.000	0.000
148	0.500	0.125	0.500	0.500	1.000
149	1.000	0.000	0.000	1.000	1.000
150	0.625	0.000	0.071	0.500	0.167
151	1.000	0.000	0.000	0.000	0.500
152	0.833	0.083	0.067	0.056	0.333
153	1.000	0.000	0.000	0.000	0.000
154	0.000	0.000	0.000	0.000	0.500
155	1.000	0.000	0.000	0.000	0.000
156	0.333	0.000	0.000	1.000	1.000
157	1.000	0.143	0.000	1.000	1.000
158	0.000	0.000	0.000	0.000	0.000
159	0.000	0.000	0.000	0.000	0.000
160	0.000	0.000	0.000	0.000	0.000
161	0.000	0.000	0.000	0.000	0.000
162	0.000	1.000	0.333	0.250	0.000
163	0.250	0.000	0.000	0.000	0.000
164	0.000	0.000	0.000	0.000	0.167
165	1.000	0.000	0.000	0.000	0.167
166	0.000	0.000	0.000	0.000	0.000
167	1.000	0.167	0.000	1.000	1.000
168	0.000	1.000	0.500	1.000	0.500
169	1.000	0.000	0.333	1.000	1.000
170	1.000	0.333	0.000	1.000	1.000
171	0.111	0.000	0.000	0.000	0.000
172	0.500	1.000	1.000	1.000	1.000
173	1.000	0.000	1.000	0.167	0.000
174	0.250	1.000	0.200	0.500	0.000
175	1.000	0.000	0.000	0.000	1.000
176	1.000	0.000	0.000	0.000	0.333
177	1.000	0.000	0.000	0.000	0.000
178	0.625	0.000	0.000	1.000	0.100
179	0.333	0.000	0.000	1.000	0.000
180	1.000	0.000	0.000	0.000	0.200
181	1.000	1.000	1.000	1.000	1.000
182	1.000	0.000	1.000	0.000	0.000
183	0.250	0.000	1.000	0.000	0.333
184	0.000	0.000	0.333	0.000	1.000
185	1.000	0.000	0.333	0.500	1.000
186	0.033	0.000	0.037	0.000	0.667
187	0.250	0.000	0.000	0.000	1.000
188	1.000	0.000	0.000	0.000	0.000
189	1.000	0.000	0.000	0.000	1.000
190	1.000	0.000	0.000	0.500	1.000
191	1.000	1.000	1.000	1.000	0.000
192	0.000	0.000	0.000	0.000	1.000

download these results as csv

Task 1c Summary Results by Query

Simple Hit/Miss Counting [5]

MRR Method [6]

Task 2 Results

Task 2 Overall Results

	HAFR1	JY1	JY2	YF1	YF2
Simple Count	6.979	9.135	9.073	8.741	8.741
Total Count	2020	2040	2040	2040	2040

download these results as csv

Task 2 Friedman's Test for Significant Differences

The Friedman test was run in MATLAB against the QBSH Task 1 MRR data over the 48 ground truth song groups. Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);

file /nema-raid/www/mirex/results/2010/qbsh/friedman/QbshTask2_friedman_tukeyKramerHSD.csv not found

File:2010 sqbshtask2 friedman mean ranks.png γçä

Task 2 Summary Results by Query Group

	HAFR1	JY1	JY2	YF1	YF2
1	4.111	5.444	5.444	5.333	5.333
2	0.250	4.000	3.500	2.250	2.250
3	0.000	3.000	1.000	0.000	0.000
4	2.600	3.200	3.000	4.400	4.400
5	4.800	8.400	6.800	6.800	6.800
6	1.500	4.000	3.500	5.000	5.000
7	2.200	7.600	7.000	6.600	6.600
8	4.000	5.400	5.200	6.800	6.800
9	2.500	2.500	2.500	2.000	2.000
10	3.000	4.333	4.222	4.556	4.556
11	6.326	9.140	9.047	8.791	8.791
12	6.930	9.361	9.333	9.542	9.542
13	7.347	7.421	7.447	9.237	9.237
14	8.690	9.278	9.236	8.722	8.722
15	3.929	6.286	6.286	5.214	5.214
16	7.384	9.784	9.824	8.946	8.946
17	5.408	9.625	9.542	9.111	9.111
18	8.145	9.737	9.842	9.026	9.026
19	7.691	9.870	9.710	9.333	9.333
20	8.272	9.707	9.610	9.341	9.341
21	3.265	9.088	9.059	8.971	8.971
22	8.098	9.470	9.458	9.398	9.398
23	4.933	9.387	9.355	8.516	8.516
24	6.862	7.644	7.610	9.136	9.136
25	7.448	9.254	9.085	8.119	8.119
26	6.000	9.762	9.810	7.667	7.667
27	4.756	9.311	9.267	8.156	8.156
28	7.065	9.348	9.087	9.043	9.043
29	7.309	9.735	9.721	9.426	9.426
30	9.045	9.940	9.866	9.687	9.687
31	7.828	9.300	9.417	9.650	9.650
32	7.844	9.766	9.734	9.719	9.719
33	6.520	9.588	9.431	7.824	7.824
34	8.382	9.485	9.441	9.441	9.441
35	7.500	9.609	9.565	8.971	8.971
36	4.333	7.667	6.750	7.792	7.792
37	6.250	6.036	5.536	7.250	7.250
38	7.704	8.204	8.278	8.593	8.593
39	7.191	9.794	9.765	7.574	7.574
40	6.444	9.296	9.333	8.815	8.815
41	7.586	9.814	9.847	9.305	9.305
42	5.707	8.357	8.310	7.214	7.214
43	6.678	8.500	8.550	8.500	8.500
44	6.556	10.000	10.000	9.361	9.361
45	5.085	9.702	9.702	7.277	7.277
46	6.703	8.842	8.789	8.316	8.316
47	3.385	7.846	7.231	8.231	8.231
48	7.591	9.955	9.773	8.273	8.273

download these results as csv

Task 2 Summary Results by Query

[7]

Runtime Results

file /nema-raid/www/mirex/results/2010/qbsh/qbshRunTime.csv not found

@@ Line 13: / Line 13: @@
 ===General Legend===
-====Team ID====
+== General Legend ==
-'''YF1''' = [https://www.music-ir.org/mirex/results/2010/qbt/QbshJang.pdf Jyh-Shing Roger Jang] matched by beginning of the song<br />
+{| border="1" cellspacing="0" style="text-align: left; width: 800px;"
-'''YF2''' = [https://www.music-ir.org/mirex/results/2010/qbt/QbshJang.pdf Jyh-Shing Roger Jang] matched by anywhere of the song<br />
+	|- style="background: #efefef;"
-'''HAFR''' = [https://www.music-ir.org/mirex/results/2010/qbt/HAFR.pdf Pierre Hanna, Julien Allali, Pascal Ferraro,Matthias Robine]<br />
+	! width="80" | Sub code
-"JY1"<br/>
+	! width="200" | Submission name
-"JY2"<br/>
+	! width="80" style="text-align: center;" | Abstract
+	! width="440" | Contributors
+	|-
+	! HAFR1
+	| QBH Simbals ||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2010/HAFR1.pdf PDF] || [http://dept-info.labri.fr/~hanna Pierre Hanna], [http://simbals.labri.fr Julien Allali], [http://simbals.labri.fr Pascal Ferraro], [http://simbals.labri.fr Matthias Robine]
+	|-
+	! JY1
+	| The programs of QBSH ||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2010/JY1.pdf PDF] || [http://www.tsinghua.edu.cn/eng/index.jsp Jingzhou Yang]
+	|-
+	! JY2
+	| The programs of QBSH ||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2010/JY1.pdf PDF] || [http://www.tsinghua.edu.cn/eng/index.jsp Jingzhou Yang]
+	|-
+	! YF1
+	| Yeh, Fang -beginning||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2010/YF1.pdf PDF] || [http://mirlab.org/users/kenshincs Tzu-chun Yeh], [http://mirlab.org/users/markfang Yi-fan Fang]
+	|-
+	! YF2
+	| Yeh, Fang -anywhere ||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2010/YF1.pdf PDF] || [http://mirlab.org/users/kenshincs Tzu-chun Yeh], [http://mirlab.org/users/markfang Yi-fan Fang]
+	|}
 ===Task 1 Results===

Difference between revisions of "2010:Query-by-Singing/Humming Results"

Revision as of 16:58, 28 July 2010

Contents

Introduction

Task Descriptions

General Legend

General Legend

Task 1 Results

Task 1a, Jang's dataset Results

Task 1a Overall Results

Task 1a Friedman's Test for Significant Differences

Task 1a Summary Results by Query Group

Task 1a Summary Results by Query

Task 1b, ThinkIT's dataset Results

Task 1b Overall Results

Task 1b Friedman's Test for Significant Differences

Task 1b Summary Results by Query Group

Task 1b Summary Results by Query

Task 1c, IOACAS2's dataset Results

Task 1c Summary Results by Query Group

Task 1c Summary Results by Query

Task 2 Results

Task 2 Overall Results

Task 2 Friedman's Test for Significant Differences

Task 2 Summary Results by Query Group

Task 2 Summary Results by Query

Runtime Results

Navigation menu

Views

Personal tools

MIREX by Year

Results by Year

Account Request

Search

Navigation

Tools