2010:Audio Music Similarity and Retrieval Results

From MIREX Wiki
Revision as of 18:22, 3 August 2010 by Kriswest (talk | contribs) (→‎Introduction)

Introduction

These are the results for the 2010 running of the Audio Music Similarity and Retrieval task set. For background information about this task set please refer to the Audio Music Similarity and Retrieval page.

Each system was given 7000 songs chosen from IMIRSEL's "uspop", "uscrap" and "american" "classical" and "sundry" collections. Each system then returned a 7000x7000 distance matrix. 100 songs were randomly selected from the 10 genre groups (10 per genre) as queries and the first 5 most highly ranked songs out of the 7000 were extracted for each query (after filtering out the query itself, returned results from the same artist were also omitted). Then, for each query, the returned results (candidates) from all participants were grouped and were evaluated by human graders using the Evalutron 6000 grading system. Each individual query/candidate set was evaluated by a single grader. For each query/candidate pair, graders provided two scores. Graders were asked to provide 1 categorical BROAD score with 3 categories: NS,SS,VS as explained below, and one FINE score (in the range from 0 to 100). A description and analysis is provided below.

The systems read in 30 second audio clips as their raw data. The same 30 second clips were used in the grading stage.


General Legend

Team ID

Sub code Submission name Abstract Contributors
BWL1 MTG-AMS PDF Dmitry Bogdanov, Nicolas Wack, Cyril Laurier
PS1 PS09 PDF Tim Pohle, Dominik Schnitzer
PSS1 PSS10 PDF Tim Pohle, Klaus Seyerlehner, Dominik Schnitzer
RZ1 RND PDF Rainer Zufall
SSPK2 cbmr_sim PDF Klaus Seyerlehner, Markus Schedl, Tim Pohle, Peter Knees
TLN1 MarsyasSimilarity PDF George Tzanetakis, Steven Ness, Mathieu Lagrange
TLN2 Post-Processing 1 of Marsyas similarity results PDF George Tzanetakis, Mathieu Lagrange, Steven Ness
TLN3 Post-Processing 2 of Marsyas similarity results PDF George Tzanetakis, Mathieu Lagrange, Steven Ness

Broad Categories

NS = Not Similar
SS = Somewhat Similar
VS = Very Similar

Understanding Summary Measures

Fine = Has a range from 0 (failure) to 100 (perfection).
Broad = Has a range from 0 (failure) to 2 (perfection) as each query/candidate pair is scored with either NS=0, SS=1 or VS=2.

Human Evaluation

Overall Summary Results

Measure BWL1 PS1 PSS1 RZ1 SSPK2 TLN1 TLN2 TLN3
Average Fine Score 49.704 55.080 54.984 16.668 56.642 45.842 46.544 46.604
Average Cat Score 1.078 1.228 1.212 0.240 1.248 0.940 0.970 0.968
Artist Filtered Genre Neighbourhood clustering
Top 5 0.532 0.590 0.619 0.083 0.591 0.466 0.480 0.481
Top 10 0.516 0.570 0.600 0.087 0.576 0.448 0.464 0.466
Top 20 0.499 0.547 0.579 0.087 0.558 0.429 0.445 0.447
Top 50 0.469 0.510 0.545 0.088 0.530 0.400 0.416 0.418

download these results as csv
Note:RZ1 is the random result for comparing purpose.

Friedman's Tests

Friedman's Test (FINE Scores)

The Friedman test was run in MATLAB against the Fine summary data over the 100 queries.
Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);

TeamID TeamID Lowerbound Mean Upperbound Significance
SSPK2 PS1 -0.881 0.160 1.202 FALSE
SSPK2 PSS1 -0.791 0.250 1.292 FALSE
SSPK2 BWL1 -0.032 1.010 2.051 FALSE
SSPK2 TLN3 0.454 1.495 2.537 TRUE
SSPK2 TLN2 0.478 1.520 2.562 TRUE
SSPK2 TLN1 0.488 1.530 2.571 TRUE
SSPK2 RZ1 3.514 4.555 5.596 TRUE
PS1 PSS1 -0.952 0.090 1.131 FALSE
PS1 BWL1 -0.192 0.850 1.891 FALSE
PS1 TLN3 0.293 1.335 2.377 TRUE
PS1 TLN2 0.319 1.360 2.401 TRUE
PS1 TLN1 0.329 1.370 2.412 TRUE
PS1 RZ1 3.353 4.395 5.436 TRUE
PSS1 BWL1 -0.281 0.760 1.802 FALSE
PSS1 TLN3 0.203 1.245 2.287 TRUE
PSS1 TLN2 0.229 1.270 2.312 TRUE
PSS1 TLN1 0.238 1.280 2.321 TRUE
PSS1 RZ1 3.264 4.305 5.346 TRUE
BWL1 TLN3 -0.556 0.485 1.526 FALSE
BWL1 TLN2 -0.531 0.510 1.552 FALSE
BWL1 TLN1 -0.521 0.520 1.562 FALSE
BWL1 RZ1 2.503 3.545 4.587 TRUE
TLN3 TLN2 -1.016 0.025 1.067 FALSE
TLN3 TLN1 -1.006 0.035 1.077 FALSE
TLN3 RZ1 2.018 3.060 4.101 TRUE
TLN2 TLN1 -1.032 0.010 1.052 FALSE
TLN2 RZ1 1.994 3.035 4.077 TRUE
TLN1 RZ1 1.984 3.025 4.066 TRUE

download these results as csv

2010AMS.evalutron.fine.friedman.tukeyKramerHSD.png

Friedman's Test (BROAD Scores)

The Friedman test was run in MATLAB against the BROAD summary data over the 100 queries.
Command: [c,m,h,gnames] = multcompare(stats, 'ctype', 'tukey-kramer','estimate', 'friedman', 'alpha', 0.05);

TeamID TeamID Lowerbound Mean Upperbound Significance
SSPK2 PS1 -1.022 -0.060 0.902 FALSE
SSPK2 PSS1 -0.792 0.170 1.132 FALSE
SSPK2 BWL1 -0.137 0.825 1.787 FALSE
SSPK2 TLN2 0.368 1.330 2.292 TRUE
SSPK2 TLN3 0.438 1.400 2.362 TRUE
SSPK2 TLN1 0.568 1.530 2.492 TRUE
SSPK2 RZ1 3.243 4.205 5.167 TRUE
PS1 PSS1 -0.732 0.230 1.192 FALSE
PS1 BWL1 -0.077 0.885 1.847 FALSE
PS1 TLN2 0.428 1.390 2.352 TRUE
PS1 TLN3 0.498 1.460 2.422 TRUE
PS1 TLN1 0.628 1.590 2.552 TRUE
PS1 RZ1 3.303 4.265 5.227 TRUE
PSS1 BWL1 -0.307 0.655 1.617 FALSE
PSS1 TLN2 0.198 1.160 2.122 TRUE
PSS1 TLN3 0.268 1.230 2.192 TRUE
PSS1 TLN1 0.398 1.360 2.322 TRUE
PSS1 RZ1 3.073 4.035 4.997 TRUE
BWL1 TLN2 -0.457 0.505 1.467 FALSE
BWL1 TLN3 -0.387 0.575 1.537 FALSE
BWL1 TLN1 -0.257 0.705 1.667 FALSE
BWL1 RZ1 2.418 3.380 4.342 TRUE
TLN2 TLN3 -0.892 0.070 1.032 FALSE
TLN2 TLN1 -0.762 0.200 1.162 FALSE
TLN2 RZ1 1.913 2.875 3.837 TRUE
TLN3 TLN1 -0.832 0.130 1.092 FALSE
TLN3 RZ1 1.843 2.805 3.767 TRUE
TLN1 RZ1 1.713 2.675 3.637 TRUE

download these results as csv

2010AMS.evalutron.cat.friedman.tukeyKramerHSD.png


Summary Results by Query

FINE Scores

These are the mean FINE scores per query assigned by Evalutron graders. The FINE scores for the 5 candidates returned per algorithm, per query, have been averaged. Values are bounded between 0 and 100. A perfect score would be 100. Genre labels have been included for reference.

Genre Query BWL1 PS1 PSS1 RZ1 SSPK2 TLN1 TLN2 TLN3
BAROQUE d004083 24.000 81.000 76.000 12.400 79.000 61.000 68.000 68.000
BAROQUE d007329 42.000 32.000 35.000 18.600 38.600 40.600 37.600 37.600
BAROQUE d009136 100.000 97.000 94.000 23.800 96.800 98.200 96.200 98.200
BAROQUE d010069 67.000 77.200 79.000 23.200 56.800 44.400 49.800 44.400
BAROQUE d011911 48.600 62.400 55.600 9.600 48.400 33.400 50.400 35.400
BAROQUE d012251 63.000 66.000 66.000 13.600 35.000 68.000 51.000 51.000
BAROQUE d013041 35.000 38.000 30.000 14.000 27.000 39.000 39.000 39.000
BAROQUE d015413 66.000 78.000 85.000 25.000 84.000 65.000 68.000 68.000
BAROQUE d016516 24.800 12.200 12.800 5.400 12.400 33.800 28.600 28.600
BAROQUE d017625 54.200 63.000 71.200 9.400 65.200 47.200 32.000 32.000
BLUES e001418 28.000 33.000 27.000 6.400 53.000 17.000 22.000 22.000
BLUES e002753 44.400 47.600 35.400 31.600 46.200 53.800 53.000 53.000
BLUES e004984 86.400 90.000 88.200 20.400 86.400 84.000 86.000 86.000
BLUES e005445 58.200 63.200 59.200 34.400 94.200 39.600 52.000 52.000
BLUES e005819 70.400 79.600 75.600 13.800 79.000 72.400 75.200 75.200
BLUES e007623 17.200 27.000 22.000 6.200 46.000 17.000 20.000 20.000
BLUES e008581 35.200 32.800 32.600 24.600 58.400 27.400 24.000 31.600
BLUES e009749 26.200 62.400 39.000 12.200 51.200 54.800 40.000 40.000
BLUES e011570 69.600 71.400 51.400 4.600 61.000 62.200 55.600 55.600
BLUES e012625 100.000 99.200 100.000 22.800 100.000 94.600 94.600 94.600
CLASSICAL d001301 54.000 58.000 56.800 19.600 65.600 49.200 45.000 50.400
CLASSICAL d003863 75.200 85.400 78.600 7.000 84.000 70.600 51.600 62.000
CLASSICAL d004683 36.600 58.600 61.800 9.400 60.400 54.000 64.600 64.600
CLASSICAL d009122 44.400 54.200 62.200 17.600 69.000 42.400 32.400 32.400
CLASSICAL d009750 100.000 94.400 90.000 13.000 88.800 86.600 71.200 71.200
CLASSICAL d010693 60.400 55.400 61.400 14.600 47.000 32.400 25.800 25.800
CLASSICAL d012461 42.400 19.200 20.000 3.200 52.800 32.800 23.400 25.000
CLASSICAL d013654 67.000 79.200 73.800 10.600 77.000 53.600 58.200 58.200
CLASSICAL d016051 86.800 89.000 84.800 1.800 89.800 90.800 90.800 90.800
CLASSICAL d016303 56.600 52.800 48.400 15.800 48.400 38.400 42.400 42.400
COUNTRY e003228 43.200 66.000 72.000 34.000 61.200 39.000 55.000 52.000
COUNTRY e003847 38.200 54.800 44.800 12.000 34.200 27.800 27.600 27.600
COUNTRY e005737 43.200 32.800 33.400 22.600 60.000 37.600 41.000 37.200
COUNTRY e006980 68.600 63.000 74.400 33.800 54.800 55.200 57.400 57.400
COUNTRY e009948 67.400 78.000 84.000 2.400 71.000 25.000 25.000 25.000
COUNTRY e010366 50.000 64.800 64.800 13.200 77.200 47.400 61.400 60.400
COUNTRY e011607 41.800 68.800 60.400 12.200 36.000 42.600 46.200 44.800
COUNTRY e017889 52.800 59.200 71.600 13.800 69.200 21.600 21.600 21.600
COUNTRY e019097 30.000 33.000 39.000 8.600 31.000 43.000 43.000 43.000
COUNTRY e019474 28.000 55.000 39.000 6.400 39.000 45.000 50.000 50.000
EDANCE a000643 1.400 1.800 0.600 3.000 8.000 6.800 6.000 6.000
EDANCE a001494 15.800 32.800 23.000 6.600 50.200 7.400 32.600 32.600
EDANCE a003006 58.800 44.000 48.200 39.400 32.000 59.600 59.600 59.600
EDANCE a008244 59.000 50.000 56.800 7.400 66.400 62.800 64.200 64.200
EDANCE b008057 3.200 1.400 3.400 0.800 2.400 0.600 4.600 4.600
EDANCE b014261 49.200 52.400 53.600 28.000 57.800 30.200 35.400 36.000
EDANCE b019365 52.400 42.000 44.000 4.600 52.400 21.600 40.600 39.400
EDANCE f001490 52.600 63.600 81.800 24.600 71.000 41.000 39.200 39.200
EDANCE f004897 42.800 39.000 20.400 0.000 25.800 4.600 7.200 7.200
EDANCE f018057 82.800 84.000 82.600 35.200 74.800 83.000 77.000 77.000
JAZZ a000470 56.000 54.000 41.000 22.000 57.000 73.000 62.000 61.000
JAZZ e002021 80.600 91.800 92.200 45.800 94.600 92.000 92.000 91.000
JAZZ e003659 47.800 54.000 27.800 4.000 49.800 6.000 23.600 23.600
JAZZ e007349 32.000 43.000 51.000 9.000 47.000 16.000 19.000 19.000
JAZZ e009585 10.600 14.600 20.000 0.000 11.800 21.800 12.600 12.600
JAZZ e010110 59.000 76.000 60.000 0.000 75.000 17.000 17.000 20.000
JAZZ e014019 46.000 28.000 23.000 11.000 64.000 44.000 59.000 57.000
JAZZ e015948 75.600 69.600 74.600 18.000 66.000 66.000 67.800 67.800
JAZZ e019177 34.000 30.200 41.200 9.000 45.800 7.800 4.400 4.400
JAZZ e019705 74.600 67.800 64.200 31.400 72.600 37.000 48.600 48.600
METAL b004052 5.000 29.200 31.600 46.000 9.800 55.000 51.000 51.000
METAL b008274 42.600 58.600 66.800 33.400 52.600 54.600 60.600 60.600
METAL b008631 32.600 66.800 78.000 24.400 69.000 57.400 57.000 56.600
METAL b010864 31.200 40.200 32.800 6.400 72.200 34.600 46.000 46.000
METAL b011136 64.200 74.600 72.600 10.800 70.000 71.200 77.400 77.400
METAL b011316 26.000 30.800 20.600 11.000 22.800 26.200 26.200 13.800
METAL b012933 10.400 20.200 28.400 0.000 32.800 11.000 19.400 19.400
METAL b013451 23.600 13.800 30.200 10.600 10.000 39.800 51.000 51.000
METAL b013972 60.800 47.800 53.800 11.400 73.600 52.200 42.200 42.200
METAL b018129 60.800 77.600 79.600 40.600 81.800 76.200 76.600 76.600
RAPHIPHOP a004379 63.000 74.400 62.400 18.200 78.400 59.800 57.000 62.200
RAPHIPHOP a004607 44.400 40.200 41.600 17.000 30.600 50.800 53.200 52.800
RAPHIPHOP a005261 16.000 14.600 48.200 30.000 48.200 35.400 31.400 31.400
RAPHIPHOP a005341 71.000 72.600 69.200 22.400 66.600 66.600 58.800 65.400
RAPHIPHOP a005918 48.400 38.200 32.200 2.200 51.600 42.400 37.200 37.200
RAPHIPHOP a008296 81.000 77.800 81.400 33.600 87.600 69.400 70.800 70.800
RAPHIPHOP b001476 63.000 63.000 48.000 16.000 59.200 58.400 58.400 58.400
RAPHIPHOP b005622 76.000 78.000 83.000 16.400 75.000 56.000 56.000 56.000
RAPHIPHOP b009667 37.200 31.000 34.000 4.800 34.600 42.000 37.000 39.600
RAPHIPHOP b010090 67.600 71.000 67.400 40.800 68.200 67.800 70.400 70.400
ROCKROLL b003741 72.200 68.200 82.800 20.200 70.800 12.800 3.600 3.600
ROCKROLL b008148 78.400 83.000 83.400 18.600 85.800 81.600 81.600 81.600
ROCKROLL b008265 60.800 50.800 53.200 36.800 57.200 60.000 58.400 58.400
ROCKROLL b008704 48.000 62.000 67.400 26.400 62.400 64.200 56.000 56.000
ROCKROLL b009829 57.000 69.000 54.000 12.200 30.000 31.000 25.000 25.000
ROCKROLL b011257 55.200 63.200 61.000 26.400 58.600 51.000 51.000 51.000
ROCKROLL b015298 68.000 69.400 66.800 16.000 78.400 61.400 61.400 61.400
ROCKROLL b017838 50.200 53.000 50.000 38.400 63.600 53.400 48.800 49.200
ROCKROLL b019038 70.000 67.600 78.800 12.400 74.200 67.200 63.200 67.200
ROCKROLL e003526 18.000 59.000 68.000 11.000 46.000 22.000 26.000 26.000
ROMANTIC d000312 92.800 92.000 90.800 29.000 90.400 81.000 79.200 79.200
ROMANTIC d002366 58.600 56.000 69.200 11.800 51.800 61.000 50.600 56.600
ROMANTIC d004649 40.600 33.800 38.400 19.000 43.600 36.800 36.400 34.000
ROMANTIC d008538 50.000 78.000 89.000 18.000 76.000 34.000 45.000 45.000
ROMANTIC d009847 5.800 5.400 9.200 26.800 8.200 17.400 10.800 10.800
ROMANTIC d014039 6.200 12.800 8.400 5.000 18.400 25.800 24.800 25.800
ROMANTIC d014488 34.400 42.000 42.800 3.600 49.000 29.000 26.600 26.600
ROMANTIC d017256 36.000 70.000 80.400 7.800 64.800 19.400 43.600 43.600
ROMANTIC d017550 40.400 37.000 35.600 13.600 37.600 21.600 35.600 35.600
ROMANTIC d019896 22.000 40.800 41.800 14.400 43.400 40.200 40.200 40.200

download these results as csv

BROAD Scores

These are the mean BROAD scores per query assigned by Evalutron graders. The BROAD scores for the 5 candidates returned per algorithm, per query, have been averaged. Values are bounded between 0 (not similar) and 2 (very similar). A perfect score would be 2. Genre labels have been included for reference.

Genre Query BWL1 PS1 PSS1 RZ1 SSPK2 TLN1 TLN2 TLN3
BAROQUE d004083 0.600 2.000 1.800 0.200 1.800 1.400 1.600 1.600
BAROQUE d007329 1.000 1.000 1.000 0.200 1.000 1.000 1.000 1.000
BAROQUE d009136 2.000 2.000 2.000 0.400 2.000 2.000 2.000 2.000
BAROQUE d010069 1.400 2.000 2.000 0.200 1.400 1.200 1.200 1.200
BAROQUE d011911 0.800 1.200 1.000 0.200 1.000 0.600 1.000 0.600
BAROQUE d012251 1.600 1.600 1.600 0.200 0.800 1.600 1.000 1.000
BAROQUE d013041 0.600 0.600 0.600 0.200 0.400 0.800 0.800 0.800
BAROQUE d015413 1.800 1.800 2.000 0.600 2.000 1.400 1.400 1.400
BAROQUE d016516 1.000 0.800 0.600 0.400 0.600 1.000 0.800 0.800
BAROQUE d017625 1.000 1.200 1.400 0.200 1.400 1.200 0.600 0.600
BLUES e001418 0.400 0.400 0.400 0.000 1.000 0.000 0.000 0.000
BLUES e002753 1.000 1.000 0.800 0.400 1.000 1.200 1.200 1.200
BLUES e004984 2.000 2.000 2.000 0.400 2.000 1.800 2.000 2.000
BLUES e005445 1.200 1.200 1.200 0.400 2.000 0.600 0.800 0.800
BLUES e005819 1.600 1.800 1.800 0.000 2.000 1.800 1.800 1.800
BLUES e007623 0.200 0.200 0.200 0.000 0.800 0.000 0.000 0.000
BLUES e008581 0.600 0.600 0.600 0.200 1.200 0.400 0.200 0.600
BLUES e009749 0.600 1.400 0.800 0.200 1.200 1.200 0.800 0.800
BLUES e011570 1.600 1.800 1.200 0.000 1.400 1.400 1.200 1.200
BLUES e012625 2.000 2.000 2.000 0.400 2.000 2.000 2.000 2.000
CLASSICAL d001301 1.000 1.400 1.400 0.400 1.400 1.000 1.000 1.000
CLASSICAL d003863 1.800 2.000 2.000 0.200 1.800 1.200 1.000 1.200
CLASSICAL d004683 1.000 1.400 1.200 0.200 1.200 1.000 1.400 1.400
CLASSICAL d009122 0.800 1.400 1.600 0.000 1.600 0.800 0.400 0.400
CLASSICAL d009750 2.000 2.000 2.000 0.200 2.000 2.000 1.400 1.400
CLASSICAL d010693 1.400 1.000 1.200 0.400 1.000 0.600 0.600 0.600
CLASSICAL d012461 1.000 0.200 0.200 0.000 1.200 0.600 0.400 0.400
CLASSICAL d013654 1.600 1.800 1.600 0.000 1.800 0.800 1.000 1.000
CLASSICAL d016051 2.000 2.000 2.000 0.000 2.000 2.000 2.000 2.000
CLASSICAL d016303 1.200 1.000 1.000 0.400 0.800 0.600 0.800 0.800
COUNTRY e003228 1.200 1.400 1.600 0.800 1.400 1.000 1.400 1.200
COUNTRY e003847 0.400 1.000 0.800 0.000 0.400 0.200 0.200 0.200
COUNTRY e005737 1.000 0.800 0.800 0.600 1.200 0.600 0.800 0.600
COUNTRY e006980 1.600 1.400 1.800 0.600 1.200 1.000 1.200 1.200
COUNTRY e009948 1.600 1.600 1.800 0.000 1.600 0.400 0.400 0.400
COUNTRY e010366 1.400 1.600 1.400 0.200 1.800 1.200 1.400 1.400
COUNTRY e011607 0.600 1.600 1.200 0.000 0.600 0.600 0.600 0.600
COUNTRY e017889 1.200 1.400 1.600 0.200 1.400 0.400 0.400 0.400
COUNTRY e019097 0.600 0.600 0.800 0.200 0.600 1.000 1.000 1.000
COUNTRY e019474 0.600 1.200 0.800 0.000 0.800 1.000 1.200 1.200
EDANCE a000643 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
EDANCE a001494 0.200 0.600 0.400 0.000 1.000 0.000 0.800 0.800
EDANCE a003006 1.200 0.600 1.000 0.800 0.400 1.200 1.200 1.200
EDANCE a008244 1.200 1.000 1.200 0.200 1.600 1.200 1.400 1.400
EDANCE b008057 0.000 0.000 0.000 0.000 0.000 0.000 0.000 0.000
EDANCE b014261 1.000 1.000 1.000 0.400 1.200 0.800 1.000 1.000
EDANCE b019365 1.200 0.800 1.000 0.000 1.000 0.000 0.800 0.800
EDANCE f001490 1.000 1.400 2.000 0.600 1.600 0.600 0.600 0.600
EDANCE f004897 0.800 1.000 0.400 0.000 0.400 0.000 0.000 0.000
EDANCE f018057 2.000 2.000 2.000 0.600 1.800 2.000 1.800 1.800
JAZZ a000470 1.200 1.400 0.800 0.200 1.400 2.000 1.400 1.400
JAZZ e002021 1.800 2.000 2.000 0.600 2.000 2.000 2.000 2.000
JAZZ e003659 1.200 1.200 0.400 0.000 1.000 0.000 0.400 0.400
JAZZ e007349 0.800 1.000 1.200 0.000 1.000 0.200 0.200 0.200
JAZZ e009585 0.000 0.200 0.200 0.000 0.000 0.200 0.000 0.000
JAZZ e010110 1.200 1.800 1.400 0.000 1.600 0.200 0.200 0.200
JAZZ e014019 1.000 0.400 0.200 0.000 1.600 1.000 1.600 1.400
JAZZ e015948 2.000 1.800 2.000 0.000 1.600 1.600 1.600 1.600
JAZZ e019177 0.600 0.800 1.000 0.200 1.000 0.000 0.000 0.000
JAZZ e019705 2.000 1.600 1.400 0.400 1.800 0.400 1.000 1.000
METAL b004052 0.000 0.600 0.800 1.200 0.000 1.200 1.200 1.200
METAL b008274 1.000 1.200 1.600 0.200 1.000 1.200 1.400 1.400
METAL b008631 0.600 1.600 2.000 0.000 1.400 1.200 1.200 1.200
METAL b010864 0.600 0.800 0.200 0.000 1.800 0.600 0.800 0.800
METAL b011136 1.400 2.000 1.800 0.000 1.800 1.800 2.000 2.000
METAL b011316 0.400 0.400 0.200 0.200 0.200 0.400 0.400 0.000
METAL b012933 0.600 0.600 0.800 0.000 1.000 0.600 0.800 0.800
METAL b013451 0.200 0.000 0.600 0.000 0.000 0.800 1.200 1.200
METAL b013972 1.200 1.000 1.000 0.000 1.400 1.200 1.000 1.000
METAL b018129 1.200 1.800 2.000 1.000 2.000 1.600 1.600 1.600
RAPHIPHOP a004379 1.400 1.600 1.000 0.200 1.800 1.200 1.200 1.400
RAPHIPHOP a004607 1.000 1.000 1.000 0.200 0.800 1.000 1.000 1.000
RAPHIPHOP a005261 0.000 0.000 1.200 0.400 1.000 0.400 0.400 0.400
RAPHIPHOP a005341 1.800 2.000 1.800 0.200 1.600 1.800 1.200 1.600
RAPHIPHOP a005918 1.400 1.200 0.800 0.000 1.600 1.200 1.200 1.200
RAPHIPHOP a008296 2.000 1.800 1.800 0.600 2.000 1.600 1.600 1.600
RAPHIPHOP b001476 1.200 1.400 0.800 0.200 1.400 1.200 1.200 1.200
RAPHIPHOP b005622 1.600 1.600 2.000 0.200 1.600 1.000 1.000 1.000
RAPHIPHOP b009667 1.000 0.800 1.000 0.000 1.000 1.000 1.000 1.000
RAPHIPHOP b010090 2.000 2.000 2.000 0.600 1.800 2.000 2.000 2.000
ROCKROLL b003741 1.800 1.600 2.000 0.400 1.600 0.000 0.000 0.000
ROCKROLL b008148 1.600 1.800 1.600 0.000 2.000 1.600 1.600 1.600
ROCKROLL b008265 1.400 1.000 1.000 0.800 1.000 1.200 1.200 1.200
ROCKROLL b008704 1.000 1.400 1.800 0.600 1.400 1.400 1.200 1.200
ROCKROLL b009829 1.200 1.600 1.400 0.200 0.800 0.600 0.400 0.400
ROCKROLL b011257 1.000 1.400 1.400 0.400 1.200 0.800 0.800 0.800
ROCKROLL b015298 1.200 1.600 1.000 0.200 1.800 1.200 1.200 1.200
ROCKROLL b017838 1.000 1.200 1.000 0.400 1.800 1.200 1.000 1.000
ROCKROLL b019038 1.400 1.600 1.800 0.200 1.400 1.400 1.400 1.400
ROCKROLL e003526 0.400 1.600 1.600 0.200 1.200 0.200 0.400 0.400
ROMANTIC d000312 1.600 2.000 2.000 0.600 2.000 1.800 1.800 1.800
ROMANTIC d002366 1.200 1.000 1.200 0.200 1.000 1.000 1.000 1.000
ROMANTIC d004649 1.000 1.000 1.000 0.400 1.000 1.000 1.000 1.000
ROMANTIC d008538 1.200 1.800 2.000 0.200 1.800 0.600 1.000 1.000
ROMANTIC d009847 0.000 0.000 0.000 0.400 0.000 0.200 0.000 0.000
ROMANTIC d014039 0.000 0.200 0.000 0.000 0.200 0.600 0.600 0.600
ROMANTIC d014488 1.000 1.000 1.400 0.000 1.600 0.600 0.400 0.400
ROMANTIC d017256 0.400 1.800 1.800 0.000 1.400 0.200 1.000 1.000
ROMANTIC d017550 1.200 1.000 0.800 0.400 1.000 0.600 0.800 0.800
ROMANTIC d019896 0.200 0.800 0.600 0.000 0.600 0.800 0.800 0.800

download these results as csv


Raw Scores

The raw data derived from the Evalutron 6000 human evaluations are located on the 2010:Audio Music Similarity and Retrieval Raw Data page.

Metadata and Distance Space Evaluation

The following reports provide evaluation statistics based on analysis of the distance space and metadata matches and include:

  • Neighbourhood clustering by artist, album and genre
  • Artist-filtered genre clustering
  • How often the triangular inequality holds
  • Statistics on 'hubs' (tracks similar to many tracks) and orphans (tracks that are not similar to any other tracks at N results).

Reports

BWL1 = Dmitry Bogdanov, Nicolas Wack, Cyril Laurier
PS1 = Tim Pohle, Dominik Schnitzer
PSS1 = Tim Pohle, Klaus Seyerlehner, Dominik Schnitzer
RZ1 = Dmitry Rainer Zufall
SSPK2 = Klaus Seyerlehner, Markus Schedl, Tim Pohle, Peter Knees
TLN1 = George Tzanetakis, Mathieu Lagrange, Steven Ness
TLN2 = George Tzanetakis, Mathieu Lagrange, Steven Ness
TLN3 = George Tzanetakis, Mathieu Lagrange, Steven Ness

Run Times

file /nema-raid/www/mirex/results/2010/ams/audiosim.runtime.csv not found

Retrieved from "https://music-ir.org/mirex/w/index.php?title=2010:Audio_Music_Similarity_and_Retrieval_Results&oldid=7701"