Difference between revisions of "2016:Audio Downbeat Estimation Results"

From MIREX Wiki
(→‎Runtime)
(→‎Runtime)
 
(4 intermediate revisions by the same user not shown)
Line 43: Line 43:
 
! Precision
 
! Precision
 
! Recall
 
! Recall
 +
|-                                               
 +
| BK4*
 +
| 0.908
 +
| 0.906
 +
| 0.917
 +
|-                                               
 +
| KB1*
 +
| 0.898
 +
| 0.888
 +
| 0.917
 +
|-                                               
 +
| KB2*
 +
| 0.860
 +
| 0.853
 +
| 0.890
 
|-                                                 
 
|-                                                 
 
| DBDR1*
 
| DBDR1*
Line 54: Line 69:
 
| 0.804  
 
| 0.804  
 
|-                                                 
 
|-                                                 
−
| BK4*
+
| DSR1
−
| 0.908
+
| 0.463
−
| 0.906
+
| 0.476
−
| 0.917
+
| 0.468
 
|-                                                 
 
|-                                                 
 
| CD4
 
| CD4
Line 63: Line 78:
 
| 0.416  
 
| 0.416  
 
| 0.419  
 
| 0.419  
−
|-                                               
 
−
| DSR1
 
−
| 0.463
 
−
| 0.476
 
−
| 0.468
 
−
|-                                               
 
−
| KB1*
 
−
| 0.898
 
−
| 0.888
 
−
| 0.917
 
−
|-                                               
 
−
| KB2*
 
−
| 0.860
 
−
| 0.853
 
−
| 0.890
 
 
|}
 
|}
  
Line 87: Line 87:
 
! Precision
 
! Precision
 
! Recall
 
! Recall
−
|-                                               
 
−
| DBDR1
 
−
| 0.849
 
−
| 0.861
 
−
| 0.868
 
 
|-                                                 
 
|-                                                 
 
| DBDR2*
 
| DBDR2*
 
| 0.872  
 
| 0.872  
 
| 0.861  
 
| 0.861  
−
| 0.909  
+
| 0.909
 
|-                                                 
 
|-                                                 
 
| BK4*
 
| BK4*
Line 103: Line 98:
 
| 0.876  
 
| 0.876  
 
|-                                                 
 
|-                                                 
−
| CD4
+
| DBDR1
−
| 0.604
+
| 0.849
−
| 0.586
+
| 0.861
−
| 0.642
+
| 0.868
 
|-                                                 
 
|-                                                 
−
| DSR1
+
| KB2*
−
| 0.665
+
| 0.818
−
| 0.646
+
| 0.799
−
| 0.708
+
| 0.870
 
|-                                                 
 
|-                                                 
 
| KB1
 
| KB1
 
| 0.803  
 
| 0.803  
 
| 0.776  
 
| 0.776  
−
| 0.859  
+
| 0.859
 +
|-                                               
 +
| DSR1
 +
| 0.665
 +
| 0.646
 +
| 0.708
 
|-                                                 
 
|-                                                 
−
| KB2*
+
| CD4
−
| 0.818
+
| 0.604
−
| 0.799
+
| 0.586
−
| 0.870
+
| 0.642
 
|-
 
|-
 
|}
 
|}
Line 133: Line 133:
 
! Recall
 
! Recall
 
|-                                                 
 
|-                                                 
−
| DBDR1
+
| BK4*
−
| 0.201
+
| 0.369
−
| 0.199
+
| 0.290
−
| 0.240
+
| 0.566
 +
|-                                               
 +
| KB2*
 +
| 0.330
 +
| 0.263
 +
| 0.487
 +
|-                                               
 +
| KB1
 +
| 0.269
 +
| 0.221
 +
| 0.380
 
|-                                                 
 
|-                                                 
 
| DBDR2
 
| DBDR2
 
| 0.231  
 
| 0.231  
 
| 0.194  
 
| 0.194  
−
| 0.330  
+
| 0.330
 
|-                                                 
 
|-                                                 
−
| BK4*
+
| DBDR1
−
| 0.369
+
| 0.201
−
| 0.290
+
| 0.199
−
| 0.566
+
| 0.240
 
|-                                                 
 
|-                                                 
 
| CD4
 
| CD4
Line 157: Line 167:
 
| 0.155  
 
| 0.155  
 
| 0.251  
 
| 0.251  
−
|-                                               
 
−
| KB1
 
−
| 0.269
 
−
| 0.221
 
−
| 0.380
 
−
|-                                               
 
−
| KB2*
 
−
| 0.330
 
−
| 0.263
 
−
| 0.487
 
 
|}
 
|}
  
Line 177: Line 177:
 
! Recall
 
! Recall
 
|-                                                 
 
|-                                                 
−
| DBDR1
+
| BK4*
−
| 0.306
+
| 0.537
−
| 0.292
+
| 0.468
−
| 0.379
+
| 0.729
 
|-                                                 
 
|-                                                 
 
| DBDR2
 
| DBDR2
 
| 0.415  
 
| 0.415  
 
| 0.360  
 
| 0.360  
−
| 0.554  
+
| 0.554
−
|-                                               
 
−
| BK4*
 
−
| 0.537
 
−
| 0.468
 
−
| 0.729
 
−
|-                                               
 
−
| CD4
 
−
| 0.218
 
−
| 0.186
 
−
| 0.291
 
−
|-                                               
 
−
| DSR1
 
−
| 0.317
 
−
| 0.281
 
−
| 0.411
 
 
|-                                                 
 
|-                                                 
 
| KB1
 
| KB1
 
| 0.352  
 
| 0.352  
 
| 0.301  
 
| 0.301  
−
| 0.498  
+
| 0.498
 
|-                                                 
 
|-                                                 
 
| KB2*
 
| KB2*
Line 211: Line 196:
 
| 0.269  
 
| 0.269  
 
| 0.513
 
| 0.513
 +
|-                                               
 +
| DSR1
 +
| 0.317
 +
| 0.281
 +
| 0.411 
 +
|-                                               
 +
| DBDR1
 +
| 0.306
 +
| 0.292
 +
| 0.379
 +
|-                                               
 +
| CD4
 +
| 0.218
 +
| 0.186
 +
| 0.291
 
|}
 
|}
  
Line 220: Line 220:
 
! Precision
 
! Precision
 
! Recall
 
! Recall
 +
|-                                               
 +
| BK4*
 +
| 0.635
 +
| 0.951
 +
| 0.476
 +
|-                                               
 +
| KB2*
 +
| 0.443
 +
| 0.661
 +
| 0.334
 +
|-                                               
 +
| KB1
 +
| 0.433
 +
| 0.641
 +
| 0.328
 
|-                                                 
 
|-                                                 
 
| DBDR1
 
| DBDR1
Line 231: Line 246:
 
| 0.311  
 
| 0.311  
 
|-                                                 
 
|-                                                 
−
| BK4*
+
| DSR1
−
| 0.635
+
| 0.265
−
| 0.951
+
| 0.398
−
| 0.476
+
| 0.199 
 
|-                                                 
 
|-                                                 
 
| CD4
 
| CD4
Line 240: Line 255:
 
| 0.377  
 
| 0.377  
 
| 0.188  
 
| 0.188  
−
|-                                               
 
−
| DSR1
 
−
| 0.265
 
−
| 0.398
 
−
| 0.199
 
−
|-                                               
 
−
| KB1
 
−
| 0.433
 
−
| 0.641
 
−
| 0.328
 
−
|-                                               
 
−
| KB2*
 
−
| 0.443
 
−
| 0.661
 
−
| 0.334
 
 
|}
 
|}
  
Line 265: Line 265:
 
! Recall
 
! Recall
 
|-                                                 
 
|-                                                 
−
| DBDR1
+
| BK4*
−
| 0.578
+
| 0.970
−
| 0.613
+
| 0.970
−
| 0.561
+
| 0.970
 +
|-                                               
 +
| KB2*
 +
| 0.851
 +
| 0.854
 +
| 0.848
 +
|-                                               
 +
| KB1
 +
| 0.690
 +
| 0.693
 +
| 0.688
 
|-                                                 
 
|-                                                 
 
| DBDR2
 
| DBDR2
 
| 0.629  
 
| 0.629  
 
| 0.628  
 
| 0.628  
−
| 0.638  
+
| 0.638
 
|-                                                 
 
|-                                                 
−
| BK4*
+
| DBDR1
−
| 0.970
+
| 0.578
−
| 0.970
+
| 0.613
−
| 0.970
+
| 0.561
 
|-                                                 
 
|-                                                 
 
| CD4
 
| CD4
Line 289: Line 299:
 
| 0.232  
 
| 0.232  
 
| 0.196  
 
| 0.196  
−
|-                                               
 
−
| KB1
 
−
| 0.690
 
−
| 0.693
 
−
| 0.688
 
−
|-                                               
 
−
| KB2*
 
−
| 0.851
 
−
| 0.854
 
−
| 0.848
 
 
|}
 
|}
  
Line 309: Line 309:
 
! Recall
 
! Recall
 
|-                                                 
 
|-                                                 
−
| DBDR1*
+
| BK4*
−
| 0.527
+
| 0.599
−
| 0.570
+
| 0.659
−
| 0.529
+
| 0.598
 
|-                                                 
 
|-                                                 
 
| DBDR2*
 
| DBDR2*
 
| 0.532  
 
| 0.532  
 
| 0.539  
 
| 0.539  
−
| 0.574  
+
| 0.574
 
|-                                                 
 
|-                                                 
−
| BK4*
+
| DBDR1*
−
| 0.599
+
| 0.527
−
| 0.659
+
| 0.570
−
| 0.598
+
| 0.529
−
|-                                               
 
−
| CD4
 
−
| 0.174
 
−
| 0.189
 
−
| 0.185
 
−
|-                                               
 
−
| DSR1
 
−
| 0.251
 
−
| 0.260
 
−
| 0.279
 
 
|-                                                 
 
|-                                                 
 
| KB1
 
| KB1
Line 343: Line 333:
 
| 0.459  
 
| 0.459  
 
| 0.444
 
| 0.444
 +
|-                                               
 +
| DSR1
 +
| 0.251
 +
| 0.260
 +
| 0.279
 +
|-                                               
 +
| CD4
 +
| 0.174
 +
| 0.189
 +
| 0.185
 
|}
 
|}
  
Line 353: Line 353:
 
! Recall
 
! Recall
 
|-                                                 
 
|-                                                 
−
| DBDR1
+
| KB2
−
| 0.615
+
| 0.647
−
| 0.651
+
| 0.665
−
| 0.631
+
| 0.653
 +
|-                                               
 +
| BK4
 +
| 0.638
 +
| 0.636
 +
| 0.669
 +
|-                                               
 +
| KB1
 +
| 0.630
 +
| 0.647
 +
| 0.634
 
|-                                                 
 
|-                                                 
 
| DBDR2
 
| DBDR2
 
| 0.619  
 
| 0.619  
 
| 0.628  
 
| 0.628  
−
| 0.666  
+
| 0.666
 
|-                                                 
 
|-                                                 
−
| BK4
+
| DBDR1
−
| 0.638
+
| 0.615
−
| 0.636
+
| 0.651
−
| 0.669
+
| 0.631
 
|-                                                 
 
|-                                                 
 
| CD4
 
| CD4
Line 377: Line 387:
 
| 0.397  
 
| 0.397  
 
| 0.423  
 
| 0.423  
−
|-                                               
 
−
| KB1
 
−
| 0.630
 
−
| 0.647
 
−
| 0.634
 
−
|-                                               
 
−
| KB2
 
−
| 0.647
 
−
| 0.665
 
−
| 0.653
 
 
|}
 
|}
  
Line 392: Line 392:
  
 
= Runtime =
 
= Runtime =
−
The runtime is measured for the *hjdb* dataset (duration 3h19m) and then extrapolated to the duration of all datasets (total 38h51m).
+
The runtime is measured for the *hjdb* dataset (duration 3h19m) and then extrapolated to the duration of all datasets (total 38h51m). For measuring runtimes, we used a PC with four i5-2400 CPUs @ 3.10GHz.
  
 
{| class="wikitable" border="1"
 
{| class="wikitable" border="1"
Line 400: Line 400:
 
! Runtime hjdb [mm]
 
! Runtime hjdb [mm]
 
! Extrapolated runtime all [hh]
 
! Extrapolated runtime all [hh]
−
! x faster than realtime
+
! x times faster than realtime
 
|-                                                 
 
|-                                                 
 
| DBDRx
 
| DBDRx
Line 407: Line 407:
 
| 16.9  
 
| 16.9  
 
| 2.29
 
| 2.29
 +
|-                                                                                           
 +
| KBx
 +
| yes
 +
| 22.8
 +
| 4.45
 +
| 8.72
 
|-                                                                                             
 
|-                                                                                             
 
| BK4
 
| BK4

Latest revision as of 09:00, 24 August 2016

Submitted Algorithms

Algorithms submitted to the Automatic Downbeat Estimation task
Submission code Submission name Abstract Contributors
DBDR1 DB1_no_beatles PDF Simon Durand, Juan Bello, Bertrand David, Gael Richard
DBDR2 DB2_no_ballroom PDF Simon Durand, Juan Bello, Bertrand David, Gael Richard
KB1 babeats13 PDF Florian Krebs, Sebastian Böck
KB2 babeats15 PDF Florian Krebs, Sebastian Böck
BK4 joint_tracker PDF Sebastian Böck, Florian Krebs
DSR1 downbeater PDF Matthew Davies, Adam Stark, Andrew Robertson
CD4 qm-barbeattracker PDF Matthew Davies, Chris Cannam

Results

Results ballroom dataset
Algorithm F-Measure Precision Recall
BK4* 0.908 0.906 0.917
KB1* 0.898 0.888 0.917
KB2* 0.860 0.853 0.890
DBDR1* 0.838 0.874 0.846
DBDR2 0.783 0.808 0.804
DSR1 0.463 0.476 0.468
CD4 0.412 0.416 0.419
Results beatles dataset
Algorithm F-Measure Precision Recall
DBDR2* 0.872 0.861 0.909
BK4* 0.865 0.872 0.876
DBDR1 0.849 0.861 0.868
KB2* 0.818 0.799 0.870
KB1 0.803 0.776 0.859
DSR1 0.665 0.646 0.708
CD4 0.604 0.586 0.642
Results carnatic dataset
Algorithm F-Measure Precision Recall
BK4* 0.369 0.290 0.566
KB2* 0.330 0.263 0.487
KB1 0.269 0.221 0.380
DBDR2 0.231 0.194 0.330
DBDR1 0.201 0.199 0.240
CD4 0.186 0.154 0.258
DSR1 0.184 0.155 0.251
Results turkish dataset
Algorithm F-Measure Precision Recall
BK4* 0.537 0.468 0.729
DBDR2 0.415 0.360 0.554
KB1 0.352 0.301 0.498
KB2* 0.336 0.269 0.513
DSR1 0.317 0.281 0.411
DBDR1 0.306 0.292 0.379
CD4 0.218 0.186 0.291
Results cretan dataset
Algorithm F-Measure Precision Recall
BK4* 0.635 0.951 0.476
KB2* 0.443 0.661 0.334
KB1 0.433 0.641 0.328
DBDR1 0.426 0.715 0.308
DBDR2 0.418 0.637 0.311
DSR1 0.265 0.398 0.199
CD4 0.250 0.377 0.188
Results hjdb dataset
Algorithm F-Measure Precision Recall
BK4* 0.970 0.970 0.970
KB2* 0.851 0.854 0.848
KB1 0.690 0.693 0.688
DBDR2 0.629 0.628 0.638
DBDR1 0.578 0.613 0.561
CD4 0.334 0.341 0.329
DSR1 0.208 0.232 0.196
Results rwc_classical dataset
Algorithm F-Measure Precision Recall
BK4* 0.599 0.659 0.598
DBDR2* 0.532 0.539 0.574
DBDR1* 0.527 0.570 0.529
KB1 0.436 0.475 0.447
KB2* 0.428 0.459 0.444
DSR1 0.251 0.260 0.279
CD4 0.174 0.189 0.185
Results gtzan dataset
Algorithm F-Measure Precision Recall
KB2 0.647 0.665 0.653
BK4 0.638 0.636 0.669
KB1 0.630 0.647 0.634
DBDR2 0.619 0.628 0.666
DBDR1 0.615 0.651 0.631
CD4 0.460 0.461 0.482
DSR1 0.397 0.397 0.423

*) Rows marked by an asterisk should be taken with care as in those cases overlapping test and training sets were used. This could lead to overestimated metrics.

Runtime

The runtime is measured for the *hjdb* dataset (duration 3h19m) and then extrapolated to the duration of all datasets (total 38h51m). For measuring runtimes, we used a PC with four i5-2400 CPUs @ 3.10GHz.

Algorithm Multi-core Runtime hjdb [mm] Extrapolated runtime all [hh] x times faster than realtime
DBDRx yes 86.8 16.9 2.29
KBx yes 22.8 4.45 8.72
BK4 yes 13.1 2.55 15.2
DSR1 no 4.5 0.88 44.2
CD4 no 3.1 0.6 63.5
Retrieved from "https://music-ir.org/mirex/w/index.php?title=2016:Audio_Downbeat_Estimation_Results&oldid=11953"