Difference between revisions of "2016:Audio Downbeat Estimation Results"

From MIREX Wiki
(→‎Runtime)
 
(13 intermediate revisions by 2 users not shown)
Line 18: Line 18:
 
         |-
 
         |-
 
! KB1
 
! KB1
−
| beats_2013 ||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2016/KBDW1.pdf PDF] || Florian Krebs, Sebastian Böck
+
| babeats13 ||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2016/KBDW1.pdf PDF] || Florian Krebs, Sebastian Böck
 
         |-
 
         |-
 
! KB2
 
! KB2
−
| beats_2015 ||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2016/FK3.pdf PDF] || Florian Krebs, Sebastian Böck
+
| babeats15 ||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2016/FK3.pdf PDF] || Florian Krebs, Sebastian Böck
 
         |-
 
         |-
 
! BK4
 
! BK4
Line 30: Line 30:
 
         |-
 
         |-
 
         ! CD4
 
         ! CD4
−
| qm-barbeattracker  ||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2016/CD4.pdf PDF] || Chris Cannam
+
| qm-barbeattracker  ||  style="text-align: center;" | [https://www.music-ir.org/mirex/abstracts/2016/CD4.pdf PDF] || Matthew Davies, Chris Cannam
 
         |-
 
         |-
 
|}
 
|}
Line 43: Line 43:
 
! Precision
 
! Precision
 
! Recall
 
! Recall
 +
|-                                               
 +
| BK4*
 +
| 0.908
 +
| 0.906
 +
| 0.917
 +
|-                                               
 +
| KB1*
 +
| 0.898
 +
| 0.888
 +
| 0.917
 +
|-                                               
 +
| KB2*
 +
| 0.860
 +
| 0.853
 +
| 0.890
 
|-                                                 
 
|-                                                 
 
| DBDR1*
 
| DBDR1*
Line 54: Line 69:
 
| 0.804  
 
| 0.804  
 
|-                                                 
 
|-                                                 
−
| BK4*
+
| DSR1
−
| 0.908
+
| 0.463
−
| 0.906
+
| 0.476
−
| 0.917
+
| 0.468
 
|-                                                 
 
|-                                                 
 
| CD4
 
| CD4
Line 63: Line 78:
 
| 0.416  
 
| 0.416  
 
| 0.419  
 
| 0.419  
−
|-                                               
 
−
| DSR1
 
−
| 0.463
 
−
| 0.476
 
−
| 0.468
 
−
|-                                               
 
−
| KB1*
 
−
| 0.898
 
−
| 0.888
 
−
| 0.917
 
−
|-                                               
 
−
| KB2*
 
−
| 0.860
 
−
| 0.853
 
−
| 0.890
 
 
|}
 
|}
  
Line 87: Line 87:
 
! Precision
 
! Precision
 
! Recall
 
! Recall
−
|-                                               
 
−
| DBDR1
 
−
| 0.849
 
−
| 0.861
 
−
| 0.868
 
 
|-                                                 
 
|-                                                 
 
| DBDR2*
 
| DBDR2*
 
| 0.872  
 
| 0.872  
 
| 0.861  
 
| 0.861  
−
| 0.909  
+
| 0.909
 
|-                                                 
 
|-                                                 
 
| BK4*
 
| BK4*
Line 103: Line 98:
 
| 0.876  
 
| 0.876  
 
|-                                                 
 
|-                                                 
−
| CD4
+
| DBDR1
−
| 0.604
+
| 0.849
−
| 0.586
+
| 0.861
−
| 0.642
+
| 0.868
 
|-                                                 
 
|-                                                 
−
| DSR1
+
| KB2*
−
| 0.665
+
| 0.818
−
| 0.646
+
| 0.799
−
| 0.708
+
| 0.870
 
|-                                                 
 
|-                                                 
 
| KB1
 
| KB1
 
| 0.803  
 
| 0.803  
 
| 0.776  
 
| 0.776  
−
| 0.859  
+
| 0.859
 
|-                                                 
 
|-                                                 
−
| KB2*
+
| DSR1
−
| 0.818
+
| 0.665
−
| 0.799
+
| 0.646
−
| 0.870
+
| 0.708
 +
|-                                               
 +
| CD4
 +
| 0.604
 +
| 0.586
 +
| 0.642
 
|-
 
|-
 
|}
 
|}
−
 
  
 
{| class="wikitable sortable" border="1"
 
{| class="wikitable sortable" border="1"
Line 134: Line 133:
 
! Recall
 
! Recall
 
|-                                                 
 
|-                                                 
−
| DBDR1
+
| BK4*
−
| 0.201
+
| 0.369
−
| 0.199
+
| 0.290
−
| 0.240
+
| 0.566
 +
|-                                               
 +
| KB2*
 +
| 0.330
 +
| 0.263
 +
| 0.487
 +
|-                                               
 +
| KB1
 +
| 0.269
 +
| 0.221
 +
| 0.380
 
|-                                                 
 
|-                                                 
 
| DBDR2
 
| DBDR2
 
| 0.231  
 
| 0.231  
 
| 0.194  
 
| 0.194  
−
| 0.330  
+
| 0.330
 
|-                                                 
 
|-                                                 
−
| BK4*
+
| DBDR1
−
| 0.369
+
| 0.201
−
| 0.290
+
| 0.199
−
| 0.566
+
| 0.240
 
|-                                                 
 
|-                                                 
 
| CD4
 
| CD4
Line 158: Line 167:
 
| 0.155  
 
| 0.155  
 
| 0.251  
 
| 0.251  
−
|-                                               
 
−
| KB1
 
−
| 0.269
 
−
| 0.221
 
−
| 0.380
 
−
|-                                               
 
−
| KB2*
 
−
| 0.330
 
−
| 0.263
 
−
| 0.487
 
 
|}
 
|}
−
 
  
 
{| class="wikitable sortable" border="1"
 
{| class="wikitable sortable" border="1"
Line 179: Line 177:
 
! Recall
 
! Recall
 
|-                                                 
 
|-                                                 
−
| DBDR1
+
| BK4*
−
| 0.306
+
| 0.537
−
| 0.292
+
| 0.468
−
| 0.379
+
| 0.729
 
|-                                                 
 
|-                                                 
 
| DBDR2
 
| DBDR2
 
| 0.415  
 
| 0.415  
 
| 0.360  
 
| 0.360  
−
| 0.554  
+
| 0.554
−
|-                                               
 
−
| BK4*
 
−
| 0.537
 
−
| 0.468
 
−
| 0.729
 
−
|-                                               
 
−
| CD4
 
−
| 0.218
 
−
| 0.186
 
−
| 0.291
 
−
|-                                               
 
−
| DSR1
 
−
| 0.317
 
−
| 0.281
 
−
| 0.411
 
 
|-                                                 
 
|-                                                 
 
| KB1
 
| KB1
 
| 0.352  
 
| 0.352  
 
| 0.301  
 
| 0.301  
−
| 0.498  
+
| 0.498
 
|-                                                 
 
|-                                                 
 
| KB2*
 
| KB2*
Line 213: Line 196:
 
| 0.269  
 
| 0.269  
 
| 0.513
 
| 0.513
 +
|-                                               
 +
| DSR1
 +
| 0.317
 +
| 0.281
 +
| 0.411 
 +
|-                                               
 +
| DBDR1
 +
| 0.306
 +
| 0.292
 +
| 0.379
 +
|-                                               
 +
| CD4
 +
| 0.218
 +
| 0.186
 +
| 0.291
 
|}
 
|}
−
 
  
 
{| class="wikitable sortable" border="1"
 
{| class="wikitable sortable" border="1"
−
 
 
|+ Results cretan dataset
 
|+ Results cretan dataset
 
|-
 
|-
Line 224: Line 220:
 
! Precision
 
! Precision
 
! Recall
 
! Recall
 +
|-                                               
 +
| BK4*
 +
| 0.635
 +
| 0.951
 +
| 0.476
 +
|-                                               
 +
| KB2*
 +
| 0.443
 +
| 0.661
 +
| 0.334
 +
|-                                               
 +
| KB1
 +
| 0.433
 +
| 0.641
 +
| 0.328
 
|-                                                 
 
|-                                                 
 
| DBDR1
 
| DBDR1
Line 235: Line 246:
 
| 0.311  
 
| 0.311  
 
|-                                                 
 
|-                                                 
−
| BK4*
+
| DSR1
−
| 0.635
+
| 0.265
−
| 0.951
+
| 0.398
−
| 0.476
+
| 0.199 
 
|-                                                 
 
|-                                                 
 
| CD4
 
| CD4
Line 244: Line 255:
 
| 0.377  
 
| 0.377  
 
| 0.188  
 
| 0.188  
−
|-                                               
 
−
| DSR1
 
−
| 0.265
 
−
| 0.398
 
−
| 0.199
 
−
|-                                               
 
−
| KB1
 
−
| 0.433
 
−
| 0.641
 
−
| 0.328
 
−
|-                                               
 
−
| KB2*
 
−
| 0.443
 
−
| 0.661
 
−
| 0.334
 
 
|}
 
|}
−
 
  
 
{| class="wikitable sortable" border="1"
 
{| class="wikitable sortable" border="1"
Line 270: Line 265:
 
! Recall
 
! Recall
 
|-                                                 
 
|-                                                 
−
| DBDR1
+
| BK4*
−
| 0.578
+
| 0.970
−
| 0.613
+
| 0.970
−
| 0.561
+
| 0.970
 +
|-                                               
 +
| KB2*
 +
| 0.851
 +
| 0.854
 +
| 0.848
 +
|-                                               
 +
| KB1
 +
| 0.690
 +
| 0.693
 +
| 0.688
 
|-                                                 
 
|-                                                 
 
| DBDR2
 
| DBDR2
 
| 0.629  
 
| 0.629  
 
| 0.628  
 
| 0.628  
−
| 0.638  
+
| 0.638
 
|-                                                 
 
|-                                                 
−
| BK4*
+
| DBDR1
−
| 0.970
+
| 0.578
−
| 0.970
+
| 0.613
−
| 0.970
+
| 0.561
 
|-                                                 
 
|-                                                 
 
| CD4
 
| CD4
Line 294: Line 299:
 
| 0.232  
 
| 0.232  
 
| 0.196  
 
| 0.196  
−
|-                                               
 
−
| KB1
 
−
| 0.690
 
−
| 0.693
 
−
| 0.688
 
−
|-                                               
 
−
| KB2*
 
−
| 0.851
 
−
| 0.854
 
−
| 0.848
 
 
|}
 
|}
  
Line 313: Line 308:
 
! Precision
 
! Precision
 
! Recall
 
! Recall
−
|-                                               
 
−
| DBDR1
 
−
| 0.527
 
−
| 0.570
 
−
| 0.529
 
−
|-                                               
 
−
| DBDR2
 
−
| 0.532
 
−
| 0.539
 
−
| 0.574
 
 
|-                                                 
 
|-                                                 
 
| BK4*
 
| BK4*
 
| 0.599  
 
| 0.599  
 
| 0.659  
 
| 0.659  
−
| 0.598  
+
| 0.598
 
|-                                                 
 
|-                                                 
−
| CD4
+
| DBDR2*
−
| 0.174
+
| 0.532
−
| 0.189
+
| 0.539
−
| 0.185
+
| 0.574
 
|-                                                 
 
|-                                                 
−
| DSR1
+
| DBDR1*
−
| 0.251
+
| 0.527
−
| 0.260
+
| 0.570
−
| 0.279
+
| 0.529
 
|-                                                 
 
|-                                                 
 
| KB1
 
| KB1
Line 348: Line 333:
 
| 0.459  
 
| 0.459  
 
| 0.444
 
| 0.444
 +
|-                                               
 +
| DSR1
 +
| 0.251
 +
| 0.260
 +
| 0.279
 +
|-                                               
 +
| CD4
 +
| 0.174
 +
| 0.189
 +
| 0.185
 
|}
 
|}
  
Line 358: Line 353:
 
! Recall
 
! Recall
 
|-                                                 
 
|-                                                 
−
| DBDR1
+
| KB2
−
| 0.615
+
| 0.647
−
| 0.651
+
| 0.665
−
| 0.631
+
| 0.653
 +
|-                                               
 +
| BK4
 +
| 0.638
 +
| 0.636
 +
| 0.669
 +
|-                                               
 +
| KB1
 +
| 0.630
 +
| 0.647
 +
| 0.634
 
|-                                                 
 
|-                                                 
 
| DBDR2
 
| DBDR2
 
| 0.619  
 
| 0.619  
 
| 0.628  
 
| 0.628  
−
| 0.666  
+
| 0.666
 
|-                                                 
 
|-                                                 
−
| BK4
+
| DBDR1
−
| 0.638
+
| 0.615
−
| 0.636
+
| 0.651
−
| 0.669
+
| 0.631
 
|-                                                 
 
|-                                                 
 
| CD4
 
| CD4
Line 382: Line 387:
 
| 0.397  
 
| 0.397  
 
| 0.423  
 
| 0.423  
−
|-                                               
 
−
| KB1
 
−
| 0.630
 
−
| 0.647
 
−
| 0.634
 
−
|-                                               
 
−
| KB2
 
−
| 0.647
 
−
| 0.665
 
−
| 0.653
 
 
|}
 
|}
  
Line 397: Line 392:
  
 
= Runtime =
 
= Runtime =
−
All submissions finished the computations in less than 24 hours.
+
The runtime is measured for the *hjdb* dataset (duration 3h19m) and then extrapolated to the duration of all datasets (total 38h51m). For measuring runtimes, we used a PC with four i5-2400 CPUs @ 3.10GHz.
 +
 
 +
{| class="wikitable" border="1"
 +
|-
 +
! Algorithm
 +
! Multi-core
 +
! Runtime hjdb [mm]
 +
! Extrapolated runtime all [hh]
 +
! x times faster than realtime
 +
|-                                               
 +
| DBDRx
 +
| yes
 +
| 86.8
 +
| 16.9
 +
| 2.29
 +
|-                                                                                           
 +
| KBx
 +
| yes
 +
| 22.8
 +
| 4.45
 +
| 8.72
 +
|-                                                                                           
 +
| BK4
 +
| yes
 +
| 13.1
 +
| 2.55
 +
| 15.2
 +
|-
 +
| DSR1
 +
| no
 +
| 4.5
 +
| 0.88
 +
| 44.2
 +
|-                                                 
 +
| CD4
 +
| no
 +
| 3.1
 +
| 0.6
 +
| 63.5
 +
|-                                                                                             
 +
|}

Latest revision as of 09:00, 24 August 2016

Submitted Algorithms

Algorithms submitted to the Automatic Downbeat Estimation task
Submission code Submission name Abstract Contributors
DBDR1 DB1_no_beatles PDF Simon Durand, Juan Bello, Bertrand David, Gael Richard
DBDR2 DB2_no_ballroom PDF Simon Durand, Juan Bello, Bertrand David, Gael Richard
KB1 babeats13 PDF Florian Krebs, Sebastian Böck
KB2 babeats15 PDF Florian Krebs, Sebastian Böck
BK4 joint_tracker PDF Sebastian Böck, Florian Krebs
DSR1 downbeater PDF Matthew Davies, Adam Stark, Andrew Robertson
CD4 qm-barbeattracker PDF Matthew Davies, Chris Cannam

Results

Results ballroom dataset
Algorithm F-Measure Precision Recall
BK4* 0.908 0.906 0.917
KB1* 0.898 0.888 0.917
KB2* 0.860 0.853 0.890
DBDR1* 0.838 0.874 0.846
DBDR2 0.783 0.808 0.804
DSR1 0.463 0.476 0.468
CD4 0.412 0.416 0.419
Results beatles dataset
Algorithm F-Measure Precision Recall
DBDR2* 0.872 0.861 0.909
BK4* 0.865 0.872 0.876
DBDR1 0.849 0.861 0.868
KB2* 0.818 0.799 0.870
KB1 0.803 0.776 0.859
DSR1 0.665 0.646 0.708
CD4 0.604 0.586 0.642
Results carnatic dataset
Algorithm F-Measure Precision Recall
BK4* 0.369 0.290 0.566
KB2* 0.330 0.263 0.487
KB1 0.269 0.221 0.380
DBDR2 0.231 0.194 0.330
DBDR1 0.201 0.199 0.240
CD4 0.186 0.154 0.258
DSR1 0.184 0.155 0.251
Results turkish dataset
Algorithm F-Measure Precision Recall
BK4* 0.537 0.468 0.729
DBDR2 0.415 0.360 0.554
KB1 0.352 0.301 0.498
KB2* 0.336 0.269 0.513
DSR1 0.317 0.281 0.411
DBDR1 0.306 0.292 0.379
CD4 0.218 0.186 0.291
Results cretan dataset
Algorithm F-Measure Precision Recall
BK4* 0.635 0.951 0.476
KB2* 0.443 0.661 0.334
KB1 0.433 0.641 0.328
DBDR1 0.426 0.715 0.308
DBDR2 0.418 0.637 0.311
DSR1 0.265 0.398 0.199
CD4 0.250 0.377 0.188
Results hjdb dataset
Algorithm F-Measure Precision Recall
BK4* 0.970 0.970 0.970
KB2* 0.851 0.854 0.848
KB1 0.690 0.693 0.688
DBDR2 0.629 0.628 0.638
DBDR1 0.578 0.613 0.561
CD4 0.334 0.341 0.329
DSR1 0.208 0.232 0.196
Results rwc_classical dataset
Algorithm F-Measure Precision Recall
BK4* 0.599 0.659 0.598
DBDR2* 0.532 0.539 0.574
DBDR1* 0.527 0.570 0.529
KB1 0.436 0.475 0.447
KB2* 0.428 0.459 0.444
DSR1 0.251 0.260 0.279
CD4 0.174 0.189 0.185
Results gtzan dataset
Algorithm F-Measure Precision Recall
KB2 0.647 0.665 0.653
BK4 0.638 0.636 0.669
KB1 0.630 0.647 0.634
DBDR2 0.619 0.628 0.666
DBDR1 0.615 0.651 0.631
CD4 0.460 0.461 0.482
DSR1 0.397 0.397 0.423

*) Rows marked by an asterisk should be taken with care as in those cases overlapping test and training sets were used. This could lead to overestimated metrics.

Runtime

The runtime is measured for the *hjdb* dataset (duration 3h19m) and then extrapolated to the duration of all datasets (total 38h51m). For measuring runtimes, we used a PC with four i5-2400 CPUs @ 3.10GHz.

Algorithm Multi-core Runtime hjdb [mm] Extrapolated runtime all [hh] x times faster than realtime
DBDRx yes 86.8 16.9 2.29
KBx yes 22.8 4.45 8.72
BK4 yes 13.1 2.55 15.2
DSR1 no 4.5 0.88 44.2
CD4 no 3.1 0.6 63.5
Retrieved from "https://music-ir.org/mirex/w/index.php?title=2016:Audio_Downbeat_Estimation_Results&oldid=11953"