gtk2_ardour/rhythm_ferret.cc

   1 /*
   2     Copyright (C) 2012 Paul Davis
   3
   4     This program is free software; you can redistribute it and/or modify
   5     it under the terms of the GNU General Public License as published by
   6     the Free Software Foundation; either version 2 of the License, or
   7     (at your option) any later version.
   8
   9     This program is distributed in the hope that it will be useful,
  10     but WITHOUT ANY WARRANTY; without even the implied warranty of
  11     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12     GNU General Public License for more details.
  13
  14     You should have received a copy of the GNU General Public License
  15     along with this program; if not, write to the Free Software
  16     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  17
  18 */
  19
  20 #include <gtkmm/stock.h>
  21 #include <gtkmm2ext/utils.h>
  22
  23 #include "pbd/memento_command.h"
  24 #include "pbd/convert.h"
  25
  26 #include "ardour/audioregion.h"
  27 #include "ardour/onset_detector.h"
  28 #include "ardour/session.h"
  29 #include "ardour/transient_detector.h"
  30
  31 #include "rhythm_ferret.h"
  32 #include "audio_region_view.h"
  33 #include "editor.h"
  34 #include "time_axis_view.h"
  35
  36 #include "pbd/i18n.h"
  37
  38 using namespace std;
  39 using namespace Gtk;
  40 using namespace Gdk;
  41 using namespace PBD;
  42 using namespace ARDOUR;
  43
  44 /* order of these must match the AnalysisMode enums
  45    in rhythm_ferret.h
  46 */
  47 static const gchar * _analysis_mode_strings[] = {
  48         N_("Percussive Onset"),
  49         N_("Note Onset"),
  50         0
  51 };
  52
  53 static const gchar * _onset_function_strings[] = {
  54         N_("Energy Based"),
  55         N_("Spectral Difference"),
  56         N_("High-Frequency Content"),
  57         N_("Complex Domain"),
  58         N_("Phase Deviation"),
  59         N_("Kullback-Liebler"),
  60         N_("Modified Kullback-Liebler"),
  61 #ifdef HAVE_AUBIO4
  62         N_("Spectral Flux"),
  63 #endif
  64         0
  65 };
  66
  67 static const gchar * _operation_strings[] = {
  68         N_("Split region"),
  69 #if 0 // these don't do what a user expects
  70         N_("Snap regions"),
  71         N_("Conform regions"),
  72 #endif
  73         0
  74 };
  75
  76 RhythmFerret::RhythmFerret (Editor& e)
  77         : ArdourDialog (_("Rhythm Ferret"))
  78         , editor (e)
  79         , detection_threshold_adjustment (-35, -80, -6, 1, 6)
  80         , detection_threshold_scale (detection_threshold_adjustment)
  81         , sensitivity_adjustment (40, 0, 100, 1, 10)
  82         , sensitivity_scale (sensitivity_adjustment)
  83         , analyze_button (_("Analyze"))
  84         , peak_picker_threshold_adjustment (0.3, 0.0, 1.0, 0.01, 0.1)
  85         , peak_picker_threshold_scale (peak_picker_threshold_adjustment)
  86         , silence_threshold_adjustment (-90.0, -120.0, 0.0, 1, 10)
  87         , silence_threshold_scale (silence_threshold_adjustment)
  88 #ifdef HAVE_AUBIO4
  89         , minioi_adjustment (4, 0, 40, 1, 5)
  90         , minioi_scale (minioi_adjustment)
  91 #endif
  92         , trigger_gap_adjustment (3, 0, 100, 1, 10)
  93         , trigger_gap_spinner (trigger_gap_adjustment)
  94         , action_button (Stock::APPLY)
  95 {
  96         operation_strings = I18N (_operation_strings);
  97         Gtkmm2ext::set_popdown_strings (operation_selector, operation_strings);
  98         operation_selector.set_active (0);
  99
 100         analysis_mode_strings = I18N (_analysis_mode_strings);
 101         Gtkmm2ext::set_popdown_strings (analysis_mode_selector, analysis_mode_strings);
 102         analysis_mode_selector.set_active_text (analysis_mode_strings.front());
 103         analysis_mode_selector.signal_changed().connect (sigc::mem_fun (*this, &RhythmFerret::analysis_mode_changed));
 104
 105         onset_function_strings = I18N (_onset_function_strings);
 106         Gtkmm2ext::set_popdown_strings (onset_detection_function_selector, onset_function_strings);
 107         /* Onset plugin uses complex domain as default function
 108            XXX there should be a non-hacky way to set this
 109          */
 110         onset_detection_function_selector.set_active_text (onset_function_strings[3]);
 111         detection_threshold_scale.set_digits (3);
 112
 113         Table* t = manage (new Table (7, 3));
 114         t->set_spacings (12);
 115
 116         int n = 0;
 117
 118         t->attach (*manage (new Label (_("Mode"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 119         t->attach (analysis_mode_selector, 1, 2, n, n + 1, FILL);
 120         ++n;
 121
 122         t->attach (*manage (new Label (_("Detection function"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 123         t->attach (onset_detection_function_selector, 1, 2, n, n + 1, FILL);
 124         ++n;
 125
 126         t->attach (*manage (new Label (_("Trigger gap (postproc)"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 127         t->attach (trigger_gap_spinner, 1, 2, n, n + 1, FILL);
 128         t->attach (*manage (new Label (_("ms"))), 2, 3, n, n + 1, FILL);
 129         ++n;
 130
 131         t->attach (*manage (new Label (_("Peak threshold"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 132         t->attach (peak_picker_threshold_scale, 1, 2, n, n + 1, FILL);
 133         ++n;
 134
 135         t->attach (*manage (new Label (_("Silence threshold"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 136         t->attach (silence_threshold_scale, 1, 2, n, n + 1, FILL);
 137         t->attach (*manage (new Label (_("dB"))), 2, 3, n, n + 1, FILL);
 138         ++n;
 139
 140 #ifdef HAVE_AUBIO4
 141         t->attach (*manage (new Label (_("Min Inter-Onset Time"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 142         t->attach (minioi_scale, 1, 2, n, n + 1, FILL);
 143         t->attach (*manage (new Label (_("ms"))), 2, 3, n, n + 1, FILL);
 144         ++n;
 145 #endif
 146
 147
 148         t->attach (*manage (new Label (_("Sensitivity"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 149         t->attach (sensitivity_scale, 1, 2, n, n + 1, FILL);
 150         ++n;
 151
 152         t->attach (*manage (new Label (_("Cut Pos Threshold"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 153         t->attach (detection_threshold_scale, 1, 2, n, n + 1, FILL);
 154         t->attach (*manage (new Label (_("dB"))), 2, 3, n, n + 1, FILL);
 155         ++n;
 156
 157         t->attach (*manage (new Label (_("Operation"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 158         t->attach (operation_selector, 1, 2, n, n + 1, FILL);
 159         ++n;
 160
 161         analyze_button.signal_clicked().connect (sigc::mem_fun (*this, &RhythmFerret::run_analysis));
 162         action_button.signal_clicked().connect (sigc::mem_fun (*this, &RhythmFerret::do_action));
 163
 164         get_vbox()->set_border_width (6);
 165         get_vbox()->set_spacing (6);
 166         get_vbox()->pack_start (*t);
 167
 168         add_action_widget (analyze_button, 1);
 169         add_action_widget (action_button, 0);
 170
 171         show_all ();
 172         analysis_mode_changed ();
 173 }
 174
 175 void
 176 RhythmFerret::analysis_mode_changed ()
 177 {
 178         bool const perc = get_analysis_mode() == PercussionOnset;
 179
 180         // would be nice to actually hide/show the rows.
 181         detection_threshold_scale.set_sensitive (perc);
 182         sensitivity_scale.set_sensitive (perc);
 183         trigger_gap_spinner.set_sensitive (!perc);
 184         onset_detection_function_selector.set_sensitive (!perc);
 185         peak_picker_threshold_scale.set_sensitive (!perc);
 186         silence_threshold_scale.set_sensitive (!perc);
 187 #ifdef HAVE_AUBIO4
 188         minioi_scale.set_sensitive (!perc);
 189 #endif
 190 }
 191
 192 RhythmFerret::AnalysisMode
 193 RhythmFerret::get_analysis_mode () const
 194 {
 195         string str = analysis_mode_selector.get_active_text ();
 196
 197         if (str == analysis_mode_strings[(int) NoteOnset]) {
 198                 return NoteOnset;
 199         }
 200
 201         return PercussionOnset;
 202 }
 203
 204 RhythmFerret::Action
 205 RhythmFerret::get_action () const
 206 {
 207         if (operation_selector.get_active_row_number() == 1) {
 208                 return SnapRegionsToGrid;
 209         } else if (operation_selector.get_active_row_number() == 2) {
 210                 return ConformRegion;
 211         }
 212
 213         return SplitRegion;
 214 }
 215
 216 void
 217 RhythmFerret::run_analysis ()
 218 {
 219         if (!_session) {
 220                 return;
 221         }
 222
 223         clear_transients ();
 224
 225         regions_with_transients = editor.get_selection().regions;
 226
 227         current_results.clear ();
 228
 229         if (regions_with_transients.empty()) {
 230                 return;
 231         }
 232
 233         for (RegionSelection::iterator i = regions_with_transients.begin(); i != regions_with_transients.end(); ++i) {
 234
 235                 boost::shared_ptr<Readable> rd = boost::static_pointer_cast<AudioRegion> ((*i)->region());
 236
 237                 switch (get_analysis_mode()) {
 238                 case PercussionOnset:
 239                         run_percussion_onset_analysis (rd, (*i)->region()->position(), current_results);
 240                         break;
 241                 case NoteOnset:
 242                         run_note_onset_analysis (rd, (*i)->region()->position(), current_results);
 243                         break;
 244                 default:
 245                         break;
 246                 }
 247
 248                 (*i)->region()->set_onsets (current_results);
 249                 current_results.clear();
 250         }
 251 }
 252
 253 int
 254 RhythmFerret::run_percussion_onset_analysis (boost::shared_ptr<Readable> readable, frameoffset_t /*offset*/, AnalysisFeatureList& results)
 255 {
 256         try {
 257                 TransientDetector t (_session->frame_rate());
 258
 259                 for (uint32_t i = 0; i < readable->n_channels(); ++i) {
 260
 261                         AnalysisFeatureList these_results;
 262
 263                         t.reset ();
 264                         float dB = detection_threshold_adjustment.get_value();
 265                         float coeff = dB > -80.0f ? pow (10.0f, dB * 0.05f) : 0.0f;
 266                         t.set_threshold (coeff);
 267                         t.set_sensitivity (4, sensitivity_adjustment.get_value());
 268
 269                         if (t.run ("", readable.get(), i, these_results)) {
 270                                 continue;
 271                         }
 272
 273                         /* merge */
 274
 275                         results.insert (results.end(), these_results.begin(), these_results.end());
 276                         these_results.clear ();
 277
 278                         t.update_positions (readable.get(), i, results);
 279                 }
 280
 281         } catch (failed_constructor& err) {
 282                 error << "Could not load percussion onset detection plugin" << endmsg;
 283                 return -1;
 284         }
 285
 286         return 0;
 287 }
 288
 289 int
 290 RhythmFerret::get_note_onset_function ()
 291 {
 292         string txt = onset_detection_function_selector.get_active_text();
 293
 294         for (int n = 0; _onset_function_strings[n]; ++n) {
 295                 /* compare translated versions */
 296                 if (txt == onset_function_strings[n]) {
 297                         return n;
 298                 }
 299         }
 300
 301         fatal << string_compose (_("programming error: %1 (%2)"), X_("illegal note onset function string"), txt)
 302               << endmsg;
 303
 304         abort(); /*NOTREACHED*/
 305         return -1;
 306 }
 307
 308 int
 309 RhythmFerret::run_note_onset_analysis (boost::shared_ptr<Readable> readable, frameoffset_t /*offset*/, AnalysisFeatureList& results)
 310 {
 311         try {
 312                 OnsetDetector t (_session->frame_rate());
 313
 314                 for (uint32_t i = 0; i < readable->n_channels(); ++i) {
 315
 316                         AnalysisFeatureList these_results;
 317
 318                         t.set_function (get_note_onset_function());
 319                         t.set_silence_threshold (silence_threshold_adjustment.get_value());
 320                         t.set_peak_threshold (peak_picker_threshold_adjustment.get_value());
 321 #ifdef HAVE_AUBIO4
 322                         t.set_minioi (minioi_adjustment.get_value());
 323 #endif
 324
 325                         // aubio-vamp only picks up new settings on reset.
 326                         t.reset ();
 327
 328                         if (t.run ("", readable.get(), i, these_results)) {
 329                                 continue;
 330                         }
 331
 332                         /* merge */
 333
 334                         results.insert (results.end(), these_results.begin(), these_results.end());
 335                         these_results.clear ();
 336                 }
 337
 338         } catch (failed_constructor& err) {
 339                 error << "Could not load note onset detection plugin" << endmsg;
 340                 return -1;
 341         }
 342
 343         if (!results.empty()) {
 344                 OnsetDetector::cleanup_onsets (results, _session->frame_rate(), trigger_gap_adjustment.get_value());
 345         }
 346
 347         return 0;
 348 }
 349
 350 void
 351 RhythmFerret::do_action ()
 352 {
 353         if (!_session) {
 354                 return;
 355         }
 356
 357         switch (get_action()) {
 358         case SplitRegion:
 359                 do_split_action ();
 360                 break;
 361         case SnapRegionsToGrid:
 362                 // split first, select all.. ?!
 363                 editor.snap_regions_to_grid();
 364                 break;
 365         case ConformRegion:
 366                 editor.close_region_gaps();
 367                 break;
 368         default:
 369                 break;
 370         }
 371 }
 372
 373 void
 374 RhythmFerret::do_split_action ()
 375 {
 376         /* XXX: this is quite a special-case; (currently) the only operation which is
 377            performed on the selection only (without entered_regionview or the edit point
 378            being considered)
 379         */
 380         RegionSelection regions = editor.selection->regions;
 381
 382         if (regions.empty()) {
 383                 return;
 384         }
 385
 386         editor.EditorFreeze(); /* Emit signal */
 387
 388         editor.begin_reversible_command (_("split regions (rhythm ferret)"));
 389
 390         /* Merge the transient positions for regions in consideration */
 391         AnalysisFeatureList merged_features;
 392
 393         for (RegionSelection::iterator i = regions.begin(); i != regions.end(); ++i) {
 394
 395                 AnalysisFeatureList features;
 396                 (*i)->region()->transients(features);
 397
 398                 merged_features.insert (merged_features.end(), features.begin(), features.end());
 399         }
 400
 401         merged_features.sort();
 402         merged_features.unique();
 403
 404         for (RegionSelection::iterator i = regions.begin(); i != regions.end(); ) {
 405
 406                 RegionSelection::iterator tmp;
 407
 408                 tmp = i;
 409                 ++tmp;
 410
 411                 editor.split_region_at_points ((*i)->region(), merged_features, false, false);
 412
 413                 /* i is invalid at this point */
 414                 i = tmp;
 415         }
 416
 417         editor.commit_reversible_command ();
 418
 419         editor.EditorThaw(); /* Emit signal */
 420 }
 421
 422 void
 423 RhythmFerret::set_session (Session* s)
 424 {
 425         ArdourDialog::set_session (s);
 426         current_results.clear ();
 427 }
 428
 429 void
 430 RhythmFerret::on_hide ()
 431 {
 432         ArdourDialog::on_hide ();
 433         clear_transients ();
 434 }
 435
 436 /* Clear any transients that we have added */
 437 void
 438 RhythmFerret::clear_transients ()
 439 {
 440         current_results.clear ();
 441
 442         for (RegionSelection::iterator i = regions_with_transients.begin(); i != regions_with_transients.end(); ++i) {
 443                 (*i)->region()->set_onsets (current_results);
 444         }
 445
 446         regions_with_transients.clear ();
 447 }
 448