gtk2_ardour/rhythm_ferret.cc

   1 /*
   2     Copyright (C) 2012 Paul Davis
   3
   4     This program is free software; you can redistribute it and/or modify
   5     it under the terms of the GNU General Public License as published by
   6     the Free Software Foundation; either version 2 of the License, or
   7     (at your option) any later version.
   8
   9     This program is distributed in the hope that it will be useful,
  10     but WITHOUT ANY WARRANTY; without even the implied warranty of
  11     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12     GNU General Public License for more details.
  13
  14     You should have received a copy of the GNU General Public License
  15     along with this program; if not, write to the Free Software
  16     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  17
  18 */
  19
  20 #include <gtkmm/stock.h>
  21 #include <gtkmm2ext/utils.h>
  22
  23 #include "pbd/memento_command.h"
  24 #include "pbd/convert.h"
  25
  26 #include "ardour/audioregion.h"
  27 #include "ardour/onset_detector.h"
  28 #include "ardour/session.h"
  29 #include "ardour/transient_detector.h"
  30
  31 #include "rhythm_ferret.h"
  32 #include "audio_region_view.h"
  33 #include "editor.h"
  34 #include "time_axis_view.h"
  35
  36 #include "pbd/i18n.h"
  37
  38 using namespace std;
  39 using namespace Gtk;
  40 using namespace Gdk;
  41 using namespace PBD;
  42 using namespace ARDOUR;
  43
  44 /* order of these must match the AnalysisMode enums
  45    in rhythm_ferret.h
  46 */
  47 static const gchar * _analysis_mode_strings[] = {
  48         N_("Percussive Onset"),
  49         N_("Note Onset"),
  50         0
  51 };
  52
  53 static const gchar * _onset_function_strings[] = {
  54         N_("Energy Based"),
  55         N_("Spectral Difference"),
  56         N_("High-Frequency Content"),
  57         N_("Complex Domain"),
  58         N_("Phase Deviation"),
  59         N_("Kullback-Liebler"),
  60         N_("Modified Kullback-Liebler"),
  61 #ifdef HAVE_AUBIO4
  62         N_("Spectral Flux"),
  63 #endif
  64         0
  65 };
  66
  67 static const gchar * _operation_strings[] = {
  68         N_("Split region"),
  69 #if 0 // these don't do what a user expects
  70         N_("Snap regions"),
  71         N_("Conform regions"),
  72 #endif
  73         0
  74 };
  75
  76 RhythmFerret::RhythmFerret (Editor& e)
  77         : ArdourDialog (_("Rhythm Ferret"))
  78         , editor (e)
  79         , detection_threshold_adjustment (-35, -80, -6, 1, 6)
  80         , detection_threshold_scale (detection_threshold_adjustment)
  81         , sensitivity_adjustment (40, 0, 100, 1, 10)
  82         , sensitivity_scale (sensitivity_adjustment)
  83         , analyze_button (_("Analyze"))
  84         , peak_picker_threshold_adjustment (0.3, 0.0, 1.0, 0.01, 0.1)
  85         , peak_picker_threshold_scale (peak_picker_threshold_adjustment)
  86         , silence_threshold_adjustment (-90.0, -120.0, 0.0, 1, 10)
  87         , silence_threshold_scale (silence_threshold_adjustment)
  88 #ifdef HAVE_AUBIO4
  89         , minioi_adjustment (4, 0, 40, 1, 5)
  90         , minioi_scale (minioi_adjustment)
  91 #endif
  92         , trigger_gap_adjustment (3, 0, 100, 1, 10)
  93         , trigger_gap_spinner (trigger_gap_adjustment)
  94         , action_button (Stock::APPLY)
  95 {
  96         operation_strings = I18N (_operation_strings);
  97         Gtkmm2ext::set_popdown_strings (operation_selector, operation_strings);
  98         operation_selector.set_active (0);
  99
 100         analysis_mode_strings = I18N (_analysis_mode_strings);
 101         Gtkmm2ext::set_popdown_strings (analysis_mode_selector, analysis_mode_strings);
 102         analysis_mode_selector.set_active_text (analysis_mode_strings.front());
 103         analysis_mode_selector.signal_changed().connect (sigc::mem_fun (*this, &RhythmFerret::analysis_mode_changed));
 104
 105         onset_function_strings = I18N (_onset_function_strings);
 106         Gtkmm2ext::set_popdown_strings (onset_detection_function_selector, onset_function_strings);
 107         /* Onset plugin uses complex domain as default function
 108            XXX there should be a non-hacky way to set this
 109          */
 110         onset_detection_function_selector.set_active_text (onset_function_strings[3]);
 111         detection_threshold_scale.set_digits (3);
 112
 113         Table* t = manage (new Table (7, 3));
 114         t->set_spacings (12);
 115
 116         int n = 0;
 117
 118         t->attach (*manage (new Label (_("Mode"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 119         t->attach (analysis_mode_selector, 1, 2, n, n + 1, FILL);
 120         ++n;
 121
 122         t->attach (*manage (new Label (_("Detection function"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 123         t->attach (onset_detection_function_selector, 1, 2, n, n + 1, FILL);
 124         ++n;
 125
 126         t->attach (*manage (new Label (_("Trigger gap (postproc)"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 127         t->attach (trigger_gap_spinner, 1, 2, n, n + 1, FILL);
 128         t->attach (*manage (new Label (_("ms"))), 2, 3, n, n + 1, FILL);
 129         ++n;
 130
 131         t->attach (*manage (new Label (_("Peak threshold"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 132         t->attach (peak_picker_threshold_scale, 1, 2, n, n + 1, FILL);
 133         ++n;
 134
 135         t->attach (*manage (new Label (_("Silence threshold"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 136         t->attach (silence_threshold_scale, 1, 2, n, n + 1, FILL);
 137         t->attach (*manage (new Label (_("dB"))), 2, 3, n, n + 1, FILL);
 138         ++n;
 139
 140 #ifdef HAVE_AUBIO4
 141         t->attach (*manage (new Label (_("Min Inter-Onset Time"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 142         t->attach (minioi_scale, 1, 2, n, n + 1, FILL);
 143         t->attach (*manage (new Label (_("ms"))), 2, 3, n, n + 1, FILL);
 144         ++n;
 145 #endif
 146
 147
 148         t->attach (*manage (new Label (_("Sensitivity"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 149         t->attach (sensitivity_scale, 1, 2, n, n + 1, FILL);
 150         ++n;
 151
 152         t->attach (*manage (new Label (_("Cut Pos Threshold"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 153         t->attach (detection_threshold_scale, 1, 2, n, n + 1, FILL);
 154         t->attach (*manage (new Label (_("dB"))), 2, 3, n, n + 1, FILL);
 155         ++n;
 156
 157         t->attach (*manage (new Label (_("Operation"), 1, 0.5)), 0, 1, n, n + 1, FILL);
 158         t->attach (operation_selector, 1, 2, n, n + 1, FILL);
 159         ++n;
 160
 161         analyze_button.signal_clicked().connect (sigc::mem_fun (*this, &RhythmFerret::run_analysis));
 162         action_button.signal_clicked().connect (sigc::mem_fun (*this, &RhythmFerret::do_action));
 163
 164         get_vbox()->set_border_width (6);
 165         get_vbox()->set_spacing (6);
 166         get_vbox()->pack_start (*t);
 167
 168         add_action_widget (analyze_button, 1);
 169         add_action_widget (action_button, 0);
 170
 171         show_all ();
 172         analysis_mode_changed ();
 173 }
 174
 175 void
 176 RhythmFerret::analysis_mode_changed ()
 177 {
 178         bool const perc = get_analysis_mode() == PercussionOnset;
 179
 180         // would be nice to actually hide/show the rows.
 181         detection_threshold_scale.set_sensitive (perc);
 182         sensitivity_scale.set_sensitive (perc);
 183         trigger_gap_spinner.set_sensitive (!perc);
 184         onset_detection_function_selector.set_sensitive (!perc);
 185         peak_picker_threshold_scale.set_sensitive (!perc);
 186         silence_threshold_scale.set_sensitive (!perc);
 187 #ifdef HAVE_AUBIO4
 188         minioi_scale.set_sensitive (!perc);
 189 #endif
 190 }
 191
 192 RhythmFerret::AnalysisMode
 193 RhythmFerret::get_analysis_mode () const
 194 {
 195         string str = analysis_mode_selector.get_active_text ();
 196
 197         if (str == analysis_mode_strings[(int) NoteOnset]) {
 198                 return NoteOnset;
 199         }
 200
 201         return PercussionOnset;
 202 }
 203
 204 RhythmFerret::Action
 205 RhythmFerret::get_action () const
 206 {
 207         if (operation_selector.get_active_row_number() == 1) {
 208                 return SnapRegionsToGrid;
 209         } else if (operation_selector.get_active_row_number() == 2) {
 210                 return ConformRegion;
 211         }
 212
 213         return SplitRegion;
 214 }
 215
 216 void
 217 RhythmFerret::run_analysis ()
 218 {
 219         if (!_session) {
 220                 return;
 221         }
 222
 223         clear_transients ();
 224
 225         regions_with_transients = editor.get_selection().regions;
 226
 227         current_results.clear ();
 228
 229         if (regions_with_transients.empty()) {
 230                 return;
 231         }
 232
 233         for (RegionSelection::iterator i = regions_with_transients.begin(); i != regions_with_transients.end(); ++i) {
 234
 235                 boost::shared_ptr<Readable> rd = boost::static_pointer_cast<AudioRegion> ((*i)->region());
 236
 237                 switch (get_analysis_mode()) {
 238                 case PercussionOnset:
 239                         run_percussion_onset_analysis (rd, (*i)->region()->position(), current_results);
 240                         break;
 241                 case NoteOnset:
 242                         run_note_onset_analysis (rd, (*i)->region()->position(), current_results);
 243                         break;
 244                 default:
 245                         break;
 246                 }
 247
 248                 (*i)->region()->set_onsets (current_results);
 249                 current_results.clear();
 250         }
 251 }
 252
 253 int
 254 RhythmFerret::run_percussion_onset_analysis (boost::shared_ptr<Readable> readable, frameoffset_t /*offset*/, AnalysisFeatureList& results)
 255 {
 256         TransientDetector t (_session->frame_rate());
 257
 258         for (uint32_t i = 0; i < readable->n_channels(); ++i) {
 259
 260                 AnalysisFeatureList these_results;
 261
 262                 t.reset ();
 263                 float dB = detection_threshold_adjustment.get_value();
 264                 float coeff = dB > -80.0f ? pow (10.0f, dB * 0.05f) : 0.0f;
 265                 t.set_threshold (coeff);
 266                 t.set_sensitivity (4, sensitivity_adjustment.get_value());
 267
 268                 if (t.run ("", readable.get(), i, these_results)) {
 269                         continue;
 270                 }
 271
 272                 /* merge */
 273
 274                 results.insert (results.end(), these_results.begin(), these_results.end());
 275                 these_results.clear ();
 276
 277                 t.update_positions (readable.get(), i, results);
 278         }
 279
 280         return 0;
 281 }
 282
 283 int
 284 RhythmFerret::get_note_onset_function ()
 285 {
 286         string txt = onset_detection_function_selector.get_active_text();
 287
 288         for (int n = 0; _onset_function_strings[n]; ++n) {
 289                 /* compare translated versions */
 290                 if (txt == onset_function_strings[n]) {
 291                         return n;
 292                 }
 293         }
 294
 295         fatal << string_compose (_("programming error: %1 (%2)"), X_("illegal note onset function string"), txt)
 296               << endmsg;
 297
 298         abort(); /*NOTREACHED*/
 299         return -1;
 300 }
 301
 302 int
 303 RhythmFerret::run_note_onset_analysis (boost::shared_ptr<Readable> readable, frameoffset_t /*offset*/, AnalysisFeatureList& results)
 304 {
 305         try {
 306                 OnsetDetector t (_session->frame_rate());
 307
 308                 for (uint32_t i = 0; i < readable->n_channels(); ++i) {
 309
 310                         AnalysisFeatureList these_results;
 311
 312                         t.set_function (get_note_onset_function());
 313                         t.set_silence_threshold (silence_threshold_adjustment.get_value());
 314                         t.set_peak_threshold (peak_picker_threshold_adjustment.get_value());
 315 #ifdef HAVE_AUBIO4
 316                         t.set_minioi (minioi_adjustment.get_value());
 317 #endif
 318
 319                         // aubio-vamp only picks up new settings on reset.
 320                         t.reset ();
 321
 322                         if (t.run ("", readable.get(), i, these_results)) {
 323                                 continue;
 324                         }
 325
 326                         /* merge */
 327
 328                         results.insert (results.end(), these_results.begin(), these_results.end());
 329                         these_results.clear ();
 330                 }
 331
 332         } catch (failed_constructor& err) {
 333                 error << "Could not load note onset detection plugin" << endmsg;
 334                 return -1;
 335         }
 336
 337         if (!results.empty()) {
 338                 OnsetDetector::cleanup_onsets (results, _session->frame_rate(), trigger_gap_adjustment.get_value());
 339         }
 340
 341         return 0;
 342 }
 343
 344 void
 345 RhythmFerret::do_action ()
 346 {
 347         if (!_session) {
 348                 return;
 349         }
 350
 351         switch (get_action()) {
 352         case SplitRegion:
 353                 do_split_action ();
 354                 break;
 355         case SnapRegionsToGrid:
 356                 // split first, select all.. ?!
 357                 editor.snap_regions_to_grid();
 358                 break;
 359         case ConformRegion:
 360                 editor.close_region_gaps();
 361                 break;
 362         default:
 363                 break;
 364         }
 365 }
 366
 367 void
 368 RhythmFerret::do_split_action ()
 369 {
 370         /* XXX: this is quite a special-case; (currently) the only operation which is
 371            performed on the selection only (without entered_regionview or the edit point
 372            being considered)
 373         */
 374         RegionSelection regions = editor.selection->regions;
 375
 376         if (regions.empty()) {
 377                 return;
 378         }
 379
 380         editor.EditorFreeze(); /* Emit signal */
 381
 382         editor.begin_reversible_command (_("split regions (rhythm ferret)"));
 383
 384         /* Merge the transient positions for regions in consideration */
 385         AnalysisFeatureList merged_features;
 386
 387         for (RegionSelection::iterator i = regions.begin(); i != regions.end(); ++i) {
 388
 389                 AnalysisFeatureList features;
 390                 (*i)->region()->transients(features);
 391
 392                 merged_features.insert (merged_features.end(), features.begin(), features.end());
 393         }
 394
 395         merged_features.sort();
 396         merged_features.unique();
 397
 398         for (RegionSelection::iterator i = regions.begin(); i != regions.end(); ) {
 399
 400                 RegionSelection::iterator tmp;
 401
 402                 tmp = i;
 403                 ++tmp;
 404
 405                 editor.split_region_at_points ((*i)->region(), merged_features, false, false);
 406
 407                 /* i is invalid at this point */
 408                 i = tmp;
 409         }
 410
 411         editor.commit_reversible_command ();
 412
 413         editor.EditorThaw(); /* Emit signal */
 414 }
 415
 416 void
 417 RhythmFerret::set_session (Session* s)
 418 {
 419         ArdourDialog::set_session (s);
 420         current_results.clear ();
 421 }
 422
 423 void
 424 RhythmFerret::on_hide ()
 425 {
 426         ArdourDialog::on_hide ();
 427         clear_transients ();
 428 }
 429
 430 /* Clear any transients that we have added */
 431 void
 432 RhythmFerret::clear_transients ()
 433 {
 434         current_results.clear ();
 435
 436         for (RegionSelection::iterator i = regions_with_transients.begin(); i != regions_with_transients.end(); ++i) {
 437                 (*i)->region()->set_onsets (current_results);
 438         }
 439
 440         regions_with_transients.clear ();
 441 }
 442