libs/ardour/smf_source.cc

   1 /*
   2     Copyright (C) 2006 Paul Davis
   3     Author: David Robillard
   4
   5     This program is free software; you can redistribute it and/or modify
   6     it under the terms of the GNU General Public License as published by
   7     the Free Software Foundation; either version 2 of the License, or
   8     (at your option) any later version.
   9
  10     This program is distributed in the hope that it will be useful,
  11     but WITHOUT ANY WARRANTY; without even the implied warranty of
  12     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13     GNU General Public License for more details.
  14
  15     You should have received a copy of the GNU General Public License
  16     along with this program; if not, write to the Free Software
  17     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  18
  19 */
  20
  21 #include <vector>
  22
  23 #include <sys/time.h>
  24 #include <sys/stat.h>
  25 #include <unistd.h>
  26 #include <errno.h>
  27
  28 #include "pbd/mountpoint.h"
  29 #include "pbd/pathscanner.h"
  30 #include "pbd/stl_delete.h"
  31 #include "pbd/strsplit.h"
  32
  33 #include <glibmm/miscutils.h>
  34
  35 #include "evoral/Control.hpp"
  36
  37 #include "ardour/audioengine.h"
  38 #include "ardour/event_type_map.h"
  39 #include "ardour/midi_model.h"
  40 #include "ardour/midi_ring_buffer.h"
  41 #include "ardour/midi_state_tracker.h"
  42 #include "ardour/session.h"
  43 #include "ardour/smf_source.h"
  44 #include "ardour/debug.h"
  45
  46 #include "i18n.h"
  47
  48 using namespace ARDOUR;
  49 using namespace Glib;
  50 using namespace PBD;
  51
  52 /** Constructor used for new internal-to-session files.  File cannot exist. */
  53 SMFSource::SMFSource (Session& s, const string& path, Source::Flag flags)
  54         : Source(s, DataType::MIDI, path, flags)
  55         , MidiSource(s, path, flags)
  56         , FileSource(s, DataType::MIDI, path, string(), flags)
  57         , Evoral::SMF()
  58         , _last_ev_time_beats(0.0)
  59         , _last_ev_time_frames(0)
  60         , _smf_last_read_end (0)
  61         , _smf_last_read_time (0)
  62 {
  63         /* note that origin remains empty */
  64
  65         if (init(_path, false)) {
  66                 throw failed_constructor ();
  67         }
  68
  69         /* file is not opened until write */
  70 }
  71
  72 /** Constructor used for existing internal-to-session files. */
  73 SMFSource::SMFSource (Session& s, const XMLNode& node, bool must_exist)
  74         : Source(s, node)
  75         , MidiSource(s, node)
  76         , FileSource(s, node, must_exist)
  77         , _last_ev_time_beats(0.0)
  78         , _last_ev_time_frames(0)
  79         , _smf_last_read_end (0)
  80         , _smf_last_read_time (0)
  81 {
  82         if (set_state(node, Stateful::loading_state_version)) {
  83                 throw failed_constructor ();
  84         }
  85
  86         if (init(_path, true)) {
  87                 throw failed_constructor ();
  88         }
  89
  90         if (open(_path)) {
  91                 throw failed_constructor ();
  92         }
  93
  94         _open = true;
  95 }
  96
  97 SMFSource::~SMFSource ()
  98 {
  99         if (removable()) {
 100                 unlink (_path.c_str());
 101         }
 102 }
 103
 104 int
 105 SMFSource::open_for_write ()
 106 {
 107         if (create (_path)) {
 108                 return -1;
 109         }
 110         _open = true;
 111         return 0;
 112 }
 113
 114 /** All stamps in audio frames */
 115 framecnt_t
 116 SMFSource::read_unlocked (Evoral::EventSink<framepos_t>& destination, framepos_t const source_start,
 117                           framepos_t start, framecnt_t duration,
 118                           MidiStateTracker* tracker) const
 119 {
 120         int      ret  = 0;
 121         uint64_t time = 0; // in SMF ticks, 1 tick per _ppqn
 122
 123         if (writable() && !_open) {
 124                 /* nothing to read since nothing has ben written */
 125                 return duration;
 126         }
 127
 128         DEBUG_TRACE (DEBUG::MidiSourceIO, string_compose ("SMF read_unlocked: start %1 duration %2\n", start, duration));
 129
 130         _read_data_count = 0;
 131
 132         // Output parameters for read_event (which will allocate scratch in buffer as needed)
 133         uint32_t ev_delta_t = 0;
 134         uint32_t ev_type    = 0;
 135         uint32_t ev_size    = 0;
 136         uint8_t* ev_buffer  = 0;
 137
 138         size_t scratch_size = 0; // keep track of scratch to minimize reallocs
 139
 140         BeatsFramesConverter converter(_session.tempo_map(), source_start);
 141
 142         const uint64_t start_ticks = (uint64_t)(converter.from(start) * ppqn());
 143         DEBUG_TRACE (DEBUG::MidiSourceIO, string_compose ("SMF read_unlocked: start in ticks %1\n", start_ticks));
 144
 145         if (_smf_last_read_end == 0 || start != _smf_last_read_end) {
 146                 DEBUG_TRACE (DEBUG::MidiSourceIO, string_compose ("SMF read_unlocked: seek to %1\n", start));
 147                 Evoral::SMF::seek_to_start();
 148                 while (time < start_ticks) {
 149                         gint ignored;
 150
 151                         ret = read_event(&ev_delta_t, &ev_size, &ev_buffer, &ignored);
 152                         if (ret == -1) { // EOF
 153                                 _smf_last_read_end = start + duration;
 154                                 return duration;
 155                         }
 156                         time += ev_delta_t; // accumulate delta time
 157                 }
 158         } else {
 159                 DEBUG_TRACE (DEBUG::MidiSourceIO, string_compose ("SMF read_unlocked: set time to %1\n", _smf_last_read_time));
 160                 time = _smf_last_read_time;
 161         }
 162
 163         _smf_last_read_end = start + duration;
 164
 165         while (true) {
 166                 gint ignored; /* XXX don't ignore note id's ??*/
 167
 168                 ret = read_event(&ev_delta_t, &ev_size, &ev_buffer, &ignored);
 169                 if (ret == -1) { // EOF
 170                         break;
 171                 }
 172
 173                 time += ev_delta_t; // accumulate delta time
 174                 _smf_last_read_time = time;
 175
 176                 if (ret == 0) { // meta-event (skipped, just accumulate time)
 177                         continue;
 178                 }
 179
 180                 ev_type = EventTypeMap::instance().midi_event_type(ev_buffer[0]);
 181
 182                 DEBUG_TRACE (DEBUG::MidiSourceIO, string_compose ("SMF read_unlocked delta %1, time %2, buf[0] %3, type %4\n",
 183                                                                   ev_delta_t, time, ev_buffer[0], ev_type));
 184
 185                 assert(time >= start_ticks);
 186
 187                 /* Note that we add on the source start time (in session frames) here so that ev_frame_time
 188                    is in session frames.
 189                 */
 190                 const framepos_t ev_frame_time = converter.to(time / (double)ppqn()) + source_start;
 191
 192                 if (ev_frame_time < start + duration) {
 193                         destination.write (ev_frame_time, ev_type, ev_size, ev_buffer);
 194
 195                         if (tracker) {
 196                                 if (ev_buffer[0] & MIDI_CMD_NOTE_ON) {
 197                                         tracker->add (ev_buffer[1], ev_buffer[0] & 0xf);
 198                                 } else if (ev_buffer[0] & MIDI_CMD_NOTE_OFF) {
 199                                         tracker->remove (ev_buffer[1], ev_buffer[0] & 0xf);
 200                                 }
 201                         }
 202                 } else {
 203                         break;
 204                 }
 205
 206                 _read_data_count += ev_size;
 207
 208                 if (ev_size > scratch_size) {
 209                         scratch_size = ev_size;
 210                 }
 211                 ev_size = scratch_size; // ensure read_event only allocates if necessary
 212         }
 213
 214         return duration;
 215 }
 216
 217 /** Write data to this source from a MidiRingBuffer.
 218  *  @param source Buffer to read from.
 219  *  @param position This source's start position in session frames.
 220  */
 221 framecnt_t
 222 SMFSource::write_unlocked (MidiRingBuffer<framepos_t>& source, framepos_t position, framecnt_t duration)
 223 {
 224         if (!_writing) {
 225                 mark_streaming_write_started ();
 226         }
 227
 228         _write_data_count = 0;
 229
 230         framepos_t        time;
 231         Evoral::EventType type;
 232         uint32_t          size;
 233
 234         size_t   buf_capacity = 4;
 235         uint8_t* buf          = (uint8_t*)malloc(buf_capacity);
 236
 237         if (_model && ! _model->writing()) {
 238                 _model->start_write();
 239         }
 240
 241         Evoral::MIDIEvent<framepos_t> ev;
 242
 243         cerr << "SMFSource::write unlocked, begins writing from src buffer with _last_write_end = " << _last_write_end << " dur = " << duration << endl;
 244
 245         while (true) {
 246                 bool ret;
 247
 248                 if (!(ret = source.peek ((uint8_t*)&time, sizeof (time)))) {
 249                         /* no more events to consider */
 250                         break;
 251                 }
 252
 253                 if ((duration != max_framecnt) && (time > (_last_write_end + duration))) {
 254                         DEBUG_TRACE (DEBUG::MidiIO, string_compose ("SMFSource::write_unlocked: dropping event @ %1 because it is later than %2 + %3\n",
 255                                                                     time, _last_write_end, duration));
 256                         break;
 257                 }
 258
 259                 if (!(ret = source.read_prefix (&time, &type, &size))) {
 260                         error << _("Unable to read event prefix, corrupt MIDI ring buffer") << endmsg;
 261                         break;
 262                 }
 263
 264                 if (size > buf_capacity) {
 265                         buf_capacity = size;
 266                         buf = (uint8_t*)realloc(buf, size);
 267                 }
 268
 269                 ret = source.read_contents(size, buf);
 270                 if (!ret) {
 271                         error << _("Read time/size but not buffer, corrupt MIDI ring buffer") << endmsg;
 272                         break;
 273                 }
 274
 275                 /* convert from session time to time relative to the source start */
 276                 assert(time >= position);
 277                 time -= position;
 278
 279                 ev.set(buf, size, time);
 280                 ev.set_event_type(EventTypeMap::instance().midi_event_type(ev.buffer()[0]));
 281                 ev.set_id (Evoral::next_event_id());
 282
 283                 if (!(ev.is_channel_event() || ev.is_smf_meta_event() || ev.is_sysex())) {
 284                         /*cerr << "SMFSource: WARNING: caller tried to write non SMF-Event of type "
 285                                         << std::hex << int(ev.buffer()[0]) << endl;*/
 286                         continue;
 287                 }
 288
 289                 cerr << "SMFSource:: calling append_event_unlocked_frames()\n";
 290                 append_event_unlocked_frames(ev, position);
 291         }
 292
 293         Evoral::SMF::flush();
 294         free (buf);
 295
 296         return duration;
 297 }
 298
 299
 300 /** Append an event with a timestamp in beats (double) */
 301 void
 302 SMFSource::append_event_unlocked_beats (const Evoral::Event<double>& ev)
 303 {
 304         assert(_writing);
 305         if (ev.size() == 0)  {
 306                 return;
 307         }
 308
 309         /*printf("SMFSource: %s - append_event_unlocked_beats ID = %d time = %lf, size = %u, data = ",
 310                name().c_str(), ev.id(), ev.time(), ev.size());
 311                for (size_t i = 0; i < ev.size(); ++i) printf("%X ", ev.buffer()[i]); printf("\n");*/
 312
 313         assert(ev.time() >= 0);
 314         if (ev.time() < _last_ev_time_beats) {
 315                 cerr << "SMFSource: Warning: Skipping event with non-monotonic time" << endl;
 316                 return;
 317         }
 318
 319         Evoral::event_id_t event_id;
 320
 321         if (ev.id() < 0) {
 322                 event_id  = Evoral::next_event_id();
 323         } else {
 324                 event_id = ev.id();
 325         }
 326
 327         if (_model) {
 328                 _model->append (ev, event_id);
 329         }
 330
 331         _length_beats = max(_length_beats, ev.time());
 332
 333         const double delta_time_beats   = ev.time() - _last_ev_time_beats;
 334         const uint32_t delta_time_ticks = (uint32_t)lrint(delta_time_beats * (double)ppqn());
 335
 336         Evoral::SMF::append_event_delta(delta_time_ticks, ev.size(), ev.buffer(), event_id);
 337         _last_ev_time_beats = ev.time();
 338
 339         _write_data_count += ev.size();
 340
 341 }
 342
 343 /** Append an event with a timestamp in frames (framepos_t) */
 344 void
 345 SMFSource::append_event_unlocked_frames (const Evoral::Event<framepos_t>& ev, framepos_t position)
 346 {
 347         assert(_writing);
 348         if (ev.size() == 0)  {
 349                 cerr << "SMFSource: asked to append zero-size event\n";
 350                 return;
 351         }
 352
 353         /* printf("SMFSource: %s - append_event_unlocked_frames ID = %d time = %u, size = %u, data = ",
 354                name().c_str(), ev.id(), ev.time(), ev.size());
 355            for (size_t i=0; i < ev.size(); ++i) printf("%X ", ev.buffer()[i]); printf("\n");*/
 356
 357         if (ev.time() < _last_ev_time_frames) {
 358                 cerr << "SMFSource: Warning: Skipping event with non-monotonic time" << endl;
 359                 return;
 360         }
 361
 362         BeatsFramesConverter converter(_session.tempo_map(), position);
 363         const double ev_time_beats = converter.from(ev.time());
 364         Evoral::event_id_t event_id;
 365
 366         if (ev.id() < 0) {
 367                 event_id  = Evoral::next_event_id();
 368         } else {
 369                 event_id = ev.id();
 370         }
 371
 372         if (_model) {
 373                 const Evoral::Event<double> beat_ev (ev.event_type(),
 374                                                      ev_time_beats,
 375                                                      ev.size(),
 376                                                      (uint8_t*)ev.buffer());
 377                 _model->append (beat_ev, event_id);
 378         }
 379
 380         _length_beats = max(_length_beats, ev_time_beats);
 381
 382         const framepos_t delta_time_frames = ev.time() - _last_ev_time_frames;
 383         const double     delta_time_beats  = converter.from(delta_time_frames);
 384         const uint32_t   delta_time_ticks  = (uint32_t)(lrint(delta_time_beats * (double)ppqn()));
 385
 386         Evoral::SMF::append_event_delta(delta_time_ticks, ev.size(), ev.buffer(), event_id);
 387         _last_ev_time_frames = ev.time();
 388
 389         _write_data_count += ev.size();
 390
 391 }
 392
 393 XMLNode&
 394 SMFSource::get_state ()
 395 {
 396         XMLNode& node = MidiSource::get_state();
 397         node.add_property (X_("origin"), _origin);
 398         return node;
 399 }
 400
 401 int
 402 SMFSource::set_state (const XMLNode& node, int version)
 403 {
 404         if (Source::set_state (node, version)) {
 405                 return -1;
 406         }
 407
 408         if (MidiSource::set_state (node, version)) {
 409                 return -1;
 410         }
 411
 412         if (FileSource::set_state (node, version)) {
 413                 return -1;
 414         }
 415
 416         return 0;
 417 }
 418
 419 void
 420 SMFSource::mark_streaming_midi_write_started (NoteMode mode)
 421 {
 422         /* CALLER MUST HOLD LOCK */
 423
 424         if (!_open && open_for_write()) {
 425                 error << string_compose (_("cannot open MIDI file %1 for write"), _path) << endmsg;
 426                 /* XXX should probably throw or return something */
 427                 return;
 428         }
 429
 430         MidiSource::mark_streaming_midi_write_started (mode);
 431         Evoral::SMF::begin_write ();
 432         _last_ev_time_beats = 0.0;
 433         _last_ev_time_frames = 0;
 434 }
 435
 436 void
 437 SMFSource::mark_streaming_write_completed ()
 438 {
 439         mark_midi_streaming_write_completed (Evoral::Sequence<Evoral::MusicalTime>::DeleteStuckNotes);
 440 }
 441
 442 void
 443 SMFSource::mark_midi_streaming_write_completed (Evoral::Sequence<Evoral::MusicalTime>::StuckNoteOption stuck_notes_option, Evoral::MusicalTime when)
 444 {
 445         Glib::Mutex::Lock lm (_lock);
 446         MidiSource::mark_midi_streaming_write_completed (stuck_notes_option, when);
 447
 448         if (!writable()) {
 449                 return;
 450         }
 451
 452         if (_model) {
 453                 _model->set_edited(false);
 454         }
 455
 456         Evoral::SMF::end_write ();
 457
 458         /* data in the file now, not removable */
 459
 460         mark_nonremovable ();
 461 }
 462
 463 bool
 464 SMFSource::safe_midi_file_extension (const string& file)
 465 {
 466         return (file.rfind(".mid") != string::npos) || (file.rfind (".MID") != string::npos);
 467 }
 468
 469 void
 470 SMFSource::load_model (bool lock, bool force_reload)
 471 {
 472         if (_writing) {
 473                 return;
 474         }
 475
 476         boost::shared_ptr<Glib::Mutex::Lock> lm;
 477         if (lock)
 478                 lm = boost::shared_ptr<Glib::Mutex::Lock>(new Glib::Mutex::Lock(_lock));
 479
 480         if (_model && !force_reload) {
 481                 return;
 482         }
 483
 484         if (!_model) {
 485                 _model = boost::shared_ptr<MidiModel> (new MidiModel (shared_from_this ()));
 486         } else {
 487                 _model->clear();
 488         }
 489
 490         if (writable() && !_open) {
 491                 return;
 492         }
 493
 494         _model->start_write();
 495         Evoral::SMF::seek_to_start();
 496
 497         uint64_t time = 0; /* in SMF ticks */
 498         Evoral::Event<double> ev;
 499
 500         size_t scratch_size = 0; // keep track of scratch and minimize reallocs
 501
 502         uint32_t delta_t = 0;
 503         uint32_t size    = 0;
 504         uint8_t* buf     = NULL;
 505         int ret;
 506         gint event_id;
 507         bool have_event_id = false;
 508
 509         while ((ret = read_event (&delta_t, &size, &buf, &event_id)) >= 0) {
 510
 511                 time += delta_t;
 512
 513                 if (ret == 0) {
 514
 515                         /* meta-event : did we get an event ID ?
 516                          */
 517
 518                         if (event_id >= 0) {
 519                                 have_event_id = true;
 520                         }
 521
 522                         continue;
 523                 }
 524
 525                 if (ret > 0) {
 526
 527                         /* not a meta-event */
 528
 529                         ev.set (buf, size, time / (double)ppqn());
 530                         ev.set_event_type(EventTypeMap::instance().midi_event_type(buf[0]));
 531
 532                         if (!have_event_id) {
 533                                 event_id = Evoral::next_event_id();
 534                         }
 535 #ifndef NDEBUG
 536                         std::string ss;
 537
 538                         for (uint32_t xx = 0; xx < size; ++xx) {
 539                                 char b[8];
 540                                 snprintf (b, sizeof (b), "0x%x ", buf[xx]);
 541                                 ss += b;
 542                         }
 543
 544                         DEBUG_TRACE (DEBUG::MidiSourceIO, string_compose ("SMF %6 load model delta %1, time %2, size %3 buf %4, type %5\n",
 545                                                                           delta_t, time, size, ss , ev.event_type(), name()));
 546 #endif
 547
 548                         _model->append (ev, event_id);
 549
 550                         if (ev.size() > scratch_size) {
 551                                 scratch_size = ev.size();
 552                         }
 553
 554                         ev.size() = scratch_size; // ensure read_event only allocates if necessary
 555
 556                         _length_beats = max(_length_beats, ev.time());
 557                 }
 558
 559                 /* event ID's must immediately precede the event they are for
 560                  */
 561
 562                 have_event_id = false;
 563         }
 564
 565         _model->end_write (Evoral::Sequence<Evoral::MusicalTime>::ResolveStuckNotes, _length_beats);
 566         _model->set_edited (false);
 567
 568         _model_iter = _model->begin();
 569
 570         free(buf);
 571 }
 572
 573 void
 574 SMFSource::destroy_model ()
 575 {
 576         //cerr << _name << " destroying model " << _model.get() << endl;
 577         _model.reset();
 578 }
 579
 580 void
 581 SMFSource::flush_midi ()
 582 {
 583         if (!writable() || (writable() && !_open)) {
 584                 return;
 585         }
 586
 587         Evoral::SMF::end_write ();
 588         /* data in the file means its no longer removable */
 589         mark_nonremovable ();
 590 }
 591
 592 void
 593 SMFSource::set_path (const string& p)
 594 {
 595         FileSource::set_path (p);
 596         SMF::set_path (_path);
 597 }
 598
 599 /** Ensure that this source has some file on disk, even if it's just a SMF header */
 600 void
 601 SMFSource::ensure_disk_file ()
 602 {
 603         if (_model) {
 604                 /* We have a model, so write it to disk; see MidiSource::session_saved
 605                    for an explanation of what we are doing here.
 606                 */
 607                 boost::shared_ptr<MidiModel> mm = _model;
 608                 _model.reset ();
 609                 mm->sync_to_source ();
 610                 _model = mm;
 611         } else {
 612                 /* No model; if it's not already open, it's an empty source, so create
 613                    and open it for writing.
 614                 */
 615                 if (!_open) {
 616                         open_for_write ();
 617                 }
 618
 619                 /* Flush, which will definitely put something on disk */
 620                 flush_midi ();
 621         }
 622 }
 623