Insert/Redirect refactoring, towards better MIDI support in mixer strip, and
[ardour.git] / libs / ardour / smf_source.cc
1 /*
2     Copyright (C) 2006 Paul Davis 
3         Written by Dave Robillard, 2006
4
5     This program is free software; you can redistribute it and/or modify
6     it under the terms of the GNU General Public License as published by
7     the Free Software Foundation; either version 2 of the License, or
8     (at your option) any later version.
9
10     This program is distributed in the hope that it will be useful,
11     but WITHOUT ANY WARRANTY; without even the implied warranty of
12     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13     GNU General Public License for more details.
14
15     You should have received a copy of the GNU General Public License
16     along with this program; if not, write to the Free Software
17     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
18
19 */
20
21 #include <vector>
22
23 #include <sys/time.h>
24 #include <sys/stat.h>
25 #include <unistd.h>
26 #include <errno.h>
27
28 #include <pbd/mountpoint.h>
29 #include <pbd/pathscanner.h>
30 #include <pbd/stl_delete.h>
31 #include <pbd/strsplit.h>
32
33 #include <glibmm/miscutils.h>
34
35 #include <ardour/smf_source.h>
36 #include <ardour/session.h>
37 #include <ardour/midi_ring_buffer.h>
38 #include <ardour/midi_util.h>
39 #include <ardour/tempo.h>
40 #include <ardour/audioengine.h>
41
42 #include "i18n.h"
43
44 using namespace ARDOUR;
45
46 string SMFSource::_search_path;
47
48 /*sigc::signal<void,struct tm*, time_t> SMFSource::HeaderPositionOffsetChanged;
49 bool                                  SMFSource::header_position_negative;
50 uint64_t                              SMFSource::header_position_offset;
51 */
52
53 SMFSource::SMFSource (Session& s, std::string path, Flag flags)
54         : MidiSource (s, region_name_from_path(path, false))
55         , _channel(0)
56         , _flags (Flag(flags | Writable)) // FIXME: this needs to be writable for now
57         , _allow_remove_if_empty(true)
58         , _timeline_position (0)
59         , _fd (0)
60         , _last_ev_time(0)
61         , _track_size(4) // 4 bytes for the ever-present EOT event
62         , _header_size(22)
63 {
64         /* constructor used for new internal-to-session files. file cannot exist */
65
66         if (init (path, false)) {
67                 throw failed_constructor ();
68         }
69         
70         if (open()) {
71                 throw failed_constructor ();
72         }
73         
74         assert(_name.find("/") == string::npos);
75 }
76
77 SMFSource::SMFSource (Session& s, const XMLNode& node)
78         : MidiSource (s, node)
79         , _channel(0)
80         , _flags (Flag (Writable|CanRename))
81         , _allow_remove_if_empty(true)
82         , _timeline_position (0)
83         , _fd (0)
84         , _last_ev_time(0)
85         , _track_size(4) // 4 bytes for the ever-present EOT event
86         , _header_size(22)
87 {
88         /* constructor used for existing internal-to-session files. file must exist */
89
90         if (set_state (node)) {
91                 throw failed_constructor ();
92         }
93         
94         if (init (_name, true)) {
95                 throw failed_constructor ();
96         }
97         
98         if (open()) {
99                 throw failed_constructor ();
100         }
101         
102         assert(_name.find("/") == string::npos);
103 }
104
105 SMFSource::~SMFSource ()
106 {
107         if (removable()) {
108                 unlink (_path.c_str());
109         }
110 }
111
112 bool
113 SMFSource::removable () const
114 {
115         return (_flags & Removable) && ((_flags & RemoveAtDestroy) || 
116                                       ((_flags & RemovableIfEmpty) && is_empty (_path)));
117 }
118
119 int
120 SMFSource::init (string pathstr, bool must_exist)
121 {
122         bool is_new = false;
123
124         if (!find (pathstr, must_exist, is_new)) {
125                 cerr << "cannot find " << pathstr << " with me = " << must_exist << endl;
126                 return -1;
127         }
128
129         if (is_new && must_exist) {
130                 return -1;
131         }
132
133         assert(_name.find("/") == string::npos);
134         return 0;
135 }
136
137 int
138 SMFSource::open()
139 {
140         //cerr << "Opening SMF file " << path() << " writeable: " << writable() << endl;
141
142         assert(writable()); // FIXME;
143
144         _fd = fopen(path().c_str(), "r+");
145
146         // File already exists
147         if (_fd) {
148                 fseek(_fd, _header_size - 4, 0);
149                 uint32_t track_size_be = 0;
150                 fread(&track_size_be, 4, 1, _fd);
151                 _track_size = GUINT32_FROM_BE(track_size_be);
152                 //cerr << "SMF - read track size " << _track_size << endl;
153
154         // We're making a new file
155         } else {
156                 _fd = fopen(path().c_str(), "w+");
157                 _track_size = 0;
158
159                 // write a tentative header just to pad things out so writing happens in the right spot
160                 flush_header();
161                 // FIXME: write the footer here too so it's a valid SMF (screw up writing ATM though)
162         }
163
164         return (_fd == 0) ? -1 : 0;
165 }
166
167 int
168 SMFSource::update_header (nframes_t when, struct tm&, time_t)
169 {
170         _timeline_position = when;
171         return flush_header();
172 }
173
174 int
175 SMFSource::flush_header ()
176 {
177         // FIXME: write timeline position somehow?
178         
179         cerr << "SMF Flushing header\n";
180
181         assert(_fd);
182
183         const uint16_t type     = GUINT16_TO_BE(0);     // SMF Type 0 (single track)
184         const uint16_t ntracks  = GUINT16_TO_BE(1);     // Number of tracks (always 1 for Type 0)
185         const uint16_t division = GUINT16_TO_BE(_ppqn); // Pulses per beat
186
187         char data[6];
188         memcpy(data, &type, 2);
189         memcpy(data+2, &ntracks, 2);
190         memcpy(data+4, &division, 2);
191
192         _fd = freopen(path().c_str(), "r+", _fd);
193         assert(_fd);
194         fseek(_fd, 0, 0);
195         write_chunk("MThd", 6, data);
196         //if (_track_size > 0) {
197                 write_chunk_header("MTrk", _track_size); 
198         //}
199
200         fflush(_fd);
201
202         return 0;
203 }
204
205 int
206 SMFSource::flush_footer()
207 {
208         cerr << "SMF - Writing EOT\n";
209
210         fseek(_fd, 0, SEEK_END);
211         write_var_len(1); // whatever...
212         char eot[4] = { 0xFF, 0x2F, 0x00 }; // end-of-track meta-event
213         fwrite(eot, 1, 4, _fd);
214         fflush(_fd);
215         return 0;
216 }
217
218 /** Returns the offset of the first event in the file with a time past @a start,
219  * relative to the start of the source.
220  *
221  * Returns -1 if not found.
222  */
223 /*
224 long
225 SMFSource::find_first_event_after(nframes_t start)
226 {
227         // FIXME: obviously this is slooow
228         
229         fseek(_fd, _header_size, 0);
230
231         while ( ! feof(_fd) ) {
232                 const uint32_t delta_time = read_var_len();
233
234                 if (delta_time > start)
235                         return delta_time;
236         }
237
238         return -1;
239 }
240 */
241
242 /** Read an event from the current position in file.
243  *
244  * File position MUST be at the beginning of a delta time, or this will die very messily.
245  * ev.buffer must be of size ev.size, and large enough for the event.  The returned event
246  * will have it's time field set to it's delta time, in SMF tempo-based ticks, using the
247  * rate given by ppqn() (it is the caller's responsibility to calculate a real time).
248  *
249  * Returns event length (including status byte) on success, 0 if event was
250  * skipped (eg a meta event), or -1 on EOF (or end of track).
251  */
252 int
253 SMFSource::read_event(jack_midi_event_t& ev) const
254 {
255         // - 4 is for the EOT event, which we don't actually want to read
256         //if (feof(_fd) || ftell(_fd) >= _header_size + _track_size - 4) {
257         if (feof(_fd)) {
258                 return -1;
259         }
260
261         uint32_t delta_time = read_var_len();
262         assert(!feof(_fd));
263         int status = fgetc(_fd);
264         assert(status != EOF); // FIXME die gracefully
265         if (status == 0xFF) {
266                 assert(!feof(_fd));
267                 int type = fgetc(_fd);
268                 if ((unsigned char)type == 0x2F) {
269                         //cerr << "SMF - hit EOT" << endl;
270                         return -1; // we hit the logical EOF anyway...
271                 } else {
272                         ev.size = 0;
273                         ev.time = delta_time; // this is needed regardless
274                         return 0;
275                 }
276         }
277         
278         ev.time = delta_time;
279         ev.size = midi_event_size((unsigned char)status) + 1;
280
281         if (ev.buffer == NULL)
282                 ev.buffer = (Byte*)malloc(sizeof(Byte) * ev.size);
283
284         ev.buffer[0] = (unsigned char)status;
285         fread(ev.buffer+1, 1, ev.size - 1, _fd);
286
287         /*printf("SMF - read event, delta = %u, size = %zu, data = ",
288                 delta_time, ev.size);
289         for (size_t i=0; i < ev.size; ++i) {
290                 printf("%X ", ev.buffer[i]);
291         }
292         printf("\n");*/
293         
294         return ev.size;
295 }
296
297 /** All stamps in audio frames */
298 nframes_t
299 SMFSource::read_unlocked (MidiRingBuffer& dst, nframes_t start, nframes_t cnt, nframes_t stamp_offset) const
300 {
301         //cerr << "SMF - read " << start << ", count=" << cnt << ", offset=" << stamp_offset << endl;
302
303         // 64 bits ought to be enough for anybody
304         uint64_t time = 0; // in SMF ticks, 1 tick per _ppqn
305
306         _read_data_count = 0;
307
308         // FIXME: ugh
309         unsigned char ev_buf[MidiBuffer::max_event_size()];
310         jack_midi_event_t ev; // time in SMF ticks
311         ev.time = 0;
312         ev.size = MidiBuffer::max_event_size();
313         ev.buffer = ev_buf;
314
315         // FIXME: don't seek to start every read
316         fseek(_fd, _header_size, 0);
317         
318         // FIXME: assumes tempo never changes after start
319         const double frames_per_beat = _session.tempo_map().tempo_at(_timeline_position).frames_per_beat(
320                         _session.engine().frame_rate());
321         
322         uint64_t start_ticks = (uint64_t)((start / frames_per_beat) * _ppqn);
323
324         while (!feof(_fd)) {
325                 int ret = read_event(ev);
326                 if (ret == -1) { // EOF
327                         //cerr << "SMF - EOF\n";
328                         break;
329                 }
330
331                 if (ret == 0) { // meta-event (skipped)
332                         //cerr << "SMF - META\n";
333                         time += ev.time; // just accumulate delta time and ignore event
334                         continue;
335                 }
336
337                 time += ev.time; // accumulate delta time
338                 ev.time = time; // set ev.time to actual time (relative to source start)
339
340                 if (ev.time >= start_ticks) {
341                         if (ev.time < start_ticks + (cnt / frames_per_beat)) {
342                                 break;
343                         } else {
344                                 ev.time = (nframes_t)(((ev.time / (double)_ppqn) * frames_per_beat)) + stamp_offset;
345                                 // write event time in absolute frames
346                                 dst.write(ev.time, ev.size, ev.buffer);
347                         }
348                 }
349
350                 _read_data_count += ev.size;
351         }
352         
353         return cnt;
354 }
355
356 /** All stamps in audio frames */
357 nframes_t
358 SMFSource::write_unlocked (MidiRingBuffer& src, nframes_t cnt)
359 {
360         _write_data_count = 0;
361
362         boost::shared_ptr<MidiBuffer> buf_ptr(new MidiBuffer(1024)); // FIXME: size?
363         MidiBuffer& buf = *buf_ptr.get();
364         src.read(buf, /*_length*/0, _length + cnt); // FIXME?
365
366         fseek(_fd, 0, SEEK_END);
367
368         // FIXME: assumes tempo never changes after start
369         const double frames_per_beat = _session.tempo_map().tempo_at(_timeline_position).frames_per_beat(
370                         _session.engine().frame_rate());
371         
372         for (size_t i=0; i < buf.size(); ++i) {
373                 MidiEvent& ev = buf[i];
374                 assert(ev.time >= _timeline_position);
375                 ev.time -= _timeline_position;
376                 assert(ev.time >= _last_ev_time);
377                 const uint32_t delta_time = (uint32_t)((ev.time - _last_ev_time) / frames_per_beat * _ppqn);
378                 
379                 /*printf("SMF - writing event, delta = %u, size = %zu, data = ",
380                         delta_time, ev.size);
381                 for (size_t i=0; i < ev.size; ++i) {
382                         printf("%X ", ev.buffer[i]);
383                 }
384                 printf("\n");
385                 */
386                 size_t stamp_size = write_var_len(delta_time);
387                 fwrite(ev.buffer, 1, ev.size, _fd);
388
389                 _track_size += stamp_size + ev.size;
390                 _write_data_count += ev.size;
391                 
392                 _last_ev_time = ev.time;
393         }
394
395         fflush(_fd);
396
397         const nframes_t oldlen = _length;
398         update_length(oldlen, cnt);
399
400         _model->append(buf);
401
402         ViewDataRangeReady (buf_ptr, oldlen, cnt); /* EMIT SIGNAL */
403         
404         return cnt;
405 }
406
407 XMLNode&
408 SMFSource::get_state ()
409 {
410         XMLNode& root (MidiSource::get_state());
411         char buf[16];
412         snprintf (buf, sizeof (buf), "0x%x", (int)_flags);
413         root.add_property ("flags", buf);
414         return root;
415 }
416
417 int
418 SMFSource::set_state (const XMLNode& node)
419 {
420         const XMLProperty* prop;
421
422         if (MidiSource::set_state (node)) {
423                 return -1;
424         }
425
426         if ((prop = node.property (X_("flags"))) != 0) {
427
428                 int ival;
429                 sscanf (prop->value().c_str(), "0x%x", &ival);
430                 _flags = Flag (ival);
431
432         } else {
433
434                 _flags = Flag (0);
435
436         }
437
438         assert(_name.find("/") == string::npos);
439
440         return 0;
441 }
442
443 void
444 SMFSource::mark_for_remove ()
445 {
446         if (!writable()) {
447                 return;
448         }
449         _flags = Flag (_flags | RemoveAtDestroy);
450 }
451
452 void
453 SMFSource::mark_streaming_write_completed ()
454 {
455         if (!writable()) {
456                 return;
457         }
458         
459         flush_footer();
460
461 #if 0
462         Glib::Mutex::Lock lm (_lock);
463
464
465         next_peak_clear_should_notify = true;
466
467         if (_peaks_built || pending_peak_builds.empty()) {
468                 _peaks_built = true;
469                  PeaksReady (); /* EMIT SIGNAL */
470         }
471 #endif
472 }
473
474 void
475 SMFSource::mark_take (string id)
476 {
477         if (writable()) {
478                 _take_id = id;
479         }
480 }
481
482 int
483 SMFSource::move_to_trash (const string trash_dir_name)
484 {
485         string newpath;
486
487         if (!writable()) {
488                 return -1;
489         }
490
491         /* don't move the file across filesystems, just
492            stick it in the 'trash_dir_name' directory
493            on whichever filesystem it was already on.
494         */
495
496         newpath = Glib::path_get_dirname (_path);
497         newpath = Glib::path_get_dirname (newpath);
498
499         newpath += '/';
500         newpath += trash_dir_name;
501         newpath += '/';
502         newpath += Glib::path_get_basename (_path);
503
504         if (access (newpath.c_str(), F_OK) == 0) {
505
506                 /* the new path already exists, try versioning */
507                 
508                 char buf[PATH_MAX+1];
509                 int version = 1;
510                 string newpath_v;
511
512                 snprintf (buf, sizeof (buf), "%s.%d", newpath.c_str(), version);
513                 newpath_v = buf;
514
515                 while (access (newpath_v.c_str(), F_OK) == 0 && version < 999) {
516                         snprintf (buf, sizeof (buf), "%s.%d", newpath.c_str(), ++version);
517                         newpath_v = buf;
518                 }
519                 
520                 if (version == 999) {
521                         PBD::error << string_compose (_("there are already 1000 files with names like %1; versioning discontinued"),
522                                           newpath)
523                               << endmsg;
524                 } else {
525                         newpath = newpath_v;
526                 }
527
528         } else {
529
530                 /* it doesn't exist, or we can't read it or something */
531
532         }
533
534         if (::rename (_path.c_str(), newpath.c_str()) != 0) {
535                 PBD::error << string_compose (_("cannot rename midi file source from %1 to %2 (%3)"),
536                                   _path, newpath, strerror (errno))
537                       << endmsg;
538                 return -1;
539         }
540 #if 0
541         if (::unlink (peakpath.c_str()) != 0) {
542                 PBD::error << string_compose (_("cannot remove peakfile %1 for %2 (%3)"),
543                                   peakpath, _path, strerror (errno))
544                       << endmsg;
545                 /* try to back out */
546                 rename (newpath.c_str(), _path.c_str());
547                 return -1;
548         }
549             
550         _path = newpath;
551         peakpath = "";
552 #endif  
553         /* file can not be removed twice, since the operation is not idempotent */
554
555         _flags = Flag (_flags & ~(RemoveAtDestroy|Removable|RemovableIfEmpty));
556
557         return 0;
558 }
559
560 // FIXME: Merge this with audiofilesource somehow (make a generic filesource?)
561 bool
562 SMFSource::find (string pathstr, bool must_exist, bool& isnew)
563 {
564         string::size_type pos;
565         bool ret = false;
566
567         isnew = false;
568
569         /* clean up PATH:CHANNEL notation so that we are looking for the correct path */
570
571         if ((pos = pathstr.find_last_of (':')) == string::npos) {
572                 pathstr = pathstr;
573         } else {
574                 pathstr = pathstr.substr (0, pos);
575         }
576
577         if (pathstr[0] != '/') {
578
579                 /* non-absolute pathname: find pathstr in search path */
580
581                 vector<string> dirs;
582                 int cnt;
583                 string fullpath;
584                 string keeppath;
585
586                 if (_search_path.length() == 0) {
587                         PBD::error << _("FileSource: search path not set") << endmsg;
588                         goto out;
589                 }
590
591                 split (_search_path, dirs, ':');
592
593                 cnt = 0;
594                 
595                 for (vector<string>::iterator i = dirs.begin(); i != dirs.end(); ++i) {
596
597                         fullpath = *i;
598                         if (fullpath[fullpath.length()-1] != '/') {
599                                 fullpath += '/';
600                         }
601                         fullpath += pathstr;
602                         
603                         if (access (fullpath.c_str(), R_OK) == 0) {
604                                 keeppath = fullpath;
605                                 ++cnt;
606                         } 
607                 }
608
609                 if (cnt > 1) {
610
611                         PBD::error << string_compose (_("FileSource: \"%1\" is ambigous when searching %2\n\t"), pathstr, _search_path) << endmsg;
612                         goto out;
613
614                 } else if (cnt == 0) {
615
616                         if (must_exist) {
617                                 PBD::error << string_compose(_("Filesource: cannot find required file (%1): while searching %2"), pathstr, _search_path) << endmsg;
618                                 goto out;
619                         } else {
620                                 isnew = true;
621                         }
622                 }
623                 
624                 _name = pathstr;
625                 _path = keeppath;
626                 ret = true;
627
628         } else {
629                 
630                 /* external files and/or very very old style sessions include full paths */
631                 
632                 _path = pathstr;
633                 _name = pathstr.substr (pathstr.find_last_of ('/') + 1);
634                 
635                 if (access (_path.c_str(), R_OK) != 0) {
636
637                         /* file does not exist or we cannot read it */
638
639                         if (must_exist) {
640                                 PBD::error << string_compose(_("Filesource: cannot find required file (%1): %2"), _path, strerror (errno)) << endmsg;
641                                 goto out;
642                         }
643                         
644                         if (errno != ENOENT) {
645                                 PBD::error << string_compose(_("Filesource: cannot check for existing file (%1): %2"), _path, strerror (errno)) << endmsg;
646                                 goto out;
647                         }
648                         
649                         /* a new file */
650
651                         isnew = true;
652                         ret = true;
653
654                 } else {
655                         
656                         /* already exists */
657
658                         ret = true;
659                 }
660         }
661         
662   out:
663         return ret;
664 }
665
666 void
667 SMFSource::set_search_path (string p)
668 {
669         _search_path = p;
670 }
671
672
673 void
674 SMFSource::set_allow_remove_if_empty (bool yn)
675 {
676         if (writable()) {
677                 _allow_remove_if_empty = yn;
678         }
679 }
680
681 int
682 SMFSource::set_source_name (string newname, bool destructive)
683 {
684         //Glib::Mutex::Lock lm (_lock); FIXME
685         string oldpath = _path;
686         string newpath = Session::change_midi_path_by_name (oldpath, _name, newname, destructive);
687
688         if (newpath.empty()) {
689                 PBD::error << string_compose (_("programming error: %1"), "cannot generate a changed midi path") << endmsg;
690                 return -1;
691         }
692
693         if (rename (oldpath.c_str(), newpath.c_str()) != 0) {
694                 PBD::error << string_compose (_("cannot rename midi file for %1 to %2"), _name, newpath) << endmsg;
695                 return -1;
696         }
697
698         _name = Glib::path_get_basename (newpath);
699         _path = newpath;
700
701         return 0;//rename_peakfile (peak_path (_path));
702 }
703
704 bool
705 SMFSource::is_empty (string path)
706 {
707         /* XXX fix me */
708
709         return false;
710 }
711
712
713 void
714 SMFSource::write_chunk_header(char id[4], uint32_t length)
715 {
716         const uint32_t length_be = GUINT32_TO_BE(length);
717
718         fwrite(id, 1, 4, _fd);
719         fwrite(&length_be, 4, 1, _fd);
720 }
721
722 void
723 SMFSource::write_chunk(char id[4], uint32_t length, void* data)
724 {
725         write_chunk_header(id, length);
726         
727         fwrite(data, 1, length, _fd);
728 }
729
730 /** Returns the size (in bytes) of the value written. */
731 size_t
732 SMFSource::write_var_len(uint32_t value)
733 {
734         size_t ret = 0;
735
736         uint32_t buffer = value & 0x7F;
737
738         while ( (value >>= 7) ) {
739                 buffer <<= 8;
740                 buffer |= ((value & 0x7F) | 0x80);
741         }
742
743         while (true) {
744                 //printf("Writing var len byte %X\n", (unsigned char)buffer);
745                 ++ret;
746                 fputc(buffer, _fd);
747                 if (buffer & 0x80)
748                         buffer >>= 8;
749                 else
750                         break;
751         }
752
753         return ret;
754 }
755
756 uint32_t
757 SMFSource::read_var_len() const
758 {
759         assert(!feof(_fd));
760
761         //int offset = ftell(_fd);
762         //cerr << "SMF - reading var len at " << offset << endl;
763
764         uint32_t value;
765         unsigned char c;
766
767         if ( (value = getc(_fd)) & 0x80 ) {
768                 value &= 0x7F;
769                 do {
770                         assert(!feof(_fd));
771                         value = (value << 7) + ((c = getc(_fd)) & 0x7F);
772                 } while (c & 0x80);
773         }
774
775         return value;
776 }
777
778 void
779 SMFSource::load_model(bool lock)
780 {
781         if (lock)
782                 Glib::Mutex::Lock lm (_lock);
783
784         destroy_model();
785         _model = new MidiModel();
786
787         fseek(_fd, _header_size, 0);
788
789         uint64_t time = 0; /* in SMF ticks */
790         jack_midi_event_t ev;
791         ev.time = 0;
792         ev.size = 0;
793         ev.buffer = NULL;
794         
795         // FIXME: assumes tempo never changes after start
796         const double frames_per_beat = _session.tempo_map().tempo_at(_timeline_position).frames_per_beat(
797                         _session.engine().frame_rate());
798         
799         int ret;
800         while ((ret = read_event(ev)) >= 0) {
801                 time += ev.time;
802                 
803                 const double ev_time = (double)(time * frames_per_beat / (double)_ppqn); // in frames
804
805                 if (ret > 0) { // didn't skip (meta) event
806                         //cerr << "ADDING EVENT TO MODEL: " << ev.time << endl;
807                         _model->append(ev_time, ev.size, ev.buffer);
808                 }
809         }
810 }
811
812
813 void
814 SMFSource::destroy_model()
815 {
816         delete _model;
817         _model = NULL;
818 }
819