Use ImageMagick for tiff decoding too.
[dcpomatic.git] / src / lib / util.cc
1 /*
2     Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
3     Copyright (C) 2000-2007 Paul Davis
4
5     This program is free software; you can redistribute it and/or modify
6     it under the terms of the GNU General Public License as published by
7     the Free Software Foundation; either version 2 of the License, or
8     (at your option) any later version.
9
10     This program is distributed in the hope that it will be useful,
11     but WITHOUT ANY WARRANTY; without even the implied warranty of
12     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13     GNU General Public License for more details.
14
15     You should have received a copy of the GNU General Public License
16     along with this program; if not, write to the Free Software
17     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
18
19 */
20
21 /** @file src/lib/util.cc
22  *  @brief Some utility functions and classes.
23  */
24
25 #include <sstream>
26 #include <iomanip>
27 #include <iostream>
28 #include <fstream>
29 #ifdef DVDOMATIC_POSIX
30 #include <execinfo.h>
31 #include <cxxabi.h>
32 #endif
33 #include <libssh/libssh.h>
34 #include <signal.h>
35 #include <boost/algorithm/string.hpp>
36 #include <boost/bind.hpp>
37 #include <boost/lambda/lambda.hpp>
38 #include <boost/lexical_cast.hpp>
39 #include <boost/thread.hpp>
40 #include <boost/filesystem.hpp>
41 #include <openjpeg.h>
42 #include <openssl/md5.h>
43 #include <magick/MagickCore.h>
44 #include <magick/version.h>
45 #include <libdcp/version.h>
46 extern "C" {
47 #include <libavcodec/avcodec.h>
48 #include <libavformat/avformat.h>
49 #include <libswscale/swscale.h>
50 #include <libavfilter/avfiltergraph.h>
51 #include <libpostproc/postprocess.h>
52 #include <libavutil/pixfmt.h>
53 }
54 #include "util.h"
55 #include "exceptions.h"
56 #include "scaler.h"
57 #include "format.h"
58 #include "dcp_content_type.h"
59 #include "filter.h"
60 #include "screen.h"
61 #include "sound_processor.h"
62 #ifndef DVDOMATIC_DISABLE_PLAYER
63 #include "player_manager.h"
64 #endif
65
66 using namespace std;
67 using namespace boost;
68
69 thread::id ui_thread;
70
71 /** Convert some number of seconds to a string representation
72  *  in hours, minutes and seconds.
73  *
74  *  @param s Seconds.
75  *  @return String of the form H:M:S (where H is hours, M
76  *  is minutes and S is seconds).
77  */
78 string
79 seconds_to_hms (int s)
80 {
81         int m = s / 60;
82         s -= (m * 60);
83         int h = m / 60;
84         m -= (h * 60);
85
86         stringstream hms;
87         hms << h << ":";
88         hms.width (2);
89         hms << setfill ('0') << m << ":";
90         hms.width (2);
91         hms << setfill ('0') << s;
92
93         return hms.str ();
94 }
95
96 /** @param s Number of seconds.
97  *  @return String containing an approximate description of s (e.g. "about 2 hours")
98  */
99 string
100 seconds_to_approximate_hms (int s)
101 {
102         int m = s / 60;
103         s -= (m * 60);
104         int h = m / 60;
105         m -= (h * 60);
106
107         stringstream ap;
108         
109         if (h > 0) {
110                 if (m > 30) {
111                         ap << (h + 1) << " hours";
112                 } else {
113                         if (h == 1) {
114                                 ap << "1 hour";
115                         } else {
116                                 ap << h << " hours";
117                         }
118                 }
119         } else if (m > 0) {
120                 if (m == 1) {
121                         ap << "1 minute";
122                 } else {
123                         ap << m << " minutes";
124                 }
125         } else {
126                 ap << s << " seconds";
127         }
128
129         return ap.str ();
130 }
131
132 #ifdef DVDOMATIC_POSIX
133 /** @param l Mangled C++ identifier.
134  *  @return Demangled version.
135  */
136 static string
137 demangle (string l)
138 {
139         string::size_type const b = l.find_first_of ("(");
140         if (b == string::npos) {
141                 return l;
142         }
143
144         string::size_type const p = l.find_last_of ("+");
145         if (p == string::npos) {
146                 return l;
147         }
148
149         if ((p - b) <= 1) {
150                 return l;
151         }
152         
153         string const fn = l.substr (b + 1, p - b - 1);
154
155         int status;
156         try {
157                 
158                 char* realname = abi::__cxa_demangle (fn.c_str(), 0, 0, &status);
159                 string d (realname);
160                 free (realname);
161                 return d;
162                 
163         } catch (std::exception) {
164                 
165         }
166         
167         return l;
168 }
169
170 /** Write a stacktrace to an ostream.
171  *  @param out Stream to write to.
172  *  @param levels Number of levels to go up the call stack.
173  */
174 void
175 stacktrace (ostream& out, int levels)
176 {
177         void *array[200];
178         size_t size;
179         char **strings;
180         size_t i;
181      
182         size = backtrace (array, 200);
183         strings = backtrace_symbols (array, size);
184      
185         if (strings) {
186                 for (i = 0; i < size && (levels == 0 || i < size_t(levels)); i++) {
187                         out << "  " << demangle (strings[i]) << endl;
188                 }
189                 
190                 free (strings);
191         }
192 }
193 #endif
194
195 /** @return Version of vobcopy that is on the path (and hence that we will use) */
196 static string
197 vobcopy_version ()
198 {
199         FILE* f = popen ("vobcopy -V 2>&1", "r");
200         if (f == 0) {
201                 throw EncodeError ("could not run vobcopy to check version");
202         }
203
204         string version = "unknown";
205         
206         while (!feof (f)) {
207                 char buf[256];
208                 if (fgets (buf, sizeof (buf), f)) {
209                         string s (buf);
210                         vector<string> b;
211                         split (b, s, is_any_of (" "));
212                         if (b.size() >= 2 && b[0] == "Vobcopy") {
213                                 version = b[1];
214                         }
215                 }
216         }
217
218         pclose (f);
219
220         return version;
221 }
222
223 /** @param v Version as used by FFmpeg.
224  *  @return A string representation of v.
225  */
226 static string
227 ffmpeg_version_to_string (int v)
228 {
229         stringstream s;
230         s << ((v & 0xff0000) >> 16) << "." << ((v & 0xff00) >> 8) << "." << (v & 0xff);
231         return s.str ();
232 }
233
234 /** Return a user-readable string summarising the versions of our dependencies */
235 string
236 dependency_version_summary ()
237 {
238         stringstream s;
239         s << "libopenjpeg " << opj_version () << ", "
240           << "vobcopy " << vobcopy_version() << ", "
241           << "libavcodec " << ffmpeg_version_to_string (avcodec_version()) << ", "
242           << "libavfilter " << ffmpeg_version_to_string (avfilter_version()) << ", "
243           << "libavformat " << ffmpeg_version_to_string (avformat_version()) << ", "
244           << "libavutil " << ffmpeg_version_to_string (avutil_version()) << ", "
245           << "libpostproc " << ffmpeg_version_to_string (postproc_version()) << ", "
246           << "libswscale " << ffmpeg_version_to_string (swscale_version()) << ", "
247           << MagickVersion << ", "
248           << "libssh " << ssh_version (0) << ", "
249           << "libdcp " << libdcp::version << " git " << libdcp::git_commit;
250
251         return s.str ();
252 }
253
254 double
255 seconds (struct timeval t)
256 {
257         return t.tv_sec + (double (t.tv_usec) / 1e6);
258 }
259
260
261 #ifdef DVDOMATIC_POSIX
262 void
263 sigchld_handler (int, siginfo_t* info, void *)
264 {
265 #ifndef DVDOMATIC_DISABLE_PLAYER        
266         PlayerManager::instance()->child_exited (info->si_pid);
267 #endif  
268 }
269 #endif
270
271 /** Call the required functions to set up DVD-o-matic's static arrays, etc.
272  *  Must be called from the UI thread, if there is one.
273  */
274 void
275 dvdomatic_setup ()
276 {
277         Format::setup_formats ();
278         DCPContentType::setup_dcp_content_types ();
279         Scaler::setup_scalers ();
280         Filter::setup_filters ();
281         SoundProcessor::setup_sound_processors ();
282
283         ui_thread = this_thread::get_id ();
284
285 #ifdef DVDOMATIC_POSIX  
286         struct sigaction sa;
287         sa.sa_flags = SA_SIGINFO;
288         sigemptyset (&sa.sa_mask);
289         sa.sa_sigaction = sigchld_handler;
290         sigaction (SIGCHLD, &sa, 0);
291 #endif  
292 }
293
294 string
295 crop_string (Position start, Size size)
296 {
297         stringstream s;
298         s << "crop=" << size.width << ":" << size.height << ":" << start.x << ":" << start.y;
299         return s.str ();
300 }
301
302 vector<string>
303 split_at_spaces_considering_quotes (string s)
304 {
305         vector<string> out;
306         bool in_quotes = false;
307         string c;
308         for (string::size_type i = 0; i < s.length(); ++i) {
309                 if (s[i] == ' ' && !in_quotes) {
310                         out.push_back (c);
311                         c = "";
312                 } else if (s[i] == '"') {
313                         in_quotes = !in_quotes;
314                 } else {
315                         c += s[i];
316                 }
317         }
318
319         out.push_back (c);
320         return out;
321 }
322
323 string
324 md5_digest (void const * data, int size)
325 {
326         MD5_CTX md5_context;
327         MD5_Init (&md5_context);
328         MD5_Update (&md5_context, data, size);
329         unsigned char digest[MD5_DIGEST_LENGTH];
330         MD5_Final (digest, &md5_context);
331         
332         stringstream s;
333         for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) {
334                 s << hex << setfill('0') << setw(2) << ((int) digest[i]);
335         }
336
337         return s.str ();
338 }
339
340 /** @param file File name.
341  *  @return MD5 digest of file's contents.
342  */
343 string
344 md5_digest (string file)
345 {
346         ifstream f (file.c_str(), ios::binary);
347         if (!f.good ()) {
348                 throw OpenFileError (file);
349         }
350         
351         f.seekg (0, ios::end);
352         int bytes = f.tellg ();
353         f.seekg (0, ios::beg);
354
355         int const buffer_size = 64 * 1024;
356         char buffer[buffer_size];
357
358         MD5_CTX md5_context;
359         MD5_Init (&md5_context);
360         while (bytes > 0) {
361                 int const t = min (bytes, buffer_size);
362                 f.read (buffer, t);
363                 MD5_Update (&md5_context, buffer, t);
364                 bytes -= t;
365         }
366
367         unsigned char digest[MD5_DIGEST_LENGTH];
368         MD5_Final (digest, &md5_context);
369
370         stringstream s;
371         for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) {
372                 s << hex << setfill('0') << setw(2) << ((int) digest[i]);
373         }
374
375         return s.str ();
376 }
377
378 DCPFrameRate
379 dcp_frame_rate (float fps)
380 {
381         DCPFrameRate dfr;
382
383         dfr.run_fast = (fps != rint (fps));
384         dfr.frames_per_second = rint (fps);
385         dfr.skip = 1;
386
387         /* XXX: somewhat arbitrary */
388         if (fps == 50) {
389                 dfr.frames_per_second = 25;
390                 dfr.skip = 2;
391         }
392
393         return dfr;
394 }
395
396 /** @param An arbitrary sampling rate.
397  *  @return The appropriate DCP-approved sampling rate (48kHz or 96kHz).
398  */
399 int
400 dcp_audio_sample_rate (int fs)
401 {
402         if (fs <= 48000) {
403                 return 48000;
404         }
405
406         return 96000;
407 }
408
409 bool operator== (Size const & a, Size const & b)
410 {
411         return (a.width == b.width && a.height == b.height);
412 }
413
414 bool operator== (Crop const & a, Crop const & b)
415 {
416         return (a.left == b.left && a.right == b.right && a.top == b.top && a.bottom == b.bottom);
417 }
418
419 bool operator!= (Crop const & a, Crop const & b)
420 {
421         return !(a == b);
422 }
423
424 /** @param index Colour LUT index.
425  *  @return Human-readable name.
426  */
427 string
428 colour_lut_index_to_name (int index)
429 {
430         switch (index) {
431         case 0:
432                 return "sRGB";
433         case 1:
434                 return "Rec 709";
435         }
436
437         assert (false);
438         return "";
439 }
440
441 Socket::Socket ()
442         : _deadline (_io_service)
443         , _socket (_io_service)
444         , _buffer_data (0)
445 {
446         _deadline.expires_at (posix_time::pos_infin);
447         check ();
448 }
449
450 void
451 Socket::check ()
452 {
453         if (_deadline.expires_at() <= asio::deadline_timer::traits_type::now ()) {
454                 _socket.close ();
455                 _deadline.expires_at (posix_time::pos_infin);
456         }
457
458         _deadline.async_wait (boost::bind (&Socket::check, this));
459 }
460
461 /** Blocking connect with timeout.
462  *  @param endpoint End-point to connect to.
463  *  @param timeout Time-out in seconds.
464  */
465 void
466 Socket::connect (asio::ip::basic_resolver_entry<asio::ip::tcp> const & endpoint, int timeout)
467 {
468         system::error_code ec = asio::error::would_block;
469         _socket.async_connect (endpoint, lambda::var(ec) = lambda::_1);
470         do {
471                 _io_service.run_one();
472         } while (ec == asio::error::would_block);
473
474         if (ec || !_socket.is_open ()) {
475                 throw NetworkError ("connect timed out");
476         }
477 }
478
479 /** Blocking write with timeout.
480  *  @param data Buffer to write.
481  *  @param size Number of bytes to write.
482  *  @param timeout Time-out, in seconds.
483  */
484 void
485 Socket::write (uint8_t const * data, int size, int timeout)
486 {
487         _deadline.expires_from_now (posix_time::seconds (timeout));
488         system::error_code ec = asio::error::would_block;
489
490         asio::async_write (_socket, asio::buffer (data, size), lambda::var(ec) = lambda::_1);
491         do {
492                 _io_service.run_one ();
493         } while (ec == asio::error::would_block);
494
495         if (ec) {
496                 throw NetworkError ("write timed out");
497         }
498 }
499
500 /** Blocking read with timeout.
501  *  @param data Buffer to read to.
502  *  @param size Number of bytes to read.
503  *  @param timeout Time-out, in seconds.
504  */
505 int
506 Socket::read (uint8_t* data, int size, int timeout)
507 {
508         _deadline.expires_from_now (posix_time::seconds (timeout));
509         system::error_code ec = asio::error::would_block;
510
511         int amount_read = 0;
512
513         _socket.async_read_some (
514                 asio::buffer (data, size),
515                 (lambda::var(ec) = lambda::_1, lambda::var(amount_read) = lambda::_2)
516                 );
517
518         do {
519                 _io_service.run_one ();
520         } while (ec == asio::error::would_block);
521         
522         if (ec) {
523                 amount_read = 0;
524         }
525
526         return amount_read;
527 }
528
529 /** Mark some data as being `consumed', so that it will not be returned
530  *  as data again.
531  *  @param size Amount of data to consume, in bytes.
532  */
533 void
534 Socket::consume (int size)
535 {
536         assert (_buffer_data >= size);
537         
538         _buffer_data -= size;
539         if (_buffer_data > 0) {
540                 /* Shift still-valid data to the start of the buffer */
541                 memmove (_buffer, _buffer + size, _buffer_data);
542         }
543 }
544
545 /** Read a definite amount of data from our socket, and mark
546  *  it as consumed.
547  *  @param data Where to put the data.
548  *  @param size Number of bytes to read.
549  */
550 void
551 Socket::read_definite_and_consume (uint8_t* data, int size, int timeout)
552 {
553         int const from_buffer = min (_buffer_data, size);
554         if (from_buffer > 0) {
555                 /* Get data from our buffer */
556                 memcpy (data, _buffer, from_buffer);
557                 consume (from_buffer);
558                 /* Update our output state */
559                 data += from_buffer;
560                 size -= from_buffer;
561         }
562
563         /* read() the rest */
564         while (size > 0) {
565                 int const n = read (data, size, timeout);
566                 if (n <= 0) {
567                         throw NetworkError ("could not read");
568                 }
569
570                 data += n;
571                 size -= n;
572         }
573 }
574
575 /** Read as much data as is available, up to some limit.
576  *  @param data Where to put the data.
577  *  @param size Maximum amount of data to read.
578  */
579 void
580 Socket::read_indefinite (uint8_t* data, int size, int timeout)
581 {
582         assert (size < int (sizeof (_buffer)));
583
584         /* Amount of extra data we need to read () */
585         int to_read = size - _buffer_data;
586         while (to_read > 0) {
587                 /* read as much of it as we can (into our buffer) */
588                 int const n = read (_buffer + _buffer_data, to_read, timeout);
589                 if (n <= 0) {
590                         throw NetworkError ("could not read");
591                 }
592
593                 to_read -= n;
594                 _buffer_data += n;
595         }
596
597         assert (_buffer_data >= size);
598
599         /* copy data into the output buffer */
600         assert (size >= _buffer_data);
601         memcpy (data, _buffer, size);
602 }
603
604 Rect
605 Rect::intersection (Rect const & other) const
606 {
607         int const tx = max (x, other.x);
608         int const ty = max (y, other.y);
609         
610         return Rect (
611                 tx, ty,
612                 min (x + width, other.x + other.width) - tx,
613                 min (y + height, other.y + other.height) - ty
614                 );
615 }
616
617 /** Round a number up to the nearest multiple of another number.
618  *  @param a Number to round.
619  *  @param t Multiple to round to.
620  *  @return Rounded number.
621  */
622
623 int
624 stride_round_up (int c, int const * stride, int t)
625 {
626         int const a = stride[c] + (t - 1);
627         return a - (a % t);
628 }
629
630 int
631 stride_lookup (int c, int const * stride)
632 {
633         return stride[c];
634 }
635
636 /** Read a sequence of key / value pairs from a text stream;
637  *  the keys are the first words on the line, and the values are
638  *  the remainder of the line following the key.  Lines beginning
639  *  with # are ignored.
640  *  @param s Stream to read.
641  *  @return key/value pairs.
642  */
643 multimap<string, string>
644 read_key_value (istream &s) 
645 {
646         multimap<string, string> kv;
647         
648         string line;
649         while (getline (s, line)) {
650                 if (line.empty ()) {
651                         continue;
652                 }
653                 
654                 if (line[0] == '#') {
655                         continue;
656                 }
657
658                 if (line[line.size() - 1] == '\r') {
659                         line = line.substr (0, line.size() - 1);
660                 }
661
662                 size_t const s = line.find (' ');
663                 if (s == string::npos) {
664                         continue;
665                 }
666
667                 kv.insert (make_pair (line.substr (0, s), line.substr (s + 1)));
668         }
669
670         return kv;
671 }
672
673 string
674 get_required_string (multimap<string, string> const & kv, string k)
675 {
676         if (kv.count (k) > 1) {
677                 throw StringError ("unexpected multiple keys in key-value set");
678         }
679
680         multimap<string, string>::const_iterator i = kv.find (k);
681         
682         if (i == kv.end ()) {
683                 throw StringError (String::compose ("missing key %1 in key-value set", k));
684         }
685
686         return i->second;
687 }
688
689 int
690 get_required_int (multimap<string, string> const & kv, string k)
691 {
692         string const v = get_required_string (kv, k);
693         return lexical_cast<int> (v);
694 }
695
696 float
697 get_required_float (multimap<string, string> const & kv, string k)
698 {
699         string const v = get_required_string (kv, k);
700         return lexical_cast<float> (v);
701 }
702
703 string
704 get_optional_string (multimap<string, string> const & kv, string k)
705 {
706         if (kv.count (k) > 1) {
707                 throw StringError ("unexpected multiple keys in key-value set");
708         }
709
710         multimap<string, string>::const_iterator i = kv.find (k);
711         if (i == kv.end ()) {
712                 return "";
713         }
714
715         return i->second;
716 }
717
718 int
719 get_optional_int (multimap<string, string> const & kv, string k)
720 {
721         if (kv.count (k) > 1) {
722                 throw StringError ("unexpected multiple keys in key-value set");
723         }
724
725         multimap<string, string>::const_iterator i = kv.find (k);
726         if (i == kv.end ()) {
727                 return 0;
728         }
729
730         return lexical_cast<int> (i->second);
731 }
732
733 AudioBuffers::AudioBuffers (int channels, int frames)
734         : _channels (channels)
735         , _frames (frames)
736         , _allocated_frames (frames)
737 {
738         _data = new float*[_channels];
739         for (int i = 0; i < _channels; ++i) {
740                 _data[i] = new float[frames];
741         }
742 }
743
744 AudioBuffers::AudioBuffers (AudioBuffers const & other)
745         : _channels (other._channels)
746         , _frames (other._frames)
747         , _allocated_frames (other._frames)
748 {
749         _data = new float*[_channels];
750         for (int i = 0; i < _channels; ++i) {
751                 _data[i] = new float[_frames];
752                 memcpy (_data[i], other._data[i], _frames * sizeof (float));
753         }
754 }
755
756 AudioBuffers::~AudioBuffers ()
757 {
758         for (int i = 0; i < _channels; ++i) {
759                 delete[] _data[i];
760         }
761
762         delete[] _data;
763 }
764
765 float*
766 AudioBuffers::data (int c) const
767 {
768         assert (c >= 0 && c < _channels);
769         return _data[c];
770 }
771         
772 void
773 AudioBuffers::set_frames (int f)
774 {
775         assert (f <= _allocated_frames);
776         _frames = f;
777 }
778
779 void
780 AudioBuffers::make_silent ()
781 {
782         for (int i = 0; i < _channels; ++i) {
783                 for (int j = 0; j < _frames; ++j) {
784                         _data[i][j] = 0;
785                 }
786         }
787 }
788
789 void
790 AudioBuffers::copy_from (AudioBuffers* from, int frames_to_copy, int read_offset, int write_offset)
791 {
792         assert (from->channels() == channels());
793
794         for (int i = 0; i < _channels; ++i) {
795                 memcpy (_data[i] + write_offset, from->_data[i] + read_offset, frames_to_copy * sizeof(float));
796         }
797 }
798
799 void
800 AudioBuffers::move (int from, int to, int frames)
801 {
802         if (frames == 0) {
803                 return;
804         }
805         
806         assert (from >= 0);
807         assert (from < _frames);
808         assert (to >= 0);
809         assert (to < _frames);
810         assert (frames > 0);
811         assert (frames <= _frames);
812         assert ((from + frames) <= _frames);
813         assert ((to + frames) <= _frames);
814         
815         for (int i = 0; i < _channels; ++i) {
816                 memmove (_data[i] + to, _data[i] + from, frames * sizeof(float));
817         }
818 }
819
820 void
821 ensure_ui_thread ()
822 {
823         assert (this_thread::get_id() == ui_thread);
824 }
825
826 int64_t
827 video_frames_to_audio_frames (SourceFrame v, float audio_sample_rate, float frames_per_second)
828 {
829         return ((int64_t) v * audio_sample_rate / frames_per_second);
830 }
831
832 bool
833 still_image_file (string f)
834 {
835 #if BOOST_FILESYSTEM_VERSION == 3
836         string ext = boost::filesystem::path(f).extension().string();
837 #else
838         string ext = boost::filesystem::path(f).extension();
839 #endif
840
841         transform (ext.begin(), ext.end(), ext.begin(), ::tolower);
842         
843         return (ext == ".tif" || ext == ".tiff" || ext == ".jpg" || ext == ".jpeg" || ext == ".png");
844 }