Tests pass again.
[dcpomatic.git] / src / lib / util.cc
1 /*
2     Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
3     Copyright (C) 2000-2007 Paul Davis
4
5     This program is free software; you can redistribute it and/or modify
6     it under the terms of the GNU General Public License as published by
7     the Free Software Foundation; either version 2 of the License, or
8     (at your option) any later version.
9
10     This program is distributed in the hope that it will be useful,
11     but WITHOUT ANY WARRANTY; without even the implied warranty of
12     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13     GNU General Public License for more details.
14
15     You should have received a copy of the GNU General Public License
16     along with this program; if not, write to the Free Software
17     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
18
19 */
20
21 /** @file src/lib/util.cc
22  *  @brief Some utility functions and classes.
23  */
24
25 #include <sstream>
26 #include <iomanip>
27 #include <iostream>
28 #include <fstream>
29 #ifdef DVDOMATIC_POSIX
30 #include <execinfo.h>
31 #include <cxxabi.h>
32 #endif
33 #include <libssh/libssh.h>
34 #include <signal.h>
35 #include <boost/algorithm/string.hpp>
36 #include <boost/bind.hpp>
37 #include <boost/lambda/lambda.hpp>
38 #include <boost/lexical_cast.hpp>
39 #include <boost/thread.hpp>
40 #include <openjpeg.h>
41 #include <openssl/md5.h>
42 #include <magick/MagickCore.h>
43 #include <magick/version.h>
44 #include <libdcp/version.h>
45 extern "C" {
46 #include <libavcodec/avcodec.h>
47 #include <libavformat/avformat.h>
48 #include <libswscale/swscale.h>
49 #include <libavfilter/avfiltergraph.h>
50 #include <libpostproc/postprocess.h>
51 #include <libavutil/pixfmt.h>
52 }
53 #include "util.h"
54 #include "exceptions.h"
55 #include "scaler.h"
56 #include "format.h"
57 #include "dcp_content_type.h"
58 #include "filter.h"
59 #include "screen.h"
60 #include "sound_processor.h"
61 #ifndef DVDOMATIC_DISABLE_PLAYER
62 #include "player_manager.h"
63 #endif
64
65 using namespace std;
66 using namespace boost;
67
68 thread::id ui_thread;
69
70 /** Convert some number of seconds to a string representation
71  *  in hours, minutes and seconds.
72  *
73  *  @param s Seconds.
74  *  @return String of the form H:M:S (where H is hours, M
75  *  is minutes and S is seconds).
76  */
77 string
78 seconds_to_hms (int s)
79 {
80         int m = s / 60;
81         s -= (m * 60);
82         int h = m / 60;
83         m -= (h * 60);
84
85         stringstream hms;
86         hms << h << ":";
87         hms.width (2);
88         hms << setfill ('0') << m << ":";
89         hms.width (2);
90         hms << setfill ('0') << s;
91
92         return hms.str ();
93 }
94
95 /** @param s Number of seconds.
96  *  @return String containing an approximate description of s (e.g. "about 2 hours")
97  */
98 string
99 seconds_to_approximate_hms (int s)
100 {
101         int m = s / 60;
102         s -= (m * 60);
103         int h = m / 60;
104         m -= (h * 60);
105
106         stringstream ap;
107         
108         if (h > 0) {
109                 if (m > 30) {
110                         ap << (h + 1) << " hours";
111                 } else {
112                         if (h == 1) {
113                                 ap << "1 hour";
114                         } else {
115                                 ap << h << " hours";
116                         }
117                 }
118         } else if (m > 0) {
119                 if (m == 1) {
120                         ap << "1 minute";
121                 } else {
122                         ap << m << " minutes";
123                 }
124         } else {
125                 ap << s << " seconds";
126         }
127
128         return ap.str ();
129 }
130
131 #ifdef DVDOMATIC_POSIX
132 /** @param l Mangled C++ identifier.
133  *  @return Demangled version.
134  */
135 static string
136 demangle (string l)
137 {
138         string::size_type const b = l.find_first_of ("(");
139         if (b == string::npos) {
140                 return l;
141         }
142
143         string::size_type const p = l.find_last_of ("+");
144         if (p == string::npos) {
145                 return l;
146         }
147
148         if ((p - b) <= 1) {
149                 return l;
150         }
151         
152         string const fn = l.substr (b + 1, p - b - 1);
153
154         int status;
155         try {
156                 
157                 char* realname = abi::__cxa_demangle (fn.c_str(), 0, 0, &status);
158                 string d (realname);
159                 free (realname);
160                 return d;
161                 
162         } catch (std::exception) {
163                 
164         }
165         
166         return l;
167 }
168
169 /** Write a stacktrace to an ostream.
170  *  @param out Stream to write to.
171  *  @param levels Number of levels to go up the call stack.
172  */
173 void
174 stacktrace (ostream& out, int levels)
175 {
176         void *array[200];
177         size_t size;
178         char **strings;
179         size_t i;
180      
181         size = backtrace (array, 200);
182         strings = backtrace_symbols (array, size);
183      
184         if (strings) {
185                 for (i = 0; i < size && (levels == 0 || i < size_t(levels)); i++) {
186                         out << "  " << demangle (strings[i]) << endl;
187                 }
188                 
189                 free (strings);
190         }
191 }
192 #endif
193
194 /** @return Version of vobcopy that is on the path (and hence that we will use) */
195 static string
196 vobcopy_version ()
197 {
198         FILE* f = popen ("vobcopy -V 2>&1", "r");
199         if (f == 0) {
200                 throw EncodeError ("could not run vobcopy to check version");
201         }
202
203         string version = "unknown";
204         
205         while (!feof (f)) {
206                 char buf[256];
207                 if (fgets (buf, sizeof (buf), f)) {
208                         string s (buf);
209                         vector<string> b;
210                         split (b, s, is_any_of (" "));
211                         if (b.size() >= 2 && b[0] == "Vobcopy") {
212                                 version = b[1];
213                         }
214                 }
215         }
216
217         pclose (f);
218
219         return version;
220 }
221
222 /** @param v Version as used by FFmpeg.
223  *  @return A string representation of v.
224  */
225 static string
226 ffmpeg_version_to_string (int v)
227 {
228         stringstream s;
229         s << ((v & 0xff0000) >> 16) << "." << ((v & 0xff00) >> 8) << "." << (v & 0xff);
230         return s.str ();
231 }
232
233 /** Return a user-readable string summarising the versions of our dependencies */
234 string
235 dependency_version_summary ()
236 {
237         stringstream s;
238         s << "libopenjpeg " << opj_version () << ", "
239           << "vobcopy " << vobcopy_version() << ", "
240           << "libavcodec " << ffmpeg_version_to_string (avcodec_version()) << ", "
241           << "libavfilter " << ffmpeg_version_to_string (avfilter_version()) << ", "
242           << "libavformat " << ffmpeg_version_to_string (avformat_version()) << ", "
243           << "libavutil " << ffmpeg_version_to_string (avutil_version()) << ", "
244           << "libpostproc " << ffmpeg_version_to_string (postproc_version()) << ", "
245           << "libswscale " << ffmpeg_version_to_string (swscale_version()) << ", "
246           << MagickVersion << ", "
247           << "libssh " << ssh_version (0) << ", "
248           << "libdcp " << libdcp::version << " git " << libdcp::git_commit;
249
250         return s.str ();
251 }
252
253 double
254 seconds (struct timeval t)
255 {
256         return t.tv_sec + (double (t.tv_usec) / 1e6);
257 }
258
259
260 #ifdef DVDOMATIC_POSIX
261 void
262 sigchld_handler (int, siginfo_t* info, void *)
263 {
264 #ifndef DVDOMATIC_DISABLE_PLAYER        
265         PlayerManager::instance()->child_exited (info->si_pid);
266 #endif  
267 }
268 #endif
269
270 /** Call the required functions to set up DVD-o-matic's static arrays, etc.
271  *  Must be called from the UI thread, if there is one.
272  */
273 void
274 dvdomatic_setup ()
275 {
276         Format::setup_formats ();
277         DCPContentType::setup_dcp_content_types ();
278         Scaler::setup_scalers ();
279         Filter::setup_filters ();
280         SoundProcessor::setup_sound_processors ();
281
282         ui_thread = this_thread::get_id ();
283
284 #ifdef DVDOMATIC_POSIX  
285         struct sigaction sa;
286         sa.sa_flags = SA_SIGINFO;
287         sigemptyset (&sa.sa_mask);
288         sa.sa_sigaction = sigchld_handler;
289         sigaction (SIGCHLD, &sa, 0);
290 #endif  
291 }
292
293 string
294 crop_string (Position start, Size size)
295 {
296         stringstream s;
297         s << "crop=" << size.width << ":" << size.height << ":" << start.x << ":" << start.y;
298         return s.str ();
299 }
300
301 vector<string>
302 split_at_spaces_considering_quotes (string s)
303 {
304         vector<string> out;
305         bool in_quotes = false;
306         string c;
307         for (string::size_type i = 0; i < s.length(); ++i) {
308                 if (s[i] == ' ' && !in_quotes) {
309                         out.push_back (c);
310                         c = "";
311                 } else if (s[i] == '"') {
312                         in_quotes = !in_quotes;
313                 } else {
314                         c += s[i];
315                 }
316         }
317
318         out.push_back (c);
319         return out;
320 }
321
322 string
323 md5_digest (void const * data, int size)
324 {
325         MD5_CTX md5_context;
326         MD5_Init (&md5_context);
327         MD5_Update (&md5_context, data, size);
328         unsigned char digest[MD5_DIGEST_LENGTH];
329         MD5_Final (digest, &md5_context);
330         
331         stringstream s;
332         for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) {
333                 s << hex << setfill('0') << setw(2) << ((int) digest[i]);
334         }
335
336         return s.str ();
337 }
338
339 /** @param file File name.
340  *  @return MD5 digest of file's contents.
341  */
342 string
343 md5_digest (string file)
344 {
345         ifstream f (file.c_str(), ios::binary);
346         if (!f.good ()) {
347                 throw OpenFileError (file);
348         }
349         
350         f.seekg (0, ios::end);
351         int bytes = f.tellg ();
352         f.seekg (0, ios::beg);
353
354         int const buffer_size = 64 * 1024;
355         char buffer[buffer_size];
356
357         MD5_CTX md5_context;
358         MD5_Init (&md5_context);
359         while (bytes > 0) {
360                 int const t = min (bytes, buffer_size);
361                 f.read (buffer, t);
362                 MD5_Update (&md5_context, buffer, t);
363                 bytes -= t;
364         }
365
366         unsigned char digest[MD5_DIGEST_LENGTH];
367         MD5_Final (digest, &md5_context);
368
369         stringstream s;
370         for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) {
371                 s << hex << setfill('0') << setw(2) << ((int) digest[i]);
372         }
373
374         return s.str ();
375 }
376
377 DCPFrameRate
378 dcp_frame_rate (float fps)
379 {
380         DCPFrameRate dfr;
381
382         dfr.run_fast = (fps != rint (fps));
383         dfr.frames_per_second = rint (fps);
384         dfr.skip = 1;
385
386         /* XXX: somewhat arbitrary */
387         if (fps == 50) {
388                 dfr.frames_per_second = 25;
389                 dfr.skip = 2;
390         }
391
392         return dfr;
393 }
394
395 /** @param An arbitrary sampling rate.
396  *  @return The appropriate DCP-approved sampling rate (48kHz or 96kHz).
397  */
398 int
399 dcp_audio_sample_rate (int fs)
400 {
401         if (fs <= 48000) {
402                 return 48000;
403         }
404
405         return 96000;
406 }
407
408 bool operator== (Size const & a, Size const & b)
409 {
410         return (a.width == b.width && a.height == b.height);
411 }
412
413 bool operator== (Crop const & a, Crop const & b)
414 {
415         return (a.left == b.left && a.right == b.right && a.top == b.top && a.bottom == b.bottom);
416 }
417
418 bool operator!= (Crop const & a, Crop const & b)
419 {
420         return !(a == b);
421 }
422
423 /** @param index Colour LUT index.
424  *  @return Human-readable name.
425  */
426 string
427 colour_lut_index_to_name (int index)
428 {
429         switch (index) {
430         case 0:
431                 return "sRGB";
432         case 1:
433                 return "Rec 709";
434         }
435
436         assert (false);
437         return "";
438 }
439
440 Socket::Socket ()
441         : _deadline (_io_service)
442         , _socket (_io_service)
443         , _buffer_data (0)
444 {
445         _deadline.expires_at (posix_time::pos_infin);
446         check ();
447 }
448
449 void
450 Socket::check ()
451 {
452         if (_deadline.expires_at() <= asio::deadline_timer::traits_type::now ()) {
453                 _socket.close ();
454                 _deadline.expires_at (posix_time::pos_infin);
455         }
456
457         _deadline.async_wait (boost::bind (&Socket::check, this));
458 }
459
460 /** Blocking connect with timeout.
461  *  @param endpoint End-point to connect to.
462  *  @param timeout Time-out in seconds.
463  */
464 void
465 Socket::connect (asio::ip::basic_resolver_entry<asio::ip::tcp> const & endpoint, int timeout)
466 {
467         system::error_code ec = asio::error::would_block;
468         _socket.async_connect (endpoint, lambda::var(ec) = lambda::_1);
469         do {
470                 _io_service.run_one();
471         } while (ec == asio::error::would_block);
472
473         if (ec || !_socket.is_open ()) {
474                 throw NetworkError ("connect timed out");
475         }
476 }
477
478 /** Blocking write with timeout.
479  *  @param data Buffer to write.
480  *  @param size Number of bytes to write.
481  *  @param timeout Time-out, in seconds.
482  */
483 void
484 Socket::write (uint8_t const * data, int size, int timeout)
485 {
486         _deadline.expires_from_now (posix_time::seconds (timeout));
487         system::error_code ec = asio::error::would_block;
488
489         asio::async_write (_socket, asio::buffer (data, size), lambda::var(ec) = lambda::_1);
490         do {
491                 _io_service.run_one ();
492         } while (ec == asio::error::would_block);
493
494         if (ec) {
495                 throw NetworkError ("write timed out");
496         }
497 }
498
499 /** Blocking read with timeout.
500  *  @param data Buffer to read to.
501  *  @param size Number of bytes to read.
502  *  @param timeout Time-out, in seconds.
503  */
504 int
505 Socket::read (uint8_t* data, int size, int timeout)
506 {
507         _deadline.expires_from_now (posix_time::seconds (timeout));
508         system::error_code ec = asio::error::would_block;
509
510         int amount_read = 0;
511
512         _socket.async_read_some (
513                 asio::buffer (data, size),
514                 (lambda::var(ec) = lambda::_1, lambda::var(amount_read) = lambda::_2)
515                 );
516
517         do {
518                 _io_service.run_one ();
519         } while (ec == asio::error::would_block);
520         
521         if (ec) {
522                 amount_read = 0;
523         }
524
525         return amount_read;
526 }
527
528 /** Mark some data as being `consumed', so that it will not be returned
529  *  as data again.
530  *  @param size Amount of data to consume, in bytes.
531  */
532 void
533 Socket::consume (int size)
534 {
535         assert (_buffer_data >= size);
536         
537         _buffer_data -= size;
538         if (_buffer_data > 0) {
539                 /* Shift still-valid data to the start of the buffer */
540                 memmove (_buffer, _buffer + size, _buffer_data);
541         }
542 }
543
544 /** Read a definite amount of data from our socket, and mark
545  *  it as consumed.
546  *  @param data Where to put the data.
547  *  @param size Number of bytes to read.
548  */
549 void
550 Socket::read_definite_and_consume (uint8_t* data, int size, int timeout)
551 {
552         int const from_buffer = min (_buffer_data, size);
553         if (from_buffer > 0) {
554                 /* Get data from our buffer */
555                 memcpy (data, _buffer, from_buffer);
556                 consume (from_buffer);
557                 /* Update our output state */
558                 data += from_buffer;
559                 size -= from_buffer;
560         }
561
562         /* read() the rest */
563         while (size > 0) {
564                 int const n = read (data, size, timeout);
565                 if (n <= 0) {
566                         throw NetworkError ("could not read");
567                 }
568
569                 data += n;
570                 size -= n;
571         }
572 }
573
574 /** Read as much data as is available, up to some limit.
575  *  @param data Where to put the data.
576  *  @param size Maximum amount of data to read.
577  */
578 void
579 Socket::read_indefinite (uint8_t* data, int size, int timeout)
580 {
581         assert (size < int (sizeof (_buffer)));
582
583         /* Amount of extra data we need to read () */
584         int to_read = size - _buffer_data;
585         while (to_read > 0) {
586                 /* read as much of it as we can (into our buffer) */
587                 int const n = read (_buffer + _buffer_data, to_read, timeout);
588                 if (n <= 0) {
589                         throw NetworkError ("could not read");
590                 }
591
592                 to_read -= n;
593                 _buffer_data += n;
594         }
595
596         assert (_buffer_data >= size);
597
598         /* copy data into the output buffer */
599         assert (size >= _buffer_data);
600         memcpy (data, _buffer, size);
601 }
602
603 Rect
604 Rect::intersection (Rect const & other) const
605 {
606         int const tx = max (x, other.x);
607         int const ty = max (y, other.y);
608         
609         return Rect (
610                 tx, ty,
611                 min (x + width, other.x + other.width) - tx,
612                 min (y + height, other.y + other.height) - ty
613                 );
614 }
615
616 /** Round a number up to the nearest multiple of another number.
617  *  @param a Number to round.
618  *  @param t Multiple to round to.
619  *  @return Rounded number.
620  */
621
622 int
623 stride_round_up (int c, int const * stride, int t)
624 {
625         int const a = stride[c] + (t - 1);
626         return a - (a % t);
627 }
628
629 int
630 stride_lookup (int c, int const * stride)
631 {
632         return stride[c];
633 }
634
635 /** Read a sequence of key / value pairs from a text stream;
636  *  the keys are the first words on the line, and the values are
637  *  the remainder of the line following the key.  Lines beginning
638  *  with # are ignored.
639  *  @param s Stream to read.
640  *  @return key/value pairs.
641  */
642 multimap<string, string>
643 read_key_value (istream &s) 
644 {
645         multimap<string, string> kv;
646         
647         string line;
648         while (getline (s, line)) {
649                 if (line.empty ()) {
650                         continue;
651                 }
652                 
653                 if (line[0] == '#') {
654                         continue;
655                 }
656
657                 if (line[line.size() - 1] == '\r') {
658                         line = line.substr (0, line.size() - 1);
659                 }
660
661                 size_t const s = line.find (' ');
662                 if (s == string::npos) {
663                         continue;
664                 }
665
666                 kv.insert (make_pair (line.substr (0, s), line.substr (s + 1)));
667         }
668
669         return kv;
670 }
671
672 string
673 get_required_string (multimap<string, string> const & kv, string k)
674 {
675         if (kv.count (k) > 1) {
676                 throw StringError ("unexpected multiple keys in key-value set");
677         }
678
679         multimap<string, string>::const_iterator i = kv.find (k);
680         
681         if (i == kv.end ()) {
682                 throw StringError (String::compose ("missing key %1 in key-value set", k));
683         }
684
685         return i->second;
686 }
687
688 int
689 get_required_int (multimap<string, string> const & kv, string k)
690 {
691         string const v = get_required_string (kv, k);
692         return lexical_cast<int> (v);
693 }
694
695 float
696 get_required_float (multimap<string, string> const & kv, string k)
697 {
698         string const v = get_required_string (kv, k);
699         return lexical_cast<float> (v);
700 }
701
702 string
703 get_optional_string (multimap<string, string> const & kv, string k)
704 {
705         if (kv.count (k) > 1) {
706                 throw StringError ("unexpected multiple keys in key-value set");
707         }
708
709         multimap<string, string>::const_iterator i = kv.find (k);
710         if (i == kv.end ()) {
711                 return "";
712         }
713
714         return i->second;
715 }
716
717 int
718 get_optional_int (multimap<string, string> const & kv, string k)
719 {
720         if (kv.count (k) > 1) {
721                 throw StringError ("unexpected multiple keys in key-value set");
722         }
723
724         multimap<string, string>::const_iterator i = kv.find (k);
725         if (i == kv.end ()) {
726                 return 0;
727         }
728
729         return lexical_cast<int> (i->second);
730 }
731
732 AudioBuffers::AudioBuffers (int channels, int frames)
733         : _channels (channels)
734         , _frames (frames)
735         , _allocated_frames (frames)
736 {
737         _data = new float*[_channels];
738         for (int i = 0; i < _channels; ++i) {
739                 _data[i] = new float[frames];
740         }
741 }
742
743 AudioBuffers::AudioBuffers (AudioBuffers const & other)
744         : _channels (other._channels)
745         , _frames (other._frames)
746         , _allocated_frames (other._frames)
747 {
748         _data = new float*[_channels];
749         for (int i = 0; i < _channels; ++i) {
750                 _data[i] = new float[_frames];
751                 memcpy (_data[i], other._data[i], _frames * sizeof (float));
752         }
753 }
754
755 AudioBuffers::~AudioBuffers ()
756 {
757         for (int i = 0; i < _channels; ++i) {
758                 delete[] _data[i];
759         }
760
761         delete[] _data;
762 }
763
764 float*
765 AudioBuffers::data (int c) const
766 {
767         assert (c >= 0 && c < _channels);
768         return _data[c];
769 }
770         
771 void
772 AudioBuffers::set_frames (int f)
773 {
774         assert (f <= _allocated_frames);
775         _frames = f;
776 }
777
778 void
779 AudioBuffers::make_silent ()
780 {
781         for (int i = 0; i < _channels; ++i) {
782                 for (int j = 0; j < _frames; ++j) {
783                         _data[i][j] = 0;
784                 }
785         }
786 }
787
788 void
789 AudioBuffers::copy_from (AudioBuffers* from, int frames_to_copy, int read_offset, int write_offset)
790 {
791         assert (from->channels() == channels());
792
793         for (int i = 0; i < _channels; ++i) {
794                 memcpy (_data[i] + write_offset, from->_data[i] + read_offset, frames_to_copy * sizeof(float));
795         }
796 }
797
798 void
799 AudioBuffers::move (int from, int to, int frames)
800 {
801         if (frames == 0) {
802                 return;
803         }
804         
805         assert (from >= 0);
806         assert (from < _frames);
807         assert (to >= 0);
808         assert (to < _frames);
809         assert (frames > 0);
810         assert (frames <= _frames);
811         assert ((from + frames) <= _frames);
812         assert ((to + frames) <= _frames);
813         
814         for (int i = 0; i < _channels; ++i) {
815                 memmove (_data[i] + to, _data[i] + from, frames * sizeof(float));
816         }
817 }
818
819 void
820 ensure_ui_thread ()
821 {
822         assert (this_thread::get_id() == ui_thread);
823 }
824
825 int64_t
826 video_frames_to_audio_frames (SourceFrame v, float audio_sample_rate, float frames_per_second)
827 {
828         return ((int64_t) v * audio_sample_rate / frames_per_second);
829 }