src/lib/util.cc

   1 /*
   2     Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
   3     Copyright (C) 2000-2007 Paul Davis
   4
   5     This program is free software; you can redistribute it and/or modify
   6     it under the terms of the GNU General Public License as published by
   7     the Free Software Foundation; either version 2 of the License, or
   8     (at your option) any later version.
   9
  10     This program is distributed in the hope that it will be useful,
  11     but WITHOUT ANY WARRANTY; without even the implied warranty of
  12     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13     GNU General Public License for more details.
  14
  15     You should have received a copy of the GNU General Public License
  16     along with this program; if not, write to the Free Software
  17     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  18
  19 */
  20
  21 /** @file src/lib/util.cc
  22  *  @brief Some utility functions and classes.
  23  */
  24
  25 #include <sstream>
  26 #include <iomanip>
  27 #include <iostream>
  28 #include <fstream>
  29 #include <climits>
  30 #ifdef DCPOMATIC_POSIX
  31 #include <execinfo.h>
  32 #include <cxxabi.h>
  33 #endif
  34 #include <libssh/libssh.h>
  35 #include <signal.h>
  36 #include <boost/algorithm/string.hpp>
  37 #include <boost/bind.hpp>
  38 #include <boost/lambda/lambda.hpp>
  39 #include <boost/lexical_cast.hpp>
  40 #include <boost/thread.hpp>
  41 #include <boost/filesystem.hpp>
  42 #include <glib.h>
  43 #include <openjpeg.h>
  44 #include <openssl/md5.h>
  45 #include <magick/MagickCore.h>
  46 #include <magick/version.h>
  47 #include <libdcp/version.h>
  48 extern "C" {
  49 #include <libavcodec/avcodec.h>
  50 #include <libavformat/avformat.h>
  51 #include <libswscale/swscale.h>
  52 #include <libavfilter/avfiltergraph.h>
  53 #include <libpostproc/postprocess.h>
  54 #include <libavutil/pixfmt.h>
  55 }
  56 #include "util.h"
  57 #include "exceptions.h"
  58 #include "scaler.h"
  59 #include "dcp_content_type.h"
  60 #include "filter.h"
  61 #include "sound_processor.h"
  62 #include "config.h"
  63 #include "ratio.h"
  64 #ifdef DCPOMATIC_WINDOWS
  65 #include "stack.hpp"
  66 #endif
  67
  68 #include "i18n.h"
  69
  70 using std::string;
  71 using std::stringstream;
  72 using std::setfill;
  73 using std::ostream;
  74 using std::endl;
  75 using std::vector;
  76 using std::hex;
  77 using std::setw;
  78 using std::ifstream;
  79 using std::ios;
  80 using std::min;
  81 using std::max;
  82 using std::list;
  83 using std::multimap;
  84 using std::istream;
  85 using std::numeric_limits;
  86 using std::pair;
  87 using std::ofstream;
  88 using boost::shared_ptr;
  89 using boost::thread;
  90 using boost::lexical_cast;
  91 using boost::optional;
  92 using libdcp::Size;
  93
  94 static boost::thread::id ui_thread;
  95 static boost::filesystem::path backtrace_file;
  96
  97 /** Convert some number of seconds to a string representation
  98  *  in hours, minutes and seconds.
  99  *
 100  *  @param s Seconds.
 101  *  @return String of the form H:M:S (where H is hours, M
 102  *  is minutes and S is seconds).
 103  */
 104 string
 105 seconds_to_hms (int s)
 106 {
 107         int m = s / 60;
 108         s -= (m * 60);
 109         int h = m / 60;
 110         m -= (h * 60);
 111
 112         stringstream hms;
 113         hms << h << N_(":");
 114         hms.width (2);
 115         hms << std::setfill ('0') << m << N_(":");
 116         hms.width (2);
 117         hms << std::setfill ('0') << s;
 118
 119         return hms.str ();
 120 }
 121
 122 string
 123 time_to_hms (Time t)
 124 {
 125         return seconds_to_hms (t / TIME_HZ);
 126 }
 127
 128 /** @param s Number of seconds.
 129  *  @return String containing an approximate description of s (e.g. "about 2 hours")
 130  */
 131 string
 132 seconds_to_approximate_hms (int s)
 133 {
 134         int m = s / 60;
 135         s -= (m * 60);
 136         int h = m / 60;
 137         m -= (h * 60);
 138
 139         stringstream ap;
 140
 141         if (h > 0) {
 142                 if (m > 30) {
 143                         ap << (h + 1) << N_(" ") << _("hours");
 144                 } else {
 145                         if (h == 1) {
 146                                 ap << N_("1 ") << _("hour");
 147                         } else {
 148                                 ap << h << N_(" ") << _("hours");
 149                         }
 150                 }
 151         } else if (m > 0) {
 152                 if (m == 1) {
 153                         ap << N_("1 ") << _("minute");
 154                 } else {
 155                         ap << m << N_(" ") << _("minutes");
 156                 }
 157         } else {
 158                 ap << s << N_(" ") << _("seconds");
 159         }
 160
 161         return ap.str ();
 162 }
 163
 164 #ifdef DCPOMATIC_POSIX
 165 /** @param l Mangled C++ identifier.
 166  *  @return Demangled version.
 167  */
 168 static string
 169 demangle (string l)
 170 {
 171         string::size_type const b = l.find_first_of (N_("("));
 172         if (b == string::npos) {
 173                 return l;
 174         }
 175
 176         string::size_type const p = l.find_last_of (N_("+"));
 177         if (p == string::npos) {
 178                 return l;
 179         }
 180
 181         if ((p - b) <= 1) {
 182                 return l;
 183         }
 184
 185         string const fn = l.substr (b + 1, p - b - 1);
 186
 187         int status;
 188         try {
 189
 190                 char* realname = abi::__cxa_demangle (fn.c_str(), 0, 0, &status);
 191                 string d (realname);
 192                 free (realname);
 193                 return d;
 194
 195         } catch (std::exception) {
 196
 197         }
 198
 199         return l;
 200 }
 201
 202 /** Write a stacktrace to an ostream.
 203  *  @param out Stream to write to.
 204  *  @param levels Number of levels to go up the call stack.
 205  */
 206 void
 207 stacktrace (ostream& out, int levels)
 208 {
 209         void *array[200];
 210         size_t size;
 211         char **strings;
 212         size_t i;
 213
 214         size = backtrace (array, 200);
 215         strings = backtrace_symbols (array, size);
 216
 217         if (strings) {
 218                 for (i = 0; i < size && (levels == 0 || i < size_t(levels)); i++) {
 219                         out << N_("  ") << demangle (strings[i]) << "\n";
 220                 }
 221
 222                 free (strings);
 223         }
 224 }
 225 #endif
 226
 227 /** @param v Version as used by FFmpeg.
 228  *  @return A string representation of v.
 229  */
 230 static string
 231 ffmpeg_version_to_string (int v)
 232 {
 233         stringstream s;
 234         s << ((v & 0xff0000) >> 16) << N_(".") << ((v & 0xff00) >> 8) << N_(".") << (v & 0xff);
 235         return s.str ();
 236 }
 237
 238 /** Return a user-readable string summarising the versions of our dependencies */
 239 string
 240 dependency_version_summary ()
 241 {
 242         stringstream s;
 243         s << N_("libopenjpeg ") << opj_version () << N_(", ")
 244           << N_("libavcodec ") << ffmpeg_version_to_string (avcodec_version()) << N_(", ")
 245           << N_("libavfilter ") << ffmpeg_version_to_string (avfilter_version()) << N_(", ")
 246           << N_("libavformat ") << ffmpeg_version_to_string (avformat_version()) << N_(", ")
 247           << N_("libavutil ") << ffmpeg_version_to_string (avutil_version()) << N_(", ")
 248           << N_("libpostproc ") << ffmpeg_version_to_string (postproc_version()) << N_(", ")
 249           << N_("libswscale ") << ffmpeg_version_to_string (swscale_version()) << N_(", ")
 250           << MagickVersion << N_(", ")
 251           << N_("libssh ") << ssh_version (0) << N_(", ")
 252           << N_("libdcp ") << libdcp::version << N_(" git ") << libdcp::git_commit;
 253
 254         return s.str ();
 255 }
 256
 257 double
 258 seconds (struct timeval t)
 259 {
 260         return t.tv_sec + (double (t.tv_usec) / 1e6);
 261 }
 262
 263 #ifdef DCPOMATIC_WINDOWS
 264 LONG WINAPI exception_handler(struct _EXCEPTION_POINTERS *)
 265 {
 266         dbg::stack s;
 267         ofstream f (backtrace_file.string().c_str());
 268         std::copy(s.begin(), s.end(), std::ostream_iterator<dbg::stack_frame>(f, "\n"));
 269         return EXCEPTION_CONTINUE_SEARCH;
 270 }
 271 #endif
 272
 273 /** Call the required functions to set up DCP-o-matic's static arrays, etc.
 274  *  Must be called from the UI thread, if there is one.
 275  */
 276 void
 277 dcpomatic_setup ()
 278 {
 279 #ifdef DCPOMATIC_WINDOWS
 280         backtrace_file /= g_get_user_config_dir ();
 281         backtrace_file /= "backtrace.txt";
 282         SetUnhandledExceptionFilter(exception_handler);
 283 #endif
 284
 285         avfilter_register_all ();
 286
 287         Ratio::setup_ratios ();
 288         DCPContentType::setup_dcp_content_types ();
 289         Scaler::setup_scalers ();
 290         Filter::setup_filters ();
 291         SoundProcessor::setup_sound_processors ();
 292
 293         ui_thread = boost::this_thread::get_id ();
 294 }
 295
 296 #ifdef DCPOMATIC_WINDOWS
 297 boost::filesystem::path
 298 mo_path ()
 299 {
 300         wchar_t buffer[512];
 301         GetModuleFileName (0, buffer, 512 * sizeof(wchar_t));
 302         boost::filesystem::path p (buffer);
 303         p = p.parent_path ();
 304         p = p.parent_path ();
 305         p /= "locale";
 306         return p;
 307 }
 308 #endif
 309
 310 void
 311 dcpomatic_setup_gettext_i18n (string lang)
 312 {
 313 #ifdef DCPOMATIC_POSIX
 314         lang += ".UTF8";
 315 #endif
 316
 317         if (!lang.empty ()) {
 318                 /* Override our environment language; this is essential on
 319                    Windows.
 320                 */
 321                 char cmd[64];
 322                 snprintf (cmd, sizeof(cmd), "LANGUAGE=%s", lang.c_str ());
 323                 putenv (cmd);
 324                 snprintf (cmd, sizeof(cmd), "LANG=%s", lang.c_str ());
 325                 putenv (cmd);
 326         }
 327
 328         setlocale (LC_ALL, "");
 329         textdomain ("libdcpomatic");
 330
 331 #ifdef DCPOMATIC_WINDOWS
 332         bindtextdomain ("libdcpomatic", mo_path().string().c_str());
 333         bind_textdomain_codeset ("libdcpomatic", "UTF8");
 334 #endif
 335
 336 #ifdef DCPOMATIC_POSIX
 337         bindtextdomain ("libdcpomatic", POSIX_LOCALE_PREFIX);
 338 #endif
 339 }
 340
 341 /** @param s A string.
 342  *  @return Parts of the string split at spaces, except when a space is within quotation marks.
 343  */
 344 vector<string>
 345 split_at_spaces_considering_quotes (string s)
 346 {
 347         vector<string> out;
 348         bool in_quotes = false;
 349         string c;
 350         for (string::size_type i = 0; i < s.length(); ++i) {
 351                 if (s[i] == ' ' && !in_quotes) {
 352                         out.push_back (c);
 353                         c = N_("");
 354                 } else if (s[i] == '"') {
 355                         in_quotes = !in_quotes;
 356                 } else {
 357                         c += s[i];
 358                 }
 359         }
 360
 361         out.push_back (c);
 362         return out;
 363 }
 364
 365 string
 366 md5_digest (void const * data, int size)
 367 {
 368         MD5_CTX md5_context;
 369         MD5_Init (&md5_context);
 370         MD5_Update (&md5_context, data, size);
 371         unsigned char digest[MD5_DIGEST_LENGTH];
 372         MD5_Final (digest, &md5_context);
 373
 374         stringstream s;
 375         for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) {
 376                 s << std::hex << std::setfill('0') << std::setw(2) << ((int) digest[i]);
 377         }
 378
 379         return s.str ();
 380 }
 381
 382 /** @param file File name.
 383  *  @return MD5 digest of file's contents.
 384  */
 385 string
 386 md5_digest (boost::filesystem::path file)
 387 {
 388         ifstream f (file.string().c_str(), std::ios::binary);
 389         if (!f.good ()) {
 390                 throw OpenFileError (file.string());
 391         }
 392
 393         f.seekg (0, std::ios::end);
 394         int bytes = f.tellg ();
 395         f.seekg (0, std::ios::beg);
 396
 397         int const buffer_size = 64 * 1024;
 398         char buffer[buffer_size];
 399
 400         MD5_CTX md5_context;
 401         MD5_Init (&md5_context);
 402         while (bytes > 0) {
 403                 int const t = min (bytes, buffer_size);
 404                 f.read (buffer, t);
 405                 MD5_Update (&md5_context, buffer, t);
 406                 bytes -= t;
 407         }
 408
 409         unsigned char digest[MD5_DIGEST_LENGTH];
 410         MD5_Final (digest, &md5_context);
 411
 412         stringstream s;
 413         for (int i = 0; i < MD5_DIGEST_LENGTH; ++i) {
 414                 s << std::hex << std::setfill('0') << std::setw(2) << ((int) digest[i]);
 415         }
 416
 417         return s.str ();
 418 }
 419
 420 static bool
 421 about_equal (float a, float b)
 422 {
 423         /* A film of F seconds at f FPS will be Ff frames;
 424            Consider some delta FPS d, so if we run the same
 425            film at (f + d) FPS it will last F(f + d) seconds.
 426
 427            Hence the difference in length over the length of the film will
 428            be F(f + d) - Ff frames
 429             = Ff + Fd - Ff frames
 430             = Fd frames
 431             = Fd/f seconds
 432
 433            So if we accept a difference of 1 frame, ie 1/f seconds, we can
 434            say that
 435
 436            1/f = Fd/f
 437         ie 1 = Fd
 438         ie d = 1/F
 439
 440            So for a 3hr film, ie F = 3 * 60 * 60 = 10800, the acceptable
 441            FPS error is 1/F ~= 0.0001 ~= 10-e4
 442         */
 443
 444         return (fabs (a - b) < 1e-4);
 445 }
 446
 447 /** @param An arbitrary audio frame rate.
 448  *  @return The appropriate DCP-approved frame rate (48kHz or 96kHz).
 449  */
 450 int
 451 dcp_audio_frame_rate (int fs)
 452 {
 453         if (fs <= 48000) {
 454                 return 48000;
 455         }
 456
 457         return 96000;
 458 }
 459
 460 Socket::Socket (int timeout)
 461         : _deadline (_io_service)
 462         , _socket (_io_service)
 463         , _timeout (timeout)
 464 {
 465         _deadline.expires_at (boost::posix_time::pos_infin);
 466         check ();
 467 }
 468
 469 void
 470 Socket::check ()
 471 {
 472         if (_deadline.expires_at() <= boost::asio::deadline_timer::traits_type::now ()) {
 473                 _socket.close ();
 474                 _deadline.expires_at (boost::posix_time::pos_infin);
 475         }
 476
 477         _deadline.async_wait (boost::bind (&Socket::check, this));
 478 }
 479
 480 /** Blocking connect.
 481  *  @param endpoint End-point to connect to.
 482  */
 483 void
 484 Socket::connect (boost::asio::ip::basic_resolver_entry<boost::asio::ip::tcp> const & endpoint)
 485 {
 486         _deadline.expires_from_now (boost::posix_time::seconds (_timeout));
 487         boost::system::error_code ec = boost::asio::error::would_block;
 488         _socket.async_connect (endpoint, boost::lambda::var(ec) = boost::lambda::_1);
 489         do {
 490                 _io_service.run_one();
 491         } while (ec == boost::asio::error::would_block);
 492
 493         if (ec || !_socket.is_open ()) {
 494                 throw NetworkError (_("connect timed out"));
 495         }
 496 }
 497
 498 /** Blocking write.
 499  *  @param data Buffer to write.
 500  *  @param size Number of bytes to write.
 501  */
 502 void
 503 Socket::write (uint8_t const * data, int size)
 504 {
 505         _deadline.expires_from_now (boost::posix_time::seconds (_timeout));
 506         boost::system::error_code ec = boost::asio::error::would_block;
 507
 508         boost::asio::async_write (_socket, boost::asio::buffer (data, size), boost::lambda::var(ec) = boost::lambda::_1);
 509
 510         do {
 511                 _io_service.run_one ();
 512         } while (ec == boost::asio::error::would_block);
 513
 514         if (ec) {
 515                 throw NetworkError (ec.message ());
 516         }
 517 }
 518
 519 void
 520 Socket::write (uint32_t v)
 521 {
 522         v = htonl (v);
 523         write (reinterpret_cast<uint8_t*> (&v), 4);
 524 }
 525
 526 /** Blocking read.
 527  *  @param data Buffer to read to.
 528  *  @param size Number of bytes to read.
 529  */
 530 void
 531 Socket::read (uint8_t* data, int size)
 532 {
 533         _deadline.expires_from_now (boost::posix_time::seconds (_timeout));
 534         boost::system::error_code ec = boost::asio::error::would_block;
 535
 536         boost::asio::async_read (_socket, boost::asio::buffer (data, size), boost::lambda::var(ec) = boost::lambda::_1);
 537
 538         do {
 539                 _io_service.run_one ();
 540         } while (ec == boost::asio::error::would_block);
 541
 542         if (ec) {
 543                 throw NetworkError (ec.message ());
 544         }
 545 }
 546
 547 uint32_t
 548 Socket::read_uint32 ()
 549 {
 550         uint32_t v;
 551         read (reinterpret_cast<uint8_t *> (&v), 4);
 552         return ntohl (v);
 553 }
 554
 555 /** Round a number up to the nearest multiple of another number.
 556  *  @param c Index.
 557  *  @param s Array of numbers to round, indexed by c.
 558  *  @param t Multiple to round to.
 559  *  @return Rounded number.
 560  */
 561 int
 562 stride_round_up (int c, int const * stride, int t)
 563 {
 564         int const a = stride[c] + (t - 1);
 565         return a - (a % t);
 566 }
 567
 568 int
 569 stride_lookup (int c, int const * stride)
 570 {
 571         return stride[c];
 572 }
 573
 574 /** Read a sequence of key / value pairs from a text stream;
 575  *  the keys are the first words on the line, and the values are
 576  *  the remainder of the line following the key.  Lines beginning
 577  *  with # are ignored.
 578  *  @param s Stream to read.
 579  *  @return key/value pairs.
 580  */
 581 multimap<string, string>
 582 read_key_value (istream &s)
 583 {
 584         multimap<string, string> kv;
 585
 586         string line;
 587         while (getline (s, line)) {
 588                 if (line.empty ()) {
 589                         continue;
 590                 }
 591
 592                 if (line[0] == '#') {
 593                         continue;
 594                 }
 595
 596                 if (line[line.size() - 1] == '\r') {
 597                         line = line.substr (0, line.size() - 1);
 598                 }
 599
 600                 size_t const s = line.find (' ');
 601                 if (s == string::npos) {
 602                         continue;
 603                 }
 604
 605                 kv.insert (make_pair (line.substr (0, s), line.substr (s + 1)));
 606         }
 607
 608         return kv;
 609 }
 610
 611 string
 612 get_required_string (multimap<string, string> const & kv, string k)
 613 {
 614         if (kv.count (k) > 1) {
 615                 throw StringError (N_("unexpected multiple keys in key-value set"));
 616         }
 617
 618         multimap<string, string>::const_iterator i = kv.find (k);
 619
 620         if (i == kv.end ()) {
 621                 throw StringError (String::compose (_("missing key %1 in key-value set"), k));
 622         }
 623
 624         return i->second;
 625 }
 626
 627 int
 628 get_required_int (multimap<string, string> const & kv, string k)
 629 {
 630         string const v = get_required_string (kv, k);
 631         return lexical_cast<int> (v);
 632 }
 633
 634 float
 635 get_required_float (multimap<string, string> const & kv, string k)
 636 {
 637         string const v = get_required_string (kv, k);
 638         return lexical_cast<float> (v);
 639 }
 640
 641 string
 642 get_optional_string (multimap<string, string> const & kv, string k)
 643 {
 644         if (kv.count (k) > 1) {
 645                 throw StringError (N_("unexpected multiple keys in key-value set"));
 646         }
 647
 648         multimap<string, string>::const_iterator i = kv.find (k);
 649         if (i == kv.end ()) {
 650                 return N_("");
 651         }
 652
 653         return i->second;
 654 }
 655
 656 int
 657 get_optional_int (multimap<string, string> const & kv, string k)
 658 {
 659         if (kv.count (k) > 1) {
 660                 throw StringError (N_("unexpected multiple keys in key-value set"));
 661         }
 662
 663         multimap<string, string>::const_iterator i = kv.find (k);
 664         if (i == kv.end ()) {
 665                 return 0;
 666         }
 667
 668         return lexical_cast<int> (i->second);
 669 }
 670
 671 /** Trip an assert if the caller is not in the UI thread */
 672 void
 673 ensure_ui_thread ()
 674 {
 675         assert (boost::this_thread::get_id() == ui_thread);
 676 }
 677
 678 /** @param v Content video frame.
 679  *  @param audio_sample_rate Source audio sample rate.
 680  *  @param frames_per_second Number of video frames per second.
 681  *  @return Equivalent number of audio frames for `v'.
 682  */
 683 int64_t
 684 video_frames_to_audio_frames (VideoContent::Frame v, float audio_sample_rate, float frames_per_second)
 685 {
 686         return ((int64_t) v * audio_sample_rate / frames_per_second);
 687 }
 688
 689 string
 690 audio_channel_name (int c)
 691 {
 692         assert (MAX_AUDIO_CHANNELS == 6);
 693
 694         /* TRANSLATORS: these are the names of audio channels; Lfe (sub) is the low-frequency
 695            enhancement channel (sub-woofer)./
 696         */
 697         string const channels[] = {
 698                 _("Left"),
 699                 _("Right"),
 700                 _("Centre"),
 701                 _("Lfe (sub)"),
 702                 _("Left surround"),
 703                 _("Right surround"),
 704         };
 705
 706         return channels[c];
 707 }
 708
 709 FrameRateConversion::FrameRateConversion (float source, int dcp)
 710         : skip (false)
 711         , repeat (false)
 712         , change_speed (false)
 713 {
 714         if (fabs (source / 2.0 - dcp) < (fabs (source - dcp))) {
 715                 skip = true;
 716         } else if (fabs (source * 2 - dcp) < fabs (source - dcp)) {
 717                 repeat = true;
 718         }
 719
 720         change_speed = !about_equal (source * factor(), dcp);
 721
 722         if (!skip && !repeat && !change_speed) {
 723                 description = _("DCP and source have the same rate.\n");
 724         } else {
 725                 if (skip) {
 726                         description = _("DCP will use every other frame of the source.\n");
 727                 } else if (repeat) {
 728                         description = _("Each source frame will be doubled in the DCP.\n");
 729                 }
 730
 731                 if (change_speed) {
 732                         float const pc = dcp * 100 / (source * factor());
 733                         description += String::compose (_("DCP will run at %1%% of the source speed.\n"), pc);
 734                 }
 735         }
 736 }
 737
 738 LocaleGuard::LocaleGuard ()
 739         : _old (0)
 740 {
 741         char const * old = setlocale (LC_NUMERIC, 0);
 742
 743         if (old) {
 744                 _old = strdup (old);
 745                 if (strcmp (_old, "C")) {
 746                         setlocale (LC_NUMERIC, "C");
 747                 }
 748         }
 749 }
 750
 751 LocaleGuard::~LocaleGuard ()
 752 {
 753         setlocale (LC_NUMERIC, _old);
 754         free (_old);
 755 }