src/lib/film.cc

   1 /*
   2     Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
   3
   4     This program is free software; you can redistribute it and/or modify
   5     it under the terms of the GNU General Public License as published by
   6     the Free Software Foundation; either version 2 of the License, or
   7     (at your option) any later version.
   8
   9     This program is distributed in the hope that it will be useful,
  10     but WITHOUT ANY WARRANTY; without even the implied warranty of
  11     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12     GNU General Public License for more details.
  13
  14     You should have received a copy of the GNU General Public License
  15     along with this program; if not, write to the Free Software
  16     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  17
  18 */
  19
  20 #include <stdexcept>
  21 #include <iostream>
  22 #include <algorithm>
  23 #include <fstream>
  24 #include <cstdlib>
  25 #include <sstream>
  26 #include <iomanip>
  27 #include <unistd.h>
  28 #include <boost/filesystem.hpp>
  29 #include <boost/algorithm/string.hpp>
  30 #include <boost/lexical_cast.hpp>
  31 #include "film.h"
  32 #include "format.h"
  33 #include "imagemagick_encoder.h"
  34 #include "job.h"
  35 #include "filter.h"
  36 #include "transcoder.h"
  37 #include "util.h"
  38 #include "job_manager.h"
  39 #include "ab_transcode_job.h"
  40 #include "transcode_job.h"
  41 #include "scp_dcp_job.h"
  42 #include "copy_from_dvd_job.h"
  43 #include "make_dcp_job.h"
  44 #include "film_state.h"
  45 #include "log.h"
  46 #include "options.h"
  47 #include "exceptions.h"
  48 #include "examine_content_job.h"
  49 #include "scaler.h"
  50 #include "decoder_factory.h"
  51 #include "config.h"
  52 #include "check_hashes_job.h"
  53 #include "version.h"
  54
  55 using namespace std;
  56 using namespace boost;
  57
  58 /** Construct a Film object in a given directory, reading any metadata
  59  *  file that exists in that directory.  An exception will be thrown if
  60  *  must_exist is true, and the specified directory does not exist.
  61  *
  62  *  @param d Film directory.
  63  *  @param must_exist true to throw an exception if does not exist.
  64  */
  65
  66 Film::Film (string d, bool must_exist)
  67         : _dirty (false)
  68 {
  69         /* Make _state.directory a complete path without ..s (where possible)
  70            (Code swiped from Adam Bowen on stackoverflow)
  71         */
  72
  73         filesystem::path p (filesystem::system_complete (d));
  74         filesystem::path result;
  75         for (filesystem::path::iterator i = p.begin(); i != p.end(); ++i) {
  76                 if (*i == "..") {
  77                         if (filesystem::is_symlink (result) || result.filename() == "..") {
  78                                 result /= *i;
  79                         } else {
  80                                 result = result.parent_path ();
  81                         }
  82                 } else if (*i != ".") {
  83                         result /= *i;
  84                 }
  85         }
  86
  87         _state.directory = result.string ();
  88
  89         if (!filesystem::exists (_state.directory)) {
  90                 if (must_exist) {
  91                         throw OpenFileError (_state.directory);
  92                 } else {
  93                         filesystem::create_directory (_state.directory);
  94                 }
  95         }
  96
  97         read_metadata ();
  98
  99         _log = new FileLog (_state.file ("log"));
 100 }
 101
 102 /** Copy constructor */
 103 Film::Film (Film const & other)
 104         : _state (other._state)
 105         , _dirty (other._dirty)
 106 {
 107
 108 }
 109
 110 Film::~Film ()
 111 {
 112         delete _log;
 113 }
 114
 115 /** Read the `metadata' file inside this Film's directory, and fill the
 116  *  object's data with its content.
 117  */
 118
 119 void
 120 Film::read_metadata ()
 121 {
 122         ifstream f (metadata_file().c_str ());
 123         multimap<string, string> kv = read_key_value (f);
 124         for (multimap<string, string>::const_iterator i = kv.begin(); i != kv.end(); ++i) {
 125                 _state.read_metadata (i->first, i->second);
 126         }
 127         _dirty = false;
 128 }
 129
 130 /** Write our state to a file `metadata' inside the Film's directory */
 131 void
 132 Film::write_metadata () const
 133 {
 134         filesystem::create_directories (_state.directory);
 135
 136         ofstream f (metadata_file().c_str ());
 137         if (!f.good ()) {
 138                 throw CreateFileError (metadata_file ());
 139         }
 140
 141         _state.write_metadata (f);
 142
 143         _dirty = false;
 144 }
 145
 146 /** Set the name by which DVD-o-matic refers to this Film */
 147 void
 148 Film::set_name (string n)
 149 {
 150         _state.name = n;
 151         signal_changed (NAME);
 152 }
 153
 154 /** Set the content file for this film.
 155  *  @param c New content file; if specified as an absolute path, the content should
 156  *  be within the film's _state.directory; if specified as a relative path, the content
 157  *  will be assumed to be within the film's _state.directory.
 158  */
 159 void
 160 Film::set_content (string c)
 161 {
 162         string check = _state.directory;
 163
 164 #if BOOST_FILESYSTEM_VERSION == 3
 165         filesystem::path slash ("/");
 166         string platform_slash = slash.make_preferred().string ();
 167 #else
 168 #ifdef DVDOMATIC_WINDOWS
 169         string platform_slash = "\\";
 170 #else
 171         string platform_slash = "/";
 172 #endif
 173 #endif
 174
 175         if (!ends_with (check, platform_slash)) {
 176                 check += platform_slash;
 177         }
 178
 179         if (filesystem::path(c).has_root_directory () && starts_with (c, check)) {
 180                 c = c.substr (_state.directory.length() + 1);
 181         }
 182
 183         if (c == _state.content) {
 184                 return;
 185         }
 186
 187         /* Create a temporary decoder so that we can get information
 188            about the content.
 189         */
 190         shared_ptr<FilmState> s = state_copy ();
 191         s->content = c;
 192         shared_ptr<Options> o (new Options ("", "", ""));
 193         o->out_size = Size (1024, 1024);
 194
 195         shared_ptr<Decoder> d = decoder_factory (s, o, 0, _log);
 196
 197         _state.size = d->native_size ();
 198         _state.length = d->length_in_frames ();
 199         _state.frames_per_second = d->frames_per_second ();
 200         _state.audio_channels = d->audio_channels ();
 201         _state.audio_sample_rate = d->audio_sample_rate ();
 202         _state.audio_sample_format = d->audio_sample_format ();
 203         _state.has_subtitles = d->has_subtitles ();
 204
 205         _state.content_digest = md5_digest (s->content_path ());
 206         _state.content = c;
 207
 208         signal_changed (SIZE);
 209         signal_changed (LENGTH);
 210         signal_changed (FRAMES_PER_SECOND);
 211         signal_changed (AUDIO_CHANNELS);
 212         signal_changed (AUDIO_SAMPLE_RATE);
 213         signal_changed (CONTENT);
 214 }
 215
 216 /** Set the format that this Film should be shown in */
 217 void
 218 Film::set_format (Format const * f)
 219 {
 220         _state.format = f;
 221         signal_changed (FORMAT);
 222 }
 223
 224 /** Set the type to specify the DCP as having
 225  *  (feature, trailer etc.)
 226  */
 227 void
 228 Film::set_dcp_content_type (DCPContentType const * t)
 229 {
 230         _state.dcp_content_type = t;
 231         signal_changed (DCP_CONTENT_TYPE);
 232 }
 233
 234 /** Set the number of pixels by which to crop the left of the source video */
 235 void
 236 Film::set_left_crop (int c)
 237 {
 238         if (c == _state.crop.left) {
 239                 return;
 240         }
 241
 242         _state.crop.left = c;
 243         signal_changed (CROP);
 244 }
 245
 246 /** Set the number of pixels by which to crop the right of the source video */
 247 void
 248 Film::set_right_crop (int c)
 249 {
 250         if (c == _state.crop.right) {
 251                 return;
 252         }
 253
 254         _state.crop.right = c;
 255         signal_changed (CROP);
 256 }
 257
 258 /** Set the number of pixels by which to crop the top of the source video */
 259 void
 260 Film::set_top_crop (int c)
 261 {
 262         if (c == _state.crop.top) {
 263                 return;
 264         }
 265
 266         _state.crop.top = c;
 267         signal_changed (CROP);
 268 }
 269
 270 /** Set the number of pixels by which to crop the bottom of the source video */
 271 void
 272 Film::set_bottom_crop (int c)
 273 {
 274         if (c == _state.crop.bottom) {
 275                 return;
 276         }
 277
 278         _state.crop.bottom = c;
 279         signal_changed (CROP);
 280 }
 281
 282 /** Set the filters to apply to the image when generating thumbnails
 283  *  or a DCP.
 284  */
 285 void
 286 Film::set_filters (vector<Filter const *> const & f)
 287 {
 288         _state.filters = f;
 289         signal_changed (FILTERS);
 290 }
 291
 292 /** Set the number of frames to put in any generated DCP (from
 293  *  the start of the film).  0 indicates that all frames should
 294  *  be used.
 295  */
 296 void
 297 Film::set_dcp_frames (int n)
 298 {
 299         _state.dcp_frames = n;
 300         signal_changed (DCP_FRAMES);
 301 }
 302
 303 void
 304 Film::set_dcp_trim_action (TrimAction a)
 305 {
 306         _state.dcp_trim_action = a;
 307         signal_changed (DCP_TRIM_ACTION);
 308 }
 309
 310 /** Set whether or not to generate a A/B comparison DCP.
 311  *  Such a DCP has the left half of its frame as the Film
 312  *  content without any filtering or post-processing; the
 313  *  right half is rendered with filters and post-processing.
 314  */
 315 void
 316 Film::set_dcp_ab (bool a)
 317 {
 318         _state.dcp_ab = a;
 319         signal_changed (DCP_AB);
 320 }
 321
 322 void
 323 Film::set_audio_gain (float g)
 324 {
 325         _state.audio_gain = g;
 326         signal_changed (AUDIO_GAIN);
 327 }
 328
 329 void
 330 Film::set_audio_delay (int d)
 331 {
 332         _state.audio_delay = d;
 333         signal_changed (AUDIO_DELAY);
 334 }
 335
 336 /** @return path of metadata file */
 337 string
 338 Film::metadata_file () const
 339 {
 340         return _state.file ("metadata");
 341 }
 342
 343 /** @return full path of the content (actual video) file
 344  *  of this Film.
 345  */
 346 string
 347 Film::content () const
 348 {
 349         return _state.content_path ();
 350 }
 351
 352 /** The pre-processing GUI part of a thumbs update.
 353  *  Must be called from the GUI thread.
 354  */
 355 void
 356 Film::update_thumbs_pre_gui ()
 357 {
 358         _state.thumbs.clear ();
 359         filesystem::remove_all (_state.dir ("thumbs"));
 360
 361         /* This call will recreate the directory */
 362         _state.dir ("thumbs");
 363 }
 364
 365 /** The post-processing GUI part of a thumbs update.
 366  *  Must be called from the GUI thread.
 367  */
 368 void
 369 Film::update_thumbs_post_gui ()
 370 {
 371         string const tdir = _state.dir ("thumbs");
 372
 373         for (filesystem::directory_iterator i = filesystem::directory_iterator (tdir); i != filesystem::directory_iterator(); ++i) {
 374
 375                 /* Aah, the sweet smell of progress */
 376 #if BOOST_FILESYSTEM_VERSION == 3
 377                 string const l = filesystem::path(*i).leaf().generic_string();
 378 #else
 379                 string const l = i->leaf ();
 380 #endif
 381
 382                 size_t const d = l.find (".png");
 383                 if (d != string::npos) {
 384                         _state.thumbs.push_back (atoi (l.substr (0, d).c_str()));
 385                 }
 386         }
 387
 388         sort (_state.thumbs.begin(), _state.thumbs.end());
 389
 390         write_metadata ();
 391         signal_changed (THUMBS);
 392 }
 393
 394 /** @return the number of thumbnail images that we have */
 395 int
 396 Film::num_thumbs () const
 397 {
 398         return _state.thumbs.size ();
 399 }
 400
 401 /** @param n A thumb index.
 402  *  @return The frame within the Film that it is for.
 403  */
 404 int
 405 Film::thumb_frame (int n) const
 406 {
 407         return _state.thumb_frame (n);
 408 }
 409
 410 /** @param n A thumb index.
 411  *  @return The path to the thumb's image file.
 412  */
 413 string
 414 Film::thumb_file (int n) const
 415 {
 416         return _state.thumb_file (n);
 417 }
 418
 419 /** @return The path to the directory to write JPEG2000 files to */
 420 string
 421 Film::j2k_dir () const
 422 {
 423         assert (format());
 424
 425         filesystem::path p;
 426
 427         /* Start with j2c */
 428         p /= "j2c";
 429
 430         pair<string, string> f = Filter::ffmpeg_strings (filters ());
 431
 432         /* Write stuff to specify the filter / post-processing settings that are in use,
 433            so that we don't get confused about J2K files generated using different
 434            settings.
 435         */
 436         stringstream s;
 437         s << _state.format->id()
 438           << "_" << _state.content_digest
 439           << "_" << crop().left << "_" << crop().right << "_" << crop().top << "_" << crop().bottom
 440           << "_" << f.first << "_" << f.second
 441           << "_" << _state.scaler->id();
 442
 443         p /= s.str ();
 444
 445         /* Similarly for the A/B case */
 446         if (dcp_ab()) {
 447                 stringstream s;
 448                 pair<string, string> fa = Filter::ffmpeg_strings (Config::instance()->reference_filters());
 449                 s << "ab_" << Config::instance()->reference_scaler()->id() << "_" << fa.first << "_" << fa.second;
 450                 p /= s.str ();
 451         }
 452
 453         return _state.dir (p.string ());
 454 }
 455
 456 /** Handle a change to the Film's metadata */
 457 void
 458 Film::signal_changed (Property p)
 459 {
 460         _dirty = true;
 461         Changed (p);
 462 }
 463
 464 /** Add suitable Jobs to the JobManager to create a DCP for this Film.
 465  *  @param true to transcode, false to use the WAV and J2K files that are already there.
 466  */
 467 void
 468 Film::make_dcp (bool transcode, int freq)
 469 {
 470         if (dcp_name().find ("/") != string::npos) {
 471                 throw BadSettingError ("name", "cannot contain slashes");
 472         }
 473
 474         log()->log (String::compose ("DVD-o-matic %1 git %2 using %3", dvdomatic_version, dvdomatic_git_commit, dependency_version_summary()));
 475
 476         {
 477                 char buffer[128];
 478                 gethostname (buffer, sizeof (buffer));
 479                 log()->log (String::compose ("Starting to make DCP on %1", buffer));
 480         }
 481
 482         if (format() == 0) {
 483                 throw MissingSettingError ("format");
 484         }
 485
 486         if (content().empty ()) {
 487                 throw MissingSettingError ("content");
 488         }
 489
 490         if (dcp_content_type() == 0) {
 491                 throw MissingSettingError ("content type");
 492         }
 493
 494         if (name().empty()) {
 495                 throw MissingSettingError ("name");
 496         }
 497
 498         shared_ptr<const FilmState> fs = state_copy ();
 499         shared_ptr<Options> o (new Options (j2k_dir(), ".j2c", _state.dir ("wavs")));
 500         o->out_size = format()->dcp_size ();
 501         if (dcp_frames() == 0) {
 502                 /* Decode the whole film, no blacking */
 503                 o->black_after = 0;
 504         } else {
 505                 switch (dcp_trim_action()) {
 506                 case CUT:
 507                         /* Decode only part of the film, no blacking */
 508                         o->black_after = 0;
 509                         break;
 510                 case BLACK_OUT:
 511                         /* Decode the whole film, but black some frames out */
 512                         o->black_after = dcp_frames ();
 513                 }
 514         }
 515
 516         o->decode_video_frequency = freq;
 517         o->padding = format()->dcp_padding (this);
 518         o->ratio = format()->ratio_as_float (this);
 519         o->decode_subtitles = with_subtitles ();
 520
 521         shared_ptr<Job> r;
 522
 523         if (transcode) {
 524                 if (_state.dcp_ab) {
 525                         r = JobManager::instance()->add (shared_ptr<Job> (new ABTranscodeJob (fs, o, log(), shared_ptr<Job> ())));
 526                 } else {
 527                         r = JobManager::instance()->add (shared_ptr<Job> (new TranscodeJob (fs, o, log(), shared_ptr<Job> ())));
 528                 }
 529         }
 530
 531         r = JobManager::instance()->add (shared_ptr<Job> (new CheckHashesJob (fs, o, log(), r)));
 532         JobManager::instance()->add (shared_ptr<Job> (new MakeDCPJob (fs, o, log(), r)));
 533 }
 534
 535 shared_ptr<FilmState>
 536 Film::state_copy () const
 537 {
 538         return shared_ptr<FilmState> (new FilmState (_state));
 539 }
 540
 541 void
 542 Film::copy_from_dvd_post_gui ()
 543 {
 544         const string dvd_dir = _state.dir ("dvd");
 545
 546         string largest_file;
 547         uintmax_t largest_size = 0;
 548         for (filesystem::directory_iterator i = filesystem::directory_iterator (dvd_dir); i != filesystem::directory_iterator(); ++i) {
 549                 uintmax_t const s = filesystem::file_size (*i);
 550                 if (s > largest_size) {
 551
 552 #if BOOST_FILESYSTEM_VERSION == 3
 553                         largest_file = filesystem::path(*i).generic_string();
 554 #else
 555                         largest_file = i->string ();
 556 #endif
 557                         largest_size = s;
 558                 }
 559         }
 560
 561         set_content (largest_file);
 562 }
 563
 564 void
 565 Film::examine_content ()
 566 {
 567         if (_examine_content_job) {
 568                 return;
 569         }
 570
 571         _examine_content_job.reset (new ExamineContentJob (state_copy (), log(), shared_ptr<Job> ()));
 572         _examine_content_job->Finished.connect (sigc::mem_fun (*this, &Film::examine_content_post_gui));
 573         JobManager::instance()->add (_examine_content_job);
 574 }
 575
 576 void
 577 Film::examine_content_post_gui ()
 578 {
 579         _state.length = _examine_content_job->last_video_frame ();
 580         signal_changed (LENGTH);
 581
 582         _examine_content_job.reset ();
 583 }
 584
 585 void
 586 Film::set_scaler (Scaler const * s)
 587 {
 588         _state.scaler = s;
 589         signal_changed (SCALER);
 590 }
 591
 592 /** @return full paths to any audio files that this Film has */
 593 vector<string>
 594 Film::audio_files () const
 595 {
 596         vector<string> f;
 597         for (filesystem::directory_iterator i = filesystem::directory_iterator (_state.dir("wavs")); i != filesystem::directory_iterator(); ++i) {
 598                 f.push_back (i->path().string ());
 599         }
 600
 601         return f;
 602 }
 603
 604 ContentType
 605 Film::content_type () const
 606 {
 607         return _state.content_type ();
 608 }
 609
 610 void
 611 Film::set_still_duration (int d)
 612 {
 613         _state.still_duration = d;
 614         signal_changed (STILL_DURATION);
 615 }
 616
 617 void
 618 Film::send_dcp_to_tms ()
 619 {
 620         shared_ptr<Job> j (new SCPDCPJob (state_copy (), log(), shared_ptr<Job> ()));
 621         JobManager::instance()->add (j);
 622 }
 623
 624 void
 625 Film::copy_from_dvd ()
 626 {
 627         shared_ptr<Job> j (new CopyFromDVDJob (state_copy (), log(), shared_ptr<Job> ()));
 628         j->Finished.connect (sigc::mem_fun (*this, &Film::copy_from_dvd_post_gui));
 629         JobManager::instance()->add (j);
 630 }
 631
 632 int
 633 Film::encoded_frames () const
 634 {
 635         if (format() == 0) {
 636                 return 0;
 637         }
 638
 639         int N = 0;
 640         for (filesystem::directory_iterator i = filesystem::directory_iterator (j2k_dir ()); i != filesystem::directory_iterator(); ++i) {
 641                 ++N;
 642                 this_thread::interruption_point ();
 643         }
 644
 645         return N;
 646 }
 647
 648 void
 649 Film::set_with_subtitles (bool w)
 650 {
 651         _state.with_subtitles = w;
 652         signal_changed (WITH_SUBTITLES);
 653 }
 654
 655 void
 656 Film::set_subtitle_offset (int o)
 657 {
 658         _state.subtitle_offset = o;
 659         signal_changed (SUBTITLE_OFFSET);
 660 }
 661
 662 void
 663 Film::set_subtitle_scale (float s)
 664 {
 665         _state.subtitle_scale = s;
 666         signal_changed (SUBTITLE_SCALE);
 667 }
 668
 669 pair<Position, string>
 670 Film::thumb_subtitle (int n) const
 671 {
 672         string sub_file = _state.thumb_base(n) + ".sub";
 673         if (!filesystem::exists (sub_file)) {
 674                 return pair<Position, string> ();
 675         }
 676
 677         pair<Position, string> sub;
 678
 679         ifstream f (sub_file.c_str ());
 680         multimap<string, string> kv = read_key_value (f);
 681         for (map<string, string>::const_iterator i = kv.begin(); i != kv.end(); ++i) {
 682                 if (i->first == "x") {
 683                         sub.first.x = lexical_cast<int> (i->second);
 684                 } else if (i->first == "y") {
 685                         sub.first.y = lexical_cast<int> (i->second);
 686                         sub.second = String::compose ("%1.sub.png", _state.thumb_base(n));
 687                 }
 688         }
 689
 690         return sub;
 691 }
 692
 693 void
 694 Film::set_audio_language (string v)
 695 {
 696         _state.audio_language = v;
 697         signal_changed (DCI_METADATA);
 698 }
 699
 700 void
 701 Film::set_subtitle_language (string v)
 702 {
 703         _state.subtitle_language = v;
 704         signal_changed (DCI_METADATA);
 705 }
 706
 707 void
 708 Film::set_territory (string v)
 709 {
 710         _state.territory = v;
 711         signal_changed (DCI_METADATA);
 712 }
 713
 714 void
 715 Film::set_rating (string v)
 716 {
 717         _state.rating = v;
 718         signal_changed (DCI_METADATA);
 719 }
 720
 721 void
 722 Film::set_studio (string v)
 723 {
 724         _state.studio = v;
 725         signal_changed (DCI_METADATA);
 726 }
 727
 728 void
 729 Film::set_facility (string v)
 730 {
 731         _state.facility = v;
 732         signal_changed (DCI_METADATA);
 733 }
 734
 735 void
 736 Film::set_package_type (string v)
 737 {
 738         _state.package_type = v;
 739         signal_changed (DCI_METADATA);
 740 }
 741
 742 void
 743 Film::set_use_dci_name (bool v)
 744 {
 745         _state.use_dci_name = v;
 746         signal_changed (USE_DCI_NAME);
 747 }