5b5c36d28d07e8cd93af5a3f766fd95f2a506beb from master; increase the number of images...
[dcpomatic.git] / src / lib / writer.cc
index 7740c69365c5485547238606126b1cb4578bef31..5922752818bc094203926e8f03bf79954f6297b8 100644 (file)
@@ -1,5 +1,5 @@
 /*
-    Copyright (C) 2012-2014 Carl Hetherington <cth@carlh.net>
+    Copyright (C) 2012-2015 Carl Hetherington <cth@carlh.net>
 
     This program is free software; you can redistribute it and/or modify
     it under the terms of the GNU General Public License as published by
@@ -33,6 +33,7 @@
 #include "encoded_data.h"
 #include "version.h"
 #include "font.h"
+#include "util.h"
 #include <dcp/mono_picture_mxf.h>
 #include <dcp/stereo_picture_mxf.h>
 #include <dcp/sound_mxf.h>
@@ -46,6 +47,8 @@
 #include <dcp/cpl.h>
 #include <dcp/signer.h>
 #include <dcp/interop_subtitle_content.h>
+#include <dcp/font.h>
+#include <boost/foreach.hpp>
 #include <fstream>
 #include <cerrno>
 
@@ -71,8 +74,6 @@ using boost::shared_ptr;
 using boost::weak_ptr;
 using boost::dynamic_pointer_cast;
 
-int const Writer::_maximum_frames_in_memory = Config::instance()->num_local_encoding_threads() + 4;
-
 Writer::Writer (shared_ptr<const Film> f, weak_ptr<Job> j)
        : _film (f)
        , _job (j)
@@ -82,6 +83,7 @@ Writer::Writer (shared_ptr<const Film> f, weak_ptr<Job> j)
        , _queued_full_in_memory (0)
        , _last_written_frame (-1)
        , _last_written_eyes (EYES_RIGHT)
+       , _maximum_frames_in_memory (0)
        , _full_written (0)
        , _fake_written (0)
        , _pushed_to_disk (0)
@@ -92,9 +94,6 @@ Writer::Writer (shared_ptr<const Film> f, weak_ptr<Job> j)
        shared_ptr<Job> job = _job.lock ();
        DCPOMATIC_ASSERT (job);
 
-       job->sub (_("Checking existing image data"));
-       check_existing_picture_mxf ();
-
        /* Create our picture asset in a subdirectory, named according to those
           film's parameters which affect the video output.  We will hard-link
           it into the DCP later.
@@ -128,7 +127,7 @@ Writer::Writer (shared_ptr<const Film> f, weak_ptr<Job> j)
                /* Write the sound MXF into the film directory so that we leave the creation
                   of the DCP directory until the last minute.
                */
-               _sound_mxf_writer = _sound_mxf->start_write (_film->directory() / _film->audio_mxf_filename(), _film->interop() ? dcp::INTEROP : dcp::SMPTE);
+               _sound_mxf_writer = _sound_mxf->start_write (_film->directory() / audio_mxf_filename (_sound_mxf), _film->interop() ? dcp::INTEROP : dcp::SMPTE);
        }
 
        /* Check that the signer is OK if we need one */
@@ -136,6 +135,9 @@ Writer::Writer (shared_ptr<const Film> f, weak_ptr<Job> j)
                throw InvalidSignerError ();
        }
 
+       job->sub (_("Checking existing image data"));
+       check_existing_picture_mxf ();
+       
        _thread = new boost::thread (boost::bind (&Writer::thread, this));
 
        job->sub (_("Encoding image data"));
@@ -189,9 +191,12 @@ Writer::fake_write (int frame, Eyes eyes)
                _full_condition.wait (lock);
        }
        
-       FILE* ifi = fopen_boost (_film->info_path (frame, eyes), "r");
-       dcp::FrameInfo info (ifi);
-       fclose (ifi);
+       FILE* file = fopen_boost (_film->info_file (), "rb");
+       if (!file) {
+               throw ReadFileError (_film->info_file ());
+       }
+       dcp::FrameInfo info = read_frame_info (file, frame, eyes);
+       fclose (file);
        
        QueueItem qi;
        qi.type = QueueItem::FAKE;
@@ -289,7 +294,11 @@ try
                        if (!_queue.empty() && !have_sequenced_image_at_queue_head()) {
                                LOG_WARNING (N_("Finishing writer with a left-over queue of %1:"), _queue.size());
                                for (list<QueueItem>::const_iterator i = _queue.begin(); i != _queue.end(); ++i) {
-                                       LOG_WARNING (N_("- type %1, size %2, frame %3, eyes %4"), i->type, i->size, i->frame, i->eyes);
+                                       if (i->type == QueueItem::FULL) {
+                                               LOG_WARNING (N_("- type FULL, frame %1, eyes %2"), i->frame, i->eyes);
+                                       } else {
+                                               LOG_WARNING (N_("- type FAKE, size %1, frame %2, eyes %3"), i->size, i->frame, i->eyes);
+                                       }                                               
                                }
                                LOG_WARNING (N_("Last written frame %1, last written eyes %2"), _last_written_frame, _last_written_eyes);
                        }
@@ -359,21 +368,24 @@ try
                        }
 
                        DCPOMATIC_ASSERT (i != _queue.rend());
-                       QueueItem qi = *i;
-
                        ++_pushed_to_disk;
-                       
                        lock.unlock ();
 
+                       /* i is valid here, even though we don't hold a lock on the mutex,
+                          since list iterators are unaffected by insertion and only this
+                          thread could erase the last item in the list.
+                       */
+
                        LOG_GENERAL (
                                "Writer full (awaiting %1 [last eye was %2]); pushes %3 to disk",
                                _last_written_frame + 1,
-                               _last_written_eyes, qi.frame
+                               _last_written_eyes, i->frame
                                );
                        
-                       qi.encoded->write (_film, qi.frame, qi.eyes);
+                       i->encoded->write (_film, i->frame, i->eyes);
+                       
                        lock.lock ();
-                       qi.encoded.reset ();
+                       i->encoded.reset ();
                        --_queued_full_in_memory;
                }
 
@@ -431,13 +443,11 @@ Writer::finish ()
        }
        
        /* Hard-link the video MXF into the DCP */
-       boost::filesystem::path video_from;
-       video_from /= _film->internal_video_mxf_dir();
-       video_from /= _film->internal_video_mxf_filename();
+       boost::filesystem::path video_from = _picture_mxf->file ();
        
        boost::filesystem::path video_to;
        video_to /= _film->dir (_film->dcp_name());
-       video_to /= _film->video_mxf_filename ();
+       video_to /= video_mxf_filename (_picture_mxf);
 
        boost::system::error_code ec;
        boost::filesystem::create_hard_link (video_from, video_to, ec);
@@ -457,12 +467,12 @@ Writer::finish ()
        if (_sound_mxf) {
                boost::filesystem::path audio_to;
                audio_to /= _film->dir (_film->dcp_name ());
-               audio_to /= _film->audio_mxf_filename ();
+               audio_to /= audio_mxf_filename (_sound_mxf);
                
-               boost::filesystem::rename (_film->file (_film->audio_mxf_filename ()), audio_to, ec);
+               boost::filesystem::rename (_film->file (audio_mxf_filename (_sound_mxf)), audio_to, ec);
                if (ec) {
                        throw FileError (
-                               String::compose (_("could not move audio MXF into the DCP (%1)"), ec.value ()), _film->file (_film->audio_mxf_filename ())
+                               String::compose (_("could not move audio MXF into the DCP (%1)"), ec.value ()), audio_mxf_filename (_sound_mxf)
                                );
                }
 
@@ -500,7 +510,31 @@ Writer::finish ()
        }
 
        if (_subtitle_content) {
-               _subtitle_content->write_xml (_film->dir (_film->dcp_name ()) / _film->subtitle_xml_filename ());
+               boost::filesystem::path const liberation = shared_path () / "LiberationSans-Regular.ttf";
+
+               /* Add all the fonts to the subtitle content and as assets to the DCP */
+               BOOST_FOREACH (shared_ptr<Font> i, _fonts) {
+                       boost::filesystem::path const from = i->file.get_value_or (liberation);
+                       _subtitle_content->add_font (i->id, from.leaf().string ());
+
+                       boost::filesystem::path to = _film->dir (_film->dcp_name ()) / _subtitle_content->id ();
+                       boost::filesystem::create_directories (to, ec);
+                       if (ec) {
+                               throw FileError (_("Could not create directory"), to);
+                       }
+
+                       to /= from.leaf();
+
+                       boost::system::error_code ec;
+                       boost::filesystem::copy_file (from, to, ec);
+                       if (ec) {
+                               throw FileError ("Could not copy font to DCP", from);
+                       }
+
+                       dcp.add (shared_ptr<dcp::Font> (new dcp::Font (to)));
+               }
+
+               _subtitle_content->write_xml (_film->dir (_film->dcp_name ()) / _subtitle_content->id () / subtitle_content_filename (_subtitle_content));
                reel->add (shared_ptr<dcp::ReelSubtitleAsset> (
                                   new dcp::ReelSubtitleAsset (
                                           _subtitle_content,
@@ -551,14 +585,14 @@ bool
 Writer::check_existing_picture_mxf_frame (FILE* mxf, int f, Eyes eyes)
 {
        /* Read the frame info as written */
-       FILE* ifi = fopen_boost (_film->info_path (f, eyes), "r");
-       if (!ifi) {
+       FILE* file = fopen_boost (_film->info_file (), "rb");
+       if (!file) {
                LOG_GENERAL ("Existing frame %1 has no info file", f);
                return false;
        }
        
-       dcp::FrameInfo info (ifi);
-       fclose (ifi);
+       dcp::FrameInfo info = read_frame_info (file, f, eyes);
+       fclose (file);
        if (info.size == 0) {
                LOG_GENERAL ("Existing frame %1 has no info file", f);
                return false;
@@ -587,28 +621,18 @@ void
 Writer::check_existing_picture_mxf ()
 {
        /* Try to open the existing MXF */
-       boost::filesystem::path p;
-       p /= _film->internal_video_mxf_dir ();
-       p /= _film->internal_video_mxf_filename ();
-       FILE* mxf = fopen_boost (p, "rb");
+       FILE* mxf = fopen_boost (_picture_mxf->file(), "rb");
        if (!mxf) {
-               LOG_GENERAL ("Could not open existing MXF at %1 (errno=%2)", p.string(), errno);
+               LOG_GENERAL ("Could not open existing MXF at %1 (errno=%2)", _picture_mxf->file().string(), errno);
                return;
        }
 
-       int N = 0;
-       for (boost::filesystem::directory_iterator i (_film->info_dir ()); i != boost::filesystem::directory_iterator (); ++i) {
-               ++N;
-       }
-
        while (true) {
 
                shared_ptr<Job> job = _job.lock ();
                DCPOMATIC_ASSERT (job);
 
-               if (N > 0) {
-                       job->set_progress (float (_first_nonexistant_frame) / N);
-               }
+               job->set_progress_unknown ();
 
                if (_film->three_d ()) {
                        if (!check_existing_picture_mxf_frame (mxf, _first_nonexistant_frame, EYES_LEFT)) {
@@ -649,10 +673,12 @@ Writer::write (PlayerSubtitles subs)
                return;
        }
 
-       cout << "write " << subs.text.size() << " " << subs.from << " " << subs.to << "\n";
-       
        if (!_subtitle_content) {
-               _subtitle_content.reset (new dcp::InteropSubtitleContent (_film->name(), _film->subtitle_language ()));
+               string lang = _film->subtitle_language ();
+               if (lang.empty ()) {
+                       lang = "Unknown";
+               }
+               _subtitle_content.reset (new dcp::InteropSubtitleContent (_film->name(), lang));
        }
        
        for (list<dcp::SubtitleString>::const_iterator i = subs.text.begin(); i != subs.text.end(); ++i) {
@@ -663,18 +689,8 @@ Writer::write (PlayerSubtitles subs)
 void
 Writer::write (list<shared_ptr<Font> > fonts)
 {
-       if (fonts.empty ()) {
-               return;
-       }
-       
-       if (!_subtitle_content) {
-               _subtitle_content.reset (new dcp::InteropSubtitleContent (_film->name(), _film->subtitle_language ()));
-       }
-       
-       for (list<shared_ptr<Font> >::const_iterator i = fonts.begin(); i != fonts.end(); ++i) {
-               /* XXX: this LiberationSans-Regular needs to be a path to a DCP-o-matic-distributed copy */
-               _subtitle_content->add_font ((*i)->id, (*i)->file.get_value_or ("LiberationSans-Regular.ttf").leaf().string ());
-       }
+       /* Just keep a list of fonts and we'll deal with them in ::finish */
+       copy (fonts.begin (), fonts.end (), back_inserter (_fonts));
 }
 
 bool
@@ -692,3 +708,9 @@ operator== (QueueItem const & a, QueueItem const & b)
 {
        return a.frame == b.frame && a.eyes == b.eyes;
 }
+
+void
+Writer::set_encoder_threads (int threads)
+{
+       _maximum_frames_in_memory = rint (threads * 1.1);
+}