Various bits related to subtitle font handling, particularly copying fonts to the...
[dcpomatic.git] / src / lib / writer.cc
index f844a139a7bd08a004755859da8e653c6a5a5cb4..9f6886a2103e4709a0883f315bdb81266c606d92 100644 (file)
@@ -1,5 +1,5 @@
 /*
-    Copyright (C) 2012-2014 Carl Hetherington <cth@carlh.net>
+    Copyright (C) 2012-2015 Carl Hetherington <cth@carlh.net>
 
     This program is free software; you can redistribute it and/or modify
     it under the terms of the GNU General Public License as published by
@@ -46,6 +46,8 @@
 #include <dcp/cpl.h>
 #include <dcp/signer.h>
 #include <dcp/interop_subtitle_content.h>
+#include <dcp/font.h>
+#include <boost/foreach.hpp>
 #include <fstream>
 #include <cerrno>
 
 #define LOG_GENERAL(...) _film->log()->log (String::compose (__VA_ARGS__), Log::TYPE_GENERAL);
 #define LOG_TIMING(...) _film->log()->microsecond_log (String::compose (__VA_ARGS__), Log::TYPE_TIMING);
 #define LOG_WARNING_NC(...) _film->log()->log (__VA_ARGS__, Log::TYPE_WARNING);
+#define LOG_WARNING(...) _film->log()->log (String::compose (__VA_ARGS__), Log::TYPE_WARNING);
 #define LOG_ERROR(...) _film->log()->log (String::compose (__VA_ARGS__), Log::TYPE_ERROR);
+#define LOG_DEBUG(...) _film->log()->log (String::compose (__VA_ARGS__), Log::TYPE_DEBUG);
+#define LOG_DEBUG_NC(...) _film->log()->log (__VA_ARGS__, Log::TYPE_DEBUG);
 
 /* OS X strikes again */
 #undef set_key
@@ -68,8 +73,6 @@ using boost::shared_ptr;
 using boost::weak_ptr;
 using boost::dynamic_pointer_cast;
 
-int const Writer::_maximum_frames_in_memory = Config::instance()->num_local_encoding_threads() + 4;
-
 Writer::Writer (shared_ptr<const Film> f, weak_ptr<Job> j)
        : _film (f)
        , _job (j)
@@ -89,9 +92,6 @@ Writer::Writer (shared_ptr<const Film> f, weak_ptr<Job> j)
        shared_ptr<Job> job = _job.lock ();
        DCPOMATIC_ASSERT (job);
 
-       job->sub (_("Checking existing image data"));
-       check_existing_picture_mxf ();
-
        /* Create our picture asset in a subdirectory, named according to those
           film's parameters which affect the video output.  We will hard-link
           it into the DCP later.
@@ -103,6 +103,9 @@ Writer::Writer (shared_ptr<const Film> f, weak_ptr<Job> j)
                _picture_mxf.reset (new dcp::MonoPictureMXF (dcp::Fraction (_film->video_frame_rate (), 1)));
        }
 
+       job->sub (_("Checking existing image data"));
+       check_existing_picture_mxf ();
+
        _picture_mxf->set_size (_film->frame_size ());
 
        if (_film->encrypted ()) {
@@ -148,7 +151,7 @@ Writer::write (shared_ptr<const EncodedData> encoded, int frame, Eyes eyes)
 {
        boost::mutex::scoped_lock lock (_mutex);
 
-       while (_queued_full_in_memory > _maximum_frames_in_memory) {
+       while (_queued_full_in_memory > maximum_frames_in_memory ()) {
                /* The queue is too big; wait until that is sorted out */
                _full_condition.wait (lock);
        }
@@ -181,14 +184,17 @@ Writer::fake_write (int frame, Eyes eyes)
 {
        boost::mutex::scoped_lock lock (_mutex);
 
-       while (_queued_full_in_memory > _maximum_frames_in_memory) {
+       while (_queued_full_in_memory > maximum_frames_in_memory ()) {
                /* The queue is too big; wait until that is sorted out */
                _full_condition.wait (lock);
        }
        
-       FILE* ifi = fopen_boost (_film->info_path (frame, eyes), "r");
-       dcp::FrameInfo info (ifi);
-       fclose (ifi);
+       FILE* file = fopen_boost (_film->info_file (), "rb");
+       if (!file) {
+               throw ReadFileError (_film->info_file ());
+       }
+       dcp::FrameInfo info = read_frame_info (file, frame, eyes);
+       fclose (file);
        
        QueueItem qi;
        qi.type = QueueItem::FAKE;
@@ -255,9 +261,12 @@ try
        {
                boost::mutex::scoped_lock lock (_mutex);
 
+               /* This is for debugging only */
+               bool done_something = false;
+
                while (true) {
                        
-                       if (_finish || _queued_full_in_memory > _maximum_frames_in_memory || have_sequenced_image_at_queue_head ()) {
+                       if (_finish || _queued_full_in_memory > maximum_frames_in_memory () || have_sequenced_image_at_queue_head ()) {
                                /* We've got something to do: go and do it */
                                break;
                        }
@@ -272,8 +281,30 @@ try
                        return;
                }
 
+               /* We stop here if we have been asked to finish, and if either the queue
+                  is empty or we do not have a sequenced image at its head (if this is the
+                  case we will never terminate as no new frames will be sent once
+                  _finish is true).
+               */
+               if (_finish && (!have_sequenced_image_at_queue_head() || _queue.empty())) {
+                       done_something = true;
+                       /* (Hopefully temporarily) log anything that was not written */
+                       if (!_queue.empty() && !have_sequenced_image_at_queue_head()) {
+                               LOG_WARNING (N_("Finishing writer with a left-over queue of %1:"), _queue.size());
+                               for (list<QueueItem>::const_iterator i = _queue.begin(); i != _queue.end(); ++i) {
+                                       if (i->type == QueueItem::FULL) {
+                                               LOG_WARNING (N_("- type FULL, frame %1, eyes %2"), i->frame, i->eyes);
+                                       } else {
+                                               LOG_WARNING (N_("- type FAKE, size %1, frame %2, eyes %3"), i->size, i->frame, i->eyes);
+                                       }                                               
+                               }
+                               LOG_WARNING (N_("Last written frame %1, last written eyes %2"), _last_written_frame, _last_written_eyes);
+                       }
+                       return;
+               }
                /* Write any frames that we can write; i.e. those that are in sequence. */
                while (have_sequenced_image_at_queue_head ()) {
+                       done_something = true;
                        QueueItem qi = _queue.front ();
                        _queue.pop_front ();
                        if (qi.type == QueueItem::FULL && qi.encoded) {
@@ -321,7 +352,8 @@ try
                        }
                }
 
-               while (_queued_full_in_memory > _maximum_frames_in_memory) {
+               while (_queued_full_in_memory > maximum_frames_in_memory ()) {
+                       done_something = true;
                        /* Too many frames in memory which can't yet be written to the stream.
                           Write some FULL frames to disk.
                        */
@@ -352,6 +384,14 @@ try
                        --_queued_full_in_memory;
                }
 
+               if (!done_something) {
+                       LOG_DEBUG_NC ("Writer loop ran without doing anything");
+                       LOG_DEBUG ("_queued_full_in_memory=%1", _queued_full_in_memory);
+                       LOG_DEBUG ("_queue_size=%1", _queue.size ());
+                       LOG_DEBUG ("_finish=%1", _finish);
+                       LOG_DEBUG ("_last_written_frame=%1", _last_written_frame);
+               }
+
                /* The queue has probably just gone down a bit; notify anything wait()ing on _full_condition */
                _full_condition.notify_all ();
        }
@@ -398,9 +438,7 @@ Writer::finish ()
        }
        
        /* Hard-link the video MXF into the DCP */
-       boost::filesystem::path video_from;
-       video_from /= _film->internal_video_mxf_dir();
-       video_from /= _film->internal_video_mxf_filename();
+       boost::filesystem::path video_from = _picture_mxf->file ();
        
        boost::filesystem::path video_to;
        video_to /= _film->dir (_film->dcp_name());
@@ -478,6 +516,24 @@ Writer::finish ()
                                   ));
                
                dcp.add (_subtitle_content);
+
+               boost::filesystem::path const liberation = shared_path () / "LiberationSans-Regular.ttf";
+
+               /* Add all the fonts to the subtitle content and as assets to the DCP */
+               BOOST_FOREACH (shared_ptr<Font> i, _fonts) {
+                       boost::filesystem::path const from = i->file.get_value_or (liberation);
+                       _subtitle_content->add_font (i->id, from.leaf().string ());
+
+                       boost::filesystem::path to = _film->dir (_film->dcp_name ()) / from.leaf();
+
+                       boost::system::error_code ec;
+                       boost::filesystem::copy_file (from, to, ec);
+                       if (!ec) {
+                               dcp.add (shared_ptr<dcp::Font> (new dcp::Font (to)));
+                       } else {
+                               LOG_WARNING_NC (String::compose ("Could not copy font %1 to DCP", from.string ()));
+                       }
+               }
        }
        
        cpl->add (reel);
@@ -518,14 +574,14 @@ bool
 Writer::check_existing_picture_mxf_frame (FILE* mxf, int f, Eyes eyes)
 {
        /* Read the frame info as written */
-       FILE* ifi = fopen_boost (_film->info_path (f, eyes), "r");
-       if (!ifi) {
+       FILE* file = fopen_boost (_film->info_file (), "rb");
+       if (!file) {
                LOG_GENERAL ("Existing frame %1 has no info file", f);
                return false;
        }
        
-       dcp::FrameInfo info (ifi);
-       fclose (ifi);
+       dcp::FrameInfo info = read_frame_info (file, f, eyes);
+       fclose (file);
        if (info.size == 0) {
                LOG_GENERAL ("Existing frame %1 has no info file", f);
                return false;
@@ -554,28 +610,18 @@ void
 Writer::check_existing_picture_mxf ()
 {
        /* Try to open the existing MXF */
-       boost::filesystem::path p;
-       p /= _film->internal_video_mxf_dir ();
-       p /= _film->internal_video_mxf_filename ();
-       FILE* mxf = fopen_boost (p, "rb");
+       FILE* mxf = fopen_boost (_picture_mxf->file(), "rb");
        if (!mxf) {
-               LOG_GENERAL ("Could not open existing MXF at %1 (errno=%2)", p.string(), errno);
+               LOG_GENERAL ("Could not open existing MXF at %1 (errno=%2)", _picture_mxf->file().string(), errno);
                return;
        }
 
-       int N = 0;
-       for (boost::filesystem::directory_iterator i (_film->info_dir ()); i != boost::filesystem::directory_iterator (); ++i) {
-               ++N;
-       }
-
        while (true) {
 
                shared_ptr<Job> job = _job.lock ();
                DCPOMATIC_ASSERT (job);
 
-               if (N > 0) {
-                       job->set_progress (float (_first_nonexistant_frame) / N);
-               }
+               job->set_progress_unknown ();
 
                if (_film->three_d ()) {
                        if (!check_existing_picture_mxf_frame (mxf, _first_nonexistant_frame, EYES_LEFT)) {
@@ -615,7 +661,7 @@ Writer::write (PlayerSubtitles subs)
        if (subs.text.empty ()) {
                return;
        }
-       
+
        if (!_subtitle_content) {
                _subtitle_content.reset (new dcp::InteropSubtitleContent (_film->name(), _film->subtitle_language ()));
        }
@@ -628,18 +674,8 @@ Writer::write (PlayerSubtitles subs)
 void
 Writer::write (list<shared_ptr<Font> > fonts)
 {
-       if (fonts.empty ()) {
-               return;
-       }
-       
-       if (!_subtitle_content) {
-               _subtitle_content.reset (new dcp::InteropSubtitleContent (_film->name(), _film->subtitle_language ()));
-       }
-       
-       for (list<shared_ptr<Font> >::const_iterator i = fonts.begin(); i != fonts.end(); ++i) {
-               /* XXX: this LiberationSans-Regular needs to be a path to a DCP-o-matic-distributed copy */
-               _subtitle_content->add_font ((*i)->id, (*i)->file.get_value_or ("LiberationSans-Regular.ttf").leaf().string ());
-       }
+       /* Just keep a list of fonts and we'll deal with them in ::finish */
+       copy (fonts.begin (), fonts.end (), back_inserter (_fonts));
 }
 
 bool
@@ -657,3 +693,9 @@ operator== (QueueItem const & a, QueueItem const & b)
 {
        return a.frame == b.frame && a.eyes == b.eyes;
 }
+
+int
+Writer::maximum_frames_in_memory () const
+{
+       return Config::instance()->num_local_encoding_threads() + 4;
+}