Rename SafeStringStream -> locked_stringstream. Bump deps for removal of stringstream.
[dcpomatic.git] / src / lib / video_decoder.cc
index 5754cb1caf712ae3314eeb4124d247011a0c1cd5..aedc1a13f0b80f09dfde79af245b7a41ff813911 100644 (file)
@@ -1,19 +1,20 @@
 /*
-    Copyright (C) 2012-2015 Carl Hetherington <cth@carlh.net>
+    Copyright (C) 2012-2016 Carl Hetherington <cth@carlh.net>
 
-    This program is free software; you can redistribute it and/or modify
+    This file is part of DCP-o-matic.
+
+    DCP-o-matic is free software; you can redistribute it and/or modify
     it under the terms of the GNU General Public License as published by
     the Free Software Foundation; either version 2 of the License, or
     (at your option) any later version.
 
-    This program is distributed in the hope that it will be useful,
+    DCP-o-matic is distributed in the hope that it will be useful,
     but WITHOUT ANY WARRANTY; without even the implied warranty of
     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
     GNU General Public License for more details.
 
     You should have received a copy of the GNU General Public License
-    along with this program; if not, write to the Free Software
-    Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
+    along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
 
 */
 
@@ -23,6 +24,8 @@
 #include "film.h"
 #include "log.h"
 #include "compose.hpp"
+#include <boost/foreach.hpp>
+#include <iostream>
 
 #include "i18n.h"
 
@@ -33,28 +36,31 @@ using std::back_inserter;
 using boost::shared_ptr;
 using boost::optional;
 
-VideoDecoder::VideoDecoder (shared_ptr<const VideoContent> c)
+VideoDecoder::VideoDecoder (Decoder* parent, shared_ptr<const Content> c, shared_ptr<Log> log)
 #ifdef DCPOMATIC_DEBUG
        : test_gaps (0)
-       , _video_content (c)
+       , _parent (parent),
+         _content (c)
 #else
-       : _video_content (c)
+        : _parent (parent)
+       , _content (c)
 #endif
+       , _log (log)
        , _last_seek_accurate (true)
-       , _ignore_video (false)
+       , _ignore (false)
 {
-       _black_image.reset (new Image (PIX_FMT_RGB24, _video_content->video_size(), true));
+       _black_image.reset (new Image (AV_PIX_FMT_RGB24, _content->video->size(), true));
        _black_image->make_black ();
 }
 
 list<ContentVideo>
-VideoDecoder::decoded_video (Frame frame)
+VideoDecoder::decoded (Frame frame)
 {
        list<ContentVideo> output;
 
-       for (list<ContentVideo>::const_iterator i = _decoded_video.begin(); i != _decoded_video.end(); ++i) {
-               if (i->frame == frame) {
-                       output.push_back (*i);
+       BOOST_FOREACH (ContentVideo const & i, _decoded) {
+               if (i.frame.index() == frame) {
+                       output.push_back (i);
                }
        }
 
@@ -67,19 +73,25 @@ VideoDecoder::decoded_video (Frame frame)
  *  @return Frames; there may be none (if there is no video there), 1 for 2D or 2 for 3D.
  */
 list<ContentVideo>
-VideoDecoder::get_video (Frame frame, bool accurate)
+VideoDecoder::get (Frame frame, bool accurate)
 {
-       /* At this stage, if we have get_video()ed before, _decoded_video will contain the last frame that this
-          method returned (and possibly a few more).  If the requested frame is not in _decoded_video and it is not the next
-          one after the end of _decoded_video we need to seek.
+       if (_no_data_frame && frame >= _no_data_frame.get()) {
+               return list<ContentVideo> ();
+       }
+
+       /* At this stage, if we have get_video()ed before, _decoded will contain the last frame that this
+          method returned (and possibly a few more).  If the requested frame is not in _decoded and it is not the next
+          one after the end of _decoded we need to seek.
        */
 
-       _video_content->film()->log()->log (String::compose ("VD has request for %1", frame), Log::TYPE_DEBUG_DECODE);
+       _log->log (String::compose ("VD has request for %1", frame), LogEntry::TYPE_DEBUG_DECODE);
 
-       if (_decoded_video.empty() || frame < _decoded_video.front().frame || frame > (_decoded_video.back().frame + 1)) {
-               seek (ContentTime::from_frames (frame, _video_content->video_frame_rate()), accurate);
+       if (_decoded.empty() || frame < _decoded.front().frame.index() || frame > (_decoded.back().frame.index() + 1)) {
+               _parent->seek (ContentTime::from_frames (frame, _content->active_video_frame_rate()), accurate);
        }
 
+       unsigned int const frames_wanted = _content->video->frame_type() == VIDEO_FRAME_TYPE_2D ? 1 : 2;
+
        list<ContentVideo> dec;
 
        /* Now enough pass() calls should either:
@@ -91,18 +103,21 @@ VideoDecoder::get_video (Frame frame, bool accurate)
                /* We are being accurate, so we want the right frame.
                 * This could all be one statement but it's split up for clarity.
                 */
+               bool no_data = false;
+
                while (true) {
-                       if (!decoded_video(frame).empty ()) {
+                       if (decoded(frame).size() == frames_wanted) {
                                /* We got what we want */
                                break;
                        }
 
-                       if (pass ()) {
+                       if (_parent->pass (Decoder::PASS_REASON_VIDEO, accurate)) {
                                /* The decoder has nothing more for us */
+                               no_data = true;
                                break;
                        }
 
-                       if (!_decoded_video.empty() && _decoded_video.front().frame > frame) {
+                       if (!_decoded.empty() && _decoded.front().frame.index() > frame) {
                                /* We're never going to get the frame we want.  Perhaps the caller is asking
                                 * for a video frame before the content's video starts (if its audio
                                 * begins before its video, for example).
@@ -111,25 +126,35 @@ VideoDecoder::get_video (Frame frame, bool accurate)
                        }
                }
 
-               dec = decoded_video (frame);
+               dec = decoded (frame);
+
+               if (no_data && dec.empty()) {
+                       _no_data_frame = frame;
+               }
+
        } else {
-               /* Any frame will do: use the first one that comes out of pass() */
-               while (_decoded_video.empty() && !pass ()) {}
-               if (!_decoded_video.empty ()) {
-                       dec.push_back (_decoded_video.front ());
+               /* Any frame(s) will do: use the first one(s) that comes out of pass() */
+               while (_decoded.size() < frames_wanted && !_parent->pass (Decoder::PASS_REASON_VIDEO, accurate)) {}
+               list<ContentVideo>::const_iterator i = _decoded.begin();
+               unsigned int j = 0;
+               while (i != _decoded.end() && j < frames_wanted) {
+                       dec.push_back (*i);
+                       ++i;
+                       ++j;
                }
        }
 
-       /* Clean up _decoded_video; keep the frame we are returning (which may have two images
-          for 3D), but nothing before that */
-       while (!_decoded_video.empty() && _decoded_video.front().frame < dec.front().frame) {
-               _decoded_video.pop_front ();
+       /* Clean up _decoded; keep the frame we are returning, if any (which may have two images
+          for 3D), but nothing before that
+       */
+       while (!_decoded.empty() && !dec.empty() && _decoded.front().frame.index() < dec.front().frame.index()) {
+               _decoded.pop_front ();
        }
 
        return dec;
 }
 
-/** Fill _decoded_video from `from' up to, but not including, `to' with
+/** Fill _decoded from `from' up to, but not including, `to' with
  *  a frame for one particular Eyes value (which could be EYES_BOTH,
  *  EYES_LEFT or EYES_RIGHT)
  */
@@ -146,32 +171,27 @@ VideoDecoder::fill_one_eye (Frame from, Frame to, Eyes eye)
        Part filler_part = PART_WHOLE;
 
        /* ...unless there's some video we can fill with */
-       if (!_decoded_video.empty ()) {
-               filler_image = _decoded_video.back().image;
-               filler_part = _decoded_video.back().part;
+       if (!_decoded.empty ()) {
+               filler_image = _decoded.back().image;
+               filler_part = _decoded.back().part;
        }
 
        for (Frame i = from; i < to; ++i) {
 #ifdef DCPOMATIC_DEBUG
                test_gaps++;
 #endif
-               _decoded_video.push_back (
-                       ContentVideo (filler_image, eye, filler_part, i)
+               _decoded.push_back (
+                       ContentVideo (filler_image, VideoFrame (i, eye), filler_part)
                        );
        }
 }
 
-/** Fill _decoded_video from `from' up to, but not including, `to'
+/** Fill _decoded from `from' up to, but not including, `to'
  *  adding both left and right eye frames.
  */
 void
-VideoDecoder::fill_both_eyes (Frame from, Frame to, Eyes eye)
+VideoDecoder::fill_both_eyes (VideoFrame from, VideoFrame to)
 {
-       if (to == 0 && eye == EYES_LEFT) {
-               /* Already OK */
-               return;
-       }
-
        /* Fill with black... */
        shared_ptr<const ImageProxy> filler_left_image (new RawImageProxy (_black_image));
        shared_ptr<const ImageProxy> filler_right_image (new RawImageProxy (_black_image));
@@ -179,11 +199,11 @@ VideoDecoder::fill_both_eyes (Frame from, Frame to, Eyes eye)
        Part filler_right_part = PART_WHOLE;
 
        /* ...unless there's some video we can fill with */
-       for (list<ContentVideo>::const_reverse_iterator i = _decoded_video.rbegin(); i != _decoded_video.rend(); ++i) {
-               if (i->eyes == EYES_LEFT && !filler_left_image) {
+       for (list<ContentVideo>::const_reverse_iterator i = _decoded.rbegin(); i != _decoded.rend(); ++i) {
+               if (i->frame.eyes() == EYES_LEFT && !filler_left_image) {
                        filler_left_image = i->image;
                        filler_left_part = i->part;
-               } else if (i->eyes == EYES_RIGHT && !filler_right_image) {
+               } else if (i->frame.eyes() == EYES_RIGHT && !filler_right_image) {
                        filler_right_image = i->image;
                        filler_right_part = i->part;
                }
@@ -193,147 +213,142 @@ VideoDecoder::fill_both_eyes (Frame from, Frame to, Eyes eye)
                }
        }
 
-       Frame filler_frame = from;
-       Eyes filler_eye = _decoded_video.empty() ? EYES_LEFT : _decoded_video.back().eyes;
-
-       if (_decoded_video.empty ()) {
-               filler_frame = 0;
-               filler_eye = EYES_LEFT;
-       } else if (_decoded_video.back().eyes == EYES_LEFT) {
-               filler_frame = _decoded_video.back().frame;
-               filler_eye = EYES_RIGHT;
-       } else if (_decoded_video.back().eyes == EYES_RIGHT) {
-               filler_frame = _decoded_video.back().frame + 1;
-               filler_eye = EYES_LEFT;
-       }
-
-       while (filler_frame != to || filler_eye != eye) {
+       while (from != to) {
 
 #ifdef DCPOMATIC_DEBUG
                test_gaps++;
 #endif
 
-               _decoded_video.push_back (
+               _decoded.push_back (
                        ContentVideo (
-                               filler_eye == EYES_LEFT ? filler_left_image : filler_right_image,
-                               filler_eye,
-                               filler_eye == EYES_LEFT ? filler_left_part : filler_right_part,
-                               filler_frame
+                               from.eyes() == EYES_LEFT ? filler_left_image : filler_right_image,
+                               from,
+                               from.eyes() == EYES_LEFT ? filler_left_part : filler_right_part
                                )
                        );
 
-               if (filler_eye == EYES_LEFT) {
-                       filler_eye = EYES_RIGHT;
-               } else {
-                       filler_eye = EYES_LEFT;
-                       ++filler_frame;
-               }
+               ++from;
        }
 }
 
-/** Called by subclasses when they have a video frame ready */
+/** Called by decoder classes when they have a video frame ready */
 void
-VideoDecoder::video (shared_ptr<const ImageProxy> image, Frame frame)
+VideoDecoder::give (shared_ptr<const ImageProxy> image, Frame frame)
 {
-       if (_ignore_video) {
+       if (_ignore) {
                return;
        }
 
-       _video_content->film()->log()->log (String::compose ("VD receives %1", frame), Log::TYPE_DEBUG_DECODE);
-
-       /* We may receive the same frame index twice for 3D, and we need to know
-          when that happens.
-       */
-       bool const same = (!_decoded_video.empty() && frame == _decoded_video.back().frame);
+       _log->log (String::compose ("VD receives %1", frame), LogEntry::TYPE_DEBUG_DECODE);
 
-       /* Work out what we are going to push into _decoded_video next */
+       /* Work out what we are going to push into _decoded next */
        list<ContentVideo> to_push;
-       switch (_video_content->video_frame_type ()) {
+       switch (_content->video->frame_type ()) {
        case VIDEO_FRAME_TYPE_2D:
-               to_push.push_back (ContentVideo (image, EYES_BOTH, PART_WHOLE, frame));
+               to_push.push_back (ContentVideo (image, VideoFrame (frame, EYES_BOTH), PART_WHOLE));
                break;
+       case VIDEO_FRAME_TYPE_3D:
        case VIDEO_FRAME_TYPE_3D_ALTERNATE:
-               to_push.push_back (ContentVideo (image, same ? EYES_RIGHT : EYES_LEFT, PART_WHOLE, frame));
+       {
+               /* We receive the same frame index twice for 3D-alternate; hence we know which
+                  frame this one is.
+               */
+               bool const same = (!_decoded.empty() && frame == _decoded.back().frame.index());
+               to_push.push_back (ContentVideo (image, VideoFrame (frame, same ? EYES_RIGHT : EYES_LEFT), PART_WHOLE));
                break;
+       }
        case VIDEO_FRAME_TYPE_3D_LEFT_RIGHT:
-               to_push.push_back (ContentVideo (image, EYES_LEFT, PART_LEFT_HALF, frame));
-               to_push.push_back (ContentVideo (image, EYES_RIGHT, PART_RIGHT_HALF, frame));
+               to_push.push_back (ContentVideo (image, VideoFrame (frame, EYES_LEFT), PART_LEFT_HALF));
+               to_push.push_back (ContentVideo (image, VideoFrame (frame, EYES_RIGHT), PART_RIGHT_HALF));
                break;
        case VIDEO_FRAME_TYPE_3D_TOP_BOTTOM:
-               to_push.push_back (ContentVideo (image, EYES_LEFT, PART_TOP_HALF, frame));
-               to_push.push_back (ContentVideo (image, EYES_RIGHT, PART_BOTTOM_HALF, frame));
+               to_push.push_back (ContentVideo (image, VideoFrame (frame, EYES_LEFT), PART_TOP_HALF));
+               to_push.push_back (ContentVideo (image, VideoFrame (frame, EYES_RIGHT), PART_BOTTOM_HALF));
                break;
        case VIDEO_FRAME_TYPE_3D_LEFT:
-               to_push.push_back (ContentVideo (image, EYES_LEFT, PART_WHOLE, frame));
+               to_push.push_back (ContentVideo (image, VideoFrame (frame, EYES_LEFT), PART_WHOLE));
                break;
        case VIDEO_FRAME_TYPE_3D_RIGHT:
-               to_push.push_back (ContentVideo (image, EYES_RIGHT, PART_WHOLE, frame));
+               to_push.push_back (ContentVideo (image, VideoFrame (frame, EYES_RIGHT), PART_WHOLE));
                break;
        default:
                DCPOMATIC_ASSERT (false);
        }
 
        /* Now VideoDecoder is required never to have gaps in the frames that it presents
-          via get_video().  Hence we need to fill in any gap between the last thing in _decoded_video
+          via get_video().  Hence we need to fill in any gap between the last thing in _decoded
           and the things we are about to push.
        */
 
-       optional<Frame> from;
-       optional<Frame> to;
+       optional<VideoFrame> from;
 
-       if (_decoded_video.empty() && _last_seek_time && _last_seek_accurate) {
-               from = _last_seek_time->frames_round (_video_content->video_frame_rate ());
-               to = to_push.front().frame;
-       } else if (!_decoded_video.empty ()) {
-               from = _decoded_video.back().frame + 1;
-               to = to_push.front().frame;
+       if (_decoded.empty() && _last_seek_time && _last_seek_accurate) {
+               from = VideoFrame (
+                       _last_seek_time->frames_round (_content->active_video_frame_rate ()),
+                       _content->video->frame_type() == VIDEO_FRAME_TYPE_2D ? EYES_BOTH : EYES_LEFT
+                       );
+       } else if (!_decoded.empty ()) {
+               from = _decoded.back().frame;
+               ++(*from);
        }
 
        /* If we've pre-rolled on a seek we may now receive out-of-order frames
           (frames before the last seek time) which we can just ignore.
        */
-
-       if (from && to && from.get() > to.get()) {
+       if (from && (*from) > to_push.front().frame) {
                return;
        }
 
-       if (from) {
-               switch (_video_content->video_frame_type ()) {
-               case VIDEO_FRAME_TYPE_2D:
-                       fill_one_eye (from.get(), to.get (), EYES_BOTH);
-                       break;
-               case VIDEO_FRAME_TYPE_3D_LEFT_RIGHT:
-               case VIDEO_FRAME_TYPE_3D_TOP_BOTTOM:
-               case VIDEO_FRAME_TYPE_3D_ALTERNATE:
-                       fill_both_eyes (from.get(), to.get(), to_push.front().eyes);
-                       break;
-               case VIDEO_FRAME_TYPE_3D_LEFT:
-                       fill_one_eye (from.get(), to.get (), EYES_LEFT);
-                       break;
-               case VIDEO_FRAME_TYPE_3D_RIGHT:
-                       fill_one_eye (from.get(), to.get (), EYES_RIGHT);
+       int const max_decoded_size = 96;
+
+       /* If _decoded is already `full' there is no point in adding anything more to it,
+          as the new stuff will just be removed again.
+       */
+       if (_decoded.size() < max_decoded_size) {
+               if (from) {
+                       switch (_content->video->frame_type ()) {
+                       case VIDEO_FRAME_TYPE_2D:
+                               fill_one_eye (from->index(), to_push.front().frame.index(), EYES_BOTH);
+                               break;
+                       case VIDEO_FRAME_TYPE_3D:
+                       case VIDEO_FRAME_TYPE_3D_LEFT_RIGHT:
+                       case VIDEO_FRAME_TYPE_3D_TOP_BOTTOM:
+                       case VIDEO_FRAME_TYPE_3D_ALTERNATE:
+                               fill_both_eyes (from.get(), to_push.front().frame);
+                               break;
+                       case VIDEO_FRAME_TYPE_3D_LEFT:
+                               fill_one_eye (from->index(), to_push.front().frame.index(), EYES_LEFT);
+                               break;
+                       case VIDEO_FRAME_TYPE_3D_RIGHT:
+                               fill_one_eye (from->index(), to_push.front().frame.index(), EYES_RIGHT);
+                               break;
+                       }
                }
-       }
 
-       copy (to_push.begin(), to_push.end(), back_inserter (_decoded_video));
+               copy (to_push.begin(), to_push.end(), back_inserter (_decoded));
+       }
 
-       /* We can't let this build up too much or we will run out of memory.  We need to allow
-          the most frames that can exist between blocks of sound in a multiplexed file.
+       /* We can't let this build up too much or we will run out of memory.  There is a
+          `best' value for the allowed size of _decoded which balances memory use
+          with decoding efficiency (lack of seeks).  Throwing away video frames here
+          is not a problem for correctness, so do it.
        */
-       DCPOMATIC_ASSERT (_decoded_video.size() <= 96);
+       while (_decoded.size() > max_decoded_size) {
+               _decoded.pop_back ();
+       }
 }
 
 void
 VideoDecoder::seek (ContentTime s, bool accurate)
 {
-       _decoded_video.clear ();
+       _decoded.clear ();
        _last_seek_time = s;
        _last_seek_accurate = accurate;
 }
 
-/** Set this player never to produce any video data */
+/** Set this decoder never to produce any data */
 void
-VideoDecoder::set_ignore_video ()
+VideoDecoder::set_ignore ()
 {
-       _ignore_video = true;
+       _ignore = true;
 }