Barely-functioning GL playback with new arrangement.
[dcpomatic.git] / src / lib / video_decoder.cc
index 34299bd3c1c87d781312e2e80853e3c260d8cb4f..508ed90b71c71f62e874f0a763b4b19f2d9db8d7 100644 (file)
 /*
-    Copyright (C) 2012-2014 Carl Hetherington <cth@carlh.net>
+    Copyright (C) 2012-2018 Carl Hetherington <cth@carlh.net>
 
-    This program is free software; you can redistribute it and/or modify
+    This file is part of DCP-o-matic.
+
+    DCP-o-matic is free software; you can redistribute it and/or modify
     it under the terms of the GNU General Public License as published by
     the Free Software Foundation; either version 2 of the License, or
     (at your option) any later version.
 
-    This program is distributed in the hope that it will be useful,
+    DCP-o-matic is distributed in the hope that it will be useful,
     but WITHOUT ANY WARRANTY; without even the implied warranty of
     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
     GNU General Public License for more details.
 
     You should have received a copy of the GNU General Public License
-    along with this program; if not, write to the Free Software
-    Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
+    along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
 
 */
 
 #include "video_decoder.h"
 #include "image.h"
-#include "content_video.h"
+#include "raw_image_proxy.h"
+#include "film.h"
+#include "log.h"
+#include "compose.hpp"
+#include <boost/foreach.hpp>
+#include <iostream>
 
 #include "i18n.h"
 
 using std::cout;
 using std::list;
+using std::max;
+using std::back_inserter;
 using boost::shared_ptr;
 using boost::optional;
+using namespace dcpomatic;
 
-VideoDecoder::VideoDecoder (shared_ptr<const VideoContent> c)
-       : _video_content (c)
+VideoDecoder::VideoDecoder (Decoder* parent, shared_ptr<const Content> c)
+       : DecoderPart (parent)
+       , _content (c)
 {
 
 }
 
-optional<ContentVideo>
-VideoDecoder::decoded_video (VideoFrame frame)
+/** Called by decoder classes when they have a video frame ready.
+ *  @param frame Frame index within the content; this does not take into account 3D
+ *  so for 3D_ALTERNATE this value goes:
+ *     0: frame 0 left
+ *     1: frame 0 right
+ *     2: frame 1 left
+ *     3: frame 1 right
+ *  and so on.
+ */
+void
+VideoDecoder::emit (shared_ptr<const Film> film, shared_ptr<const ImageProxy> image, Frame decoder_frame)
 {
-       for (list<ContentVideo>::const_iterator i = _decoded_video.begin(); i != _decoded_video.end(); ++i) {
-               if (i->frame == frame) {
-                       return *i;
-               }
+       if (ignore ()) {
+               return;
        }
 
-       return optional<ContentVideo> ();
-}
+       /* Before we `re-write' the frame indexes of these incoming data we need to check for
+          the case where the user has some 2D content which they have marked as 3D.  With 3D
+          we should get two frames for each frame index, but in this `bad' case we only get
+          one.  We need to throw an exception if this happens.
+       */
 
-optional<ContentVideo>
-VideoDecoder::get_video (VideoFrame frame, bool accurate)
-{
-       if (_decoded_video.empty() || (frame < _decoded_video.front().frame || frame > (_decoded_video.back().frame + 1))) {
-               /* Either we have no decoded data, or what we do have is a long way from what we want: seek */
-               seek (ContentTime::from_frames (frame, _video_content->video_frame_rate()), accurate);
+       if (_content->video->frame_type() == VIDEO_FRAME_TYPE_3D) {
+               if (_last_threed_frames.size() > 4) {
+                       _last_threed_frames.erase (_last_threed_frames.begin());
+               }
+               _last_threed_frames.push_back (decoder_frame);
+               if (_last_threed_frames.size() == 4) {
+                       if (_last_threed_frames[0] != _last_threed_frames[1] || _last_threed_frames[2] != _last_threed_frames[3]) {
+                               boost::throw_exception (
+                                       DecodeError(
+                                               String::compose(
+                                                       _("The content file %1 is set as 3D but does not appear to contain 3D images.  Please set it to 2D.  "
+                                                         "You can still make a 3D DCP from this content by ticking the 3D option in the DCP video tab."),
+                                                       _content->path(0)
+                                                       )
+                                               )
+                                       );
+                       }
+               }
        }
 
-       optional<ContentVideo> dec;
-
-       /* Now enough pass() calls will either:
-        *  (a) give us what we want, or
-        *  (b) hit the end of the decoder.
-        */
-       if (accurate) {
-               /* We are being accurate, so we want the right frame */
-               while (!decoded_video (frame) && !pass ()) {}
-               dec = decoded_video (frame);
+       double const afr = _content->active_video_frame_rate(film);
+
+       Frame frame;
+       Eyes eyes = EYES_BOTH;
+       if (!_position) {
+               /* This is the first data we have received since initialisation or seek.  Set
+                  the position based on the frame that was given.  After this first time
+                  we just cound frames, since (as with audio) it seems that ContentTimes
+                  are unreliable from FFmpegDecoder.  They are much better than audio times
+                  but still we get the occasional one which is duplicated.  In this case
+                  ffmpeg seems to carry on regardless, processing the video frame as normal.
+                  If we drop the frame with the duplicated timestamp we obviously lose sync.
+               */
+               _position = ContentTime::from_frames (decoder_frame, afr);
+               if (_content->video->frame_type() == VIDEO_FRAME_TYPE_3D_ALTERNATE) {
+                       frame = decoder_frame / 2;
+                       _last_emitted_eyes = EYES_RIGHT;
+               } else {
+                       frame = decoder_frame;
+               }
        } else {
-               /* Any frame will do: use the first one that comes out of pass() */
-               while (_decoded_video.empty() && !pass ()) {}
-               if (!_decoded_video.empty ()) {
-                       dec = _decoded_video.front ();
+               VideoFrameType const ft = _content->video->frame_type ();
+               if (ft == VIDEO_FRAME_TYPE_3D_ALTERNATE || ft == VIDEO_FRAME_TYPE_3D) {
+                       DCPOMATIC_ASSERT (_last_emitted_eyes);
+                       if (_last_emitted_eyes.get() == EYES_RIGHT) {
+                               frame = _position->frames_round(afr) + 1;
+                               eyes = EYES_LEFT;
+                       } else {
+                               frame = _position->frames_round(afr);
+                               eyes = EYES_RIGHT;
+                       }
+               } else {
+                       frame = _position->frames_round(afr) + 1;
                }
        }
 
-       /* Clean up decoded_video */
-       while (!_decoded_video.empty() && _decoded_video.front().frame < (frame - 1)) {
-               _decoded_video.pop_front ();
-       }
-
-       return dec;
-}
-
-
-/** Called by subclasses when they have a video frame ready */
-void
-VideoDecoder::video (shared_ptr<const Image> image, VideoFrame frame)
-{
-       /* Fill in gaps */
-       /* XXX: 3D */
-       while (!_decoded_video.empty () && (_decoded_video.back().frame + 1) < frame) {
-               _decoded_video.push_back (
-                       ContentVideo (
-                               _decoded_video.back().image,
-                               _decoded_video.back().eyes,
-                               _decoded_video.back().frame + 1
-                               )
-                       );
-       }
-       
-       switch (_video_content->video_frame_type ()) {
+       switch (_content->video->frame_type ()) {
        case VIDEO_FRAME_TYPE_2D:
-               _decoded_video.push_back (ContentVideo (image, EYES_BOTH, frame));
-               break;
-       case VIDEO_FRAME_TYPE_3D_ALTERNATE:
-               _decoded_video.push_back (ContentVideo (image, (frame % 2) ? EYES_RIGHT : EYES_LEFT, frame));
+               Data (ContentVideo (image, frame, EYES_BOTH, PART_WHOLE));
                break;
-       case VIDEO_FRAME_TYPE_3D_LEFT_RIGHT:
+       case VIDEO_FRAME_TYPE_3D:
        {
-               int const half = image->size().width / 2;
-               _decoded_video.push_back (ContentVideo (image->crop (Crop (0, half, 0, 0), true), EYES_LEFT, frame));
-               _decoded_video.push_back (ContentVideo (image->crop (Crop (half, 0, 0, 0), true), EYES_RIGHT, frame));
+               Data (ContentVideo (image, frame, eyes, PART_WHOLE));
+               _last_emitted_frame = frame;
+               _last_emitted_eyes = eyes;
                break;
        }
-       case VIDEO_FRAME_TYPE_3D_TOP_BOTTOM:
+       case VIDEO_FRAME_TYPE_3D_ALTERNATE:
        {
-               int const half = image->size().height / 2;
-               _decoded_video.push_back (ContentVideo (image->crop (Crop (0, 0, 0, half), true), EYES_LEFT, frame));
-               _decoded_video.push_back (ContentVideo (image->crop (Crop (0, 0, half, 0), true), EYES_RIGHT, frame));
+               Data (ContentVideo (image, frame, eyes, PART_WHOLE));
+               _last_emitted_eyes = eyes;
                break;
        }
+       case VIDEO_FRAME_TYPE_3D_LEFT_RIGHT:
+               Data (ContentVideo (image, frame, EYES_LEFT, PART_LEFT_HALF));
+               Data (ContentVideo (image, frame, EYES_RIGHT, PART_RIGHT_HALF));
+               break;
+       case VIDEO_FRAME_TYPE_3D_TOP_BOTTOM:
+               Data (ContentVideo (image, frame, EYES_LEFT, PART_TOP_HALF));
+               Data (ContentVideo (image, frame, EYES_RIGHT, PART_BOTTOM_HALF));
+               break;
+       case VIDEO_FRAME_TYPE_3D_LEFT:
+               Data (ContentVideo (image, frame, EYES_LEFT, PART_WHOLE));
+               break;
+       case VIDEO_FRAME_TYPE_3D_RIGHT:
+               Data (ContentVideo (image, frame, EYES_RIGHT, PART_WHOLE));
+               break;
        default:
-               assert (false);
+               DCPOMATIC_ASSERT (false);
        }
+
+       _position = ContentTime::from_frames (frame, afr);
 }
 
 void
-VideoDecoder::seek (ContentTime, bool)
+VideoDecoder::seek ()
 {
-       _decoded_video.clear ();
+       _position = boost::optional<ContentTime>();
+       _last_emitted_frame.reset ();
+       _last_emitted_eyes.reset ();
 }
-