Don't trust video timestamps from FFmpegDecoder.
[dcpomatic.git] / src / lib / video_decoder.cc
1 /*
2     Copyright (C) 2012-2018 Carl Hetherington <cth@carlh.net>
3
4     This file is part of DCP-o-matic.
5
6     DCP-o-matic is free software; you can redistribute it and/or modify
7     it under the terms of the GNU General Public License as published by
8     the Free Software Foundation; either version 2 of the License, or
9     (at your option) any later version.
10
11     DCP-o-matic is distributed in the hope that it will be useful,
12     but WITHOUT ANY WARRANTY; without even the implied warranty of
13     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14     GNU General Public License for more details.
15
16     You should have received a copy of the GNU General Public License
17     along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
18
19 */
20
21 #include "video_decoder.h"
22 #include "image.h"
23 #include "raw_image_proxy.h"
24 #include "film.h"
25 #include "log.h"
26 #include "compose.hpp"
27 #include <boost/foreach.hpp>
28 #include <iostream>
29
30 #include "i18n.h"
31
32 using std::cout;
33 using std::list;
34 using std::max;
35 using std::back_inserter;
36 using boost::shared_ptr;
37 using boost::optional;
38 using namespace dcpomatic;
39
40 VideoDecoder::VideoDecoder (Decoder* parent, shared_ptr<const Content> c)
41         : DecoderPart (parent)
42         , _content (c)
43 {
44
45 }
46
47 /** Called by decoder classes when they have a video frame ready.
48  *  @param frame Frame index within the content; this does not take into account 3D
49  *  so for 3D_ALTERNATE this value goes:
50  *     0: frame 0 left
51  *     1: frame 0 right
52  *     2: frame 1 left
53  *     3: frame 1 right
54  *  and so on.
55  */
56 void
57 VideoDecoder::emit (shared_ptr<const Film> film, shared_ptr<const ImageProxy> image, Frame decoder_frame)
58 {
59         if (ignore ()) {
60                 return;
61         }
62
63         double const afr = _content->active_video_frame_rate(film);
64
65         Frame frame;
66         if (!_position) {
67                 /* This is the first data we have received since initialisation or seek.  Set
68                    the position based on the frame that was given.  After this first time
69                    we just cound frames, since (as with audio) it seems that ContentTimes
70                    are unreliable from FFmpegDecoder.  They are much better than audio times
71                    but still we get the occasional one which is duplicated.  In this case
72                    ffmpeg seems to carry on regardless, processing the video frame as normal.
73                    If we drop the frame with the duplicated timestamp we obviously lose sync.
74                 */
75                 _position = ContentTime::from_frames (decoder_frame, afr);
76                 if (_content->video->frame_type() == VIDEO_FRAME_TYPE_3D_ALTERNATE) {
77                         frame = decoder_frame / 2;
78                         _last_emitted_eyes = EYES_RIGHT;
79                 } else {
80                         frame = decoder_frame;
81                 }
82         } else {
83                 if (_content->video->frame_type() == VIDEO_FRAME_TYPE_3D_ALTERNATE) {
84                         DCPOMATIC_ASSERT (_last_emitted_eyes);
85                         if (_last_emitted_eyes.get() == EYES_RIGHT) {
86                                 frame = _position->frames_round(afr) + 1;
87                         } else {
88                                 frame = _position->frames_round(afr);
89                         }
90                 } else {
91                         frame = _position->frames_round(afr) + 1;
92                 }
93         }
94
95         switch (_content->video->frame_type ()) {
96         case VIDEO_FRAME_TYPE_2D:
97                 Data (ContentVideo (image, frame, EYES_BOTH, PART_WHOLE));
98                 break;
99         case VIDEO_FRAME_TYPE_3D:
100         {
101                 /* We should receive the same frame index twice for 3D; hence we know which
102                    frame this one is.
103                 */
104                 bool const same = (_last_emitted_frame && _last_emitted_frame.get() == frame);
105                 if (!same && _last_emitted_eyes && *_last_emitted_eyes == EYES_LEFT) {
106                         /* We just got a new frame index but the last frame was left-eye; it looks like
107                            this content is not really 3D.
108                         */
109                         boost::throw_exception (
110                                 DecodeError(
111                                         String::compose(
112                                                 _("The content file %1 is set as 3D but does not appear to contain 3D images.  Please set it to 2D.  "
113                                                   "You can still make a 3D DCP from this content by ticking the 3D option in the DCP video tab."),
114                                                 _content->path(0)
115                                                 )
116                                         )
117                                 );
118                 }
119                 Eyes const eyes = same ? EYES_RIGHT : EYES_LEFT;
120                 Data (ContentVideo (image, frame, eyes, PART_WHOLE));
121                 _last_emitted_frame = frame;
122                 _last_emitted_eyes = eyes;
123                 break;
124         }
125         case VIDEO_FRAME_TYPE_3D_ALTERNATE:
126         {
127                 DCPOMATIC_ASSERT (_last_emitted_eyes);
128                 Eyes const eyes = _last_emitted_eyes.get() == EYES_LEFT ? EYES_RIGHT : EYES_LEFT;
129                 Data (ContentVideo (image, frame, eyes, PART_WHOLE));
130                 _last_emitted_eyes = eyes;
131                 break;
132         }
133         case VIDEO_FRAME_TYPE_3D_LEFT_RIGHT:
134                 Data (ContentVideo (image, frame, EYES_LEFT, PART_LEFT_HALF));
135                 Data (ContentVideo (image, frame, EYES_RIGHT, PART_RIGHT_HALF));
136                 break;
137         case VIDEO_FRAME_TYPE_3D_TOP_BOTTOM:
138                 Data (ContentVideo (image, frame, EYES_LEFT, PART_TOP_HALF));
139                 Data (ContentVideo (image, frame, EYES_RIGHT, PART_BOTTOM_HALF));
140                 break;
141         case VIDEO_FRAME_TYPE_3D_LEFT:
142                 Data (ContentVideo (image, frame, EYES_LEFT, PART_WHOLE));
143                 break;
144         case VIDEO_FRAME_TYPE_3D_RIGHT:
145                 Data (ContentVideo (image, frame, EYES_RIGHT, PART_WHOLE));
146                 break;
147         default:
148                 DCPOMATIC_ASSERT (false);
149         }
150
151         _position = ContentTime::from_frames (frame, afr);
152 }
153
154 void
155 VideoDecoder::seek ()
156 {
157         _position = boost::optional<ContentTime>();
158         _last_emitted_frame.reset ();
159         _last_emitted_eyes.reset ();
160 }