Merge branch 'master' of ssh://git.carlh.net/home/carl/git/dcpomatic
[dcpomatic.git] / src / lib / ffmpeg_decoder.cc
index 57fe55892c3b4a85a06ab046c4bc46def689d99f..a09eab68e12e11763436cd83db1378d710a632cc 100644 (file)
@@ -81,10 +81,14 @@ using dcp::Size;
 FFmpegDecoder::FFmpegDecoder (shared_ptr<const FFmpegContent> c, shared_ptr<Log> log)
        : FFmpeg (c)
        , _log (log)
+       , _have_current_subtitle (false)
 {
        if (c->video) {
                video.reset (new VideoDecoder (this, c, log));
                _pts_offset = pts_offset (c->ffmpeg_audio_streams(), c->first_video(), c->active_video_frame_rate());
+               /* It doesn't matter what size or pixel format this is, it just needs to be black */
+               _black_image.reset (new Image (AV_PIX_FMT_RGB24, dcp::Size (128, 128), true));
+               _black_image->make_black ();
        } else {
                _pts_offset = ContentTime ();
        }
@@ -112,11 +116,40 @@ FFmpegDecoder::flush ()
 
        if (audio) {
                decode_audio_packet ();
+       }
+
+       /* Make sure all streams are the same length and round up to the next video frame */
+
+       FrameRateChange const frc = _ffmpeg_content->film()->active_frame_rate_change(_ffmpeg_content->position());
+       ContentTime full_length (_ffmpeg_content->full_length(), frc);
+       full_length = full_length.ceil (frc.source);
+       if (video) {
+               double const vfr = _ffmpeg_content->video_frame_rate().get();
+               Frame const f = full_length.frames_round (vfr);
+               Frame v = video->position().frames_round (vfr);
+               while (v < f) {
+                       video->emit (shared_ptr<const ImageProxy> (new RawImageProxy (_black_image)), v);
+                       ++v;
+               }
+       }
+
+       BOOST_FOREACH (shared_ptr<FFmpegAudioStream> i, _ffmpeg_content->ffmpeg_audio_streams ()) {
+               ContentTime a = audio->stream_position(i);
+               while (a < full_length) {
+                       ContentTime to_do = min (full_length - a, ContentTime::from_seconds (0.1));
+                       shared_ptr<AudioBuffers> silence (new AudioBuffers (i->channels(), to_do.frames_ceil (i->frame_rate())));
+                       silence->make_silent ();
+                       audio->emit (i, silence, a);
+                       a += to_do;
+               }
+       }
+
+       if (audio) {
                audio->flush ();
        }
 }
 
-void
+bool
 FFmpegDecoder::pass ()
 {
        int r = av_read_frame (_format_context, &_packet);
@@ -134,7 +167,7 @@ FFmpegDecoder::pass ()
                }
 
                flush ();
-               return;
+               return true;
        }
 
        int const si = _packet.stream_index;
@@ -142,13 +175,14 @@ FFmpegDecoder::pass ()
 
        if (_video_stream && si == _video_stream.get() && !video->ignore()) {
                decode_video_packet ();
-       } else if (fc->subtitle_stream() && fc->subtitle_stream()->uses_index (_format_context, si)) {
+       } else if (fc->subtitle_stream() && fc->subtitle_stream()->uses_index(_format_context, si) && !subtitle->ignore()) {
                decode_subtitle_packet ();
        } else {
                decode_audio_packet ();
        }
 
        av_packet_unref (&_packet);
+       return false;
 }
 
 /** @param data pointer to array of pointers to buffers.
@@ -298,6 +332,8 @@ FFmpegDecoder::bytes_per_audio_sample (shared_ptr<FFmpegAudioStream> stream) con
 void
 FFmpegDecoder::seek (ContentTime time, bool accurate)
 {
+       Decoder::seek (time, accurate);
+
        /* If we are doing an `accurate' seek, we need to use pre-roll, as
           we don't really know what the seek will give us.
        */
@@ -337,11 +373,15 @@ FFmpegDecoder::seek (ContentTime time, bool accurate)
                avcodec_flush_buffers (video_codec_context());
        }
 
-       /* XXX: should be flushing audio buffers? */
+       BOOST_FOREACH (shared_ptr<FFmpegAudioStream> i, ffmpeg_content()->ffmpeg_audio_streams()) {
+               avcodec_flush_buffers (i->stream(_format_context)->codec);
+       }
 
        if (subtitle_codec_context ()) {
                avcodec_flush_buffers (subtitle_codec_context ());
        }
+
+       _have_current_subtitle = false;
 }
 
 void
@@ -396,7 +436,7 @@ FFmpegDecoder::decode_audio_packet ()
                        if (ct < ContentTime ()) {
                                /* Discard audio data that comes before time 0 */
                                Frame const remove = min (int64_t (data->frames()), (-ct).frames_ceil(double((*stream)->frame_rate ())));
-                               data->move (remove, 0, data->frames() - remove);
+                               data->move (data->frames() - remove, remove, 0);
                                data->set_frames (data->frames() - remove);
                                ct += ContentTime::from_frames (remove, (*stream)->frame_rate ());
                        }
@@ -405,8 +445,6 @@ FFmpegDecoder::decode_audio_packet ()
                                LOG_WARNING ("Crazy timestamp %1", to_string (ct));
                        }
 
-                       audio->set_position (*stream, ct);
-
                        /* Give this data provided there is some, and its time is sane */
                        if (ct >= ContentTime() && data->frames() > 0) {
                                audio->emit (*stream, data, ct);
@@ -475,10 +513,18 @@ FFmpegDecoder::decode_subtitle_packet ()
                return;
        }
 
+       /* Stop any current subtitle, either at the time it was supposed to stop, or now if now is sooner */
+       if (_have_current_subtitle) {
+               if (_current_subtitle_to) {
+                       subtitle->emit_stop (min(*_current_subtitle_to, subtitle_period(sub).from + _pts_offset));
+               } else {
+                       subtitle->emit_stop (subtitle_period(sub).from + _pts_offset);
+               }
+               _have_current_subtitle = false;
+       }
+
        if (sub.num_rects <= 0) {
-               /* Sometimes we get an empty AVSubtitle, which is used by some codecs to
-                  indicate that the previous subtitle should stop.  We can ignore it here.
-               */
+               /* Nothing new in this subtitle */
                return;
        }
 
@@ -486,13 +532,12 @@ FFmpegDecoder::decode_subtitle_packet ()
           source that we may have chopped off for the DCP).
        */
        FFmpegSubtitlePeriod sub_period = subtitle_period (sub);
-       ContentTimePeriod period;
-       period.from = sub_period.from + _pts_offset;
-       /* We can't trust the `to' time from sub_period as there are some decoders which
-          give a sub_period time for `to' which is subsequently overridden by a `stop' subtitle;
-          see also FFmpegExaminer.
-       */
-       period.to = ffmpeg_content()->subtitle_stream()->find_subtitle_to (subtitle_id (sub));
+       ContentTime from;
+       from = sub_period.from + _pts_offset;
+       _have_current_subtitle = true;
+       if (sub_period.to) {
+               _current_subtitle_to = *sub_period.to + _pts_offset;
+       }
 
        for (unsigned int i = 0; i < sub.num_rects; ++i) {
                AVSubtitleRect const * rect = sub.rects[i];
@@ -501,13 +546,13 @@ FFmpegDecoder::decode_subtitle_packet ()
                case SUBTITLE_NONE:
                        break;
                case SUBTITLE_BITMAP:
-                       decode_bitmap_subtitle (rect, period);
+                       decode_bitmap_subtitle (rect, from);
                        break;
                case SUBTITLE_TEXT:
                        cout << "XXX: SUBTITLE_TEXT " << rect->text << "\n";
                        break;
                case SUBTITLE_ASS:
-                       decode_ass_subtitle (rect->ass, period);
+                       decode_ass_subtitle (rect->ass, from);
                        break;
                }
        }
@@ -516,7 +561,7 @@ FFmpegDecoder::decode_subtitle_packet ()
 }
 
 void
-FFmpegDecoder::decode_bitmap_subtitle (AVSubtitleRect const * rect, ContentTimePeriod period)
+FFmpegDecoder::decode_bitmap_subtitle (AVSubtitleRect const * rect, ContentTime from)
 {
        /* Note RGBA is expressed little-endian, so the first byte in the word is R, second
           G, third B, fourth A.
@@ -585,11 +630,11 @@ FFmpegDecoder::decode_bitmap_subtitle (AVSubtitleRect const * rect, ContentTimeP
                static_cast<double> (rect->h) / target_height
                );
 
-       subtitle->emit_image (period, image, scaled_rect);
+       subtitle->emit_image_start (from, image, scaled_rect);
 }
 
 void
-FFmpegDecoder::decode_ass_subtitle (string ass, ContentTimePeriod period)
+FFmpegDecoder::decode_ass_subtitle (string ass, ContentTime from)
 {
        /* We have no styles and no Format: line, so I'm assuming that FFmpeg
           produces a single format of Dialogue: lines...
@@ -605,6 +650,6 @@ FFmpegDecoder::decode_ass_subtitle (string ass, ContentTimePeriod period)
        list<sub::RawSubtitle> raw = sub::SSAReader::parse_line (base, bits[9]);
 
        BOOST_FOREACH (sub::Subtitle const & i, sub::collect<list<sub::Subtitle> > (raw)) {
-               subtitle->emit_text (period, i);
+               subtitle->emit_text_start (from, i);
        }
 }