std::shared_ptr
[dcpomatic.git] / src / lib / audio_decoder.cc
index 69d86c57b6d5ecb5059b32f7ad26708398163b24..5334dfa345071e887fa6e9f7a04d34701d23054b 100644 (file)
@@ -1,5 +1,5 @@
 /*
-    Copyright (C) 2012-2017 Carl Hetherington <cth@carlh.net>
+    Copyright (C) 2012-2018 Carl Hetherington <cth@carlh.net>
 
     This file is part of DCP-o-matic.
 
@@ -21,6 +21,7 @@
 #include "audio_decoder.h"
 #include "audio_buffers.h"
 #include "audio_content.h"
+#include "dcpomatic_log.h"
 #include "log.h"
 #include "resampler.h"
 #include "compose.hpp"
 
 #include "i18n.h"
 
-#define LOG_GENERAL(...) _log->log (String::compose (__VA_ARGS__), LogEntry::TYPE_GENERAL);
-
 using std::cout;
 using std::map;
 using std::pair;
-using boost::shared_ptr;
+using std::shared_ptr;
 using boost::optional;
+using namespace dcpomatic;
 
-AudioDecoder::AudioDecoder (Decoder* parent, shared_ptr<const AudioContent> content, shared_ptr<Log> log)
-       : DecoderPart (parent, log)
+AudioDecoder::AudioDecoder (Decoder* parent, shared_ptr<const AudioContent> content, bool fast)
+       : DecoderPart (parent)
        , _content (content)
+       , _fast (fast)
 {
        /* Set up _positions so that we have one for each stream */
        BOOST_FOREACH (AudioStreamPtr i, content->streams ()) {
@@ -47,36 +48,70 @@ AudioDecoder::AudioDecoder (Decoder* parent, shared_ptr<const AudioContent> cont
        }
 }
 
+/** @param time_already_delayed true if the delay should not be added to time */
 void
-AudioDecoder::emit (AudioStreamPtr stream, shared_ptr<const AudioBuffers> data, ContentTime time)
+AudioDecoder::emit (shared_ptr<const Film> film, AudioStreamPtr stream, shared_ptr<const AudioBuffers> data, ContentTime time, bool time_already_delayed)
 {
        if (ignore ()) {
                return;
        }
 
+       /* Amount of error we will tolerate on audio timestamps; see comment below.
+        * We'll use 1 24fps video frame at 48kHz as this seems to be roughly how
+        * ffplay does it.
+        */
+       static Frame const slack_frames = 48000 / 24;
+
+       int const resampled_rate = _content->resampled_frame_rate(film);
+       if (!time_already_delayed) {
+               time += ContentTime::from_seconds (_content->delay() / 1000.0);
+       }
+
+       bool reset = false;
        if (_positions[stream] == 0) {
                /* This is the first data we have received since initialisation or seek.  Set
                   the position based on the ContentTime that was given.  After this first time
-                  we just count samples, as it seems that ContentTimes are unreliable from
-                  FFmpegDecoder (not quite continuous; perhaps due to some rounding error).
+                  we just count samples unless the timestamp is more than slack_frames away
+                  from where we think it should be.  This is because ContentTimes seem to be
+                  slightly unreliable from FFmpegDecoder (i.e. not sample accurate), but we still
+                  need to obey them sometimes otherwise we get sync problems such as #1833.
                */
-               _positions[stream] = time.frames_round (stream->frame_rate ());
+               if (_content->delay() > 0) {
+                       /* Insert silence to give the delay */
+                       silence (_content->delay ());
+               }
+               reset = true;
+       } else if (std::abs(_positions[stream] - time.frames_round(resampled_rate)) > slack_frames) {
+               reset = true;
+               LOG_GENERAL (
+                       "Reset audio position: was %1, new data at %2, slack: %3 frames",
+                       _positions[stream],
+                       time.frames_round(resampled_rate),
+                       std::abs(_positions[stream] - time.frames_round(resampled_rate))
+                       );
+       }
+
+       if (reset) {
+               _positions[stream] = time.frames_round (resampled_rate);
        }
 
        shared_ptr<Resampler> resampler;
-       map<AudioStreamPtr, shared_ptr<Resampler> >::iterator i = _resamplers.find(stream);
+       ResamplerMap::iterator i = _resamplers.find(stream);
        if (i != _resamplers.end ()) {
                resampler = i->second;
        } else {
-               if (stream->frame_rate() != _content->resampled_frame_rate()) {
+               if (stream->frame_rate() != resampled_rate) {
                        LOG_GENERAL (
                                "Creating new resampler from %1 to %2 with %3 channels",
                                stream->frame_rate(),
-                               _content->resampled_frame_rate(),
+                               resampled_rate,
                                stream->channels()
                                );
 
-                       resampler.reset (new Resampler (stream->frame_rate(), _content->resampled_frame_rate(), stream->channels()));
+                       resampler.reset (new Resampler(stream->frame_rate(), resampled_rate, stream->channels()));
+                       if (_fast) {
+                               resampler->set_fast ();
+                       }
                        _resamplers[stream] = resampler;
                }
        }
@@ -89,42 +124,42 @@ AudioDecoder::emit (AudioStreamPtr stream, shared_ptr<const AudioBuffers> data,
                data = ro;
        }
 
-       Data (stream, ContentAudio (data, _positions[stream]));
+       Data(stream, ContentAudio (data, _positions[stream]));
        _positions[stream] += data->frames();
 }
 
 /** @return Time just after the last thing that was emitted from a given stream */
 ContentTime
-AudioDecoder::stream_position (AudioStreamPtr stream) const
+AudioDecoder::stream_position (shared_ptr<const Film> film, AudioStreamPtr stream) const
 {
-       map<AudioStreamPtr, Frame>::const_iterator i = _positions.find (stream);
+       PositionMap::const_iterator i = _positions.find (stream);
        DCPOMATIC_ASSERT (i != _positions.end ());
-       return ContentTime::from_frames (i->second, _content->resampled_frame_rate());
+       return ContentTime::from_frames (i->second, _content->resampled_frame_rate(film));
 }
 
-ContentTime
-AudioDecoder::position () const
+boost::optional<ContentTime>
+AudioDecoder::position (shared_ptr<const Film> film) const
 {
        optional<ContentTime> p;
-       for (map<AudioStreamPtr, Frame>::const_iterator i = _positions.begin(); i != _positions.end(); ++i) {
-               ContentTime const ct = stream_position (i->first);
+       for (PositionMap::const_iterator i = _positions.begin(); i != _positions.end(); ++i) {
+               ContentTime const ct = stream_position (film, i->first);
                if (!p || ct < *p) {
                        p = ct;
                }
        }
 
-       return p.get_value_or(ContentTime());
+       return p;
 }
 
 void
 AudioDecoder::seek ()
 {
-       for (map<AudioStreamPtr, shared_ptr<Resampler> >::iterator i = _resamplers.begin(); i != _resamplers.end(); ++i) {
+       for (ResamplerMap::iterator i = _resamplers.begin(); i != _resamplers.end(); ++i) {
                i->second->flush ();
                i->second->reset ();
        }
 
-       for (map<AudioStreamPtr, Frame>::iterator i = _positions.begin(); i != _positions.end(); ++i) {
+       for (PositionMap::iterator i = _positions.begin(); i != _positions.end(); ++i) {
                i->second = 0;
        }
 }
@@ -132,11 +167,27 @@ AudioDecoder::seek ()
 void
 AudioDecoder::flush ()
 {
-       for (map<AudioStreamPtr, shared_ptr<Resampler> >::iterator i = _resamplers.begin(); i != _resamplers.end(); ++i) {
+       for (ResamplerMap::iterator i = _resamplers.begin(); i != _resamplers.end(); ++i) {
                shared_ptr<const AudioBuffers> ro = i->second->flush ();
                if (ro->frames() > 0) {
                        Data (i->first, ContentAudio (ro, _positions[i->first]));
                        _positions[i->first] += ro->frames();
                }
        }
+
+       if (_content->delay() < 0) {
+               /* Finish off with the gap caused by the delay */
+               silence (-_content->delay ());
+       }
+}
+
+void
+AudioDecoder::silence (int milliseconds)
+{
+       BOOST_FOREACH (AudioStreamPtr i, _content->streams ()) {
+               int const samples = ContentTime::from_seconds(milliseconds / 1000.0).frames_round(i->frame_rate());
+               shared_ptr<AudioBuffers> silence (new AudioBuffers (i->channels(), samples));
+               silence->make_silent ();
+               Data (i, ContentAudio (silence, _positions[i]));
+       }
 }