src/lib/butler.cc

   1 /*
   2     Copyright (C) 2016-2020 Carl Hetherington <cth@carlh.net>
   3
   4     This file is part of DCP-o-matic.
   5
   6     DCP-o-matic is free software; you can redistribute it and/or modify
   7     it under the terms of the GNU General Public License as published by
   8     the Free Software Foundation; either version 2 of the License, or
   9     (at your option) any later version.
  10
  11     DCP-o-matic is distributed in the hope that it will be useful,
  12     but WITHOUT ANY WARRANTY; without even the implied warranty of
  13     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14     GNU General Public License for more details.
  15
  16     You should have received a copy of the GNU General Public License
  17     along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 */
  20
  21 #include "butler.h"
  22 #include "player.h"
  23 #include "util.h"
  24 #include "log.h"
  25 #include "dcpomatic_log.h"
  26 #include "cross.h"
  27 #include "compose.hpp"
  28 #include "exceptions.h"
  29 #include "video_content.h"
  30
  31
  32 using std::cout;
  33 using std::pair;
  34 using std::make_pair;
  35 using std::string;
  36 using std::weak_ptr;
  37 using std::shared_ptr;
  38 using boost::bind;
  39 using boost::optional;
  40 using boost::function;
  41 using namespace dcpomatic;
  42 #if BOOST_VERSION >= 106100
  43 using namespace boost::placeholders;
  44 #endif
  45
  46 /** Minimum video readahead in frames */
  47 #define MINIMUM_VIDEO_READAHEAD 10
  48 /** Maximum video readahead in frames; should never be exceeded (by much) unless there are bugs in Player */
  49 #define MAXIMUM_VIDEO_READAHEAD 48
  50 /** Minimum audio readahead in frames */
  51 #define MINIMUM_AUDIO_READAHEAD (48000 * MINIMUM_VIDEO_READAHEAD / 24)
  52 /** Maximum audio readahead in frames; should never be exceeded (by much) unless there are bugs in Player */
  53 #define MAXIMUM_AUDIO_READAHEAD (48000 * MAXIMUM_VIDEO_READAHEAD / 24)
  54
  55 /** @param pixel_format Pixel format functor that will be used when calling ::image on PlayerVideos coming out of this
  56  *  butler.  This will be used (where possible) to prepare the PlayerVideos so that calling image() on them is quick.
  57  *  @param aligned Same as above for the `aligned' flag.
  58  *  @param fast Same as above for the `fast' flag.
  59  */
  60 Butler::Butler (
  61         weak_ptr<const Film> film,
  62         shared_ptr<Player> player,
  63         AudioMapping audio_mapping,
  64         int audio_channels,
  65         function<AVPixelFormat (AVPixelFormat)> pixel_format,
  66         VideoRange video_range,
  67         bool aligned,
  68         bool fast
  69         )
  70         : _film (film)
  71         , _player (player)
  72         , _prepare_work (new boost::asio::io_service::work (_prepare_service))
  73         , _pending_seek_accurate (false)
  74         , _suspended (0)
  75         , _finished (false)
  76         , _died (false)
  77         , _stop_thread (false)
  78         , _audio_mapping (audio_mapping)
  79         , _audio_channels (audio_channels)
  80         , _disable_audio (false)
  81         , _pixel_format (pixel_format)
  82         , _video_range (video_range)
  83         , _aligned (aligned)
  84         , _fast (fast)
  85 {
  86         _player_video_connection = _player->Video.connect (bind (&Butler::video, this, _1, _2));
  87         _player_audio_connection = _player->Audio.connect (bind (&Butler::audio, this, _1, _2, _3));
  88         _player_text_connection = _player->Text.connect (bind (&Butler::text, this, _1, _2, _3, _4));
  89         /* The butler must hear about things first, otherwise it might not sort out suspensions in time for
  90            get_video() to be called in response to this signal.
  91         */
  92         _player_change_connection = _player->Change.connect (bind (&Butler::player_change, this, _1, _2), boost::signals2::at_front);
  93         _thread = boost::thread (bind(&Butler::thread, this));
  94 #ifdef DCPOMATIC_LINUX
  95         pthread_setname_np (_thread.native_handle(), "butler");
  96 #endif
  97
  98         /* Create some threads to do work on the PlayerVideos we are creating; at present this is used to
  99            multi-thread JPEG2000 decoding.
 100         */
 101
 102         LOG_TIMING("start-prepare-threads %1", boost::thread::hardware_concurrency() * 2);
 103
 104         for (size_t i = 0; i < boost::thread::hardware_concurrency() * 2; ++i) {
 105                 _prepare_pool.create_thread (bind (&boost::asio::io_service::run, &_prepare_service));
 106         }
 107 }
 108
 109 Butler::~Butler ()
 110 {
 111         boost::this_thread::disable_interruption dis;
 112
 113         {
 114                 boost::mutex::scoped_lock lm (_mutex);
 115                 _stop_thread = true;
 116         }
 117
 118         _prepare_work.reset ();
 119         _prepare_pool.join_all ();
 120         _prepare_service.stop ();
 121
 122         _thread.interrupt ();
 123         try {
 124                 _thread.join ();
 125         } catch (...) {}
 126 }
 127
 128 /** Caller must hold a lock on _mutex */
 129 bool
 130 Butler::should_run () const
 131 {
 132         if (_video.size() >= MAXIMUM_VIDEO_READAHEAD * 10) {
 133                 /* This is way too big */
 134                 optional<DCPTime> pos = _audio.peek();
 135                 if (pos) {
 136                         throw ProgrammingError
 137                                 (__FILE__, __LINE__, String::compose ("Butler video buffers reached %1 frames (audio is %2 at %3)", _video.size(), _audio.size(), pos->get()));
 138                 } else {
 139                         throw ProgrammingError
 140                                 (__FILE__, __LINE__, String::compose ("Butler video buffers reached %1 frames (audio is %2)", _video.size(), _audio.size()));
 141                 }
 142         }
 143
 144         if (_audio.size() >= MAXIMUM_AUDIO_READAHEAD * 10) {
 145                 /* This is way too big */
 146                 optional<DCPTime> pos = _audio.peek();
 147                 if (pos) {
 148                         throw ProgrammingError
 149                                 (__FILE__, __LINE__, String::compose ("Butler audio buffers reached %1 frames at %2 (video is %3)", _audio.size(), pos->get(), _video.size()));
 150                 } else {
 151                         throw ProgrammingError
 152                                 (__FILE__, __LINE__, String::compose ("Butler audio buffers reached %1 frames (video is %3)", _audio.size(), _video.size()));
 153                 }
 154         }
 155
 156         if (_video.size() >= MAXIMUM_VIDEO_READAHEAD * 2) {
 157                 LOG_WARNING ("Butler video buffers reached %1 frames (audio is %2)", _video.size(), _audio.size());
 158         }
 159
 160         if (_audio.size() >= MAXIMUM_AUDIO_READAHEAD * 2) {
 161                 LOG_WARNING ("Butler audio buffers reached %1 frames (video is %2)", _audio.size(), _video.size());
 162         }
 163
 164         if (_stop_thread || _finished || _died || _suspended) {
 165                 /* Definitely do not run */
 166                 return false;
 167         }
 168
 169         if (_video.size() < MINIMUM_VIDEO_READAHEAD || (!_disable_audio && _audio.size() < MINIMUM_AUDIO_READAHEAD)) {
 170                 /* Definitely do run: we need data */
 171                 return true;
 172         }
 173
 174         /* Run if we aren't full of video or audio */
 175         return (_video.size() < MAXIMUM_VIDEO_READAHEAD) && (_audio.size() < MAXIMUM_AUDIO_READAHEAD);
 176 }
 177
 178 void
 179 Butler::thread ()
 180 try
 181 {
 182         while (true) {
 183                 boost::mutex::scoped_lock lm (_mutex);
 184
 185                 /* Wait until we have something to do */
 186                 while (!should_run() && !_pending_seek_position) {
 187                         _summon.wait (lm);
 188                 }
 189
 190                 /* Do any seek that has been requested */
 191                 if (_pending_seek_position) {
 192                         _finished = false;
 193                         _player->seek (*_pending_seek_position, _pending_seek_accurate);
 194                         _pending_seek_position = optional<DCPTime> ();
 195                 }
 196
 197                 /* Fill _video and _audio.  Don't try to carry on if a pending seek appears
 198                    while lm is unlocked, as in that state nothing will be added to
 199                    _video/_audio.
 200                 */
 201                 while (should_run() && !_pending_seek_position) {
 202                         lm.unlock ();
 203                         bool const r = _player->pass ();
 204                         lm.lock ();
 205                         if (r) {
 206                                 _finished = true;
 207                                 _arrived.notify_all ();
 208                                 break;
 209                         }
 210                         _arrived.notify_all ();
 211                 }
 212         }
 213 } catch (boost::thread_interrupted) {
 214         /* The butler thread is being terminated */
 215         boost::mutex::scoped_lock lm (_mutex);
 216         _finished = true;
 217         _arrived.notify_all ();
 218 } catch (std::exception& e) {
 219         store_current ();
 220         boost::mutex::scoped_lock lm (_mutex);
 221         _died = true;
 222         _died_message = e.what ();
 223         _arrived.notify_all ();
 224 } catch (...) {
 225         store_current ();
 226         boost::mutex::scoped_lock lm (_mutex);
 227         _died = true;
 228         _arrived.notify_all ();
 229 }
 230
 231 /** @param blocking true if we should block until video is available.  If blocking is false
 232  *  and no video is immediately available the method will return a 0 PlayerVideo and the error AGAIN.
 233  *  @param e if non-0 this is filled with an error code (if an error occurs) or is untouched if no error occurs.
 234  */
 235 pair<shared_ptr<PlayerVideo>, DCPTime>
 236 Butler::get_video (bool blocking, Error* e)
 237 {
 238         boost::mutex::scoped_lock lm (_mutex);
 239
 240         auto setup_error = [this](Error* e, Error::Code fallback) {
 241                 if (e) {
 242                         if (_died) {
 243                                 e->code = Error::DIED;
 244                                 e->message = _died_message;
 245                         } else if (_finished) {
 246                                 e->code = Error::FINISHED;
 247                         } else {
 248                                 e->code = fallback;
 249                         }
 250                 }
 251         };
 252
 253         if (_video.empty() && (_finished || _died || (_suspended && !blocking))) {
 254                 setup_error (e, Error::AGAIN);
 255                 return make_pair(shared_ptr<PlayerVideo>(), DCPTime());
 256         }
 257
 258         /* Wait for data if we have none */
 259         while (_video.empty() && !_finished && !_died) {
 260                 _arrived.wait (lm);
 261         }
 262
 263         if (_video.empty()) {
 264                 setup_error (e, Error::NONE);
 265                 return make_pair(shared_ptr<PlayerVideo>(), DCPTime());
 266         }
 267
 268         auto const r = _video.get ();
 269         _summon.notify_all ();
 270         return r;
 271 }
 272
 273 optional<TextRingBuffers::Data>
 274 Butler::get_closed_caption ()
 275 {
 276         boost::mutex::scoped_lock lm (_mutex);
 277         return _closed_caption.get ();
 278 }
 279
 280 void
 281 Butler::seek (DCPTime position, bool accurate)
 282 {
 283         boost::mutex::scoped_lock lm (_mutex);
 284         _awaiting = optional<DCPTime>();
 285         seek_unlocked (position, accurate);
 286 }
 287
 288 void
 289 Butler::seek_unlocked (DCPTime position, bool accurate)
 290 {
 291         if (_died) {
 292                 return;
 293         }
 294
 295         _finished = false;
 296         _pending_seek_position = position;
 297         _pending_seek_accurate = accurate;
 298
 299         _video.clear ();
 300         _audio.clear ();
 301         _closed_caption.clear ();
 302
 303         _summon.notify_all ();
 304 }
 305
 306 void
 307 Butler::prepare (weak_ptr<PlayerVideo> weak_video)
 308 try
 309 {
 310         shared_ptr<PlayerVideo> video = weak_video.lock ();
 311         /* If the weak_ptr cannot be locked the video obviously no longer requires any work */
 312         if (video) {
 313                 LOG_TIMING("start-prepare in %1", thread_id());
 314                 video->prepare (_pixel_format, _video_range, _aligned, _fast);
 315                 LOG_TIMING("finish-prepare in %1", thread_id());
 316         }
 317 }
 318 catch (std::exception& e)
 319 {
 320         store_current ();
 321         boost::mutex::scoped_lock lm (_mutex);
 322         _died = true;
 323         _died_message = e.what ();
 324 }
 325 catch (...)
 326 {
 327         store_current ();
 328         boost::mutex::scoped_lock lm (_mutex);
 329         _died = true;
 330 }
 331
 332 void
 333 Butler::video (shared_ptr<PlayerVideo> video, DCPTime time)
 334 {
 335         boost::mutex::scoped_lock lm (_mutex);
 336
 337         if (_pending_seek_position) {
 338                 /* Don't store any video in this case */
 339                 return;
 340         }
 341
 342         _prepare_service.post (bind (&Butler::prepare, this, weak_ptr<PlayerVideo>(video)));
 343
 344         _video.put (video, time);
 345 }
 346
 347 void
 348 Butler::audio (shared_ptr<AudioBuffers> audio, DCPTime time, int frame_rate)
 349 {
 350         boost::mutex::scoped_lock lm (_mutex);
 351         if (_pending_seek_position || _disable_audio) {
 352                 /* Don't store any audio in these cases */
 353                 return;
 354         }
 355
 356         _audio.put (remap (audio, _audio_channels, _audio_mapping), time, frame_rate);
 357 }
 358
 359 /** Try to get `frames' frames of audio and copy it into `out'.  Silence
 360  *  will be filled if no audio is available.
 361  *  @return time of this audio, or unset if there was a buffer underrun.
 362  */
 363 optional<DCPTime>
 364 Butler::get_audio (float* out, Frame frames)
 365 {
 366         optional<DCPTime> t = _audio.get (out, _audio_channels, frames);
 367         _summon.notify_all ();
 368         return t;
 369 }
 370
 371 void
 372 Butler::disable_audio ()
 373 {
 374         boost::mutex::scoped_lock lm (_mutex);
 375         _disable_audio = true;
 376 }
 377
 378 pair<size_t, string>
 379 Butler::memory_used () const
 380 {
 381         /* XXX: should also look at _audio.memory_used() */
 382         return _video.memory_used();
 383 }
 384
 385 void
 386 Butler::player_change (ChangeType type, int property)
 387 {
 388         if (property == VideoContentProperty::CROP) {
 389                 if (type == ChangeType::DONE) {
 390                         auto film = _film.lock();
 391                         if (film) {
 392                                 _video.reset_metadata (film, _player->video_container_size());
 393                         }
 394                 }
 395                 return;
 396         }
 397
 398         boost::mutex::scoped_lock lm (_mutex);
 399
 400         if (type == ChangeType::PENDING) {
 401                 ++_suspended;
 402         } else if (type == ChangeType::DONE) {
 403                 --_suspended;
 404                 if (_died || _pending_seek_position) {
 405                         lm.unlock ();
 406                         _summon.notify_all ();
 407                         return;
 408                 }
 409
 410                 DCPTime seek_to;
 411                 auto next = _video.get().second;
 412                 if (_awaiting && _awaiting > next) {
 413                         /* We have recently done a player_changed seek and our buffers haven't been refilled yet,
 414                            so assume that we're seeking to the same place as last time.
 415                         */
 416                         seek_to = *_awaiting;
 417                 } else {
 418                         seek_to = next;
 419                 }
 420
 421                 seek_unlocked (seek_to, true);
 422                 _awaiting = seek_to;
 423         } else if (type == ChangeType::CANCELLED) {
 424                 --_suspended;
 425         }
 426
 427         lm.unlock ();
 428         _summon.notify_all ();
 429 }
 430
 431 void
 432 Butler::text (PlayerText pt, TextType type, optional<DCPTextTrack> track, DCPTimePeriod period)
 433 {
 434         if (type != TextType::CLOSED_CAPTION) {
 435                 return;
 436         }
 437
 438         DCPOMATIC_ASSERT (track);
 439
 440         _closed_caption.put (pt, *track, period);
 441 }
 442
 443 string
 444 Butler::Error::summary () const
 445 {
 446         switch (code)
 447         {
 448                 case Error::NONE:
 449                         return "No error registered";
 450                 case Error::AGAIN:
 451                         return "Butler not ready";
 452                 case Error::DIED:
 453                         return String::compose("Butler died (%1)", message);
 454                 case Error::FINISHED:
 455                         return "Butler finished";
 456         }
 457
 458         return "";
 459 }
 460