Basic handling of overlapping video (#1848).
[dcpomatic.git] / src / lib / player.h
1 /*
2     Copyright (C) 2013-2020 Carl Hetherington <cth@carlh.net>
3
4     This file is part of DCP-o-matic.
5
6     DCP-o-matic is free software; you can redistribute it and/or modify
7     it under the terms of the GNU General Public License as published by
8     the Free Software Foundation; either version 2 of the License, or
9     (at your option) any later version.
10
11     DCP-o-matic is distributed in the hope that it will be useful,
12     but WITHOUT ANY WARRANTY; without even the implied warranty of
13     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14     GNU General Public License for more details.
15
16     You should have received a copy of the GNU General Public License
17     along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
18
19 */
20
21 #ifndef DCPOMATIC_PLAYER_H
22 #define DCPOMATIC_PLAYER_H
23
24 #include "atmos_metadata.h"
25 #include "player_text.h"
26 #include "active_text.h"
27 #include "content_text.h"
28 #include "film.h"
29 #include "content.h"
30 #include "content_atmos.h"
31 #include "position_image.h"
32 #include "piece.h"
33 #include "content_video.h"
34 #include "content_audio.h"
35 #include "audio_stream.h"
36 #include "audio_merger.h"
37 #include "empty.h"
38 #include <boost/atomic.hpp>
39 #include <list>
40
41 namespace dcp {
42         class ReelAsset;
43 }
44
45 namespace dcpomatic {
46         class FontData;
47 }
48
49 class AtmosContent;
50 class PlayerVideo;
51 class Playlist;
52 class AudioBuffers;
53 class ReferencedReelAsset;
54 class Shuffler;
55
56 class PlayerProperty
57 {
58 public:
59         static int const VIDEO_CONTAINER_SIZE;
60         static int const PLAYLIST;
61         static int const FILM_CONTAINER;
62         static int const FILM_VIDEO_FRAME_RATE;
63         static int const DCP_DECODE_REDUCTION;
64         static int const PLAYBACK_LENGTH;
65 };
66
67 /** @class Player
68  *  @brief A class which can play a Playlist.
69  */
70 class Player : public std::enable_shared_from_this<Player>
71 {
72 public:
73         Player (std::shared_ptr<const Film>);
74         Player (std::shared_ptr<const Film>, std::shared_ptr<const Playlist> playlist);
75         ~Player ();
76
77         Player (Player const& Player) = delete;
78         Player& operator= (Player const& Player) = delete;
79
80         bool pass ();
81         void seek (dcpomatic::DCPTime time, bool accurate);
82
83         std::vector<dcpomatic::FontData> get_subtitle_fonts ();
84         std::list<ReferencedReelAsset> get_reel_assets ();
85         dcp::Size video_container_size () const {
86                 boost::mutex::scoped_lock lm (_mutex);
87                 return _video_container_size;
88         }
89
90         void set_video_container_size (dcp::Size);
91         void set_ignore_video ();
92         void set_ignore_audio ();
93         void set_ignore_text ();
94         void set_always_burn_open_subtitles ();
95         void set_fast ();
96         void set_play_referenced ();
97         void set_dcp_decode_reduction (boost::optional<int> reduction);
98
99         boost::optional<dcpomatic::DCPTime> content_time_to_dcp (std::shared_ptr<Content> content, dcpomatic::ContentTime t);
100
101         boost::signals2::signal<void (ChangeType, int, bool)> Change;
102
103         /** Emitted when a video frame is ready.  These emissions happen in the correct order. */
104         boost::signals2::signal<void (std::shared_ptr<PlayerVideo>, dcpomatic::DCPTime)> Video;
105         boost::signals2::signal<void (std::shared_ptr<AudioBuffers>, dcpomatic::DCPTime, int)> Audio;
106         /** Emitted when a text is ready.  This signal may be emitted considerably
107          *  after the corresponding Video.
108          */
109         boost::signals2::signal<void (PlayerText, TextType, boost::optional<DCPTextTrack>, dcpomatic::DCPTimePeriod)> Text;
110         boost::signals2::signal<void (std::shared_ptr<const dcp::AtmosFrame>, dcpomatic::DCPTime, AtmosMetadata)> Atmos;
111
112 private:
113         friend class PlayerWrapper;
114         friend class Piece;
115         friend struct player_time_calculation_test1;
116         friend struct player_time_calculation_test2;
117         friend struct player_time_calculation_test3;
118         friend struct player_subframe_test;
119         friend struct empty_test1;
120         friend struct empty_test2;
121         friend struct check_reuse_old_data_test;
122         friend struct overlap_video_test1;
123
124         void construct ();
125         void setup_pieces ();
126         void setup_pieces_unlocked ();
127         void flush ();
128         void film_change (ChangeType, Film::Property);
129         void playlist_change (ChangeType);
130         void playlist_content_change (ChangeType, int, bool);
131         Frame dcp_to_content_video (std::shared_ptr<const Piece> piece, dcpomatic::DCPTime t) const;
132         dcpomatic::DCPTime content_video_to_dcp (std::shared_ptr<const Piece> piece, Frame f) const;
133         Frame dcp_to_resampled_audio (std::shared_ptr<const Piece> piece, dcpomatic::DCPTime t) const;
134         dcpomatic::DCPTime resampled_audio_to_dcp (std::shared_ptr<const Piece> piece, Frame f) const;
135         dcpomatic::ContentTime dcp_to_content_time (std::shared_ptr<const Piece> piece, dcpomatic::DCPTime t) const;
136         dcpomatic::DCPTime content_time_to_dcp (std::shared_ptr<const Piece> piece, dcpomatic::ContentTime t) const;
137         std::shared_ptr<PlayerVideo> black_player_video_frame (Eyes eyes) const;
138
139         void video (std::weak_ptr<Piece>, ContentVideo);
140         void audio (std::weak_ptr<Piece>, AudioStreamPtr, ContentAudio);
141         void bitmap_text_start (std::weak_ptr<Piece>, std::weak_ptr<const TextContent>, ContentBitmapText);
142         void plain_text_start (std::weak_ptr<Piece>, std::weak_ptr<const TextContent>, ContentStringText);
143         void subtitle_stop (std::weak_ptr<Piece>, std::weak_ptr<const TextContent>, dcpomatic::ContentTime);
144         void atmos (std::weak_ptr<Piece>, ContentAtmos);
145
146         dcpomatic::DCPTime one_video_frame () const;
147         void fill_audio (dcpomatic::DCPTimePeriod period);
148         std::pair<std::shared_ptr<AudioBuffers>, dcpomatic::DCPTime> discard_audio (
149                 std::shared_ptr<const AudioBuffers> audio, dcpomatic::DCPTime time, dcpomatic::DCPTime discard_to
150                 ) const;
151         boost::optional<PositionImage> open_subtitles_for_frame (dcpomatic::DCPTime time) const;
152         void emit_video (std::shared_ptr<PlayerVideo> pv, dcpomatic::DCPTime time);
153         void do_emit_video (std::shared_ptr<PlayerVideo> pv, dcpomatic::DCPTime time);
154         void emit_audio (std::shared_ptr<AudioBuffers> data, dcpomatic::DCPTime time);
155         std::shared_ptr<const Playlist> playlist () const;
156
157         /** Mutex to protect the whole Player state.  When it's used for the preview we have
158             seek() and pass() called from the Butler thread and lots of other stuff called
159             from the GUI thread.
160         */
161         mutable boost::mutex _mutex;
162
163         std::shared_ptr<const Film> _film;
164         /** Playlist, or 0 if we are using the one from the _film */
165         std::shared_ptr<const Playlist> _playlist;
166
167         /** > 0 if we are suspended (i.e. pass() and seek() do nothing) */
168         boost::atomic<int> _suspended;
169         std::list<std::shared_ptr<Piece> > _pieces;
170
171         /** Size of the image we are rendering to; this may be the DCP frame size, or
172          *  the size of preview in a window.
173          */
174         dcp::Size _video_container_size;
175         std::shared_ptr<Image> _black_image;
176
177         /** true if the player should ignore all video; i.e. never produce any */
178         bool _ignore_video = false;
179         bool _ignore_audio = false;
180         /** true if the player should ignore all text; i.e. never produce any */
181         bool _ignore_text = false;
182         bool _always_burn_open_subtitles = false;
183         /** true if we should try to be fast rather than high quality */
184         bool _fast = false;
185         /** true if we should keep going in the face of `survivable' errors */
186         bool _tolerant = false;
187         /** true if we should `play' (i.e output) referenced DCP data (e.g. for preview) */
188         bool _play_referenced = false;
189
190         /** Time just after the last video frame we emitted, or the time of the last accurate seek */
191         boost::optional<dcpomatic::DCPTime> _last_video_time;
192         boost::optional<Eyes> _last_video_eyes;
193         /** Time just after the last audio frame we emitted, or the time of the last accurate seek */
194         boost::optional<dcpomatic::DCPTime> _last_audio_time;
195
196         boost::optional<int> _dcp_decode_reduction;
197
198         typedef std::map<std::weak_ptr<Piece>, std::shared_ptr<PlayerVideo>, std::owner_less<std::weak_ptr<Piece>>> LastVideoMap;
199         LastVideoMap _last_video;
200
201         AudioMerger _audio_merger;
202         Shuffler* _shuffler = nullptr;
203         std::list<std::pair<std::shared_ptr<PlayerVideo>, dcpomatic::DCPTime> > _delay;
204
205         class StreamState
206         {
207         public:
208                 StreamState () {}
209
210                 StreamState (std::shared_ptr<Piece> p, dcpomatic::DCPTime l)
211                         : piece(p)
212                         , last_push_end(l)
213                 {}
214
215                 std::shared_ptr<Piece> piece;
216                 dcpomatic::DCPTime last_push_end;
217         };
218         std::map<AudioStreamPtr, StreamState> _stream_states;
219
220         Empty _black;
221         Empty _silent;
222
223         ActiveText _active_texts[static_cast<int>(TextType::COUNT)];
224         std::shared_ptr<AudioProcessor> _audio_processor;
225
226         dcpomatic::DCPTime _playback_length;
227
228         boost::signals2::scoped_connection _film_changed_connection;
229         boost::signals2::scoped_connection _playlist_change_connection;
230         boost::signals2::scoped_connection _playlist_content_change_connection;
231 };
232
233 #endif