Fix video timing and stop the viewer at the end of the film.
[dcpomatic.git] / src / wx / film_viewer.cc
1 /*
2     Copyright (C) 2012-2016 Carl Hetherington <cth@carlh.net>
3
4     This file is part of DCP-o-matic.
5
6     DCP-o-matic is free software; you can redistribute it and/or modify
7     it under the terms of the GNU General Public License as published by
8     the Free Software Foundation; either version 2 of the License, or
9     (at your option) any later version.
10
11     DCP-o-matic is distributed in the hope that it will be useful,
12     but WITHOUT ANY WARRANTY; without even the implied warranty of
13     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14     GNU General Public License for more details.
15
16     You should have received a copy of the GNU General Public License
17     along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
18
19 */
20
21 /** @file  src/film_viewer.cc
22  *  @brief A wx widget to view a preview of a Film.
23  */
24
25 #include "film_viewer.h"
26 #include "playhead_to_timecode_dialog.h"
27 #include "playhead_to_frame_dialog.h"
28 #include "wx_util.h"
29 #include "lib/film.h"
30 #include "lib/ratio.h"
31 #include "lib/util.h"
32 #include "lib/job_manager.h"
33 #include "lib/image.h"
34 #include "lib/exceptions.h"
35 #include "lib/examine_content_job.h"
36 #include "lib/filter.h"
37 #include "lib/player.h"
38 #include "lib/player_video.h"
39 #include "lib/video_content.h"
40 #include "lib/video_decoder.h"
41 #include "lib/timer.h"
42 #include "lib/butler.h"
43 #include "lib/log.h"
44 #include "lib/config.h"
45 extern "C" {
46 #include <libavutil/pixfmt.h>
47 }
48 #include <dcp/exceptions.h>
49 #include <wx/tglbtn.h>
50 #include <iostream>
51 #include <iomanip>
52
53 using std::string;
54 using std::pair;
55 using std::min;
56 using std::max;
57 using std::cout;
58 using std::list;
59 using std::bad_alloc;
60 using std::make_pair;
61 using std::exception;
62 using boost::shared_ptr;
63 using boost::dynamic_pointer_cast;
64 using boost::weak_ptr;
65 using boost::optional;
66 using dcp::Size;
67
68 static
69 int
70 rtaudio_callback (void* out, void *, unsigned int frames, double, RtAudioStreamStatus, void* data)
71 {
72         return reinterpret_cast<FilmViewer*>(data)->audio_callback (out, frames);
73 }
74
75 FilmViewer::FilmViewer (wxWindow* p)
76         : wxPanel (p)
77         , _panel (new wxPanel (this))
78         , _outline_content (new wxCheckBox (this, wxID_ANY, _("Outline content")))
79         , _left_eye (new wxRadioButton (this, wxID_ANY, _("Left eye"), wxDefaultPosition, wxDefaultSize, wxRB_GROUP))
80         , _right_eye (new wxRadioButton (this, wxID_ANY, _("Right eye")))
81         , _jump_to_selected (new wxCheckBox (this, wxID_ANY, _("Jump to selected content")))
82         , _slider (new wxSlider (this, wxID_ANY, 0, 0, 4096))
83         , _back_button (new wxButton (this, wxID_ANY, wxT("<")))
84         , _forward_button (new wxButton (this, wxID_ANY, wxT(">")))
85         , _frame_number (new wxStaticText (this, wxID_ANY, wxT("")))
86         , _timecode (new wxStaticText (this, wxID_ANY, wxT("")))
87         , _play_button (new wxToggleButton (this, wxID_ANY, _("Play")))
88         , _coalesce_player_changes (false)
89         , _pending_player_change (false)
90         , _last_seek_accurate (true)
91         , _audio (DCPOMATIC_RTAUDIO_API)
92         , _audio_channels (0)
93         , _audio_block_size (1024)
94         , _playing (false)
95 {
96 #ifndef __WXOSX__
97         _panel->SetDoubleBuffered (true);
98 #endif
99
100         _panel->SetBackgroundStyle (wxBG_STYLE_PAINT);
101
102         _v_sizer = new wxBoxSizer (wxVERTICAL);
103         SetSizer (_v_sizer);
104
105         _v_sizer->Add (_panel, 1, wxEXPAND);
106
107         wxBoxSizer* view_options = new wxBoxSizer (wxHORIZONTAL);
108         view_options->Add (_outline_content, 0, wxRIGHT, DCPOMATIC_SIZER_GAP);
109         view_options->Add (_left_eye, 0, wxLEFT | wxRIGHT, DCPOMATIC_SIZER_GAP);
110         view_options->Add (_right_eye, 0, wxLEFT | wxRIGHT, DCPOMATIC_SIZER_GAP);
111         view_options->Add (_jump_to_selected, 0, wxLEFT | wxRIGHT, DCPOMATIC_SIZER_GAP);
112         _v_sizer->Add (view_options, 0, wxALL, DCPOMATIC_SIZER_GAP);
113
114         wxBoxSizer* h_sizer = new wxBoxSizer (wxHORIZONTAL);
115
116         wxBoxSizer* time_sizer = new wxBoxSizer (wxVERTICAL);
117         time_sizer->Add (_frame_number, 0, wxEXPAND);
118         time_sizer->Add (_timecode, 0, wxEXPAND);
119
120         h_sizer->Add (_back_button, 0, wxALL, 2);
121         h_sizer->Add (time_sizer, 0, wxEXPAND);
122         h_sizer->Add (_forward_button, 0, wxALL, 2);
123         h_sizer->Add (_play_button, 0, wxEXPAND);
124         h_sizer->Add (_slider, 1, wxEXPAND);
125
126         _v_sizer->Add (h_sizer, 0, wxEXPAND | wxALL, 6);
127
128         _frame_number->SetMinSize (wxSize (84, -1));
129         _back_button->SetMinSize (wxSize (32, -1));
130         _forward_button->SetMinSize (wxSize (32, -1));
131
132         _panel->Bind            (wxEVT_PAINT,             boost::bind (&FilmViewer::paint_panel,     this));
133         _panel->Bind            (wxEVT_SIZE,              boost::bind (&FilmViewer::panel_sized,     this, _1));
134         _outline_content->Bind  (wxEVT_CHECKBOX,          boost::bind (&FilmViewer::refresh_panel,   this));
135         _left_eye->Bind         (wxEVT_RADIOBUTTON,       boost::bind (&FilmViewer::refresh,         this));
136         _right_eye->Bind        (wxEVT_RADIOBUTTON,       boost::bind (&FilmViewer::refresh,         this));
137         _slider->Bind           (wxEVT_SCROLL_THUMBTRACK, boost::bind (&FilmViewer::slider_moved,    this));
138         _slider->Bind           (wxEVT_SCROLL_PAGEUP,     boost::bind (&FilmViewer::slider_moved,    this));
139         _slider->Bind           (wxEVT_SCROLL_PAGEDOWN,   boost::bind (&FilmViewer::slider_moved,    this));
140         _play_button->Bind      (wxEVT_TOGGLEBUTTON,      boost::bind (&FilmViewer::play_clicked,    this));
141         _timer.Bind             (wxEVT_TIMER,             boost::bind (&FilmViewer::timer,           this));
142         _back_button->Bind      (wxEVT_LEFT_DOWN,         boost::bind (&FilmViewer::back_clicked,    this, _1));
143         _forward_button->Bind   (wxEVT_LEFT_DOWN,         boost::bind (&FilmViewer::forward_clicked, this, _1));
144         _frame_number->Bind     (wxEVT_LEFT_DOWN,         boost::bind (&FilmViewer::frame_number_clicked, this));
145         _timecode->Bind         (wxEVT_LEFT_DOWN,         boost::bind (&FilmViewer::timecode_clicked, this));
146         _jump_to_selected->Bind (wxEVT_CHECKBOX,          boost::bind (&FilmViewer::jump_to_selected_clicked, this));
147
148         _jump_to_selected->SetValue (Config::instance()->jump_to_selected ());
149
150         set_film (shared_ptr<Film> ());
151
152         JobManager::instance()->ActiveJobsChanged.connect (
153                 bind (&FilmViewer::active_jobs_changed, this, _2)
154                 );
155
156         setup_sensitivity ();
157
158         _config_changed_connection = Config::instance()->Changed.connect (bind (&FilmViewer::config_changed, this, _1));
159         config_changed (Config::SOUND_OUTPUT);
160 }
161
162 FilmViewer::~FilmViewer ()
163 {
164         stop ();
165 }
166
167 void
168 FilmViewer::set_film (shared_ptr<Film> film)
169 {
170         if (_film == film) {
171                 return;
172         }
173
174         _film = film;
175
176         _frame.reset ();
177
178         update_position_slider ();
179         update_position_label ();
180
181         if (!_film) {
182                 return;
183         }
184
185         try {
186                 _player.reset (new Player (_film, _film->playlist ()));
187                 _player->set_fast ();
188         } catch (bad_alloc) {
189                 error_dialog (this, _("There is not enough free memory to do that."));
190                 _film.reset ();
191                 return;
192         }
193
194         /* Always burn in subtitles, even if content is set not to, otherwise we won't see them
195            in the preview.
196         */
197         _player->set_always_burn_subtitles (true);
198         _player->set_play_referenced ();
199
200         _film->Changed.connect (boost::bind (&FilmViewer::film_changed, this, _1));
201         _player->Changed.connect (boost::bind (&FilmViewer::player_changed, this, _1));
202
203         recreate_butler ();
204
205         calculate_sizes ();
206         refresh ();
207
208         setup_sensitivity ();
209 }
210
211 void
212 FilmViewer::recreate_butler ()
213 {
214         bool const was_running = stop ();
215         _butler.reset ();
216
217         if (!_film) {
218                 return;
219         }
220
221         AudioMapping map = AudioMapping (_film->audio_channels(), _audio_channels);
222
223         if (_audio_channels != 2 || _film->audio_channels() < 3) {
224                 for (int i = 0; i < min (_film->audio_channels(), _audio_channels); ++i) {
225                         map.set (i, i, 1);
226                 }
227         } else {
228                 /* Special case: stereo output, at least 3 channel input, map L+R to L/R and
229                    C to both, all 3dB down.
230                 */
231                 map.set (0, 0, 1 / sqrt(2)); // L -> L
232                 map.set (1, 1, 1 / sqrt(2)); // R -> R
233                 map.set (2, 0, 1 / sqrt(2)); // C -> L
234                 map.set (2, 1, 1 / sqrt(2)); // C -> R
235         }
236
237         _butler.reset (new Butler (_film, _player, map, _audio_channels));
238
239         if (was_running) {
240                 start ();
241         }
242 }
243
244 void
245 FilmViewer::refresh_panel ()
246 {
247         _panel->Refresh ();
248         _panel->Update ();
249 }
250
251 void
252 FilmViewer::get ()
253 {
254         pair<shared_ptr<PlayerVideo>, DCPTime> video;
255         do {
256                 video = _butler->get_video ();
257         } while (
258                 _film->three_d() &&
259                 ((_left_eye->GetValue() && video.first->eyes() == EYES_RIGHT) || (_right_eye->GetValue() && video.first->eyes() == EYES_LEFT))
260                 );
261
262         if (!video.first) {
263                 _frame.reset ();
264                 refresh_panel ();
265                 return;
266         }
267
268         /* In an ideal world, what we would do here is:
269          *
270          * 1. convert to XYZ exactly as we do in the DCP creation path.
271          * 2. convert back to RGB for the preview display, compensating
272          *    for the monitor etc. etc.
273          *
274          * but this is inefficient if the source is RGB.  Since we don't
275          * (currently) care too much about the precise accuracy of the preview's
276          * colour mapping (and we care more about its speed) we try to short-
277          * circuit this "ideal" situation in some cases.
278          *
279          * The content's specified colour conversion indicates the colourspace
280          * which the content is in (according to the user).
281          *
282          * PlayerVideo::image (bound to PlayerVideo::always_rgb) will take the source
283          * image and convert it (from whatever the user has said it is) to RGB.
284          */
285
286         _frame = video.first->image (
287                 bind (&Log::dcp_log, _film->log().get(), _1, _2),
288                 bind (&PlayerVideo::always_rgb, _1),
289                 false, true
290                 );
291
292         ImageChanged (video.first);
293
294         _video_position = video.second;
295         _inter_position = video.first->inter_position ();
296         _inter_size = video.first->inter_size ();
297
298         refresh_panel ();
299 }
300
301 void
302 FilmViewer::timer ()
303 {
304         if (!_film) {
305                 return;
306         }
307
308         if (_audio.isStreamRunning ()) {
309                 get ();
310                 update_position_label ();
311                 update_position_slider ();
312                 DCPTime const next = _video_position + DCPTime::from_frames (1, _film->video_frame_rate ());
313
314                 if (next >= _film->length()) {
315                         stop ();
316                 }
317
318                 _timer.Start (max ((next.seconds() - time().seconds()) * 1000, 0.0), wxTIMER_ONE_SHOT);
319         }
320
321         if (_butler) {
322                 _butler->rethrow ();
323         }
324 }
325
326 void
327 FilmViewer::paint_panel ()
328 {
329         wxPaintDC dc (_panel);
330
331         if (!_frame || !_film || !_out_size.width || !_out_size.height) {
332                 dc.Clear ();
333                 return;
334         }
335
336         wxImage frame (_out_size.width, _out_size.height, _frame->data()[0], true);
337         wxBitmap frame_bitmap (frame);
338         dc.DrawBitmap (frame_bitmap, 0, 0);
339
340         if (_out_size.width < _panel_size.width) {
341                 wxPen p (GetBackgroundColour ());
342                 wxBrush b (GetBackgroundColour ());
343                 dc.SetPen (p);
344                 dc.SetBrush (b);
345                 dc.DrawRectangle (_out_size.width, 0, _panel_size.width - _out_size.width, _panel_size.height);
346         }
347
348         if (_out_size.height < _panel_size.height) {
349                 wxPen p (GetBackgroundColour ());
350                 wxBrush b (GetBackgroundColour ());
351                 dc.SetPen (p);
352                 dc.SetBrush (b);
353                 dc.DrawRectangle (0, _out_size.height, _panel_size.width, _panel_size.height - _out_size.height);
354         }
355
356         if (_outline_content->GetValue ()) {
357                 wxPen p (wxColour (255, 0, 0), 2);
358                 dc.SetPen (p);
359                 dc.SetBrush (*wxTRANSPARENT_BRUSH);
360                 dc.DrawRectangle (_inter_position.x, _inter_position.y, _inter_size.width, _inter_size.height);
361         }
362 }
363
364 void
365 FilmViewer::slider_moved ()
366 {
367         if (!_film) {
368                 return;
369         }
370
371         DCPTime t (_slider->GetValue() * _film->length().get() / 4096);
372         /* Ensure that we hit the end of the film at the end of the slider */
373         if (t >= _film->length ()) {
374                 t = _film->length() - DCPTime::from_frames (1, _film->video_frame_rate ());
375         }
376         seek (t, false);
377         update_position_label ();
378 }
379
380 void
381 FilmViewer::panel_sized (wxSizeEvent& ev)
382 {
383         _panel_size.width = ev.GetSize().GetWidth();
384         _panel_size.height = ev.GetSize().GetHeight();
385
386         calculate_sizes ();
387         refresh ();
388         update_position_label ();
389         update_position_slider ();
390 }
391
392 void
393 FilmViewer::calculate_sizes ()
394 {
395         if (!_film) {
396                 return;
397         }
398
399         Ratio const * container = _film->container ();
400
401         float const panel_ratio = _panel_size.ratio ();
402         float const film_ratio = container ? container->ratio () : 1.78;
403
404         if (panel_ratio < film_ratio) {
405                 /* panel is less widscreen than the film; clamp width */
406                 _out_size.width = _panel_size.width;
407                 _out_size.height = lrintf (_out_size.width / film_ratio);
408         } else {
409                 /* panel is more widescreen than the film; clamp height */
410                 _out_size.height = _panel_size.height;
411                 _out_size.width = lrintf (_out_size.height * film_ratio);
412         }
413
414         /* Catch silly values */
415         _out_size.width = max (64, _out_size.width);
416         _out_size.height = max (64, _out_size.height);
417
418         _player->set_video_container_size (_out_size);
419 }
420
421 void
422 FilmViewer::play_clicked ()
423 {
424         check_play_state ();
425 }
426
427 void
428 FilmViewer::check_play_state ()
429 {
430         if (!_film || _film->video_frame_rate() == 0) {
431                 return;
432         }
433
434         if (_play_button->GetValue()) {
435                 start ();
436         } else {
437                 stop ();
438         }
439 }
440
441 void
442 FilmViewer::start ()
443 {
444         if (_audio.isStreamOpen()) {
445                 _audio.setStreamTime (_video_position.seconds());
446                 _audio.startStream ();
447         }
448
449         _playing = true;
450         _timer.Start (0, wxTIMER_ONE_SHOT);
451 }
452
453 bool
454 FilmViewer::stop ()
455 {
456         if (_audio.isStreamRunning()) {
457                 /* stop stream and discard any remainig queued samples */
458                 _audio.abortStream ();
459         }
460
461         if (!_playing) {
462                 return false;
463         }
464
465         _playing = false;
466         return true;
467 }
468
469 void
470 FilmViewer::update_position_slider ()
471 {
472         if (!_film) {
473                 _slider->SetValue (0);
474                 return;
475         }
476
477         DCPTime const len = _film->length ();
478
479         if (len.get ()) {
480                 int const new_slider_position = 4096 * _video_position.get() / len.get();
481                 if (new_slider_position != _slider->GetValue()) {
482                         _slider->SetValue (new_slider_position);
483                 }
484         }
485 }
486
487 void
488 FilmViewer::update_position_label ()
489 {
490         if (!_film) {
491                 _frame_number->SetLabel ("0");
492                 _timecode->SetLabel ("0:0:0.0");
493                 return;
494         }
495
496         double const fps = _film->video_frame_rate ();
497         /* Count frame number from 1 ... not sure if this is the best idea */
498         _frame_number->SetLabel (wxString::Format (wxT("%ld"), lrint (_video_position.seconds() * fps) + 1));
499         _timecode->SetLabel (time_to_timecode (_video_position, fps));
500 }
501
502 void
503 FilmViewer::active_jobs_changed (optional<string> j)
504 {
505         /* examine content is the only job which stops the viewer working */
506         bool const a = !j || *j != "examine_content";
507         _slider->Enable (a);
508         _play_button->Enable (a);
509 }
510
511 DCPTime
512 FilmViewer::nudge_amount (wxMouseEvent& ev)
513 {
514         DCPTime amount = DCPTime::from_frames (1, _film->video_frame_rate ());
515
516         if (ev.ShiftDown() && !ev.ControlDown()) {
517                 amount = DCPTime::from_seconds (1);
518         } else if (!ev.ShiftDown() && ev.ControlDown()) {
519                 amount = DCPTime::from_seconds (10);
520         } else if (ev.ShiftDown() && ev.ControlDown()) {
521                 amount = DCPTime::from_seconds (60);
522         }
523
524         return amount;
525 }
526
527 void
528 FilmViewer::go_to (DCPTime t)
529 {
530         if (t < DCPTime ()) {
531                 t = DCPTime ();
532         }
533
534         if (t >= _film->length ()) {
535                 t = _film->length ();
536         }
537
538         seek (t, true);
539         update_position_label ();
540         update_position_slider ();
541 }
542
543 void
544 FilmViewer::back_clicked (wxMouseEvent& ev)
545 {
546         go_to (_video_position - nudge_amount (ev));
547         ev.Skip ();
548 }
549
550 void
551 FilmViewer::forward_clicked (wxMouseEvent& ev)
552 {
553         go_to (_video_position + nudge_amount (ev));
554         ev.Skip ();
555 }
556
557 void
558 FilmViewer::player_changed (bool frequent)
559 {
560         if (frequent) {
561                 return;
562         }
563
564         if (_coalesce_player_changes) {
565                 _pending_player_change = true;
566                 return;
567         }
568
569         calculate_sizes ();
570         refresh ();
571         update_position_label ();
572         update_position_slider ();
573 }
574
575 void
576 FilmViewer::setup_sensitivity ()
577 {
578         bool const c = _film && !_film->content().empty ();
579
580         _slider->Enable (c);
581         _back_button->Enable (c);
582         _forward_button->Enable (c);
583         _play_button->Enable (c);
584         _outline_content->Enable (c);
585         _frame_number->Enable (c);
586         _timecode->Enable (c);
587         _jump_to_selected->Enable (c);
588
589         _left_eye->Enable (c && _film->three_d ());
590         _right_eye->Enable (c && _film->three_d ());
591 }
592
593 void
594 FilmViewer::film_changed (Film::Property p)
595 {
596         if (p == Film::CONTENT || p == Film::THREE_D) {
597                 setup_sensitivity ();
598         }
599 }
600
601 /** Re-get the current frame */
602 void
603 FilmViewer::refresh ()
604 {
605         seek (_video_position, _last_seek_accurate);
606 }
607
608 void
609 FilmViewer::set_position (DCPTime p)
610 {
611         _video_position = p;
612         seek (p, true);
613         update_position_label ();
614         update_position_slider ();
615 }
616
617 void
618 FilmViewer::set_coalesce_player_changes (bool c)
619 {
620         _coalesce_player_changes = c;
621
622         if (c) {
623                 _pending_player_change = false;
624         } else {
625                 if (_pending_player_change) {
626                         player_changed (false);
627                 }
628         }
629 }
630
631 void
632 FilmViewer::timecode_clicked ()
633 {
634         PlayheadToTimecodeDialog* dialog = new PlayheadToTimecodeDialog (this, _film->video_frame_rate ());
635         if (dialog->ShowModal() == wxID_OK) {
636                 go_to (dialog->get ());
637         }
638         dialog->Destroy ();
639 }
640
641 void
642 FilmViewer::frame_number_clicked ()
643 {
644         PlayheadToFrameDialog* dialog = new PlayheadToFrameDialog (this, _film->video_frame_rate ());
645         if (dialog->ShowModal() == wxID_OK) {
646                 go_to (dialog->get ());
647         }
648         dialog->Destroy ();
649 }
650
651 void
652 FilmViewer::jump_to_selected_clicked ()
653 {
654         Config::instance()->set_jump_to_selected (_jump_to_selected->GetValue ());
655 }
656
657 void
658 FilmViewer::seek (DCPTime t, bool accurate)
659 {
660         if (!_butler) {
661                 return;
662         }
663
664         _butler->seek (t, accurate);
665         _last_seek_accurate = accurate;
666         get ();
667 }
668
669 void
670 FilmViewer::config_changed (Config::Property p)
671 {
672         if (p != Config::SOUND_OUTPUT) {
673                 return;
674         }
675
676         if (_audio.isStreamOpen ()) {
677                 _audio.closeStream ();
678         }
679
680         unsigned int st = 0;
681         if (Config::instance()->sound_output()) {
682                 while (st < _audio.getDeviceCount()) {
683                         if (_audio.getDeviceInfo(st).name == Config::instance()->sound_output().get()) {
684                                 break;
685                         }
686                         ++st;
687                 }
688                 if (st == _audio.getDeviceCount()) {
689                         st = _audio.getDefaultOutputDevice();
690                 }
691         } else {
692                 st = _audio.getDefaultOutputDevice();
693         }
694
695         _audio_channels = _audio.getDeviceInfo(st).outputChannels;
696         recreate_butler ();
697
698         RtAudio::StreamParameters sp;
699         sp.deviceId = st;
700         sp.nChannels = _audio_channels;
701         sp.firstChannel = 0;
702         try {
703                 _audio.openStream (&sp, 0, RTAUDIO_FLOAT32, 48000, &_audio_block_size, &rtaudio_callback, this);
704 #ifdef DCPOMATIC_USE_RTERROR
705         } catch (RtError& e) {
706 #else
707         } catch (RtAudioError& e) {
708 #endif
709                 error_dialog (this, wxString::Format (_("Could not set up audio output (%s).  There will be no audio during the preview."), e.what()));
710         }
711 }
712
713 DCPTime
714 FilmViewer::time () const
715 {
716         if (_audio.isStreamRunning ()) {
717                 return DCPTime::from_seconds (const_cast<RtAudio*>(&_audio)->getStreamTime ());
718         }
719
720         return _video_position;
721 }
722
723 int
724 FilmViewer::audio_callback (void* out_p, unsigned int frames)
725 {
726         _butler->get_audio (reinterpret_cast<float*> (out_p), frames);
727         return 0;
728 }