Previously the code did not account for referenced audio, so far
[dcpomatic.git] / src / lib / reel_writer.cc
1 /*
2     Copyright (C) 2012-2016 Carl Hetherington <cth@carlh.net>
3
4     This file is part of DCP-o-matic.
5
6     DCP-o-matic is free software; you can redistribute it and/or modify
7     it under the terms of the GNU General Public License as published by
8     the Free Software Foundation; either version 2 of the License, or
9     (at your option) any later version.
10
11     DCP-o-matic is distributed in the hope that it will be useful,
12     but WITHOUT ANY WARRANTY; without even the implied warranty of
13     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14     GNU General Public License for more details.
15
16     You should have received a copy of the GNU General Public License
17     along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
18
19 */
20
21 #include "reel_writer.h"
22 #include "film.h"
23 #include "cross.h"
24 #include "job.h"
25 #include "log.h"
26 #include "digester.h"
27 #include "font.h"
28 #include "compose.hpp"
29 #include "audio_buffers.h"
30 #include <dcp/mono_picture_asset.h>
31 #include <dcp/stereo_picture_asset.h>
32 #include <dcp/sound_asset.h>
33 #include <dcp/sound_asset_writer.h>
34 #include <dcp/reel.h>
35 #include <dcp/reel_mono_picture_asset.h>
36 #include <dcp/reel_stereo_picture_asset.h>
37 #include <dcp/reel_sound_asset.h>
38 #include <dcp/reel_subtitle_asset.h>
39 #include <dcp/dcp.h>
40 #include <dcp/cpl.h>
41 #include <dcp/certificate_chain.h>
42 #include <dcp/interop_subtitle_asset.h>
43 #include <dcp/smpte_subtitle_asset.h>
44 #include <dcp/raw_convert.h>
45 #include <boost/foreach.hpp>
46
47 #include "i18n.h"
48
49 #define LOG_GENERAL(...) _film->log()->log (String::compose (__VA_ARGS__), LogEntry::TYPE_GENERAL);
50 #define LOG_GENERAL_NC(...) _film->log()->log (__VA_ARGS__, LogEntry::TYPE_GENERAL);
51 #define LOG_WARNING_NC(...) _film->log()->log (__VA_ARGS__, LogEntry::TYPE_WARNING);
52 #define LOG_ERROR(...) _film->log()->log (String::compose (__VA_ARGS__), LogEntry::TYPE_ERROR);
53
54 using std::list;
55 using std::string;
56 using std::cout;
57 using boost::shared_ptr;
58 using boost::optional;
59 using boost::dynamic_pointer_cast;
60 using dcp::Data;
61 using dcp::raw_convert;
62
63 int const ReelWriter::_info_size = 48;
64
65 ReelWriter::ReelWriter (
66         shared_ptr<const Film> film, DCPTimePeriod period, shared_ptr<Job> job, int reel_index, int reel_count, optional<string> content_summary
67         )
68         : _film (film)
69         , _period (period)
70         , _last_written_video_frame (-1)
71         , _last_written_eyes (EYES_RIGHT)
72         , _reel_index (reel_index)
73         , _reel_count (reel_count)
74         , _content_summary (content_summary)
75 {
76         /* Create our picture asset in a subdirectory, named according to those
77            film's parameters which affect the video output.  We will hard-link
78            it into the DCP later.
79         */
80
81         if (_film->three_d ()) {
82                 _picture_asset.reset (new dcp::StereoPictureAsset (dcp::Fraction (_film->video_frame_rate (), 1)));
83         } else {
84                 _picture_asset.reset (new dcp::MonoPictureAsset (dcp::Fraction (_film->video_frame_rate (), 1)));
85         }
86
87         _picture_asset->set_size (_film->frame_size ());
88
89         if (_film->encrypted ()) {
90                 _picture_asset->set_key (_film->key ());
91                 _picture_asset->set_context_id (_film->context_id ());
92         }
93
94         _picture_asset->set_file (
95                 _film->internal_video_asset_dir() / _film->internal_video_asset_filename(_period)
96                 );
97
98         job->sub (_("Checking existing image data"));
99         _first_nonexistant_frame = check_existing_picture_asset ();
100
101         _picture_asset_writer = _picture_asset->start_write (
102                 _film->internal_video_asset_dir() / _film->internal_video_asset_filename(_period),
103                 _film->interop() ? dcp::INTEROP : dcp::SMPTE,
104                 _first_nonexistant_frame > 0
105                 );
106
107         if (_film->audio_channels ()) {
108                 _sound_asset.reset (
109                         new dcp::SoundAsset (dcp::Fraction (_film->video_frame_rate(), 1), _film->audio_frame_rate (), _film->audio_channels ())
110                         );
111
112                 if (_film->encrypted ()) {
113                         _sound_asset->set_key (_film->key ());
114                 }
115
116                 DCPOMATIC_ASSERT (_film->directory());
117
118                 /* Write the sound asset into the film directory so that we leave the creation
119                    of the DCP directory until the last minute.
120                 */
121                 _sound_asset_writer = _sound_asset->start_write (
122                         _film->directory().get() / audio_asset_filename (_sound_asset, _reel_index, _reel_count, _content_summary),
123                         _film->interop() ? dcp::INTEROP : dcp::SMPTE
124                         );
125         }
126 }
127
128 /** @param frame reel-relative frame */
129 void
130 ReelWriter::write_frame_info (Frame frame, Eyes eyes, dcp::FrameInfo info) const
131 {
132         FILE* file = 0;
133         boost::filesystem::path info_file = _film->info_file (_period);
134
135         bool const read = boost::filesystem::exists (info_file);
136
137 #ifdef DCPOMATIC_WINDOWS
138         if (read) {
139                 LOG_GENERAL (
140                         "Checked %1 (which exists) length is %2 perms are %3",
141                         info_file, boost::filesystem::file_size (info_file), int(boost::filesystem::status(info_file).permissions())
142                         );
143         } else {
144                 LOG_GENERAL ("Checked %1 (which does not exist)", info_file);
145         }
146 #endif
147
148         if (read) {
149                 file = fopen_boost (info_file, "r+b");
150         } else {
151                 file = fopen_boost (info_file, "wb");
152         }
153         if (!file) {
154                 throw OpenFileError (info_file, errno, read);
155         }
156         dcpomatic_fseek (file, frame_info_position (frame, eyes), SEEK_SET);
157         fwrite (&info.offset, sizeof (info.offset), 1, file);
158         fwrite (&info.size, sizeof (info.size), 1, file);
159         fwrite (info.hash.c_str(), 1, info.hash.size(), file);
160         fclose (file);
161 }
162
163 dcp::FrameInfo
164 ReelWriter::read_frame_info (FILE* file, Frame frame, Eyes eyes) const
165 {
166         dcp::FrameInfo info;
167         dcpomatic_fseek (file, frame_info_position (frame, eyes), SEEK_SET);
168         fread (&info.offset, sizeof (info.offset), 1, file);
169         fread (&info.size, sizeof (info.size), 1, file);
170
171         char hash_buffer[33];
172         fread (hash_buffer, 1, 32, file);
173         hash_buffer[32] = '\0';
174         info.hash = hash_buffer;
175
176         return info;
177 }
178
179 long
180 ReelWriter::frame_info_position (Frame frame, Eyes eyes) const
181 {
182         switch (eyes) {
183         case EYES_BOTH:
184                 return frame * _info_size;
185         case EYES_LEFT:
186                 return frame * _info_size * 2;
187         case EYES_RIGHT:
188                 return frame * _info_size * 2 + _info_size;
189         default:
190                 DCPOMATIC_ASSERT (false);
191         }
192
193         DCPOMATIC_ASSERT (false);
194 }
195
196 Frame
197 ReelWriter::check_existing_picture_asset ()
198 {
199         DCPOMATIC_ASSERT (_picture_asset->file());
200         boost::filesystem::path asset = _picture_asset->file().get();
201
202         /* If there is an existing asset, break any hard links to it as we are about to change its contents
203            (if only by changing the IDs); see #1126.
204         */
205
206         if (boost::filesystem::exists(asset) && boost::filesystem::hard_link_count(asset) > 1) {
207                 boost::filesystem::copy_file (asset, asset.string() + ".tmp");
208                 boost::filesystem::remove (asset);
209                 boost::filesystem::rename (asset.string() + ".tmp", asset);
210         }
211
212         /* Try to open the existing asset */
213         FILE* asset_file = fopen_boost (asset, "rb");
214         if (!asset_file) {
215                 LOG_GENERAL ("Could not open existing asset at %1 (errno=%2)", asset.string(), errno);
216                 return 0;
217         } else {
218                 LOG_GENERAL ("Opened existing asset at %1", asset.string());
219         }
220
221         /* Offset of the last dcp::FrameInfo in the info file */
222         int const n = (boost::filesystem::file_size (_film->info_file(_period)) / _info_size) - 1;
223         LOG_GENERAL ("The last FI is %1; info file is %2, info size %3", n, boost::filesystem::file_size (_film->info_file(_period)), _info_size);
224
225         FILE* info_file = fopen_boost (_film->info_file(_period), "rb");
226         if (!info_file) {
227                 LOG_GENERAL_NC ("Could not open film info file");
228                 fclose (asset_file);
229                 return 0;
230         }
231
232         Frame first_nonexistant_frame;
233         if (_film->three_d ()) {
234                 /* Start looking at the last left frame */
235                 first_nonexistant_frame = n / 2;
236         } else {
237                 first_nonexistant_frame = n;
238         }
239
240         while (!existing_picture_frame_ok(asset_file, info_file, first_nonexistant_frame) && first_nonexistant_frame > 0) {
241                 --first_nonexistant_frame;
242         }
243
244         if (!_film->three_d() && first_nonexistant_frame > 0) {
245                 /* If we are doing 3D we might have found a good L frame with no R, so only
246                    do this if we're in 2D and we've just found a good B(oth) frame.
247                 */
248                 ++first_nonexistant_frame;
249         }
250
251         LOG_GENERAL ("Proceeding with first nonexistant frame %1", first_nonexistant_frame);
252
253         fclose (asset_file);
254         fclose (info_file);
255
256         return first_nonexistant_frame;
257 }
258
259 void
260 ReelWriter::write (optional<Data> encoded, Frame frame, Eyes eyes)
261 {
262         dcp::FrameInfo fin = _picture_asset_writer->write (encoded->data().get (), encoded->size());
263         write_frame_info (frame, eyes, fin);
264         _last_written[eyes] = encoded;
265         _last_written_video_frame = frame;
266         _last_written_eyes = eyes;
267 }
268
269 void
270 ReelWriter::fake_write (Frame frame, Eyes eyes, int size)
271 {
272         _picture_asset_writer->fake_write (size);
273         _last_written_video_frame = frame;
274         _last_written_eyes = eyes;
275 }
276
277 void
278 ReelWriter::repeat_write (Frame frame, Eyes eyes)
279 {
280         dcp::FrameInfo fin = _picture_asset_writer->write (
281                 _last_written[eyes]->data().get(),
282                 _last_written[eyes]->size()
283                 );
284         write_frame_info (frame, eyes, fin);
285         _last_written_video_frame = frame;
286         _last_written_eyes = eyes;
287 }
288
289 void
290 ReelWriter::finish ()
291 {
292         if (!_picture_asset_writer->finalize ()) {
293                 /* Nothing was written to the picture asset */
294                 LOG_GENERAL ("Nothing was written to reel %1 of %2", _reel_index, _reel_count);
295                 _picture_asset.reset ();
296         }
297
298         if (_sound_asset_writer && !_sound_asset_writer->finalize ()) {
299                 /* Nothing was written to the sound asset */
300                 _sound_asset.reset ();
301         }
302
303         /* Hard-link any video asset file into the DCP */
304         if (_picture_asset) {
305                 DCPOMATIC_ASSERT (_picture_asset->file());
306                 boost::filesystem::path video_from = _picture_asset->file().get();
307                 boost::filesystem::path video_to;
308                 video_to /= _film->dir (_film->dcp_name());
309                 video_to /= video_asset_filename (_picture_asset, _reel_index, _reel_count, _content_summary);
310
311                 boost::system::error_code ec;
312                 boost::filesystem::create_hard_link (video_from, video_to, ec);
313                 if (ec) {
314                         LOG_WARNING_NC ("Hard-link failed; copying instead");
315                         boost::filesystem::copy_file (video_from, video_to, ec);
316                         if (ec) {
317                                 LOG_ERROR ("Failed to copy video file from %1 to %2 (%3)", video_from.string(), video_to.string(), ec.message ());
318                                 throw FileError (ec.message(), video_from);
319                         }
320                 }
321
322                 _picture_asset->set_file (video_to);
323         }
324
325         /* Move the audio asset into the DCP */
326         if (_sound_asset) {
327                 boost::filesystem::path audio_to;
328                 audio_to /= _film->dir (_film->dcp_name ());
329                 string const aaf = audio_asset_filename (_sound_asset, _reel_index, _reel_count, _content_summary);
330                 audio_to /= aaf;
331
332                 boost::system::error_code ec;
333                 boost::filesystem::rename (_film->file (aaf), audio_to, ec);
334                 if (ec) {
335                         throw FileError (
336                                 String::compose (_("could not move audio asset into the DCP (%1)"), ec.value ()), aaf
337                                 );
338                 }
339
340                 _sound_asset->set_file (audio_to);
341         }
342 }
343
344 shared_ptr<dcp::Reel>
345 ReelWriter::create_reel (list<ReferencedReelAsset> const & refs, list<shared_ptr<Font> > const & fonts)
346 {
347         shared_ptr<dcp::Reel> reel (new dcp::Reel ());
348
349         shared_ptr<dcp::ReelPictureAsset> reel_picture_asset;
350
351         if (_picture_asset) {
352                 /* We have made a picture asset of our own.  Put it into the reel */
353                 shared_ptr<dcp::MonoPictureAsset> mono = dynamic_pointer_cast<dcp::MonoPictureAsset> (_picture_asset);
354                 if (mono) {
355                         reel_picture_asset.reset (new dcp::ReelMonoPictureAsset (mono, 0));
356                 }
357
358                 shared_ptr<dcp::StereoPictureAsset> stereo = dynamic_pointer_cast<dcp::StereoPictureAsset> (_picture_asset);
359                 if (stereo) {
360                         reel_picture_asset.reset (new dcp::ReelStereoPictureAsset (stereo, 0));
361                 }
362         } else {
363                 LOG_GENERAL ("no picture asset of our own; look through %1", refs.size());
364                 /* We don't have a picture asset of our own; hopefully we have one to reference */
365                 BOOST_FOREACH (ReferencedReelAsset j, refs) {
366                         shared_ptr<dcp::ReelPictureAsset> k = dynamic_pointer_cast<dcp::ReelPictureAsset> (j.asset);
367                         if (k) {
368                                 LOG_GENERAL ("candidate picture asset period is %1-%2", j.period.from.get(), j.period.to.get());
369                         }
370                         if (k && j.period == _period) {
371                                 reel_picture_asset = k;
372                         }
373                 }
374         }
375
376         LOG_GENERAL ("create_reel for %1-%2; %3 of %4", _period.from.get(), _period.to.get(), _reel_index, _reel_count);
377
378         Frame const period_duration = _period.duration().frames_round(_film->video_frame_rate());
379
380         DCPOMATIC_ASSERT (reel_picture_asset);
381         if (reel_picture_asset->duration() != period_duration) {
382                 throw ProgrammingError (
383                         __FILE__, __LINE__,
384                         String::compose ("%1 vs %2", reel_picture_asset->duration(), period_duration)
385                         );
386         }
387         reel->add (reel_picture_asset);
388
389         /* If we have a hash for this asset in the CPL, assume that it is correct */
390         if (reel_picture_asset->hash()) {
391                 reel_picture_asset->asset_ref()->set_hash (reel_picture_asset->hash().get());
392         }
393
394         shared_ptr<dcp::ReelSoundAsset> reel_sound_asset;
395
396         if (_sound_asset) {
397                 /* We have made a sound asset of our own.  Put it into the reel */
398                 reel_sound_asset.reset (new dcp::ReelSoundAsset (_sound_asset, 0));
399         } else {
400                 /* We don't have a sound asset of our own; hopefully we have one to reference */
401                 BOOST_FOREACH (ReferencedReelAsset j, refs) {
402                         shared_ptr<dcp::ReelSoundAsset> k = dynamic_pointer_cast<dcp::ReelSoundAsset> (j.asset);
403                         if (k && j.period == _period) {
404                                 reel_sound_asset = k;
405                                 /* If we have a hash for this asset in the CPL, assume that it is correct */
406                                 if (k->hash()) {
407                                         k->asset_ref()->set_hash (k->hash().get());
408                                 }
409                         }
410                 }
411         }
412
413         DCPOMATIC_ASSERT (reel_sound_asset);
414         if (reel_sound_asset->duration() != period_duration) {
415                 LOG_ERROR (
416                         "Reel sound asset has length %1 but reel period is %2",
417                         reel_sound_asset->duration(),
418                         period_duration
419                         );
420                 if (reel_sound_asset->duration() != period_duration) {
421                         throw ProgrammingError (
422                                 __FILE__, __LINE__,
423                                 String::compose ("%1 vs %2", reel_sound_asset->duration(), period_duration)
424                                 );
425                 }
426
427         }
428         reel->add (reel_sound_asset);
429
430         shared_ptr<dcp::ReelSubtitleAsset> reel_subtitle_asset;
431
432         if (_subtitle_asset) {
433
434                 boost::filesystem::path liberation_normal;
435                 try {
436                         liberation_normal = shared_path() / "LiberationSans-Regular.ttf";
437                         if (!boost::filesystem::exists (liberation_normal)) {
438                                 /* Hack for unit tests */
439                                 liberation_normal = shared_path() / "fonts" / "LiberationSans-Regular.ttf";
440                         }
441                 } catch (boost::filesystem::filesystem_error& e) {
442
443                 }
444
445                 if (!boost::filesystem::exists(liberation_normal)) {
446                         liberation_normal = "/usr/share/fonts/truetype/liberation/LiberationSans-Regular.ttf";
447                 }
448
449                 /* Add all the fonts to the subtitle content */
450                 BOOST_FOREACH (shared_ptr<Font> j, fonts) {
451                         _subtitle_asset->add_font (j->id(), j->file(FontFiles::NORMAL).get_value_or(liberation_normal));
452                 }
453
454                 if (dynamic_pointer_cast<dcp::InteropSubtitleAsset> (_subtitle_asset)) {
455                         boost::filesystem::path directory = _film->dir (_film->dcp_name ()) / _subtitle_asset->id ();
456                         boost::filesystem::create_directories (directory);
457                         _subtitle_asset->write (directory / ("sub_" + _subtitle_asset->id() + ".xml"));
458                 } else {
459
460                         /* All our assets should be the same length; use the picture asset length here
461                            as a reference to set the subtitle one.
462                         */
463                         dynamic_pointer_cast<dcp::SMPTESubtitleAsset>(_subtitle_asset)->set_intrinsic_duration (
464                                 reel_picture_asset->intrinsic_duration ()
465                                 );
466
467                         _subtitle_asset->write (
468                                 _film->dir (_film->dcp_name ()) / ("sub_" + _subtitle_asset->id() + ".mxf")
469                                 );
470                 }
471
472                 reel_subtitle_asset.reset (
473                         new dcp::ReelSubtitleAsset (
474                                 _subtitle_asset,
475                                 dcp::Fraction (_film->video_frame_rate(), 1),
476                                 reel_picture_asset->intrinsic_duration (),
477                                 0
478                                 )
479                         );
480         } else {
481                 /* We don't have a subtitle asset of our own; hopefully we have one to reference */
482                 BOOST_FOREACH (ReferencedReelAsset j, refs) {
483                         shared_ptr<dcp::ReelSubtitleAsset> k = dynamic_pointer_cast<dcp::ReelSubtitleAsset> (j.asset);
484                         if (k && j.period == _period) {
485                                 reel_subtitle_asset = k;
486                                 /* If we have a hash for this asset in the CPL, assume that it is correct */
487                                 if (k->hash()) {
488                                         k->asset_ref()->set_hash (k->hash().get());
489                                 }
490                         }
491                 }
492         }
493
494         if (reel_subtitle_asset) {
495                 if (reel_subtitle_asset->duration() != period_duration) {
496                         throw ProgrammingError (
497                                 __FILE__, __LINE__,
498                                 String::compose ("%1 vs %2", reel_subtitle_asset->duration(), period_duration)
499                                 );
500                 }
501                 reel->add (reel_subtitle_asset);
502         }
503
504         return reel;
505 }
506
507 void
508 ReelWriter::calculate_digests (boost::function<void (float)> set_progress)
509 {
510         if (_picture_asset) {
511                 _picture_asset->hash (set_progress);
512         }
513
514         if (_sound_asset) {
515                 _sound_asset->hash (set_progress);
516         }
517 }
518
519 Frame
520 ReelWriter::start () const
521 {
522         return _period.from.frames_floor (_film->video_frame_rate());
523 }
524
525
526 void
527 ReelWriter::write (shared_ptr<const AudioBuffers> audio)
528 {
529         if (!_sound_asset_writer) {
530                 return;
531         }
532
533         if (audio) {
534                 _sound_asset_writer->write (audio->data(), audio->frames());
535         }
536 }
537
538 void
539 ReelWriter::write (PlayerSubtitles subs)
540 {
541         if (!_subtitle_asset) {
542                 string lang = _film->subtitle_language ();
543                 if (lang.empty ()) {
544                         lang = "Unknown";
545                 }
546                 if (_film->interop ()) {
547                         shared_ptr<dcp::InteropSubtitleAsset> s (new dcp::InteropSubtitleAsset ());
548                         s->set_movie_title (_film->name ());
549                         s->set_language (lang);
550                         s->set_reel_number (raw_convert<string> (_reel_index + 1));
551                         _subtitle_asset = s;
552                 } else {
553                         shared_ptr<dcp::SMPTESubtitleAsset> s (new dcp::SMPTESubtitleAsset ());
554                         s->set_content_title_text (_film->name ());
555                         s->set_language (lang);
556                         s->set_edit_rate (dcp::Fraction (_film->video_frame_rate (), 1));
557                         s->set_reel_number (_reel_index + 1);
558                         s->set_time_code_rate (_film->video_frame_rate ());
559                         s->set_start_time (dcp::Time ());
560                         if (_film->encrypted ()) {
561                                 s->set_key (_film->key ());
562                         }
563                         _subtitle_asset = s;
564                 }
565         }
566
567         BOOST_FOREACH (SubtitleString i, subs.text) {
568                 i.set_in  (i.in()  - dcp::Time (_period.from.seconds(), i.in().tcr));
569                 i.set_out (i.out() - dcp::Time (_period.from.seconds(), i.out().tcr));
570                 _subtitle_asset->add (i);
571         }
572 }
573
574 bool
575 ReelWriter::existing_picture_frame_ok (FILE* asset_file, FILE* info_file, Frame frame) const
576 {
577         LOG_GENERAL ("Checking existing picture frame %1", frame);
578
579         /* Read the data from the info file; for 3D we just check the left
580            frames until we find a good one.
581         */
582         dcp::FrameInfo const info = read_frame_info (info_file, frame, _film->three_d () ? EYES_LEFT : EYES_BOTH);
583
584         bool ok = true;
585
586         /* Read the data from the asset and hash it */
587         dcpomatic_fseek (asset_file, info.offset, SEEK_SET);
588         Data data (info.size);
589         size_t const read = fread (data.data().get(), 1, data.size(), asset_file);
590         LOG_GENERAL ("Read %1 bytes of asset data; wanted %2", read, info.size);
591         if (read != static_cast<size_t> (data.size ())) {
592                 LOG_GENERAL ("Existing frame %1 is incomplete", frame);
593                 ok = false;
594         } else {
595                 Digester digester;
596                 digester.add (data.data().get(), data.size());
597                 LOG_GENERAL ("Hash %1 vs %2", digester.get(), info.hash);
598                 if (digester.get() != info.hash) {
599                         LOG_GENERAL ("Existing frame %1 failed hash check", frame);
600                         ok = false;
601                 }
602         }
603
604         return ok;
605 }