Change how video timing is done.
[dcpomatic.git] / src / lib / text_content.cc
1 /*
2     Copyright (C) 2013-2021 Carl Hetherington <cth@carlh.net>
3
4     This file is part of DCP-o-matic.
5
6     DCP-o-matic is free software; you can redistribute it and/or modify
7     it under the terms of the GNU General Public License as published by
8     the Free Software Foundation; either version 2 of the License, or
9     (at your option) any later version.
10
11     DCP-o-matic is distributed in the hope that it will be useful,
12     but WITHOUT ANY WARRANTY; without even the implied warranty of
13     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14     GNU General Public License for more details.
15
16     You should have received a copy of the GNU General Public License
17     along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
18
19 */
20
21
22 #include "text_content.h"
23 #include "util.h"
24 #include "exceptions.h"
25 #include "font.h"
26 #include "content.h"
27 #include <dcp/raw_convert.h>
28 #include <libcxml/cxml.h>
29 #include <libxml++/libxml++.h>
30 #include <iostream>
31
32 #include "i18n.h"
33
34
35 using std::string;
36 using std::vector;
37 using std::cout;
38 using std::list;
39 using std::shared_ptr;
40 using std::make_shared;
41 using std::dynamic_pointer_cast;
42 using boost::optional;
43 using dcp::raw_convert;
44 using namespace dcpomatic;
45
46
47 int const TextContentProperty::X_OFFSET = 500;
48 int const TextContentProperty::Y_OFFSET = 501;
49 int const TextContentProperty::X_SCALE = 502;
50 int const TextContentProperty::Y_SCALE = 503;
51 int const TextContentProperty::USE = 504;
52 int const TextContentProperty::BURN = 505;
53 int const TextContentProperty::FONTS = 506;
54 int const TextContentProperty::COLOUR = 507;
55 int const TextContentProperty::EFFECT = 508;
56 int const TextContentProperty::EFFECT_COLOUR = 509;
57 int const TextContentProperty::LINE_SPACING = 510;
58 int const TextContentProperty::FADE_IN = 511;
59 int const TextContentProperty::FADE_OUT = 512;
60 int const TextContentProperty::OUTLINE_WIDTH = 513;
61 int const TextContentProperty::TYPE = 514;
62 int const TextContentProperty::DCP_TRACK = 515;
63 int const TextContentProperty::LANGUAGE = 516;
64 int const TextContentProperty::LANGUAGE_IS_ADDITIONAL = 517;
65
66
67 TextContent::TextContent (Content* parent, TextType type, TextType original_type)
68         : ContentPart (parent)
69         , _use (false)
70         , _burn (false)
71         , _x_offset (0)
72         , _y_offset (0)
73         , _x_scale (1)
74         , _y_scale (1)
75         , _line_spacing (1)
76         , _outline_width (4)
77         , _type (type)
78         , _original_type (original_type)
79 {
80
81 }
82
83 /** @return TextContents from node or <Text> nodes under node (according to version).
84  *  The list could be empty if no TextContents are found.
85  */
86 list<shared_ptr<TextContent>>
87 TextContent::from_xml (Content* parent, cxml::ConstNodePtr node, int version, list<string>& notes)
88 {
89         if (version < 34) {
90                 /* With old metadata FFmpeg content has the subtitle-related tags even with no
91                    subtitle streams, so check for that.
92                 */
93                 if (node->string_child("Type") == "FFmpeg" && node->node_children("SubtitleStream").empty()) {
94                         return {};
95                 }
96
97                 /* Otherwise we can drop through to the newer logic */
98         }
99
100         if (version < 37) {
101                 if (!node->optional_number_child<double>("SubtitleXOffset") && !node->optional_number_child<double>("SubtitleOffset")) {
102                         return {};
103                 }
104                 return { make_shared<TextContent>(parent, node, version, notes) };
105         }
106
107         list<shared_ptr<TextContent>> c;
108         for (auto i: node->node_children("Text")) {
109                 c.push_back (make_shared<TextContent>(parent, i, version, notes));
110         }
111
112         return c;
113 }
114
115 TextContent::TextContent (Content* parent, cxml::ConstNodePtr node, int version, list<string>& notes)
116         : ContentPart (parent)
117         , _use (false)
118         , _burn (false)
119         , _x_offset (0)
120         , _y_offset (0)
121         , _x_scale (1)
122         , _y_scale (1)
123         , _line_spacing (node->optional_number_child<double>("LineSpacing").get_value_or(1))
124         , _outline_width (node->optional_number_child<int>("OutlineWidth").get_value_or(4))
125         , _type (TextType::OPEN_SUBTITLE)
126         , _original_type (TextType::OPEN_SUBTITLE)
127 {
128         if (version >= 37) {
129                 _use = node->bool_child ("Use");
130                 _burn = node->bool_child ("Burn");
131         } else if (version >= 32) {
132                 _use = node->bool_child ("UseSubtitles");
133                 _burn = node->bool_child ("BurnSubtitles");
134         }
135
136         if (version >= 37) {
137                 _x_offset = node->number_child<double> ("XOffset");
138                 _y_offset = node->number_child<double> ("YOffset");
139         } else if (version >= 7) {
140                 _x_offset = node->number_child<double> ("SubtitleXOffset");
141                 _y_offset = node->number_child<double> ("SubtitleYOffset");
142         } else {
143                 _y_offset = node->number_child<double> ("SubtitleOffset");
144         }
145
146         if (node->optional_bool_child("Outline").get_value_or(false)) {
147                 _effect = dcp::Effect::BORDER;
148         } else if (node->optional_bool_child("Shadow").get_value_or(false)) {
149                 _effect = dcp::Effect::SHADOW;
150         } else {
151                 _effect = dcp::Effect::NONE;
152         }
153
154         auto effect = node->optional_string_child("Effect");
155         if (effect) {
156                 if (*effect == "none") {
157                         _effect = dcp::Effect::NONE;
158                 } else if (*effect == "outline") {
159                         _effect = dcp::Effect::BORDER;
160                 } else if (*effect == "shadow") {
161                         _effect = dcp::Effect::SHADOW;
162                 }
163         }
164
165         if (version >= 37) {
166                 _x_scale = node->number_child<double> ("XScale");
167                 _y_scale = node->number_child<double> ("YScale");
168         } else if (version >= 10) {
169                 _x_scale = node->number_child<double> ("SubtitleXScale");
170                 _y_scale = node->number_child<double> ("SubtitleYScale");
171         } else {
172                 _x_scale = _y_scale = node->number_child<double> ("SubtitleScale");
173         }
174
175         auto r = node->optional_number_child<int>("Red");
176         auto g = node->optional_number_child<int>("Green");
177         auto b = node->optional_number_child<int>("Blue");
178         if (r && g && b) {
179                 _colour = dcp::Colour (*r, *g, *b);
180         }
181
182         if (version >= 36) {
183                 auto er = node->optional_number_child<int>("EffectRed");
184                 auto eg = node->optional_number_child<int>("EffectGreen");
185                 auto eb = node->optional_number_child<int>("EffectBlue");
186                 if (er && eg && eb) {
187                         _effect_colour = dcp::Colour (*er, *eg, *eb);
188                 }
189         } else {
190                 _effect_colour = dcp::Colour (
191                         node->optional_number_child<int>("OutlineRed").get_value_or(255),
192                         node->optional_number_child<int>("OutlineGreen").get_value_or(255),
193                         node->optional_number_child<int>("OutlineBlue").get_value_or(255)
194                         );
195         }
196
197         optional<Frame> fi;
198         if (version >= 37) {
199                 fi = node->optional_number_child<Frame>("FadeIn");
200         } else {
201                 fi = node->optional_number_child<Frame>("SubtitleFadeIn");
202         }
203         if (fi) {
204                 _fade_in = ContentTime (*fi);
205         }
206
207         optional<Frame> fo;
208         if (version >= 37) {
209                 fo = node->optional_number_child<Frame>("FadeOut");
210         } else {
211                 fo = node->optional_number_child<Frame>("SubtitleFadeOut");
212         }
213         if (fo) {
214                 _fade_out = ContentTime (*fo);
215         }
216
217         for (auto i: node->node_children ("Font")) {
218                 _fonts.push_back (make_shared<Font>(i));
219         }
220
221         connect_to_fonts ();
222
223         if (version >= 37) {
224                 _type = string_to_text_type (node->optional_string_child("Type").get_value_or("open"));
225                 if (node->optional_string_child("OriginalType")) {
226                         _original_type = string_to_text_type (node->optional_string_child("OriginalType").get());
227                 }
228         }
229
230         auto dt = node->optional_node_child("DCPTrack");
231         if (dt) {
232                 _dcp_track = DCPTextTrack (dt);
233         }
234
235         auto lang = node->optional_node_child("Language");
236         if (lang) {
237                 try {
238                         _language = dcp::LanguageTag(lang->content());
239                         auto additional = lang->optional_bool_attribute("Additional");
240                         if (!additional) {
241                                 additional = lang->optional_bool_attribute("additional");
242                         }
243                         _language_is_additional = additional.get_value_or(false);
244                 } catch (dcp::LanguageTagError&) {
245                         /* The language tag can be empty or invalid if it was loaded from a
246                          * 2.14.x metadata file; we'll just ignore it in that case.
247                          */
248                         if (version <= 37) {
249                                 if (!lang->content().empty()) {
250                                         notes.push_back (String::compose(
251                                                 _("A subtitle or closed caption file in this project is marked with the language '%1', "
252                                                   "which DCP-o-matic does not recognise.  The file's language has been cleared."), lang->content()));
253                                 }
254                         } else {
255                                 throw;
256                         }
257                 }
258         }
259 }
260
261 TextContent::TextContent (Content* parent, vector<shared_ptr<Content>> c)
262         : ContentPart (parent)
263 {
264         /* This constructor is for join which is only supported for content types
265            that have a single text, so we can use only_text() here.
266         */
267         auto ref = c[0]->only_text();
268         DCPOMATIC_ASSERT (ref);
269         auto ref_fonts = ref->fonts ();
270
271         for (size_t i = 1; i < c.size(); ++i) {
272
273                 if (c[i]->only_text()->use() != ref->use()) {
274                         throw JoinError (_("Content to be joined must have the same 'use subtitles' setting."));
275                 }
276
277                 if (c[i]->only_text()->burn() != ref->burn()) {
278                         throw JoinError (_("Content to be joined must have the same 'burn subtitles' setting."));
279                 }
280
281                 if (c[i]->only_text()->x_offset() != ref->x_offset()) {
282                         throw JoinError (_("Content to be joined must have the same subtitle X offset."));
283                 }
284
285                 if (c[i]->only_text()->y_offset() != ref->y_offset()) {
286                         throw JoinError (_("Content to be joined must have the same subtitle Y offset."));
287                 }
288
289                 if (c[i]->only_text()->x_scale() != ref->x_scale()) {
290                         throw JoinError (_("Content to be joined must have the same subtitle X scale."));
291                 }
292
293                 if (c[i]->only_text()->y_scale() != ref->y_scale()) {
294                         throw JoinError (_("Content to be joined must have the same subtitle Y scale."));
295                 }
296
297                 if (c[i]->only_text()->line_spacing() != ref->line_spacing()) {
298                         throw JoinError (_("Content to be joined must have the same subtitle line spacing."));
299                 }
300
301                 if ((c[i]->only_text()->fade_in() != ref->fade_in()) || (c[i]->only_text()->fade_out() != ref->fade_out())) {
302                         throw JoinError (_("Content to be joined must have the same subtitle fades."));
303                 }
304
305                 if ((c[i]->only_text()->outline_width() != ref->outline_width())) {
306                         throw JoinError (_("Content to be joined must have the same outline width."));
307                 }
308
309                 auto fonts = c[i]->only_text()->fonts ();
310                 if (fonts.size() != ref_fonts.size()) {
311                         throw JoinError (_("Content to be joined must use the same fonts."));
312                 }
313
314                 if (c[i]->only_text()->dcp_track() != ref->dcp_track()) {
315                         throw JoinError (_("Content to be joined must use the same DCP track."));
316                 }
317
318                 if (c[i]->only_text()->language() != ref->language()) {
319                         throw JoinError (_("Content to be joined must use the same text language."));
320                 }
321
322                 if (c[i]->only_text()->language_is_additional() != ref->language_is_additional()) {
323                         throw JoinError (_("Content to be joined must both be main subtitle languages or both additional."));
324                 }
325
326                 auto j = ref_fonts.begin ();
327                 auto k = fonts.begin ();
328
329                 while (j != ref_fonts.end ()) {
330                         if (**j != **k) {
331                                 throw JoinError (_("Content to be joined must use the same fonts."));
332                         }
333                         ++j;
334                         ++k;
335                 }
336         }
337
338         _use = ref->use ();
339         _burn = ref->burn ();
340         _x_offset = ref->x_offset ();
341         _y_offset = ref->y_offset ();
342         _x_scale = ref->x_scale ();
343         _y_scale = ref->y_scale ();
344         _fonts = ref_fonts;
345         _line_spacing = ref->line_spacing ();
346         _fade_in = ref->fade_in ();
347         _fade_out = ref->fade_out ();
348         _outline_width = ref->outline_width ();
349         _type = ref->type ();
350         _original_type = ref->original_type ();
351         _dcp_track = ref->dcp_track ();
352         _language = ref->language ();
353         _language_is_additional = ref->language_is_additional ();
354
355         connect_to_fonts ();
356 }
357
358 /** _mutex must not be held on entry */
359 void
360 TextContent::as_xml (xmlpp::Node* root) const
361 {
362         boost::mutex::scoped_lock lm (_mutex);
363
364         auto text = root->add_child ("Text");
365
366         text->add_child("Use")->add_child_text (_use ? "1" : "0");
367         text->add_child("Burn")->add_child_text (_burn ? "1" : "0");
368         text->add_child("XOffset")->add_child_text (raw_convert<string> (_x_offset));
369         text->add_child("YOffset")->add_child_text (raw_convert<string> (_y_offset));
370         text->add_child("XScale")->add_child_text (raw_convert<string> (_x_scale));
371         text->add_child("YScale")->add_child_text (raw_convert<string> (_y_scale));
372         if (_colour) {
373                 text->add_child("Red")->add_child_text (raw_convert<string> (_colour->r));
374                 text->add_child("Green")->add_child_text (raw_convert<string> (_colour->g));
375                 text->add_child("Blue")->add_child_text (raw_convert<string> (_colour->b));
376         }
377         if (_effect) {
378                 switch (*_effect) {
379                 case dcp::Effect::NONE:
380                         text->add_child("Effect")->add_child_text("none");
381                         break;
382                 case dcp::Effect::BORDER:
383                         text->add_child("Effect")->add_child_text("outline");
384                         break;
385                 case dcp::Effect::SHADOW:
386                         text->add_child("Effect")->add_child_text("shadow");
387                         break;
388                 }
389         }
390         if (_effect_colour) {
391                 text->add_child("EffectRed")->add_child_text (raw_convert<string> (_effect_colour->r));
392                 text->add_child("EffectGreen")->add_child_text (raw_convert<string> (_effect_colour->g));
393                 text->add_child("EffectBlue")->add_child_text (raw_convert<string> (_effect_colour->b));
394         }
395         text->add_child("LineSpacing")->add_child_text (raw_convert<string> (_line_spacing));
396         if (_fade_in) {
397                 text->add_child("FadeIn")->add_child_text (raw_convert<string> (_fade_in->get()));
398         }
399         if (_fade_out) {
400                 text->add_child("FadeOut")->add_child_text (raw_convert<string> (_fade_out->get()));
401         }
402         text->add_child("OutlineWidth")->add_child_text (raw_convert<string> (_outline_width));
403
404         for (auto i: _fonts) {
405                 i->as_xml (text->add_child("Font"));
406         }
407
408         text->add_child("Type")->add_child_text (text_type_to_string(_type));
409         text->add_child("OriginalType")->add_child_text (text_type_to_string(_original_type));
410         if (_dcp_track) {
411                 _dcp_track->as_xml(text->add_child("DCPTrack"));
412         }
413         if (_language) {
414                 auto lang = text->add_child("Language");
415                 lang->add_child_text (_language->to_string());
416                 lang->set_attribute("additional", _language_is_additional ? "1" : "0");
417         }
418 }
419
420 string
421 TextContent::identifier () const
422 {
423         auto s = raw_convert<string> (x_scale())
424                 + "_" + raw_convert<string> (y_scale())
425                 + "_" + raw_convert<string> (x_offset())
426                 + "_" + raw_convert<string> (y_offset())
427                 + "_" + raw_convert<string> (line_spacing())
428                 + "_" + raw_convert<string> (fade_in().get_value_or(ContentTime()).get())
429                 + "_" + raw_convert<string> (fade_out().get_value_or(ContentTime()).get())
430                 + "_" + raw_convert<string> (outline_width())
431                 + "_" + raw_convert<string> (colour().get_value_or(dcp::Colour(255, 255, 255)).to_argb_string())
432                 + "_" + raw_convert<string> (dcp::effect_to_string(effect().get_value_or(dcp::Effect::NONE)))
433                 + "_" + raw_convert<string> (effect_colour().get_value_or(dcp::Colour(0, 0, 0)).to_argb_string())
434                 + "_" + raw_convert<string> (_parent->video_frame_rate().get_value_or(0));
435
436         /* XXX: I suppose really _fonts shouldn't be in here, since not all
437            types of subtitle content involve fonts.
438         */
439         for (auto f: _fonts) {
440                 s += "_" + f->file().get_value_or("Default").string();
441         }
442
443         /* The DCP track and language are for metadata only, and don't affect how this content looks */
444
445         return s;
446 }
447
448 void
449 TextContent::add_font (shared_ptr<Font> font)
450 {
451         boost::mutex::scoped_lock lm(_mutex);
452
453         DCPOMATIC_ASSERT(!get_font_unlocked(font->id()));
454         _fonts.push_back (font);
455         connect_to_fonts ();
456 }
457
458 void
459 TextContent::connect_to_fonts ()
460 {
461         for (auto const& i: _font_connections) {
462                 i.disconnect ();
463         }
464
465         _font_connections.clear ();
466
467         for (auto i: _fonts) {
468                 _font_connections.push_back (i->Changed.connect (boost::bind (&TextContent::font_changed, this)));
469         }
470 }
471
472 void
473 TextContent::font_changed ()
474 {
475         /* XXX: too late */
476         ContentChangeSignaller cc (_parent, TextContentProperty::FONTS);
477 }
478
479 void
480 TextContent::set_colour (dcp::Colour colour)
481 {
482         maybe_set (_colour, colour, TextContentProperty::COLOUR);
483 }
484
485 void
486 TextContent::unset_colour ()
487 {
488         maybe_set (_colour, optional<dcp::Colour>(), TextContentProperty::COLOUR);
489 }
490
491 void
492 TextContent::set_effect (dcp::Effect e)
493 {
494         maybe_set (_effect, e, TextContentProperty::EFFECT);
495 }
496
497 void
498 TextContent::unset_effect ()
499 {
500         maybe_set (_effect, optional<dcp::Effect>(), TextContentProperty::EFFECT);
501 }
502
503 void
504 TextContent::set_effect_colour (dcp::Colour colour)
505 {
506         maybe_set (_effect_colour, colour, TextContentProperty::EFFECT_COLOUR);
507 }
508
509 void
510 TextContent::unset_effect_colour ()
511 {
512         maybe_set (_effect_colour, optional<dcp::Colour>(), TextContentProperty::EFFECT_COLOUR);
513 }
514
515 void
516 TextContent::set_use (bool u)
517 {
518         maybe_set (_use, u, TextContentProperty::USE);
519 }
520
521 void
522 TextContent::set_burn (bool b)
523 {
524         maybe_set (_burn, b, TextContentProperty::BURN);
525 }
526
527 void
528 TextContent::set_x_offset (double o)
529 {
530         maybe_set (_x_offset, o, TextContentProperty::X_OFFSET);
531 }
532
533 void
534 TextContent::set_y_offset (double o)
535 {
536         maybe_set (_y_offset, o, TextContentProperty::Y_OFFSET);
537 }
538
539 void
540 TextContent::set_x_scale (double s)
541 {
542         maybe_set (_x_scale, s, TextContentProperty::X_SCALE);
543 }
544
545 void
546 TextContent::set_y_scale (double s)
547 {
548         maybe_set (_y_scale, s, TextContentProperty::Y_SCALE);
549 }
550
551 void
552 TextContent::set_line_spacing (double s)
553 {
554         maybe_set (_line_spacing, s, TextContentProperty::LINE_SPACING);
555 }
556
557 void
558 TextContent::set_fade_in (ContentTime t)
559 {
560         maybe_set (_fade_in, t, TextContentProperty::FADE_IN);
561 }
562
563 void
564 TextContent::unset_fade_in ()
565 {
566         maybe_set (_fade_in, optional<ContentTime>(), TextContentProperty::FADE_IN);
567 }
568
569 void
570 TextContent::set_fade_out (ContentTime t)
571 {
572         maybe_set (_fade_out, t, TextContentProperty::FADE_OUT);
573 }
574
575 void
576 TextContent::unset_fade_out ()
577 {
578         maybe_set (_fade_out, optional<ContentTime>(), TextContentProperty::FADE_OUT);
579 }
580
581 void
582 TextContent::set_type (TextType type)
583 {
584         maybe_set (_type, type, TextContentProperty::TYPE);
585 }
586
587 void
588 TextContent::set_outline_width (int w)
589 {
590         maybe_set (_outline_width, w, TextContentProperty::OUTLINE_WIDTH);
591 }
592
593 void
594 TextContent::set_dcp_track (DCPTextTrack t)
595 {
596         maybe_set (_dcp_track, t, TextContentProperty::DCP_TRACK);
597 }
598
599 void
600 TextContent::unset_dcp_track ()
601 {
602         maybe_set (_dcp_track, optional<DCPTextTrack>(), TextContentProperty::DCP_TRACK);
603 }
604
605 void
606 TextContent::set_language (optional<dcp::LanguageTag> language)
607 {
608         maybe_set (_language, language, TextContentProperty::LANGUAGE);
609 }
610
611 void
612 TextContent::set_language_is_additional (bool additional)
613 {
614         maybe_set (_language_is_additional, additional, TextContentProperty::LANGUAGE_IS_ADDITIONAL);
615 }
616
617 void
618 TextContent::take_settings_from (shared_ptr<const TextContent> c)
619 {
620         set_use (c->_use);
621         set_burn (c->_burn);
622         set_x_offset (c->_x_offset);
623         set_y_offset (c->_y_offset);
624         set_x_scale (c->_x_scale);
625         set_y_scale (c->_y_scale);
626         maybe_set (_fonts, c->_fonts, TextContentProperty::FONTS);
627         if (c->_colour) {
628                 set_colour (*c->_colour);
629         } else {
630                 unset_colour ();
631         }
632         if (c->_effect) {
633                 set_effect (*c->_effect);
634         }
635         if (c->_effect_colour) {
636                 set_effect_colour (*c->_effect_colour);
637         } else {
638                 unset_effect_colour ();
639         }
640         set_line_spacing (c->_line_spacing);
641         if (c->_fade_in) {
642                 set_fade_in (*c->_fade_in);
643         }
644         if (c->_fade_out) {
645                 set_fade_out (*c->_fade_out);
646         }
647         set_outline_width (c->_outline_width);
648         if (c->_dcp_track) {
649                 set_dcp_track (c->_dcp_track.get());
650         } else {
651                 unset_dcp_track ();
652         }
653         set_language (c->_language);
654         set_language_is_additional (c->_language_is_additional);
655 }
656
657
658 shared_ptr<dcpomatic::Font>
659 TextContent::get_font(string id) const
660 {
661         boost::mutex::scoped_lock lm(_mutex);
662         return get_font_unlocked(id);
663 }
664
665
666 shared_ptr<dcpomatic::Font>
667 TextContent::get_font_unlocked(string id) const
668 {
669         auto iter = std::find_if(_fonts.begin(), _fonts.end(), [&id](shared_ptr<dcpomatic::Font> font) {
670                 return font->id() == id;
671         });
672
673         if (iter == _fonts.end()) {
674                 return {};
675         }
676
677         return *iter;
678 }
679
680
681 void
682 TextContent::clear_fonts()
683 {
684         boost::mutex::scoped_lock lm(_mutex);
685
686         _fonts.clear();
687 }
688