Different configuration of filename format for assets / metadata (since CPL/PKL files...
[dcpomatic.git] / src / lib / config.cc
1 /*
2     Copyright (C) 2012-2016 Carl Hetherington <cth@carlh.net>
3
4     This file is part of DCP-o-matic.
5
6     DCP-o-matic is free software; you can redistribute it and/or modify
7     it under the terms of the GNU General Public License as published by
8     the Free Software Foundation; either version 2 of the License, or
9     (at your option) any later version.
10
11     DCP-o-matic is distributed in the hope that it will be useful,
12     but WITHOUT ANY WARRANTY; without even the implied warranty of
13     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14     GNU General Public License for more details.
15
16     You should have received a copy of the GNU General Public License
17     along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
18
19 */
20
21 #include "config.h"
22 #include "filter.h"
23 #include "ratio.h"
24 #include "types.h"
25 #include "log.h"
26 #include "dcp_content_type.h"
27 #include "cinema_sound_processor.h"
28 #include "colour_conversion.h"
29 #include "cinema.h"
30 #include "util.h"
31 #include "cross.h"
32 #include "raw_convert.h"
33 #include <dcp/name_format.h>
34 #include <dcp/colour_matrix.h>
35 #include <dcp/certificate_chain.h>
36 #include <libcxml/cxml.h>
37 #include <glib.h>
38 #include <libxml++/libxml++.h>
39 #include <boost/filesystem.hpp>
40 #include <boost/algorithm/string.hpp>
41 #include <boost/foreach.hpp>
42 #include <boost/thread.hpp>
43 #include <cstdlib>
44 #include <fstream>
45 #include <iostream>
46
47 #include "i18n.h"
48
49 using std::vector;
50 using std::cout;
51 using std::ifstream;
52 using std::string;
53 using std::list;
54 using std::max;
55 using std::remove;
56 using std::exception;
57 using std::cerr;
58 using boost::shared_ptr;
59 using boost::optional;
60 using boost::algorithm::trim;
61
62 Config* Config::_instance = 0;
63 boost::signals2::signal<void ()> Config::FailedToLoad;
64
65 /** Construct default configuration */
66 Config::Config ()
67 {
68         set_defaults ();
69 }
70
71 void
72 Config::set_defaults ()
73 {
74         _num_local_encoding_threads = max (2U, boost::thread::hardware_concurrency ());
75         _server_port_base = 6192;
76         _use_any_servers = true;
77         _servers.clear ();
78         _only_servers_encode = false;
79         _tms_protocol = PROTOCOL_SCP;
80         _tms_ip = "";
81         _tms_path = ".";
82         _tms_user = "";
83         _tms_password = "";
84         _cinema_sound_processor = CinemaSoundProcessor::from_id (N_("dolby_cp750"));
85         _allow_any_dcp_frame_rate = false;
86         _language = optional<string> ();
87         _default_still_length = 10;
88         _default_container = Ratio::from_id ("185");
89         _default_dcp_content_type = DCPContentType::from_isdcf_name ("FTR");
90         _default_dcp_audio_channels = 6;
91         _default_j2k_bandwidth = 100000000;
92         _default_audio_delay = 0;
93         _default_interop = false;
94         _mail_server = "";
95         _mail_port = 25;
96         _mail_user = "";
97         _mail_password = "";
98         _kdm_from = "";
99         _kdm_cc.clear ();
100         _kdm_bcc = "";
101         _check_for_updates = false;
102         _check_for_test_updates = false;
103         _maximum_j2k_bandwidth = 250000000;
104         _log_types = LogEntry::TYPE_GENERAL | LogEntry::TYPE_WARNING | LogEntry::TYPE_ERROR;
105         _analyse_ebur128 = true;
106         _automatic_audio_analysis = false;
107 #ifdef DCPOMATIC_WINDOWS
108         _win32_console = false;
109 #endif
110         _cinemas_file = path ("cinemas.xml");
111         _show_hints_before_make_dcp = true;
112         _kdm_filename_format = dcp::NameFormat ("KDM %f %c %s");
113         _dcp_metadata_filename_format = dcp::NameFormat ("%t_%i");
114         _dcp_asset_filename_format = dcp::NameFormat ("%t_%i");
115
116         _allowed_dcp_frame_rates.clear ();
117         _allowed_dcp_frame_rates.push_back (24);
118         _allowed_dcp_frame_rates.push_back (25);
119         _allowed_dcp_frame_rates.push_back (30);
120         _allowed_dcp_frame_rates.push_back (48);
121         _allowed_dcp_frame_rates.push_back (50);
122         _allowed_dcp_frame_rates.push_back (60);
123
124         set_kdm_email_to_default ();
125 }
126
127 void
128 Config::restore_defaults ()
129 {
130         Config::instance()->set_defaults ();
131         Config::instance()->changed ();
132 }
133
134 shared_ptr<dcp::CertificateChain>
135 Config::create_certificate_chain ()
136 {
137         return shared_ptr<dcp::CertificateChain> (
138                 new dcp::CertificateChain (
139                         openssl_path(),
140                         "dcpomatic.com",
141                         "dcpomatic.com",
142                         ".dcpomatic.smpte-430-2.ROOT",
143                         ".dcpomatic.smpte-430-2.INTERMEDIATE",
144                         "CS.dcpomatic.smpte-430-2.LEAF"
145                         )
146                 );
147 }
148
149 void
150 Config::read ()
151 try
152 {
153         cxml::Document f ("Config");
154         f.read_file (path ("config.xml"));
155         optional<string> c;
156
157         optional<int> version = f.optional_number_child<int> ("Version");
158
159         _num_local_encoding_threads = f.number_child<int> ("NumLocalEncodingThreads");
160         _default_directory = f.string_child ("DefaultDirectory");
161
162         boost::optional<int> b = f.optional_number_child<int> ("ServerPort");
163         if (!b) {
164                 b = f.optional_number_child<int> ("ServerPortBase");
165         }
166         _server_port_base = b.get ();
167
168         boost::optional<bool> u = f.optional_bool_child ("UseAnyServers");
169         _use_any_servers = u.get_value_or (true);
170
171         list<cxml::NodePtr> servers = f.node_children ("Server");
172         for (list<cxml::NodePtr>::iterator i = servers.begin(); i != servers.end(); ++i) {
173                 if ((*i)->node_children("HostName").size() == 1) {
174                         _servers.push_back ((*i)->string_child ("HostName"));
175                 } else {
176                         _servers.push_back ((*i)->content ());
177                 }
178         }
179
180         _only_servers_encode = f.optional_bool_child ("OnlyServersEncode").get_value_or (false);
181         _tms_protocol = static_cast<Protocol> (f.optional_number_child<int> ("TMSProtocol").get_value_or (static_cast<int> (PROTOCOL_SCP)));
182         _tms_ip = f.string_child ("TMSIP");
183         _tms_path = f.string_child ("TMSPath");
184         _tms_user = f.string_child ("TMSUser");
185         _tms_password = f.string_child ("TMSPassword");
186
187         c = f.optional_string_child ("SoundProcessor");
188         if (c) {
189                 _cinema_sound_processor = CinemaSoundProcessor::from_id (c.get ());
190         }
191         c = f.optional_string_child ("CinemaSoundProcessor");
192         if (c) {
193                 _cinema_sound_processor = CinemaSoundProcessor::from_id (c.get ());
194         }
195
196         _language = f.optional_string_child ("Language");
197
198         c = f.optional_string_child ("DefaultContainer");
199         if (c) {
200                 _default_container = Ratio::from_id (c.get ());
201         }
202
203         c = f.optional_string_child ("DefaultDCPContentType");
204         if (c) {
205                 _default_dcp_content_type = DCPContentType::from_isdcf_name (c.get ());
206         }
207
208         _default_dcp_audio_channels = f.optional_number_child<int>("DefaultDCPAudioChannels").get_value_or (6);
209
210         if (f.optional_string_child ("DCPMetadataIssuer")) {
211                 _dcp_issuer = f.string_child ("DCPMetadataIssuer");
212         } else if (f.optional_string_child ("DCPIssuer")) {
213                 _dcp_issuer = f.string_child ("DCPIssuer");
214         }
215
216         _dcp_creator = f.optional_string_child ("DCPCreator").get_value_or ("");
217
218         if (version && version.get() >= 2) {
219                 _default_isdcf_metadata = ISDCFMetadata (f.node_child ("ISDCFMetadata"));
220         } else {
221                 _default_isdcf_metadata = ISDCFMetadata (f.node_child ("DCIMetadata"));
222         }
223
224         _default_still_length = f.optional_number_child<int>("DefaultStillLength").get_value_or (10);
225         _default_j2k_bandwidth = f.optional_number_child<int>("DefaultJ2KBandwidth").get_value_or (200000000);
226         _default_audio_delay = f.optional_number_child<int>("DefaultAudioDelay").get_value_or (0);
227         _default_interop = f.optional_bool_child("DefaultInterop").get_value_or (false);
228
229         /* Load any cinemas from config.xml */
230         read_cinemas (f);
231
232         _mail_server = f.string_child ("MailServer");
233         _mail_port = f.optional_number_child<int> ("MailPort").get_value_or (25);
234         _mail_user = f.optional_string_child("MailUser").get_value_or ("");
235         _mail_password = f.optional_string_child("MailPassword").get_value_or ("");
236         _kdm_subject = f.optional_string_child ("KDMSubject").get_value_or (_("KDM delivery: $CPL_NAME"));
237         _kdm_from = f.string_child ("KDMFrom");
238         BOOST_FOREACH (cxml::ConstNodePtr i, f.node_children("KDMCC")) {
239                 if (!i->content().empty()) {
240                         _kdm_cc.push_back (i->content ());
241                 }
242         }
243         _kdm_bcc = f.optional_string_child ("KDMBCC").get_value_or ("");
244         _kdm_email = f.string_child ("KDMEmail");
245
246         _check_for_updates = f.optional_bool_child("CheckForUpdates").get_value_or (false);
247         _check_for_test_updates = f.optional_bool_child("CheckForTestUpdates").get_value_or (false);
248
249         _maximum_j2k_bandwidth = f.optional_number_child<int> ("MaximumJ2KBandwidth").get_value_or (250000000);
250         _allow_any_dcp_frame_rate = f.optional_bool_child ("AllowAnyDCPFrameRate").get_value_or (false);
251
252         _log_types = f.optional_number_child<int> ("LogTypes").get_value_or (LogEntry::TYPE_GENERAL | LogEntry::TYPE_WARNING | LogEntry::TYPE_ERROR);
253         _analyse_ebur128 = f.optional_bool_child("AnalyseEBUR128").get_value_or (true);
254         _automatic_audio_analysis = f.optional_bool_child ("AutomaticAudioAnalysis").get_value_or (false);
255 #ifdef DCPOMATIC_WINDOWS
256         _win32_console = f.optional_bool_child ("Win32Console").get_value_or (false);
257 #endif
258
259         list<cxml::NodePtr> his = f.node_children ("History");
260         for (list<cxml::NodePtr>::const_iterator i = his.begin(); i != his.end(); ++i) {
261                 _history.push_back ((*i)->content ());
262         }
263
264         cxml::NodePtr signer = f.optional_node_child ("Signer");
265         if (signer) {
266                 shared_ptr<dcp::CertificateChain> c (new dcp::CertificateChain ());
267                 /* Read the signing certificates and private key in from the config file */
268                 BOOST_FOREACH (cxml::NodePtr i, signer->node_children ("Certificate")) {
269                         c->add (dcp::Certificate (i->content ()));
270                 }
271                 c->set_key (signer->string_child ("PrivateKey"));
272                 _signer_chain = c;
273         } else {
274                 /* Make a new set of signing certificates and key */
275                 _signer_chain = create_certificate_chain ();
276         }
277
278         cxml::NodePtr decryption = f.optional_node_child ("Decryption");
279         if (decryption) {
280                 shared_ptr<dcp::CertificateChain> c (new dcp::CertificateChain ());
281                 BOOST_FOREACH (cxml::NodePtr i, decryption->node_children ("Certificate")) {
282                         c->add (dcp::Certificate (i->content ()));
283                 }
284                 c->set_key (decryption->string_child ("PrivateKey"));
285                 _decryption_chain = c;
286         } else {
287                 _decryption_chain = create_certificate_chain ();
288         }
289
290         list<cxml::NodePtr> dkdm = f.node_children ("DKDM");
291         BOOST_FOREACH (cxml::NodePtr i, f.node_children ("DKDM")) {
292                 _dkdms.push_back (dcp::EncryptedKDM (i->content ()));
293         }
294
295         _cinemas_file = f.optional_string_child("CinemasFile").get_value_or (path ("cinemas.xml").string ());
296         _show_hints_before_make_dcp = f.optional_bool_child("ShowHintsBeforeMakeDCP").get_value_or (true);
297         _kdm_filename_format = dcp::NameFormat (f.optional_string_child("KDMFilenameFormat").get_value_or ("KDM %f %c %s"));
298         _dcp_metadata_filename_format = dcp::NameFormat (f.optional_string_child("DCPMetadataFilenameFormat").get_value_or ("%t_%i"));
299         _dcp_asset_filename_format = dcp::NameFormat (f.optional_string_child("DCPAssetFilenameFormat").get_value_or ("%t_%i"));
300
301         /* Replace any cinemas from config.xml with those from the configured file */
302         if (boost::filesystem::exists (_cinemas_file)) {
303                 cxml::Document f ("Cinemas");
304                 f.read_file (_cinemas_file);
305                 read_cinemas (f);
306         }
307 }
308 catch (...) {
309         if (have_existing ("config.xml")) {
310                 /* We have a config file but it didn't load */
311                 FailedToLoad ();
312         }
313         set_defaults ();
314         /* Make a new set of signing certificates and key */
315         _signer_chain = create_certificate_chain ();
316         /* And similar for decryption of KDMs */
317         _decryption_chain = create_certificate_chain ();
318         write ();
319 }
320
321
322 /** @return Filename to write configuration to */
323 boost::filesystem::path
324 Config::path (string file, bool create_directories)
325 {
326         boost::filesystem::path p;
327 #ifdef DCPOMATIC_OSX
328         p /= g_get_home_dir ();
329         p /= "Library";
330         p /= "Preferences";
331         p /= "com.dcpomatic";
332         p /= "2";
333 #else
334         p /= g_get_user_config_dir ();
335         p /= "dcpomatic2";
336 #endif
337         boost::system::error_code ec;
338         if (create_directories) {
339                 boost::filesystem::create_directories (p, ec);
340         }
341         p /= file;
342         return p;
343 }
344
345 /** @return Singleton instance */
346 Config *
347 Config::instance ()
348 {
349         if (_instance == 0) {
350                 _instance = new Config;
351                 _instance->read ();
352         }
353
354         return _instance;
355 }
356
357 /** Write our configuration to disk */
358 void
359 Config::write () const
360 {
361         write_config_xml ();
362         write_cinemas_xml ();
363 }
364
365 void
366 Config::write_config_xml () const
367 {
368         xmlpp::Document doc;
369         xmlpp::Element* root = doc.create_root_node ("Config");
370
371         root->add_child("Version")->add_child_text ("2");
372         root->add_child("NumLocalEncodingThreads")->add_child_text (raw_convert<string> (_num_local_encoding_threads));
373         root->add_child("DefaultDirectory")->add_child_text (_default_directory.string ());
374         root->add_child("ServerPortBase")->add_child_text (raw_convert<string> (_server_port_base));
375         root->add_child("UseAnyServers")->add_child_text (_use_any_servers ? "1" : "0");
376
377         for (vector<string>::const_iterator i = _servers.begin(); i != _servers.end(); ++i) {
378                 root->add_child("Server")->add_child_text (*i);
379         }
380
381         root->add_child("OnlyServersEncode")->add_child_text (_only_servers_encode ? "1" : "0");
382         root->add_child("TMSProtocol")->add_child_text (raw_convert<string> (_tms_protocol));
383         root->add_child("TMSIP")->add_child_text (_tms_ip);
384         root->add_child("TMSPath")->add_child_text (_tms_path);
385         root->add_child("TMSUser")->add_child_text (_tms_user);
386         root->add_child("TMSPassword")->add_child_text (_tms_password);
387         if (_cinema_sound_processor) {
388                 root->add_child("CinemaSoundProcessor")->add_child_text (_cinema_sound_processor->id ());
389         }
390         if (_language) {
391                 root->add_child("Language")->add_child_text (_language.get());
392         }
393         if (_default_container) {
394                 root->add_child("DefaultContainer")->add_child_text (_default_container->id ());
395         }
396         if (_default_dcp_content_type) {
397                 root->add_child("DefaultDCPContentType")->add_child_text (_default_dcp_content_type->isdcf_name ());
398         }
399         root->add_child("DefaultDCPAudioChannels")->add_child_text (raw_convert<string> (_default_dcp_audio_channels));
400         root->add_child("DCPIssuer")->add_child_text (_dcp_issuer);
401         root->add_child("DCPCreator")->add_child_text (_dcp_creator);
402
403         _default_isdcf_metadata.as_xml (root->add_child ("ISDCFMetadata"));
404
405         root->add_child("DefaultStillLength")->add_child_text (raw_convert<string> (_default_still_length));
406         root->add_child("DefaultJ2KBandwidth")->add_child_text (raw_convert<string> (_default_j2k_bandwidth));
407         root->add_child("DefaultAudioDelay")->add_child_text (raw_convert<string> (_default_audio_delay));
408         root->add_child("DefaultInterop")->add_child_text (_default_interop ? "1" : "0");
409         root->add_child("MailServer")->add_child_text (_mail_server);
410         root->add_child("MailPort")->add_child_text (raw_convert<string> (_mail_port));
411         root->add_child("MailUser")->add_child_text (_mail_user);
412         root->add_child("MailPassword")->add_child_text (_mail_password);
413         root->add_child("KDMSubject")->add_child_text (_kdm_subject);
414         root->add_child("KDMFrom")->add_child_text (_kdm_from);
415         BOOST_FOREACH (string i, _kdm_cc) {
416                 root->add_child("KDMCC")->add_child_text (i);
417         }
418         root->add_child("KDMBCC")->add_child_text (_kdm_bcc);
419         root->add_child("KDMEmail")->add_child_text (_kdm_email);
420
421         root->add_child("CheckForUpdates")->add_child_text (_check_for_updates ? "1" : "0");
422         root->add_child("CheckForTestUpdates")->add_child_text (_check_for_test_updates ? "1" : "0");
423
424         root->add_child("MaximumJ2KBandwidth")->add_child_text (raw_convert<string> (_maximum_j2k_bandwidth));
425         root->add_child("AllowAnyDCPFrameRate")->add_child_text (_allow_any_dcp_frame_rate ? "1" : "0");
426         root->add_child("LogTypes")->add_child_text (raw_convert<string> (_log_types));
427         root->add_child("AnalyseEBUR128")->add_child_text (_analyse_ebur128 ? "1" : "0");
428         root->add_child("AutomaticAudioAnalysis")->add_child_text (_automatic_audio_analysis ? "1" : "0");
429 #ifdef DCPOMATIC_WINDOWS
430         root->add_child("Win32Console")->add_child_text (_win32_console ? "1" : "0");
431 #endif
432
433         xmlpp::Element* signer = root->add_child ("Signer");
434         DCPOMATIC_ASSERT (_signer_chain);
435         BOOST_FOREACH (dcp::Certificate const & i, _signer_chain->root_to_leaf ()) {
436                 signer->add_child("Certificate")->add_child_text (i.certificate (true));
437         }
438         signer->add_child("PrivateKey")->add_child_text (_signer_chain->key().get ());
439
440         xmlpp::Element* decryption = root->add_child ("Decryption");
441         DCPOMATIC_ASSERT (_decryption_chain);
442         BOOST_FOREACH (dcp::Certificate const & i, _decryption_chain->root_to_leaf ()) {
443                 decryption->add_child("Certificate")->add_child_text (i.certificate (true));
444         }
445         decryption->add_child("PrivateKey")->add_child_text (_decryption_chain->key().get ());
446
447         for (vector<boost::filesystem::path>::const_iterator i = _history.begin(); i != _history.end(); ++i) {
448                 root->add_child("History")->add_child_text (i->string ());
449         }
450
451         BOOST_FOREACH (dcp::EncryptedKDM i, _dkdms) {
452                 root->add_child("DKDM")->add_child_text (i.as_xml ());
453         }
454
455         root->add_child("CinemasFile")->add_child_text (_cinemas_file.string());
456         root->add_child("ShowHintsBeforeMakeDCP")->add_child_text (_show_hints_before_make_dcp ? "1" : "0");
457         root->add_child("KDMFilenameFormat")->add_child_text (_kdm_filename_format.specification ());
458         root->add_child("DCPMetadataFilenameFormat")->add_child_text (_dcp_metadata_filename_format.specification ());
459         root->add_child("DCPAssetFilenameFormat")->add_child_text (_dcp_asset_filename_format.specification ());
460
461         try {
462                 doc.write_to_file_formatted (path("config.xml").string ());
463         } catch (xmlpp::exception& e) {
464                 string s = e.what ();
465                 trim (s);
466                 throw FileError (s, path("config.xml"));
467         }
468 }
469
470 void
471 Config::write_cinemas_xml () const
472 {
473         xmlpp::Document doc;
474         xmlpp::Element* root = doc.create_root_node ("Cinemas");
475         root->add_child("Version")->add_child_text ("1");
476
477         for (list<shared_ptr<Cinema> >::const_iterator i = _cinemas.begin(); i != _cinemas.end(); ++i) {
478                 (*i)->as_xml (root->add_child ("Cinema"));
479         }
480
481         try {
482                 doc.write_to_file_formatted (_cinemas_file.string ());
483         } catch (xmlpp::exception& e) {
484                 string s = e.what ();
485                 trim (s);
486                 throw FileError (s, _cinemas_file);
487         }
488 }
489
490 boost::filesystem::path
491 Config::default_directory_or (boost::filesystem::path a) const
492 {
493         if (_default_directory.empty()) {
494                 return a;
495         }
496
497         boost::system::error_code ec;
498         bool const e = boost::filesystem::exists (_default_directory, ec);
499         if (ec || !e) {
500                 return a;
501         }
502
503         return _default_directory;
504 }
505
506 void
507 Config::drop ()
508 {
509         delete _instance;
510         _instance = 0;
511 }
512
513 void
514 Config::changed (Property what)
515 {
516         Changed (what);
517 }
518
519 void
520 Config::set_kdm_email_to_default ()
521 {
522         _kdm_subject = _("KDM delivery: $CPL_NAME");
523
524         _kdm_email = _(
525                 "Dear Projectionist\n\n"
526                 "Please find attached KDMs for $CPL_NAME.\n\n"
527                 "Cinema: $CINEMA_NAME\n"
528                 "Screen(s): $SCREENS\n\n"
529                 "The KDMs are valid from $START_TIME until $END_TIME.\n\n"
530                 "Best regards,\nDCP-o-matic"
531                 );
532 }
533
534 void
535 Config::reset_kdm_email ()
536 {
537         set_kdm_email_to_default ();
538         changed ();
539 }
540
541 void
542 Config::add_to_history (boost::filesystem::path p)
543 {
544         /* Remove existing instances of this path in the history */
545         _history.erase (remove (_history.begin(), _history.end(), p), _history.end ());
546
547         _history.insert (_history.begin (), p);
548         if (_history.size() > HISTORY_SIZE) {
549                 _history.pop_back ();
550         }
551
552         changed ();
553 }
554
555 bool
556 Config::have_existing (string file)
557 {
558         return boost::filesystem::exists (path (file, false));
559 }
560
561 void
562 Config::read_cinemas (cxml::Document const & f)
563 {
564         _cinemas.clear ();
565         list<cxml::NodePtr> cin = f.node_children ("Cinema");
566         for (list<cxml::NodePtr>::iterator i = cin.begin(); i != cin.end(); ++i) {
567                 /* Slightly grotty two-part construction of Cinema here so that we can use
568                    shared_from_this.
569                 */
570                 shared_ptr<Cinema> cinema (new Cinema (*i));
571                 cinema->read_screens (*i);
572                 _cinemas.push_back (cinema);
573         }
574 }
575
576 void
577 Config::set_cinemas_file (boost::filesystem::path file)
578 {
579         _cinemas_file = file;
580
581         if (boost::filesystem::exists (_cinemas_file)) {
582                 /* Existing file; read it in */
583                 cxml::Document f ("Cinemas");
584                 f.read_file (_cinemas_file);
585                 read_cinemas (f);
586         }
587
588         changed (OTHER);
589 }