Move raw_convert into libdcp.
[dcpomatic.git] / src / lib / config.cc
1 /*
2     Copyright (C) 2012-2016 Carl Hetherington <cth@carlh.net>
3
4     This file is part of DCP-o-matic.
5
6     DCP-o-matic is free software; you can redistribute it and/or modify
7     it under the terms of the GNU General Public License as published by
8     the Free Software Foundation; either version 2 of the License, or
9     (at your option) any later version.
10
11     DCP-o-matic is distributed in the hope that it will be useful,
12     but WITHOUT ANY WARRANTY; without even the implied warranty of
13     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
14     GNU General Public License for more details.
15
16     You should have received a copy of the GNU General Public License
17     along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
18
19 */
20
21 #include "config.h"
22 #include "filter.h"
23 #include "ratio.h"
24 #include "types.h"
25 #include "log.h"
26 #include "dcp_content_type.h"
27 #include "cinema_sound_processor.h"
28 #include "colour_conversion.h"
29 #include "cinema.h"
30 #include "util.h"
31 #include "cross.h"
32 #include <dcp/raw_convert.h>
33 #include <dcp/name_format.h>
34 #include <dcp/colour_matrix.h>
35 #include <dcp/certificate_chain.h>
36 #include <libcxml/cxml.h>
37 #include <glib.h>
38 #include <libxml++/libxml++.h>
39 #include <boost/filesystem.hpp>
40 #include <boost/algorithm/string.hpp>
41 #include <boost/foreach.hpp>
42 #include <boost/thread.hpp>
43 #include <cstdlib>
44 #include <fstream>
45 #include <iostream>
46
47 #include "i18n.h"
48
49 using std::vector;
50 using std::cout;
51 using std::ifstream;
52 using std::string;
53 using std::list;
54 using std::max;
55 using std::remove;
56 using std::exception;
57 using std::cerr;
58 using boost::shared_ptr;
59 using boost::optional;
60 using boost::algorithm::trim;
61 using dcp::raw_convert;
62
63 Config* Config::_instance = 0;
64 boost::signals2::signal<void ()> Config::FailedToLoad;
65
66 /** Construct default configuration */
67 Config::Config ()
68 {
69         set_defaults ();
70 }
71
72 void
73 Config::set_defaults ()
74 {
75         _num_local_encoding_threads = max (2U, boost::thread::hardware_concurrency ());
76         _server_port_base = 6192;
77         _use_any_servers = true;
78         _servers.clear ();
79         _only_servers_encode = false;
80         _tms_protocol = PROTOCOL_SCP;
81         _tms_ip = "";
82         _tms_path = ".";
83         _tms_user = "";
84         _tms_password = "";
85         _cinema_sound_processor = CinemaSoundProcessor::from_id (N_("dolby_cp750"));
86         _allow_any_dcp_frame_rate = false;
87         _language = optional<string> ();
88         _default_still_length = 10;
89         _default_container = Ratio::from_id ("185");
90         _default_dcp_content_type = DCPContentType::from_isdcf_name ("FTR");
91         _default_dcp_audio_channels = 6;
92         _default_j2k_bandwidth = 100000000;
93         _default_audio_delay = 0;
94         _default_interop = false;
95         _mail_server = "";
96         _mail_port = 25;
97         _mail_user = "";
98         _mail_password = "";
99         _kdm_from = "";
100         _kdm_cc.clear ();
101         _kdm_bcc = "";
102         _check_for_updates = false;
103         _check_for_test_updates = false;
104         _maximum_j2k_bandwidth = 250000000;
105         _log_types = LogEntry::TYPE_GENERAL | LogEntry::TYPE_WARNING | LogEntry::TYPE_ERROR;
106         _analyse_ebur128 = true;
107         _automatic_audio_analysis = false;
108 #ifdef DCPOMATIC_WINDOWS
109         _win32_console = false;
110 #endif
111         _cinemas_file = path ("cinemas.xml");
112         _show_hints_before_make_dcp = true;
113         _kdm_filename_format = dcp::NameFormat ("KDM %f %c %s");
114         _dcp_metadata_filename_format = dcp::NameFormat ("%t_%i");
115         _dcp_asset_filename_format = dcp::NameFormat ("%t_%i");
116
117         _allowed_dcp_frame_rates.clear ();
118         _allowed_dcp_frame_rates.push_back (24);
119         _allowed_dcp_frame_rates.push_back (25);
120         _allowed_dcp_frame_rates.push_back (30);
121         _allowed_dcp_frame_rates.push_back (48);
122         _allowed_dcp_frame_rates.push_back (50);
123         _allowed_dcp_frame_rates.push_back (60);
124
125         set_kdm_email_to_default ();
126 }
127
128 void
129 Config::restore_defaults ()
130 {
131         Config::instance()->set_defaults ();
132         Config::instance()->changed ();
133 }
134
135 shared_ptr<dcp::CertificateChain>
136 Config::create_certificate_chain ()
137 {
138         return shared_ptr<dcp::CertificateChain> (
139                 new dcp::CertificateChain (
140                         openssl_path(),
141                         "dcpomatic.com",
142                         "dcpomatic.com",
143                         ".dcpomatic.smpte-430-2.ROOT",
144                         ".dcpomatic.smpte-430-2.INTERMEDIATE",
145                         "CS.dcpomatic.smpte-430-2.LEAF"
146                         )
147                 );
148 }
149
150 void
151 Config::read ()
152 try
153 {
154         cxml::Document f ("Config");
155         f.read_file (path ("config.xml"));
156         optional<string> c;
157
158         optional<int> version = f.optional_number_child<int> ("Version");
159
160         _num_local_encoding_threads = f.number_child<int> ("NumLocalEncodingThreads");
161         _default_directory = f.string_child ("DefaultDirectory");
162
163         boost::optional<int> b = f.optional_number_child<int> ("ServerPort");
164         if (!b) {
165                 b = f.optional_number_child<int> ("ServerPortBase");
166         }
167         _server_port_base = b.get ();
168
169         boost::optional<bool> u = f.optional_bool_child ("UseAnyServers");
170         _use_any_servers = u.get_value_or (true);
171
172         list<cxml::NodePtr> servers = f.node_children ("Server");
173         for (list<cxml::NodePtr>::iterator i = servers.begin(); i != servers.end(); ++i) {
174                 if ((*i)->node_children("HostName").size() == 1) {
175                         _servers.push_back ((*i)->string_child ("HostName"));
176                 } else {
177                         _servers.push_back ((*i)->content ());
178                 }
179         }
180
181         _only_servers_encode = f.optional_bool_child ("OnlyServersEncode").get_value_or (false);
182         _tms_protocol = static_cast<Protocol> (f.optional_number_child<int> ("TMSProtocol").get_value_or (static_cast<int> (PROTOCOL_SCP)));
183         _tms_ip = f.string_child ("TMSIP");
184         _tms_path = f.string_child ("TMSPath");
185         _tms_user = f.string_child ("TMSUser");
186         _tms_password = f.string_child ("TMSPassword");
187
188         c = f.optional_string_child ("SoundProcessor");
189         if (c) {
190                 _cinema_sound_processor = CinemaSoundProcessor::from_id (c.get ());
191         }
192         c = f.optional_string_child ("CinemaSoundProcessor");
193         if (c) {
194                 _cinema_sound_processor = CinemaSoundProcessor::from_id (c.get ());
195         }
196
197         _language = f.optional_string_child ("Language");
198
199         c = f.optional_string_child ("DefaultContainer");
200         if (c) {
201                 _default_container = Ratio::from_id (c.get ());
202         }
203
204         c = f.optional_string_child ("DefaultDCPContentType");
205         if (c) {
206                 _default_dcp_content_type = DCPContentType::from_isdcf_name (c.get ());
207         }
208
209         _default_dcp_audio_channels = f.optional_number_child<int>("DefaultDCPAudioChannels").get_value_or (6);
210
211         if (f.optional_string_child ("DCPMetadataIssuer")) {
212                 _dcp_issuer = f.string_child ("DCPMetadataIssuer");
213         } else if (f.optional_string_child ("DCPIssuer")) {
214                 _dcp_issuer = f.string_child ("DCPIssuer");
215         }
216
217         _dcp_creator = f.optional_string_child ("DCPCreator").get_value_or ("");
218
219         if (version && version.get() >= 2) {
220                 _default_isdcf_metadata = ISDCFMetadata (f.node_child ("ISDCFMetadata"));
221         } else {
222                 _default_isdcf_metadata = ISDCFMetadata (f.node_child ("DCIMetadata"));
223         }
224
225         _default_still_length = f.optional_number_child<int>("DefaultStillLength").get_value_or (10);
226         _default_j2k_bandwidth = f.optional_number_child<int>("DefaultJ2KBandwidth").get_value_or (200000000);
227         _default_audio_delay = f.optional_number_child<int>("DefaultAudioDelay").get_value_or (0);
228         _default_interop = f.optional_bool_child("DefaultInterop").get_value_or (false);
229
230         /* Load any cinemas from config.xml */
231         read_cinemas (f);
232
233         _mail_server = f.string_child ("MailServer");
234         _mail_port = f.optional_number_child<int> ("MailPort").get_value_or (25);
235         _mail_user = f.optional_string_child("MailUser").get_value_or ("");
236         _mail_password = f.optional_string_child("MailPassword").get_value_or ("");
237         _kdm_subject = f.optional_string_child ("KDMSubject").get_value_or (_("KDM delivery: $CPL_NAME"));
238         _kdm_from = f.string_child ("KDMFrom");
239         BOOST_FOREACH (cxml::ConstNodePtr i, f.node_children("KDMCC")) {
240                 if (!i->content().empty()) {
241                         _kdm_cc.push_back (i->content ());
242                 }
243         }
244         _kdm_bcc = f.optional_string_child ("KDMBCC").get_value_or ("");
245         _kdm_email = f.string_child ("KDMEmail");
246
247         _check_for_updates = f.optional_bool_child("CheckForUpdates").get_value_or (false);
248         _check_for_test_updates = f.optional_bool_child("CheckForTestUpdates").get_value_or (false);
249
250         _maximum_j2k_bandwidth = f.optional_number_child<int> ("MaximumJ2KBandwidth").get_value_or (250000000);
251         _allow_any_dcp_frame_rate = f.optional_bool_child ("AllowAnyDCPFrameRate").get_value_or (false);
252
253         _log_types = f.optional_number_child<int> ("LogTypes").get_value_or (LogEntry::TYPE_GENERAL | LogEntry::TYPE_WARNING | LogEntry::TYPE_ERROR);
254         _analyse_ebur128 = f.optional_bool_child("AnalyseEBUR128").get_value_or (true);
255         _automatic_audio_analysis = f.optional_bool_child ("AutomaticAudioAnalysis").get_value_or (false);
256 #ifdef DCPOMATIC_WINDOWS
257         _win32_console = f.optional_bool_child ("Win32Console").get_value_or (false);
258 #endif
259
260         list<cxml::NodePtr> his = f.node_children ("History");
261         for (list<cxml::NodePtr>::const_iterator i = his.begin(); i != his.end(); ++i) {
262                 _history.push_back ((*i)->content ());
263         }
264
265         cxml::NodePtr signer = f.optional_node_child ("Signer");
266         if (signer) {
267                 shared_ptr<dcp::CertificateChain> c (new dcp::CertificateChain ());
268                 /* Read the signing certificates and private key in from the config file */
269                 BOOST_FOREACH (cxml::NodePtr i, signer->node_children ("Certificate")) {
270                         c->add (dcp::Certificate (i->content ()));
271                 }
272                 c->set_key (signer->string_child ("PrivateKey"));
273                 _signer_chain = c;
274         } else {
275                 /* Make a new set of signing certificates and key */
276                 _signer_chain = create_certificate_chain ();
277         }
278
279         cxml::NodePtr decryption = f.optional_node_child ("Decryption");
280         if (decryption) {
281                 shared_ptr<dcp::CertificateChain> c (new dcp::CertificateChain ());
282                 BOOST_FOREACH (cxml::NodePtr i, decryption->node_children ("Certificate")) {
283                         c->add (dcp::Certificate (i->content ()));
284                 }
285                 c->set_key (decryption->string_child ("PrivateKey"));
286                 _decryption_chain = c;
287         } else {
288                 _decryption_chain = create_certificate_chain ();
289         }
290
291         list<cxml::NodePtr> dkdm = f.node_children ("DKDM");
292         BOOST_FOREACH (cxml::NodePtr i, f.node_children ("DKDM")) {
293                 _dkdms.push_back (dcp::EncryptedKDM (i->content ()));
294         }
295
296         _cinemas_file = f.optional_string_child("CinemasFile").get_value_or (path ("cinemas.xml").string ());
297         _show_hints_before_make_dcp = f.optional_bool_child("ShowHintsBeforeMakeDCP").get_value_or (true);
298         _kdm_filename_format = dcp::NameFormat (f.optional_string_child("KDMFilenameFormat").get_value_or ("KDM %f %c %s"));
299         _dcp_metadata_filename_format = dcp::NameFormat (f.optional_string_child("DCPMetadataFilenameFormat").get_value_or ("%t_%i"));
300         _dcp_asset_filename_format = dcp::NameFormat (f.optional_string_child("DCPAssetFilenameFormat").get_value_or ("%t_%i"));
301
302         /* Replace any cinemas from config.xml with those from the configured file */
303         if (boost::filesystem::exists (_cinemas_file)) {
304                 cxml::Document f ("Cinemas");
305                 f.read_file (_cinemas_file);
306                 read_cinemas (f);
307         }
308 }
309 catch (...) {
310         if (have_existing ("config.xml")) {
311                 /* We have a config file but it didn't load */
312                 FailedToLoad ();
313         }
314         set_defaults ();
315         /* Make a new set of signing certificates and key */
316         _signer_chain = create_certificate_chain ();
317         /* And similar for decryption of KDMs */
318         _decryption_chain = create_certificate_chain ();
319         write ();
320 }
321
322
323 /** @return Filename to write configuration to */
324 boost::filesystem::path
325 Config::path (string file, bool create_directories)
326 {
327         boost::filesystem::path p;
328 #ifdef DCPOMATIC_OSX
329         p /= g_get_home_dir ();
330         p /= "Library";
331         p /= "Preferences";
332         p /= "com.dcpomatic";
333         p /= "2";
334 #else
335         p /= g_get_user_config_dir ();
336         p /= "dcpomatic2";
337 #endif
338         boost::system::error_code ec;
339         if (create_directories) {
340                 boost::filesystem::create_directories (p, ec);
341         }
342         p /= file;
343         return p;
344 }
345
346 /** @return Singleton instance */
347 Config *
348 Config::instance ()
349 {
350         if (_instance == 0) {
351                 _instance = new Config;
352                 _instance->read ();
353         }
354
355         return _instance;
356 }
357
358 /** Write our configuration to disk */
359 void
360 Config::write () const
361 {
362         write_config_xml ();
363         write_cinemas_xml ();
364 }
365
366 void
367 Config::write_config_xml () const
368 {
369         xmlpp::Document doc;
370         xmlpp::Element* root = doc.create_root_node ("Config");
371
372         root->add_child("Version")->add_child_text ("2");
373         root->add_child("NumLocalEncodingThreads")->add_child_text (raw_convert<string> (_num_local_encoding_threads));
374         root->add_child("DefaultDirectory")->add_child_text (_default_directory.string ());
375         root->add_child("ServerPortBase")->add_child_text (raw_convert<string> (_server_port_base));
376         root->add_child("UseAnyServers")->add_child_text (_use_any_servers ? "1" : "0");
377
378         for (vector<string>::const_iterator i = _servers.begin(); i != _servers.end(); ++i) {
379                 root->add_child("Server")->add_child_text (*i);
380         }
381
382         root->add_child("OnlyServersEncode")->add_child_text (_only_servers_encode ? "1" : "0");
383         root->add_child("TMSProtocol")->add_child_text (raw_convert<string> (_tms_protocol));
384         root->add_child("TMSIP")->add_child_text (_tms_ip);
385         root->add_child("TMSPath")->add_child_text (_tms_path);
386         root->add_child("TMSUser")->add_child_text (_tms_user);
387         root->add_child("TMSPassword")->add_child_text (_tms_password);
388         if (_cinema_sound_processor) {
389                 root->add_child("CinemaSoundProcessor")->add_child_text (_cinema_sound_processor->id ());
390         }
391         if (_language) {
392                 root->add_child("Language")->add_child_text (_language.get());
393         }
394         if (_default_container) {
395                 root->add_child("DefaultContainer")->add_child_text (_default_container->id ());
396         }
397         if (_default_dcp_content_type) {
398                 root->add_child("DefaultDCPContentType")->add_child_text (_default_dcp_content_type->isdcf_name ());
399         }
400         root->add_child("DefaultDCPAudioChannels")->add_child_text (raw_convert<string> (_default_dcp_audio_channels));
401         root->add_child("DCPIssuer")->add_child_text (_dcp_issuer);
402         root->add_child("DCPCreator")->add_child_text (_dcp_creator);
403
404         _default_isdcf_metadata.as_xml (root->add_child ("ISDCFMetadata"));
405
406         root->add_child("DefaultStillLength")->add_child_text (raw_convert<string> (_default_still_length));
407         root->add_child("DefaultJ2KBandwidth")->add_child_text (raw_convert<string> (_default_j2k_bandwidth));
408         root->add_child("DefaultAudioDelay")->add_child_text (raw_convert<string> (_default_audio_delay));
409         root->add_child("DefaultInterop")->add_child_text (_default_interop ? "1" : "0");
410         root->add_child("MailServer")->add_child_text (_mail_server);
411         root->add_child("MailPort")->add_child_text (raw_convert<string> (_mail_port));
412         root->add_child("MailUser")->add_child_text (_mail_user);
413         root->add_child("MailPassword")->add_child_text (_mail_password);
414         root->add_child("KDMSubject")->add_child_text (_kdm_subject);
415         root->add_child("KDMFrom")->add_child_text (_kdm_from);
416         BOOST_FOREACH (string i, _kdm_cc) {
417                 root->add_child("KDMCC")->add_child_text (i);
418         }
419         root->add_child("KDMBCC")->add_child_text (_kdm_bcc);
420         root->add_child("KDMEmail")->add_child_text (_kdm_email);
421
422         root->add_child("CheckForUpdates")->add_child_text (_check_for_updates ? "1" : "0");
423         root->add_child("CheckForTestUpdates")->add_child_text (_check_for_test_updates ? "1" : "0");
424
425         root->add_child("MaximumJ2KBandwidth")->add_child_text (raw_convert<string> (_maximum_j2k_bandwidth));
426         root->add_child("AllowAnyDCPFrameRate")->add_child_text (_allow_any_dcp_frame_rate ? "1" : "0");
427         root->add_child("LogTypes")->add_child_text (raw_convert<string> (_log_types));
428         root->add_child("AnalyseEBUR128")->add_child_text (_analyse_ebur128 ? "1" : "0");
429         root->add_child("AutomaticAudioAnalysis")->add_child_text (_automatic_audio_analysis ? "1" : "0");
430 #ifdef DCPOMATIC_WINDOWS
431         root->add_child("Win32Console")->add_child_text (_win32_console ? "1" : "0");
432 #endif
433
434         xmlpp::Element* signer = root->add_child ("Signer");
435         DCPOMATIC_ASSERT (_signer_chain);
436         BOOST_FOREACH (dcp::Certificate const & i, _signer_chain->root_to_leaf ()) {
437                 signer->add_child("Certificate")->add_child_text (i.certificate (true));
438         }
439         signer->add_child("PrivateKey")->add_child_text (_signer_chain->key().get ());
440
441         xmlpp::Element* decryption = root->add_child ("Decryption");
442         DCPOMATIC_ASSERT (_decryption_chain);
443         BOOST_FOREACH (dcp::Certificate const & i, _decryption_chain->root_to_leaf ()) {
444                 decryption->add_child("Certificate")->add_child_text (i.certificate (true));
445         }
446         decryption->add_child("PrivateKey")->add_child_text (_decryption_chain->key().get ());
447
448         for (vector<boost::filesystem::path>::const_iterator i = _history.begin(); i != _history.end(); ++i) {
449                 root->add_child("History")->add_child_text (i->string ());
450         }
451
452         BOOST_FOREACH (dcp::EncryptedKDM i, _dkdms) {
453                 root->add_child("DKDM")->add_child_text (i.as_xml ());
454         }
455
456         root->add_child("CinemasFile")->add_child_text (_cinemas_file.string());
457         root->add_child("ShowHintsBeforeMakeDCP")->add_child_text (_show_hints_before_make_dcp ? "1" : "0");
458         root->add_child("KDMFilenameFormat")->add_child_text (_kdm_filename_format.specification ());
459         root->add_child("DCPMetadataFilenameFormat")->add_child_text (_dcp_metadata_filename_format.specification ());
460         root->add_child("DCPAssetFilenameFormat")->add_child_text (_dcp_asset_filename_format.specification ());
461
462         try {
463                 doc.write_to_file_formatted (path("config.xml").string ());
464         } catch (xmlpp::exception& e) {
465                 string s = e.what ();
466                 trim (s);
467                 throw FileError (s, path("config.xml"));
468         }
469 }
470
471 void
472 Config::write_cinemas_xml () const
473 {
474         xmlpp::Document doc;
475         xmlpp::Element* root = doc.create_root_node ("Cinemas");
476         root->add_child("Version")->add_child_text ("1");
477
478         for (list<shared_ptr<Cinema> >::const_iterator i = _cinemas.begin(); i != _cinemas.end(); ++i) {
479                 (*i)->as_xml (root->add_child ("Cinema"));
480         }
481
482         try {
483                 doc.write_to_file_formatted (_cinemas_file.string ());
484         } catch (xmlpp::exception& e) {
485                 string s = e.what ();
486                 trim (s);
487                 throw FileError (s, _cinemas_file);
488         }
489 }
490
491 boost::filesystem::path
492 Config::default_directory_or (boost::filesystem::path a) const
493 {
494         if (_default_directory.empty()) {
495                 return a;
496         }
497
498         boost::system::error_code ec;
499         bool const e = boost::filesystem::exists (_default_directory, ec);
500         if (ec || !e) {
501                 return a;
502         }
503
504         return _default_directory;
505 }
506
507 void
508 Config::drop ()
509 {
510         delete _instance;
511         _instance = 0;
512 }
513
514 void
515 Config::changed (Property what)
516 {
517         Changed (what);
518 }
519
520 void
521 Config::set_kdm_email_to_default ()
522 {
523         _kdm_subject = _("KDM delivery: $CPL_NAME");
524
525         _kdm_email = _(
526                 "Dear Projectionist\n\n"
527                 "Please find attached KDMs for $CPL_NAME.\n\n"
528                 "Cinema: $CINEMA_NAME\n"
529                 "Screen(s): $SCREENS\n\n"
530                 "The KDMs are valid from $START_TIME until $END_TIME.\n\n"
531                 "Best regards,\nDCP-o-matic"
532                 );
533 }
534
535 void
536 Config::reset_kdm_email ()
537 {
538         set_kdm_email_to_default ();
539         changed ();
540 }
541
542 void
543 Config::add_to_history (boost::filesystem::path p)
544 {
545         /* Remove existing instances of this path in the history */
546         _history.erase (remove (_history.begin(), _history.end(), p), _history.end ());
547
548         _history.insert (_history.begin (), p);
549         if (_history.size() > HISTORY_SIZE) {
550                 _history.pop_back ();
551         }
552
553         changed ();
554 }
555
556 bool
557 Config::have_existing (string file)
558 {
559         return boost::filesystem::exists (path (file, false));
560 }
561
562 void
563 Config::read_cinemas (cxml::Document const & f)
564 {
565         _cinemas.clear ();
566         list<cxml::NodePtr> cin = f.node_children ("Cinema");
567         for (list<cxml::NodePtr>::iterator i = cin.begin(); i != cin.end(); ++i) {
568                 /* Slightly grotty two-part construction of Cinema here so that we can use
569                    shared_from_this.
570                 */
571                 shared_ptr<Cinema> cinema (new Cinema (*i));
572                 cinema->read_screens (*i);
573                 _cinemas.push_back (cinema);
574         }
575 }
576
577 void
578 Config::set_cinemas_file (boost::filesystem::path file)
579 {
580         _cinemas_file = file;
581
582         if (boost::filesystem::exists (_cinemas_file)) {
583                 /* Existing file; read it in */
584                 cxml::Document f ("Cinemas");
585                 f.read_file (_cinemas_file);
586                 read_cinemas (f);
587         }
588
589         changed (OTHER);
590 }