src/dcp.cc

   1 /*
   2     Copyright (C) 2012-2014 Carl Hetherington <cth@carlh.net>
   3
   4     This program is free software; you can redistribute it and/or modify
   5     it under the terms of the GNU General Public License as published by
   6     the Free Software Foundation; either version 2 of the License, or
   7     (at your option) any later version.
   8
   9     This program is distributed in the hope that it will be useful,
  10     but WITHOUT ANY WARRANTY; without even the implied warranty of
  11     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12     GNU General Public License for more details.
  13
  14     You should have received a copy of the GNU General Public License
  15     along with this program; if not, write to the Free Software
  16     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  17
  18 */
  19
  20 /** @file  src/dcp.cc
  21  *  @brief DCP class.
  22  */
  23
  24 #include "raw_convert.h"
  25 #include "dcp.h"
  26 #include "sound_mxf.h"
  27 #include "picture_mxf.h"
  28 #include "interop_subtitle_content.h"
  29 #include "smpte_subtitle_content.h"
  30 #include "mono_picture_mxf.h"
  31 #include "stereo_picture_mxf.h"
  32 #include "util.h"
  33 #include "metadata.h"
  34 #include "exceptions.h"
  35 #include "cpl.h"
  36 #include "signer.h"
  37 #include "compose.hpp"
  38 #include "AS_DCP.h"
  39 #include "decrypted_kdm.h"
  40 #include "decrypted_kdm_key.h"
  41 #include "dcp_assert.h"
  42 #include <xmlsec/xmldsig.h>
  43 #include <xmlsec/app.h>
  44 #include <libxml++/libxml++.h>
  45 #include <boost/filesystem.hpp>
  46 #include <boost/algorithm/string.hpp>
  47 #include <iostream>
  48
  49 using std::string;
  50 using std::list;
  51 using std::cout;
  52 using std::ostream;
  53 using std::make_pair;
  54 using std::map;
  55 using std::cout;
  56 using std::exception;
  57 using boost::shared_ptr;
  58 using boost::algorithm::starts_with;
  59 using namespace dcp;
  60
  61 DCP::DCP (boost::filesystem::path directory)
  62         : _directory (directory)
  63 {
  64         if (!boost::filesystem::exists (directory)) {
  65                 boost::filesystem::create_directories (directory);
  66         }
  67
  68         _directory = boost::filesystem::canonical (_directory);
  69 }
  70
  71 template<class T> void
  72 survivable_error (bool keep_going, dcp::DCP::ReadErrors* errors, T const & e)
  73 {
  74         if (keep_going) {
  75                 if (errors) {
  76                         errors->push_back (shared_ptr<T> (new T (e)));
  77                 }
  78         } else {
  79                 throw e;
  80         }
  81 }
  82
  83 void
  84 DCP::read (bool keep_going, ReadErrors* errors)
  85 {
  86         /* Read the ASSETMAP */
  87
  88         boost::filesystem::path asset_map_file;
  89         if (boost::filesystem::exists (_directory / "ASSETMAP")) {
  90                 asset_map_file = _directory / "ASSETMAP";
  91         } else if (boost::filesystem::exists (_directory / "ASSETMAP.xml")) {
  92                 asset_map_file = _directory / "ASSETMAP.xml";
  93         } else {
  94                 boost::throw_exception (DCPReadError (String::compose ("could not find AssetMap file in `%1'", _directory.string())));
  95         }
  96
  97         cxml::Document asset_map ("AssetMap");
  98         asset_map.read_file (asset_map_file);
  99         list<shared_ptr<cxml::Node> > asset_nodes = asset_map.node_child("AssetList")->node_children ("Asset");
 100         map<string, boost::filesystem::path> paths;
 101         for (list<shared_ptr<cxml::Node> >::const_iterator i = asset_nodes.begin(); i != asset_nodes.end(); ++i) {
 102                 if ((*i)->node_child("ChunkList")->node_children("Chunk").size() != 1) {
 103                         boost::throw_exception (XMLError ("unsupported asset chunk count"));
 104                 }
 105                 string p = (*i)->node_child("ChunkList")->node_child("Chunk")->string_child ("Path");
 106                 if (starts_with (p, "file://")) {
 107                         p = p.substr (7);
 108                 }
 109                 paths.insert (make_pair ((*i)->string_child ("Id"), p));
 110         }
 111
 112         /* Read all the assets from the asset map */
 113         for (map<string, boost::filesystem::path>::const_iterator i = paths.begin(); i != paths.end(); ++i) {
 114                 boost::filesystem::path path = _directory / i->second;
 115
 116                 if (!boost::filesystem::exists (path)) {
 117                         survivable_error (keep_going, errors, MissingAssetError (path));
 118                         continue;
 119                 }
 120
 121                 if (boost::algorithm::ends_with (path.string(), ".xml")) {
 122                         xmlpp::DomParser* p = new xmlpp::DomParser;
 123                         try {
 124                                 p->parse_file (path.string());
 125                         } catch (std::exception& e) {
 126                                 delete p;
 127                                 continue;
 128                         }
 129
 130                         string const root = p->get_document()->get_root_node()->get_name ();
 131                         delete p;
 132
 133                         if (root == "CompositionPlaylist") {
 134                                 _assets.push_back (shared_ptr<CPL> (new CPL (path)));
 135                         } else if (root == "DCSubtitle") {
 136                                 _assets.push_back (shared_ptr<InteropSubtitleContent> (new InteropSubtitleContent (path)));
 137                         }
 138                 } else if (boost::algorithm::ends_with (path.string(), ".mxf")) {
 139                         ASDCP::EssenceType_t type;
 140                         if (ASDCP::EssenceType (path.string().c_str(), type) != ASDCP::RESULT_OK) {
 141                                 throw DCPReadError ("Could not find essence type");
 142                         }
 143                         switch (type) {
 144                                 case ASDCP::ESS_UNKNOWN:
 145                                 case ASDCP::ESS_MPEG2_VES:
 146                                         throw DCPReadError ("MPEG2 video essences are not supported");
 147                                 case ASDCP::ESS_JPEG_2000:
 148                                         _assets.push_back (shared_ptr<MonoPictureMXF> (new MonoPictureMXF (path)));
 149                                         break;
 150                                 case ASDCP::ESS_PCM_24b_48k:
 151                                 case ASDCP::ESS_PCM_24b_96k:
 152                                         _assets.push_back (shared_ptr<SoundMXF> (new SoundMXF (path)));
 153                                         break;
 154                                 case ASDCP::ESS_JPEG_2000_S:
 155                                         _assets.push_back (shared_ptr<StereoPictureMXF> (new StereoPictureMXF (path)));
 156                                         break;
 157                                 case ASDCP::ESS_TIMED_TEXT:
 158                                         _assets.push_back (shared_ptr<SMPTESubtitleContent> (new SMPTESubtitleContent (path)));
 159                                         break;
 160                                 default:
 161                                         throw DCPReadError ("Unknown MXF essence type");
 162                                 }
 163                 }
 164         }
 165
 166         list<shared_ptr<CPL> > cpl = cpls ();
 167         for (list<shared_ptr<CPL> >::const_iterator i = cpl.begin(); i != cpl.end(); ++i) {
 168                 (*i)->resolve_refs (list_of_type<Asset, Object> (assets ()));
 169         }
 170 }
 171
 172 bool
 173 DCP::equals (DCP const & other, EqualityOptions opt, boost::function<void (NoteType, string)> note) const
 174 {
 175         list<shared_ptr<CPL> > a = cpls ();
 176         list<shared_ptr<CPL> > b = other.cpls ();
 177
 178         if (a.size() != b.size()) {
 179                 note (DCP_ERROR, String::compose ("CPL counts differ: %1 vs %2", a.size(), b.size()));
 180                 return false;
 181         }
 182
 183         bool r = true;
 184
 185         for (list<shared_ptr<CPL> >::const_iterator i = a.begin(); i != a.end(); ++i) {
 186                 list<shared_ptr<CPL> >::const_iterator j = b.begin ();
 187                 while (j != b.end() && !(*j)->equals (*i, opt, note)) {
 188                         ++j;
 189                 }
 190
 191                 if (j == b.end ()) {
 192                         r = false;
 193                 }
 194         }
 195
 196         return r;
 197 }
 198
 199 void
 200 DCP::add (boost::shared_ptr<Asset> asset)
 201 {
 202         _assets.push_back (asset);
 203 }
 204
 205 bool
 206 DCP::encrypted () const
 207 {
 208         list<shared_ptr<CPL> > cpl = cpls ();
 209         for (list<shared_ptr<CPL> >::const_iterator i = cpl.begin(); i != cpl.end(); ++i) {
 210                 if ((*i)->encrypted ()) {
 211                         return true;
 212                 }
 213         }
 214
 215         return false;
 216 }
 217
 218 void
 219 DCP::add (DecryptedKDM const & kdm)
 220 {
 221         list<DecryptedKDMKey> keys = kdm.keys ();
 222         list<shared_ptr<CPL> > cpl = cpls ();
 223
 224         for (list<shared_ptr<CPL> >::iterator i = cpl.begin(); i != cpl.end(); ++i) {
 225                 for (list<DecryptedKDMKey>::iterator j = keys.begin(); j != keys.end(); ++j) {
 226                         if (j->cpl_id() == (*i)->id()) {
 227                                 (*i)->add (kdm);
 228                         }
 229                 }
 230         }
 231 }
 232
 233 boost::filesystem::path
 234 DCP::write_pkl (Standard standard, string pkl_uuid, XMLMetadata metadata, shared_ptr<const Signer> signer) const
 235 {
 236         boost::filesystem::path p = _directory;
 237         p /= String::compose ("%1_pkl.xml", pkl_uuid);
 238
 239         xmlpp::Document doc;
 240         xmlpp::Element* pkl;
 241         if (standard == INTEROP) {
 242                 pkl = doc.create_root_node("PackingList", "http://www.digicine.com/PROTO-ASDCP-PKL-20040311#");
 243         } else {
 244                 pkl = doc.create_root_node("PackingList", "http://www.smpte-ra.org/schemas/429-8/2007/PKL");
 245         }
 246
 247         if (signer) {
 248                 pkl->set_namespace_declaration ("http://www.w3.org/2000/09/xmldsig#", "dsig");
 249         }
 250
 251         pkl->add_child("Id")->add_child_text ("urn:uuid:" + pkl_uuid);
 252
 253         /* XXX: this is a bit of a hack */
 254         DCP_ASSERT (cpls().size() > 0);
 255         pkl->add_child("AnnotationText")->add_child_text (cpls().front()->annotation_text ());
 256
 257         pkl->add_child("IssueDate")->add_child_text (metadata.issue_date);
 258         pkl->add_child("Issuer")->add_child_text (metadata.issuer);
 259         pkl->add_child("Creator")->add_child_text (metadata.creator);
 260
 261         xmlpp::Element* asset_list = pkl->add_child("AssetList");
 262         for (list<shared_ptr<Asset> >::const_iterator i = _assets.begin(); i != _assets.end(); ++i) {
 263                 (*i)->write_to_pkl (asset_list, standard);
 264         }
 265
 266         if (signer) {
 267                 signer->sign (pkl, standard);
 268         }
 269
 270         doc.write_to_file (p.string (), "UTF-8");
 271         return p.string ();
 272 }
 273
 274 /** Write the VOLINDEX file.
 275  *  @param standard DCP standard to use (INTEROP or SMPTE)
 276  */
 277 void
 278 DCP::write_volindex (Standard standard) const
 279 {
 280         boost::filesystem::path p = _directory;
 281         switch (standard) {
 282         case INTEROP:
 283                 p /= "VOLINDEX";
 284                 break;
 285         case SMPTE:
 286                 p /= "VOLINDEX.xml";
 287                 break;
 288         default:
 289                 DCP_ASSERT (false);
 290         }
 291
 292         xmlpp::Document doc;
 293         xmlpp::Element* root;
 294
 295         switch (standard) {
 296         case INTEROP:
 297                 root = doc.create_root_node ("VolumeIndex", "http://www.digicine.com/PROTO-ASDCP-AM-20040311#");
 298                 break;
 299         case SMPTE:
 300                 root = doc.create_root_node ("VolumeIndex", "http://www.smpte-ra.org/schemas/429-9/2007/AM");
 301                 break;
 302         default:
 303                 DCP_ASSERT (false);
 304         }
 305
 306         root->add_child("Index")->add_child_text ("1");
 307         doc.write_to_file (p.string (), "UTF-8");
 308 }
 309
 310 void
 311 DCP::write_assetmap (Standard standard, string pkl_uuid, int pkl_length, XMLMetadata metadata) const
 312 {
 313         boost::filesystem::path p = _directory;
 314
 315         switch (standard) {
 316         case INTEROP:
 317                 p /= "ASSETMAP";
 318                 break;
 319         case SMPTE:
 320                 p /= "ASSETMAP.xml";
 321                 break;
 322         default:
 323                 DCP_ASSERT (false);
 324         }
 325
 326         xmlpp::Document doc;
 327         xmlpp::Element* root;
 328
 329         switch (standard) {
 330         case INTEROP:
 331                 root = doc.create_root_node ("AssetMap", "http://www.digicine.com/PROTO-ASDCP-AM-20040311#");
 332                 break;
 333         case SMPTE:
 334                 root = doc.create_root_node ("AssetMap", "http://www.smpte-ra.org/schemas/429-9/2007/AM");
 335                 break;
 336         default:
 337                 DCP_ASSERT (false);
 338         }
 339
 340         root->add_child("Id")->add_child_text ("urn:uuid:" + make_uuid());
 341         root->add_child("AnnotationText")->add_child_text ("Created by " + metadata.creator);
 342
 343         switch (standard) {
 344         case INTEROP:
 345                 root->add_child("VolumeCount")->add_child_text ("1");
 346                 root->add_child("IssueDate")->add_child_text (metadata.issue_date);
 347                 root->add_child("Issuer")->add_child_text (metadata.issuer);
 348                 root->add_child("Creator")->add_child_text (metadata.creator);
 349                 break;
 350         case SMPTE:
 351                 root->add_child("Creator")->add_child_text (metadata.creator);
 352                 root->add_child("VolumeCount")->add_child_text ("1");
 353                 root->add_child("IssueDate")->add_child_text (metadata.issue_date);
 354                 root->add_child("Issuer")->add_child_text (metadata.issuer);
 355                 break;
 356         default:
 357                 DCP_ASSERT (false);
 358         }
 359
 360         xmlpp::Node* asset_list = root->add_child ("AssetList");
 361
 362         xmlpp::Node* asset = asset_list->add_child ("Asset");
 363         asset->add_child("Id")->add_child_text ("urn:uuid:" + pkl_uuid);
 364         asset->add_child("PackingList")->add_child_text ("true");
 365         xmlpp::Node* chunk_list = asset->add_child ("ChunkList");
 366         xmlpp::Node* chunk = chunk_list->add_child ("Chunk");
 367         chunk->add_child("Path")->add_child_text (pkl_uuid + "_pkl.xml");
 368         chunk->add_child("VolumeIndex")->add_child_text ("1");
 369         chunk->add_child("Offset")->add_child_text ("0");
 370         chunk->add_child("Length")->add_child_text (raw_convert<string> (pkl_length));
 371
 372         for (list<shared_ptr<Asset> >::const_iterator i = _assets.begin(); i != _assets.end(); ++i) {
 373                 (*i)->write_to_assetmap (asset_list, _directory);
 374         }
 375
 376         /* This must not be the _formatted version otherwise signature digests will be wrong */
 377         doc.write_to_file (p.string (), "UTF-8");
 378 }
 379
 380 /** Write all the XML files for this DCP.
 381  *  @param standand INTEROP or SMPTE.
 382  *  @param metadata Metadata to use for PKL and asset map files.
 383  *  @param signer Signer to use, or 0.
 384  */
 385 void
 386 DCP::write_xml (
 387         Standard standard,
 388         XMLMetadata metadata,
 389         shared_ptr<const Signer> signer
 390         )
 391 {
 392         list<shared_ptr<CPL> > cpl = cpls ();
 393         for (list<shared_ptr<CPL> >::const_iterator i = cpl.begin(); i != cpl.end(); ++i) {
 394                 string const filename = (*i)->id() + "_cpl.xml";
 395                 (*i)->write_xml (_directory / filename, standard, signer);
 396         }
 397
 398         string const pkl_uuid = make_uuid ();
 399         boost::filesystem::path const pkl_path = write_pkl (standard, pkl_uuid, metadata, signer);
 400
 401         write_volindex (standard);
 402         write_assetmap (standard, pkl_uuid, boost::filesystem::file_size (pkl_path), metadata);
 403 }
 404
 405 list<shared_ptr<CPL> >
 406 DCP::cpls () const
 407 {
 408         return list_of_type<Asset, CPL> (_assets);
 409 }