src/dcp.cc

   1 /*
   2     Copyright (C) 2012-2014 Carl Hetherington <cth@carlh.net>
   3
   4     This program is free software; you can redistribute it and/or modify
   5     it under the terms of the GNU General Public License as published by
   6     the Free Software Foundation; either version 2 of the License, or
   7     (at your option) any later version.
   8
   9     This program is distributed in the hope that it will be useful,
  10     but WITHOUT ANY WARRANTY; without even the implied warranty of
  11     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  12     GNU General Public License for more details.
  13
  14     You should have received a copy of the GNU General Public License
  15     along with this program; if not, write to the Free Software
  16     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  17
  18 */
  19
  20 /** @file  src/dcp.cc
  21  *  @brief DCP class.
  22  */
  23
  24 #include "raw_convert.h"
  25 #include "dcp.h"
  26 #include "sound_mxf.h"
  27 #include "picture_mxf.h"
  28 #include "subtitle_content.h"
  29 #include "mono_picture_mxf.h"
  30 #include "stereo_picture_mxf.h"
  31 #include "util.h"
  32 #include "metadata.h"
  33 #include "exceptions.h"
  34 #include "reel.h"
  35 #include "cpl.h"
  36 #include "signer.h"
  37 #include "compose.hpp"
  38 #include "AS_DCP.h"
  39 #include "decrypted_kdm.h"
  40 #include "decrypted_kdm_key.h"
  41 #include <xmlsec/xmldsig.h>
  42 #include <xmlsec/app.h>
  43 #include <libxml++/libxml++.h>
  44 #include <boost/filesystem.hpp>
  45 #include <boost/algorithm/string.hpp>
  46 #include <sstream>
  47 #include <iomanip>
  48 #include <cassert>
  49 #include <iostream>
  50
  51 using std::string;
  52 using std::list;
  53 using std::stringstream;
  54 using std::ostream;
  55 using std::make_pair;
  56 using std::map;
  57 using std::cout;
  58 using std::exception;
  59 using boost::shared_ptr;
  60 using boost::algorithm::starts_with;
  61 using namespace dcp;
  62
  63 DCP::DCP (boost::filesystem::path directory)
  64         : _directory (directory)
  65 {
  66         boost::filesystem::create_directories (directory);
  67         _directory = boost::filesystem::canonical (_directory);
  68 }
  69
  70 template<class T> void
  71 survivable_error (bool keep_going, dcp::DCP::ReadErrors* errors, T const & e)
  72 {
  73         if (keep_going) {
  74                 if (errors) {
  75                         errors->push_back (shared_ptr<T> (new T (e)));
  76                 }
  77         } else {
  78                 throw e;
  79         }
  80 }
  81
  82 void
  83 DCP::read (bool keep_going, ReadErrors* errors)
  84 {
  85         /* Read the ASSETMAP */
  86
  87         boost::filesystem::path asset_map_file;
  88         if (boost::filesystem::exists (_directory / "ASSETMAP")) {
  89                 asset_map_file = _directory / "ASSETMAP";
  90         } else if (boost::filesystem::exists (_directory / "ASSETMAP.xml")) {
  91                 asset_map_file = _directory / "ASSETMAP.xml";
  92         } else {
  93                 boost::throw_exception (DCPReadError (String::compose ("could not find AssetMap file `%1'", asset_map_file.string())));
  94         }
  95
  96         cxml::Document asset_map ("AssetMap");
  97         asset_map.read_file (asset_map_file);
  98         list<shared_ptr<cxml::Node> > asset_nodes = asset_map.node_child("AssetList")->node_children ("Asset");
  99         map<string, boost::filesystem::path> paths;
 100         for (list<shared_ptr<cxml::Node> >::const_iterator i = asset_nodes.begin(); i != asset_nodes.end(); ++i) {
 101                 if ((*i)->node_child("ChunkList")->node_children("Chunk").size() != 1) {
 102                         boost::throw_exception (XMLError ("unsupported asset chunk count"));
 103                 }
 104                 string p = (*i)->node_child("ChunkList")->node_child("Chunk")->string_child ("Path");
 105                 if (starts_with (p, "file://")) {
 106                         p = p.substr (7);
 107                 }
 108                 paths.insert (make_pair ((*i)->string_child ("Id"), p));
 109         }
 110
 111         /* Read all the assets from the asset map */
 112         for (map<string, boost::filesystem::path>::const_iterator i = paths.begin(); i != paths.end(); ++i) {
 113                 boost::filesystem::path path = _directory / i->second;
 114
 115                 if (!boost::filesystem::exists (path)) {
 116                         survivable_error (keep_going, errors, MissingAssetError (path));
 117                         continue;
 118                 }
 119
 120                 if (boost::algorithm::ends_with (path.string(), ".xml")) {
 121                         xmlpp::DomParser* p = new xmlpp::DomParser;
 122                         try {
 123                                 p->parse_file (path.string());
 124                         } catch (std::exception& e) {
 125                                 delete p;
 126                                 continue;
 127                         }
 128
 129                         string const root = p->get_document()->get_root_node()->get_name ();
 130                         delete p;
 131
 132                         if (root == "CompositionPlaylist") {
 133                                 _assets.push_back (shared_ptr<CPL> (new CPL (path)));
 134                         } else if (root == "DCSubtitle") {
 135                                 _assets.push_back (shared_ptr<SubtitleContent> (new SubtitleContent (path, false)));
 136                         }
 137                 } else if (boost::algorithm::ends_with (path.string(), ".mxf")) {
 138                         ASDCP::EssenceType_t type;
 139                         if (ASDCP::EssenceType (path.string().c_str(), type) != ASDCP::RESULT_OK) {
 140                                 throw DCPReadError ("Could not find essence type");
 141                         }
 142                         switch (type) {
 143                                 case ASDCP::ESS_UNKNOWN:
 144                                 case ASDCP::ESS_MPEG2_VES:
 145                                         throw DCPReadError ("MPEG2 video essences are not supported");
 146                                 case ASDCP::ESS_JPEG_2000:
 147                                         _assets.push_back (shared_ptr<MonoPictureMXF> (new MonoPictureMXF (path)));
 148                                         break;
 149                                 case ASDCP::ESS_PCM_24b_48k:
 150                                 case ASDCP::ESS_PCM_24b_96k:
 151                                         _assets.push_back (shared_ptr<SoundMXF> (new SoundMXF (path)));
 152                                         break;
 153                                 case ASDCP::ESS_JPEG_2000_S:
 154                                         _assets.push_back (shared_ptr<StereoPictureMXF> (new StereoPictureMXF (path)));
 155                                         break;
 156                                 case ASDCP::ESS_TIMED_TEXT:
 157                                         _assets.push_back (shared_ptr<SubtitleContent> (new SubtitleContent (path, true)));
 158                                         break;
 159                                 default:
 160                                         throw DCPReadError ("Unknown MXF essence type");
 161                                 }
 162                 }
 163         }
 164
 165         list<shared_ptr<CPL> > cpl = cpls ();
 166         for (list<shared_ptr<CPL> >::const_iterator i = cpl.begin(); i != cpl.end(); ++i) {
 167                 (*i)->resolve_refs (list_of_type<Asset, Object> (assets ()));
 168         }
 169 }
 170
 171 bool
 172 DCP::equals (DCP const & other, EqualityOptions opt, boost::function<void (NoteType, string)> note) const
 173 {
 174         if (_assets.size() != other._assets.size()) {
 175                 note (ERROR, String::compose ("Asset counts differ: %1 vs %2", _assets.size(), other._assets.size()));
 176                 return false;
 177         }
 178
 179         list<shared_ptr<Asset> >::const_iterator a = _assets.begin ();
 180         list<shared_ptr<Asset> >::const_iterator b = other._assets.begin ();
 181
 182         while (a != _assets.end ()) {
 183                 if (!(*a)->equals (*b, opt, note)) {
 184                         return false;
 185                 }
 186                 ++a;
 187                 ++b;
 188         }
 189
 190         return true;
 191 }
 192
 193 void
 194 DCP::add (boost::shared_ptr<Asset> asset)
 195 {
 196         _assets.push_back (asset);
 197 }
 198
 199 class AssetComparator
 200 {
 201 public:
 202         bool operator() (shared_ptr<const Content> a, shared_ptr<const Content> b) {
 203                 return a->id() < b->id();
 204         }
 205 };
 206
 207 bool
 208 DCP::encrypted () const
 209 {
 210         list<shared_ptr<CPL> > cpl = cpls ();
 211         for (list<shared_ptr<CPL> >::const_iterator i = cpl.begin(); i != cpl.end(); ++i) {
 212                 if ((*i)->encrypted ()) {
 213                         return true;
 214                 }
 215         }
 216
 217         return false;
 218 }
 219
 220 void
 221 DCP::add (DecryptedKDM const & kdm)
 222 {
 223         list<DecryptedKDMKey> keys = kdm.keys ();
 224         list<shared_ptr<CPL> > cpl = cpls ();
 225
 226         for (list<shared_ptr<CPL> >::iterator i = cpl.begin(); i != cpl.end(); ++i) {
 227                 for (list<DecryptedKDMKey>::iterator j = keys.begin(); j != keys.end(); ++j) {
 228                         if (j->cpl_id() == (*i)->id()) {
 229                                 (*i)->add (kdm);
 230                         }
 231                 }
 232         }
 233 }
 234
 235 boost::filesystem::path
 236 DCP::write_pkl (Standard standard, string pkl_uuid, XMLMetadata metadata, shared_ptr<const Signer> signer) const
 237 {
 238         boost::filesystem::path p = _directory;
 239         stringstream s;
 240         s << pkl_uuid << "_pkl.xml";
 241         p /= s.str();
 242
 243         xmlpp::Document doc;
 244         xmlpp::Element* pkl;
 245         if (standard == INTEROP) {
 246                 pkl = doc.create_root_node("PackingList", "http://www.digicine.com/PROTO-ASDCP-PKL-20040311#");
 247         } else {
 248                 pkl = doc.create_root_node("PackingList", "http://www.smpte-ra.org/schemas/429-8/2007/PKL");
 249         }
 250
 251         if (signer) {
 252                 pkl->set_namespace_declaration ("http://www.w3.org/2000/09/xmldsig#", "dsig");
 253         }
 254
 255         pkl->add_child("Id")->add_child_text ("urn:uuid:" + pkl_uuid);
 256
 257         /* XXX: this is a bit of a hack */
 258         assert (cpls().size() > 0);
 259         pkl->add_child("AnnotationText")->add_child_text (cpls().front()->annotation_text ());
 260
 261         pkl->add_child("IssueDate")->add_child_text (metadata.issue_date);
 262         pkl->add_child("Issuer")->add_child_text (metadata.issuer);
 263         pkl->add_child("Creator")->add_child_text (metadata.creator);
 264
 265         xmlpp::Element* asset_list = pkl->add_child("AssetList");
 266         for (list<shared_ptr<Asset> >::const_iterator i = _assets.begin(); i != _assets.end(); ++i) {
 267                 (*i)->write_to_pkl (asset_list, standard);
 268         }
 269
 270         if (signer) {
 271                 signer->sign (pkl, standard);
 272         }
 273
 274         doc.write_to_file (p.string (), "UTF-8");
 275         return p.string ();
 276 }
 277
 278 /** Write the VOLINDEX file.
 279  *  @param standard DCP standard to use (INTEROP or SMPTE)
 280  */
 281 void
 282 DCP::write_volindex (Standard standard) const
 283 {
 284         boost::filesystem::path p = _directory;
 285         switch (standard) {
 286         case INTEROP:
 287                 p /= "VOLINDEX";
 288                 break;
 289         case SMPTE:
 290                 p /= "VOLINDEX.xml";
 291                 break;
 292         default:
 293                 assert (false);
 294         }
 295
 296         xmlpp::Document doc;
 297         xmlpp::Element* root;
 298
 299         switch (standard) {
 300         case INTEROP:
 301                 root = doc.create_root_node ("VolumeIndex", "http://www.digicine.com/PROTO-ASDCP-AM-20040311#");
 302                 break;
 303         case SMPTE:
 304                 root = doc.create_root_node ("VolumeIndex", "http://www.smpte-ra.org/schemas/429-9/2007/AM");
 305                 break;
 306         default:
 307                 assert (false);
 308         }
 309
 310         root->add_child("Index")->add_child_text ("1");
 311         doc.write_to_file (p.string (), "UTF-8");
 312 }
 313
 314 void
 315 DCP::write_assetmap (Standard standard, string pkl_uuid, int pkl_length, XMLMetadata metadata) const
 316 {
 317         boost::filesystem::path p = _directory;
 318
 319         switch (standard) {
 320         case INTEROP:
 321                 p /= "ASSETMAP";
 322                 break;
 323         case SMPTE:
 324                 p /= "ASSETMAP.xml";
 325                 break;
 326         default:
 327                 assert (false);
 328         }
 329
 330         xmlpp::Document doc;
 331         xmlpp::Element* root;
 332
 333         switch (standard) {
 334         case INTEROP:
 335                 root = doc.create_root_node ("AssetMap", "http://www.digicine.com/PROTO-ASDCP-AM-20040311#");
 336                 break;
 337         case SMPTE:
 338                 root = doc.create_root_node ("AssetMap", "http://www.smpte-ra.org/schemas/429-9/2007/AM");
 339                 break;
 340         default:
 341                 assert (false);
 342         }
 343
 344         root->add_child("Id")->add_child_text ("urn:uuid:" + make_uuid());
 345         root->add_child("AnnotationText")->add_child_text ("Created by " + metadata.creator);
 346
 347         switch (standard) {
 348         case INTEROP:
 349                 root->add_child("VolumeCount")->add_child_text ("1");
 350                 root->add_child("IssueDate")->add_child_text (metadata.issue_date);
 351                 root->add_child("Issuer")->add_child_text (metadata.issuer);
 352                 root->add_child("Creator")->add_child_text (metadata.creator);
 353                 break;
 354         case SMPTE:
 355                 root->add_child("Creator")->add_child_text (metadata.creator);
 356                 root->add_child("VolumeCount")->add_child_text ("1");
 357                 root->add_child("IssueDate")->add_child_text (metadata.issue_date);
 358                 root->add_child("Issuer")->add_child_text (metadata.issuer);
 359                 break;
 360         default:
 361                 assert (false);
 362         }
 363
 364         xmlpp::Node* asset_list = root->add_child ("AssetList");
 365
 366         xmlpp::Node* asset = asset_list->add_child ("Asset");
 367         asset->add_child("Id")->add_child_text ("urn:uuid:" + pkl_uuid);
 368         asset->add_child("PackingList")->add_child_text ("true");
 369         xmlpp::Node* chunk_list = asset->add_child ("ChunkList");
 370         xmlpp::Node* chunk = chunk_list->add_child ("Chunk");
 371         chunk->add_child("Path")->add_child_text (pkl_uuid + "_pkl.xml");
 372         chunk->add_child("VolumeIndex")->add_child_text ("1");
 373         chunk->add_child("Offset")->add_child_text ("0");
 374         chunk->add_child("Length")->add_child_text (raw_convert<string> (pkl_length));
 375
 376         for (list<shared_ptr<Asset> >::const_iterator i = _assets.begin(); i != _assets.end(); ++i) {
 377                 (*i)->write_to_assetmap (asset_list, _directory);
 378         }
 379
 380         /* This must not be the _formatted version otherwise signature digests will be wrong */
 381         doc.write_to_file (p.string (), "UTF-8");
 382 }
 383
 384 /** Write all the XML files for this DCP.
 385  *  @param standand INTEROP or SMPTE.
 386  *  @param metadata Metadata to use for PKL and asset map files.
 387  *  @param signer Signer to use, or 0.
 388  */
 389 void
 390 DCP::write_xml (
 391         Standard standard,
 392         XMLMetadata metadata,
 393         shared_ptr<const Signer> signer
 394         )
 395 {
 396         list<shared_ptr<CPL> > cpl = cpls ();
 397         for (list<shared_ptr<CPL> >::const_iterator i = cpl.begin(); i != cpl.end(); ++i) {
 398                 string const filename = (*i)->id() + "_cpl.xml";
 399                 (*i)->write_xml (_directory / filename, standard, signer);
 400         }
 401
 402         string const pkl_uuid = make_uuid ();
 403         boost::filesystem::path const pkl_path = write_pkl (standard, pkl_uuid, metadata, signer);
 404
 405         write_volindex (standard);
 406         write_assetmap (standard, pkl_uuid, boost::filesystem::file_size (pkl_path), metadata);
 407 }
 408
 409 list<shared_ptr<CPL> >
 410 DCP::cpls () const
 411 {
 412         return list_of_type<Asset, CPL> (_assets);
 413 }