Hopefully-correct PKL and AssetMap when using Interop PNG subtitles.
[libdcp.git] / src / util.cc
index 3807b4cc44b8897a9583d0b2869781dc93a9aa91..3d90ccaa4fe7f6e1155c45cd8e2d6e7ec43e2c88 100644 (file)
@@ -1,61 +1,78 @@
 /*
-    Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
+    Copyright (C) 2012-2014 Carl Hetherington <cth@carlh.net>
 
-    This program is free software; you can redistribute it and/or modify
+    This file is part of libdcp.
+
+    libdcp is free software; you can redistribute it and/or modify
     it under the terms of the GNU General Public License as published by
     the Free Software Foundation; either version 2 of the License, or
     (at your option) any later version.
 
-    This program is distributed in the hope that it will be useful,
+    libdcp is distributed in the hope that it will be useful,
     but WITHOUT ANY WARRANTY; without even the implied warranty of
     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
     GNU General Public License for more details.
 
     You should have received a copy of the GNU General Public License
-    along with this program; if not, write to the Free Software
-    Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
-
+    along with libdcp.  If not, see <http://www.gnu.org/licenses/>.
+
+    In addition, as a special exception, the copyright holders give
+    permission to link the code of portions of this program with the
+    OpenSSL library under certain conditions as described in each
+    individual source file, and distribute linked combinations
+    including the two.
+
+    You must obey the GNU General Public License in all respects
+    for all of the code used other than OpenSSL.  If you modify
+    file(s) with this exception, you may extend this exception to your
+    version of the file(s), but you are not obligated to do so.  If you
+    do not wish to do so, delete this exception statement from your
+    version.  If you delete this exception statement from all source
+    files in the program, then also delete it here.
 */
 
 /** @file  src/util.cc
  *  @brief Utility methods.
  */
 
-#include <stdexcept>
-#include <sstream>
-#include <iostream>
-#include <iomanip>
-#include <boost/filesystem.hpp>
-#include <boost/lexical_cast.hpp>
-#include <openssl/sha.h>
-#include <libxml++/nodes/element.h>
-#include <libxml++/document.h>
+#include "util.h"
+#include "exceptions.h"
+#include "types.h"
+#include "certificate.h"
+#include "openjpeg_image.h"
+#include "dcp_assert.h"
+#include "compose.hpp"
+#include <openjpeg.h>
+#include <asdcp/KM_util.h>
+#include <asdcp/KM_fileio.h>
+#include <asdcp/AS_DCP.h>
 #include <xmlsec/xmldsig.h>
 #include <xmlsec/dl.h>
 #include <xmlsec/app.h>
 #include <xmlsec/crypto.h>
-#include "KM_util.h"
-#include "KM_fileio.h"
-#include "AS_DCP.h"
-#include "util.h"
-#include "exceptions.h"
-#include "types.h"
-#include "argb_frame.h"
-#include "certificates.h"
-#include "gamma_lut.h"
-#include "xyz_frame.h"
+#include <libxml++/nodes/element.h>
+#include <libxml++/document.h>
+#include <openssl/sha.h>
+#include <boost/filesystem.hpp>
+#include <boost/algorithm/string.hpp>
+#include <stdexcept>
+#include <iostream>
+#include <iomanip>
 
 using std::string;
 using std::wstring;
 using std::cout;
-using std::stringstream;
 using std::min;
 using std::max;
 using std::list;
 using std::setw;
 using std::setfill;
+using std::ostream;
 using boost::shared_ptr;
-using boost::lexical_cast;
+using boost::shared_array;
+using boost::optional;
+using boost::function;
+using boost::algorithm::trim;
 using namespace dcp;
 
 /** Create a UUID.
@@ -71,22 +88,33 @@ dcp::make_uuid ()
        return string (buffer);
 }
 
+string
+dcp::make_digest (Data data)
+{
+       SHA_CTX sha;
+       SHA1_Init (&sha);
+       SHA1_Update (&sha, data.data().get(), data.size());
+       byte_t byte_buffer[SHA_DIGEST_LENGTH];
+       SHA1_Final (byte_buffer, &sha);
+       char digest[64];
+       return Kumu::base64encode (byte_buffer, SHA_DIGEST_LENGTH, digest, 64);
+}
 
 /** Create a digest for a file.
  *  @param filename File name.
- *  @param progress Pointer to a progress reporting function, or 0.  The function will be called
+ *  @param progress Optional progress reporting function.  The function will be called
  *  with a progress value between 0 and 1.
  *  @return Digest.
  */
 string
-dcp::make_digest (string filename, boost::function<void (float)>* progress)
+dcp::make_digest (boost::filesystem::path filename, function<void (float)> progress)
 {
        Kumu::FileReader reader;
-       Kumu::Result_t r = reader.OpenRead (filename.c_str ());
+       Kumu::Result_t r = reader.OpenRead (filename.string().c_str ());
        if (ASDCP_FAILURE (r)) {
                boost::throw_exception (FileError ("could not open file to compute digest", filename, r));
        }
-       
+
        SHA_CTX sha;
        SHA1_Init (&sha);
 
@@ -98,17 +126,17 @@ dcp::make_digest (string filename, boost::function<void (float)>* progress)
        while (1) {
                ui32_t read = 0;
                Kumu::Result_t r = reader.Read (read_buffer.Data(), read_buffer.Capacity(), &read);
-               
+
                if (r == Kumu::RESULT_ENDOFFILE) {
                        break;
                } else if (ASDCP_FAILURE (r)) {
                        boost::throw_exception (FileError ("could not read file to compute digest", filename, r));
                }
-               
+
                SHA1_Update (&sha, read_buffer.Data(), read);
 
                if (progress) {
-                       (*progress) (float (done) / size);
+                       progress (float (done) / size);
                        done += read;
                }
        }
@@ -121,7 +149,7 @@ dcp::make_digest (string filename, boost::function<void (float)>* progress)
 }
 
 /** Convert a content kind to a string which can be used in a
- *  <ContentKind> node.
+ *  &lt;ContentKind&gt; node.
  *  @param kind ContentKind.
  *  @return string.
  */
@@ -151,75 +179,42 @@ dcp::content_kind_to_string (ContentKind kind)
                return "advertisement";
        }
 
-       assert (false);
+       DCP_ASSERT (false);
 }
 
-/** Convert a string from a <ContentKind> node to a libdcp ContentKind.
+/** Convert a string from a &lt;ContentKind&gt; node to a libdcp ContentKind.
  *  Reasonably tolerant about varying case.
- *  @param type Content kind string.
+ *  @param kind Content kind string.
  *  @return libdcp ContentKind.
  */
 dcp::ContentKind
-dcp::content_kind_from_string (string type)
+dcp::content_kind_from_string (string kind)
 {
-       transform (type.begin(), type.end(), type.begin(), ::tolower);
-       
-       if (type == "feature") {
+       transform (kind.begin(), kind.end(), kind.begin(), ::tolower);
+
+       if (kind == "feature") {
                return FEATURE;
-       } else if (type == "short") {
+       } else if (kind == "short") {
                return SHORT;
-       } else if (type == "trailer") {
+       } else if (kind == "trailer") {
                return TRAILER;
-       } else if (type == "test") {
+       } else if (kind == "test") {
                return TEST;
-       } else if (type == "transitional") {
+       } else if (kind == "transitional") {
                return TRANSITIONAL;
-       } else if (type == "rating") {
+       } else if (kind == "rating") {
                return RATING;
-       } else if (type == "teaser") {
+       } else if (kind == "teaser") {
                return TEASER;
-       } else if (type == "policy") {
+       } else if (kind == "policy") {
                return POLICY;
-       } else if (type == "psa") {
+       } else if (kind == "psa") {
                return PUBLIC_SERVICE_ANNOUNCEMENT;
-       } else if (type == "advertisement") {
+       } else if (kind == "advertisement") {
                return ADVERTISEMENT;
        }
 
-       assert (false);
-}
-
-/** Decompress a JPEG2000 image to a bitmap.
- *  @param data JPEG2000 data.
- *  @param size Size of data in bytes.
- *  @param reduce A power of 2 by which to reduce the size of the decoded image;
- *  e.g. 0 reduces by (2^0 == 1), ie keeping the same size.
- *       1 reduces by (2^1 == 2), ie halving the size of the image.
- *  This is useful for scaling 4K DCP images down to 2K.
- *  @return XYZ image.
- */
-shared_ptr<dcp::XYZFrame>
-dcp::decompress_j2k (uint8_t* data, int64_t size, int reduce)
-{
-       opj_dinfo_t* decoder = opj_create_decompress (CODEC_J2K);
-       opj_dparameters_t parameters;
-       opj_set_default_decoder_parameters (&parameters);
-       parameters.cp_reduce = reduce;
-       opj_setup_decoder (decoder, &parameters);
-       opj_cio_t* cio = opj_cio_open ((opj_common_ptr) decoder, data, size);
-       opj_image_t* image = opj_decode (decoder, cio);
-       if (!image) {
-               opj_destroy_decompress (decoder);
-               opj_cio_close (cio);
-               boost::throw_exception (DCPReadError ("could not decode JPEG2000 codestream of " + lexical_cast<string> (size) + " bytes."));
-       }
-
-       opj_destroy_decompress (decoder);
-       opj_cio_close (cio);
-
-       image->x1 = rint (float(image->x1) / pow (2, reduce));
-       image->y1 = rint (float(image->y1) / pow (2, reduce));
-       return shared_ptr<XYZFrame> (new XYZFrame (image));
+       DCP_ASSERT (false);
 }
 
 /** @param s A string.
@@ -237,6 +232,9 @@ dcp::empty_or_white_space (string s)
        return true;
 }
 
+/** Set up various bits that the library needs.  Should be called one
+ *  by client applications.
+ */
 void
 dcp::init ()
 {
@@ -248,7 +246,7 @@ dcp::init ()
        if (xmlSecCryptoDLLoadLibrary(BAD_CAST XMLSEC_CRYPTO) < 0) {
                throw MiscError ("unable to load default xmlsec-crypto library");
        }
-#endif 
+#endif
 
        if (xmlSecCryptoAppInit(0) < 0) {
                throw MiscError ("could not initialise crypto");
@@ -257,20 +255,18 @@ dcp::init ()
        if (xmlSecCryptoInit() < 0) {
                throw MiscError ("could not initialise xmlsec-crypto");
        }
-}
 
-bool dcp::operator== (dcp::Size const & a, dcp::Size const & b)
-{
-       return (a.width == b.width && a.height == b.height);
-}
-
-bool dcp::operator!= (dcp::Size const & a, dcp::Size const & b)
-{
-       return !(a == b);
+       OpenSSL_add_all_algorithms();
 }
 
-/** The base64 decode routine in KM_util.cpp gives different values to both
- *  this and the command-line base64 for some inputs.  Not sure why.
+/** Decode a base64 string.  The base64 decode routine in KM_util.cpp
+ *  gives different values to both this and the command-line base64
+ *  for some inputs.  Not sure why.
+ *
+ *  @param in base64-encoded string.
+ *  @param out Output buffer.
+ *  @param out_length Length of output buffer.
+ *  @return Number of characters written to the output buffer.
  */
 int
 dcp::base64_decode (string const & in, unsigned char* out, int out_length)
@@ -288,7 +284,7 @@ dcp::base64_decode (string const & in, unsigned char* out, int out_length)
                        *p++ = in[i];
                }
        }
-               
+
        BIO* bmem = BIO_new_mem_buf (in_buffer, p - in_buffer);
        bmem = BIO_push (b64, bmem);
        int const N = BIO_read (bmem, out, out_length);
@@ -297,68 +293,127 @@ dcp::base64_decode (string const & in, unsigned char* out, int out_length)
        return N;
 }
 
+/** @param p Path to open.
+ *  @param t mode flags, as for fopen(3).
+ *  @return FILE pointer or 0 on error.
+ *
+ *  Apparently there is no way to create an ofstream using a UTF-8
+ *  filename under Windows.  We are hence reduced to using fopen
+ *  with this wrapper.
+ */
+FILE *
+dcp::fopen_boost (boost::filesystem::path p, string t)
+{
+#ifdef LIBDCP_WINDOWS
+        wstring w (t.begin(), t.end());
+       /* c_str() here should give a UTF-16 string */
+        return _wfopen (p.c_str(), w.c_str ());
+#else
+        return fopen (p.c_str(), t.c_str ());
+#endif
+}
+
+optional<boost::filesystem::path>
+dcp::relative_to_root (boost::filesystem::path root, boost::filesystem::path file)
+{
+       boost::filesystem::path::const_iterator i = root.begin ();
+       boost::filesystem::path::const_iterator j = file.begin ();
+
+       while (i != root.end() && j != file.end() && *i == *j) {
+               ++i;
+               ++j;
+       }
+
+       if (i != root.end ()) {
+               return optional<boost::filesystem::path> ();
+       }
+
+       boost::filesystem::path rel;
+       while (j != file.end ()) {
+               rel /= *j++;
+       }
+
+       return rel;
+}
+
+bool
+dcp::ids_equal (string a, string b)
+{
+       transform (a.begin(), a.end(), a.begin(), ::tolower);
+       transform (b.begin(), b.end(), b.begin(), ::tolower);
+       trim (a);
+       trim (b);
+       return a == b;
+}
+
 string
-dcp::tm_to_string (struct tm* tm)
+dcp::file_to_string (boost::filesystem::path p, uintmax_t max_length)
 {
-       char buffer[64];
-       strftime (buffer, 64, "%Y-%m-%dT%H:%M:%S", tm);
+       uintmax_t len = boost::filesystem::file_size (p);
+       if (len > max_length) {
+               throw MiscError (String::compose ("Unexpectedly long file (%1)", p.string()));
+       }
 
-       int offset = 0;
+       FILE* f = fopen_boost (p, "r");
+       if (!f) {
+               throw FileError ("could not open file", p, errno);
+       }
 
-#ifdef LIBDCP_POSIX
-       offset = tm->tm_gmtoff / 60;
-#else
-       TIME_ZONE_INFORMATION tz;
-       GetTimeZoneInformation (&tz);
-       offset = tz.Bias;
-#endif
-       
-       return string (buffer) + utc_offset_to_string (offset);
+       char* c = new char[len];
+       /* This may read less than `len' if we are on Windows and we have CRLF in the file */
+       int const N = fread (c, 1, len, f);
+       fclose (f);
+
+       string s (c, N);
+       delete[] c;
+
+       return s;
 }
 
-/** @param b Offset from UTC to local time in minutes.
- *  @return string of the form e.g. -01:00.
+/** @param key RSA private key in PEM format (optionally with -----BEGIN... / -----END...)
+ *  @return SHA1 fingerprint of key
  */
 string
-dcp::utc_offset_to_string (int b)
+dcp::private_key_fingerprint (string key)
 {
-       bool const negative = (b < 0);
-       b = negative ? -b : b;
+       boost::replace_all (key, "-----BEGIN RSA PRIVATE KEY-----\n", "");
+       boost::replace_all (key, "\n-----END RSA PRIVATE KEY-----\n", "");
 
-       int const hours = b / 60;
-       int const minutes = b % 60;
+       unsigned char buffer[4096];
+       int const N = base64_decode (key, buffer, sizeof (buffer));
 
-       stringstream o;
-       if (negative) {
-               o << "-";
-       } else {
-               o << "+";
+       SHA_CTX sha;
+       SHA1_Init (&sha);
+       SHA1_Update (&sha, buffer, N);
+       uint8_t digest[20];
+       SHA1_Final (digest, &sha);
+
+       char digest_base64[64];
+       return Kumu::base64encode (digest, 20, digest_base64, 64);
+}
+
+xmlpp::Node *
+dcp::find_child (xmlpp::Node const * node, string name)
+{
+       xmlpp::Node::NodeList c = node->get_children ();
+       xmlpp::Node::NodeList::iterator i = c.begin();
+       while (i != c.end() && (*i)->get_name() != name) {
+               ++i;
        }
 
-       o << setw(2) << setfill('0') << hours << ":" << setw(2) << setfill('0') << minutes;
-       return o.str ();
+       DCP_ASSERT (i != c.end ());
+       return *i;
 }
 
 string
-dcp::ptime_to_string (boost::posix_time::ptime t)
+dcp::remove_urn_uuid (string raw)
 {
-       struct tm t_tm = boost::posix_time::to_tm (t);
-       return tm_to_string (&t_tm);
+       DCP_ASSERT (raw.substr(0, 9) == "urn:uuid:");
+       return raw.substr (9);
 }
 
-
-/* Apparently there is no way to create an ofstream using a UTF-8
-   filename under Windows.  We are hence reduced to using fopen
-   with this wrapper.
-*/
-FILE *
-dcp::fopen_boost (boost::filesystem::path p, string t)
+string
+dcp::openjpeg_version ()
 {
-#ifdef LIBDCP_WINDOWS
-        wstring w (t.begin(), t.end());
-       /* c_str() here should give a UTF-16 string */
-        return _wfopen (p.c_str(), w.c_str ());
-#else
-        return fopen (p.c_str(), t.c_str ());
-#endif
+       return opj_version ();
 }