src/lib/dcp_video_frame.cc

   1 /*
   2     Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
   3     Taken from code Copyright (C) 2010-2011 Terrence Meiczinger
   4
   5     This program is free software; you can redistribute it and/or modify
   6     it under the terms of the GNU General Public License as published by
   7     the Free Software Foundation; either version 2 of the License, or
   8     (at your option) any later version.
   9
  10     This program is distributed in the hope that it will be useful,
  11     but WITHOUT ANY WARRANTY; without even the implied warranty of
  12     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13     GNU General Public License for more details.
  14
  15     You should have received a copy of the GNU General Public License
  16     along with this program; if not, write to the Free Software
  17     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
  18
  19 */
  20
  21 /** @file  src/dcp_video_frame.cc
  22  *  @brief A single frame of video destined for a DCP.
  23  *
  24  *  Given an Image and some settings, this class knows how to encode
  25  *  the image to J2K either on the local host or on a remote server.
  26  *
  27  *  Objects of this class are used for the queue that we keep
  28  *  of images that require encoding.
  29  */
  30
  31 #include <stdint.h>
  32 #include <cstring>
  33 #include <cstdlib>
  34 #include <stdexcept>
  35 #include <cstdio>
  36 #include <iomanip>
  37 #include <sstream>
  38 #include <iostream>
  39 #include <fstream>
  40 #include <unistd.h>
  41 #include <errno.h>
  42 #include <boost/array.hpp>
  43 #include <boost/asio.hpp>
  44 #include <boost/filesystem.hpp>
  45 #include <boost/lexical_cast.hpp>
  46 #include "film.h"
  47 #include "dcp_video_frame.h"
  48 #include "lut.h"
  49 #include "config.h"
  50 #include "exceptions.h"
  51 #include "server.h"
  52 #include "util.h"
  53 #include "scaler.h"
  54 #include "image.h"
  55 #include "log.h"
  56 #include "subtitle.h"
  57
  58 #include "i18n.h"
  59
  60 using std::string;
  61 using std::stringstream;
  62 using std::ofstream;
  63 using std::cout;
  64 using boost::shared_ptr;
  65 using libdcp::Size;
  66
  67 /** Construct a DCP video frame.
  68  *  @param input Input image.
  69  *  @param out Required size of output, in pixels (including any padding).
  70  *  @param s Scaler to use.
  71  *  @param p Number of pixels of padding either side of the image.
  72  *  @param f Index of the frame within the DCP.
  73  *  @param fps Frames per second of the Film's source.
  74  *  @param pp FFmpeg post-processing string to use.
  75  *  @param clut Colour look-up table to use (see Config::colour_lut_index ())
  76  *  @param bw J2K bandwidth to use (see Config::j2k_bandwidth ())
  77  *  @param l Log to write to.
  78  */
  79 DCPVideoFrame::DCPVideoFrame (
  80         shared_ptr<const Image> yuv, shared_ptr<Subtitle> sub,
  81         Size out, int p, int subtitle_offset, float subtitle_scale,
  82         Scaler const * s, int f, int dcp_fps, string pp, int clut, int bw, shared_ptr<Log> l
  83         )
  84         : _input (yuv)
  85         , _subtitle (sub)
  86         , _out_size (out)
  87         , _padding (p)
  88         , _subtitle_offset (subtitle_offset)
  89         , _subtitle_scale (subtitle_scale)
  90         , _scaler (s)
  91         , _frame (f)
  92         , _frames_per_second (dcp_fps)
  93         , _post_process (pp)
  94         , _colour_lut (clut)
  95         , _j2k_bandwidth (bw)
  96         , _log (l)
  97         , _image (0)
  98         , _parameters (0)
  99         , _cinfo (0)
 100         , _cio (0)
 101 {
 102
 103 }
 104
 105 /** Create a libopenjpeg container suitable for our output image */
 106 void
 107 DCPVideoFrame::create_openjpeg_container ()
 108 {
 109         for (int i = 0; i < 3; ++i) {
 110                 _cmptparm[i].dx = 1;
 111                 _cmptparm[i].dy = 1;
 112                 _cmptparm[i].w = _out_size.width;
 113                 _cmptparm[i].h = _out_size.height;
 114                 _cmptparm[i].x0 = 0;
 115                 _cmptparm[i].y0 = 0;
 116                 _cmptparm[i].prec = 12;
 117                 _cmptparm[i].bpp = 12;
 118                 _cmptparm[i].sgnd = 0;
 119         }
 120
 121         _image = opj_image_create (3, &_cmptparm[0], CLRSPC_SRGB);
 122         if (_image == 0) {
 123                 throw EncodeError (N_("could not create libopenjpeg image"));
 124         }
 125
 126         _image->x0 = 0;
 127         _image->y0 = 0;
 128         _image->x1 = _out_size.width;
 129         _image->y1 = _out_size.height;
 130 }
 131
 132 DCPVideoFrame::~DCPVideoFrame ()
 133 {
 134         if (_image) {
 135                 opj_image_destroy (_image);
 136         }
 137
 138         if (_cio) {
 139                 opj_cio_close (_cio);
 140         }
 141
 142         if (_cinfo) {
 143                 opj_destroy_compress (_cinfo);
 144         }
 145
 146         if (_parameters) {
 147                 free (_parameters->cp_comment);
 148         }
 149
 150         delete _parameters;
 151 }
 152
 153 /** J2K-encode this frame on the local host.
 154  *  @return Encoded data.
 155  */
 156 shared_ptr<EncodedData>
 157 DCPVideoFrame::encode_locally ()
 158 {
 159         if (!_post_process.empty ()) {
 160                 _input = _input->post_process (_post_process, true);
 161         }
 162
 163         shared_ptr<Image> prepared = _input->scale_and_convert_to_rgb (_out_size, _padding, _scaler, true);
 164
 165         if (_subtitle) {
 166                 Rect tx = subtitle_transformed_area (
 167                         float (_out_size.width) / _input->size().width,
 168                         float (_out_size.height) / _input->size().height,
 169                         _subtitle->area(), _subtitle_offset, _subtitle_scale
 170                         );
 171
 172                 shared_ptr<Image> im = _subtitle->image()->scale (tx.size(), _scaler, true);
 173                 prepared->alpha_blend (im, tx.position());
 174         }
 175
 176         create_openjpeg_container ();
 177
 178         struct {
 179                 double r, g, b;
 180         } s;
 181
 182         struct {
 183                 double x, y, z;
 184         } d;
 185
 186         /* Copy our RGB into the openjpeg container, converting to XYZ in the process */
 187
 188         int jn = 0;
 189         for (int y = 0; y < _out_size.height; ++y) {
 190                 uint8_t* p = prepared->data()[0] + y * prepared->stride()[0];
 191                 for (int x = 0; x < _out_size.width; ++x) {
 192
 193                         /* In gamma LUT (converting 8-bit input to 12-bit) */
 194                         s.r = lut_in[_colour_lut][*p++ << 4];
 195                         s.g = lut_in[_colour_lut][*p++ << 4];
 196                         s.b = lut_in[_colour_lut][*p++ << 4];
 197
 198                         /* RGB to XYZ Matrix */
 199                         d.x = ((s.r * color_matrix[_colour_lut][0][0]) +
 200                                (s.g * color_matrix[_colour_lut][0][1]) +
 201                                (s.b * color_matrix[_colour_lut][0][2]));
 202
 203                         d.y = ((s.r * color_matrix[_colour_lut][1][0]) +
 204                                (s.g * color_matrix[_colour_lut][1][1]) +
 205                                (s.b * color_matrix[_colour_lut][1][2]));
 206
 207                         d.z = ((s.r * color_matrix[_colour_lut][2][0]) +
 208                                (s.g * color_matrix[_colour_lut][2][1]) +
 209                                (s.b * color_matrix[_colour_lut][2][2]));
 210
 211                         /* DCI companding */
 212                         d.x = d.x * DCI_COEFFICENT * (DCI_LUT_SIZE - 1);
 213                         d.y = d.y * DCI_COEFFICENT * (DCI_LUT_SIZE - 1);
 214                         d.z = d.z * DCI_COEFFICENT * (DCI_LUT_SIZE - 1);
 215
 216                         /* Out gamma LUT */
 217                         _image->comps[0].data[jn] = lut_out[LO_DCI][(int) d.x];
 218                         _image->comps[1].data[jn] = lut_out[LO_DCI][(int) d.y];
 219                         _image->comps[2].data[jn] = lut_out[LO_DCI][(int) d.z];
 220
 221                         ++jn;
 222                 }
 223         }
 224
 225         /* Set the max image and component sizes based on frame_rate */
 226         int const max_cs_len = ((float) _j2k_bandwidth) / 8 / _frames_per_second;
 227         int const max_comp_size = max_cs_len / 1.25;
 228
 229         /* Set encoding parameters to default values */
 230         _parameters = new opj_cparameters_t;
 231         opj_set_default_encoder_parameters (_parameters);
 232
 233         /* Set default cinema parameters */
 234         _parameters->tile_size_on = false;
 235         _parameters->cp_tdx = 1;
 236         _parameters->cp_tdy = 1;
 237
 238         /* Tile part */
 239         _parameters->tp_flag = 'C';
 240         _parameters->tp_on = 1;
 241
 242         /* Tile and Image shall be at (0,0) */
 243         _parameters->cp_tx0 = 0;
 244         _parameters->cp_ty0 = 0;
 245         _parameters->image_offset_x0 = 0;
 246         _parameters->image_offset_y0 = 0;
 247
 248         /* Codeblock size = 32x32 */
 249         _parameters->cblockw_init = 32;
 250         _parameters->cblockh_init = 32;
 251         _parameters->csty |= 0x01;
 252
 253         /* The progression order shall be CPRL */
 254         _parameters->prog_order = CPRL;
 255
 256         /* No ROI */
 257         _parameters->roi_compno = -1;
 258
 259         _parameters->subsampling_dx = 1;
 260         _parameters->subsampling_dy = 1;
 261
 262         /* 9-7 transform */
 263         _parameters->irreversible = 1;
 264
 265         _parameters->tcp_rates[0] = 0;
 266         _parameters->tcp_numlayers++;
 267         _parameters->cp_disto_alloc = 1;
 268         _parameters->cp_rsiz = CINEMA2K;
 269         _parameters->cp_comment = strdup (N_("DCP-o-matic"));
 270         _parameters->cp_cinema = CINEMA2K_24;
 271
 272         /* 3 components, so use MCT */
 273         _parameters->tcp_mct = 1;
 274
 275         /* set max image */
 276         _parameters->max_comp_size = max_comp_size;
 277         _parameters->tcp_rates[0] = ((float) (3 * _image->comps[0].w * _image->comps[0].h * _image->comps[0].prec)) / (max_cs_len * 8);
 278
 279         /* get a J2K compressor handle */
 280         _cinfo = opj_create_compress (CODEC_J2K);
 281         if (_cinfo == 0) {
 282                 throw EncodeError (N_("could not create JPEG2000 encoder"));
 283         }
 284
 285         /* Set event manager to null (openjpeg 1.3 bug) */
 286         _cinfo->event_mgr = 0;
 287
 288         /* Setup the encoder parameters using the current image and user parameters */
 289         opj_setup_encoder (_cinfo, _parameters, _image);
 290
 291         _cio = opj_cio_open ((opj_common_ptr) _cinfo, 0, 0);
 292         if (_cio == 0) {
 293                 throw EncodeError (N_("could not open JPEG2000 stream"));
 294         }
 295
 296         int const r = opj_encode (_cinfo, _cio, _image, 0);
 297         if (r == 0) {
 298                 throw EncodeError (N_("JPEG2000 encoding failed"));
 299         }
 300
 301         _log->log (String::compose (N_("Finished locally-encoded frame %1"), _frame));
 302
 303         return shared_ptr<EncodedData> (new LocallyEncodedData (_cio->buffer, cio_tell (_cio)));
 304 }
 305
 306 /** Send this frame to a remote server for J2K encoding, then read the result.
 307  *  @param serv Server to send to.
 308  *  @return Encoded data.
 309  */
 310 shared_ptr<EncodedData>
 311 DCPVideoFrame::encode_remotely (ServerDescription const * serv)
 312 {
 313         boost::asio::io_service io_service;
 314         boost::asio::ip::tcp::resolver resolver (io_service);
 315         boost::asio::ip::tcp::resolver::query query (serv->host_name(), boost::lexical_cast<string> (Config::instance()->server_port ()));
 316         boost::asio::ip::tcp::resolver::iterator endpoint_iterator = resolver.resolve (query);
 317
 318         shared_ptr<Socket> socket (new Socket);
 319
 320         socket->connect (*endpoint_iterator);
 321
 322         stringstream s;
 323         s << N_("encode please\n")
 324           << N_("input_width ") << _input->size().width << N_("\n")
 325           << N_("input_height ") << _input->size().height << N_("\n")
 326           << N_("input_pixel_format ") << _input->pixel_format() << N_("\n")
 327           << N_("output_width ") << _out_size.width << N_("\n")
 328           << N_("output_height ") << _out_size.height << N_("\n")
 329           << N_("padding ") <<  _padding << N_("\n")
 330           << N_("subtitle_offset ") << _subtitle_offset << N_("\n")
 331           << N_("subtitle_scale ") << _subtitle_scale << N_("\n")
 332           << N_("scaler ") << _scaler->id () << N_("\n")
 333           << N_("frame ") << _frame << N_("\n")
 334           << N_("frames_per_second ") << _frames_per_second << N_("\n");
 335
 336         if (!_post_process.empty()) {
 337                 s << N_("post_process ") << _post_process << N_("\n");
 338         }
 339
 340         s << N_("colour_lut ") << _colour_lut << N_("\n")
 341           << N_("j2k_bandwidth ") << _j2k_bandwidth << N_("\n");
 342
 343         if (_subtitle) {
 344                 s << N_("subtitle_x ") << _subtitle->position().x << N_("\n")
 345                   << N_("subtitle_y ") << _subtitle->position().y << N_("\n")
 346                   << N_("subtitle_width ") << _subtitle->image()->size().width << N_("\n")
 347                   << N_("subtitle_height ") << _subtitle->image()->size().height << N_("\n");
 348         }
 349
 350         _log->log (String::compose (
 351                            N_("Sending to remote; pixel format %1, components %2, lines (%3,%4,%5), line sizes (%6,%7,%8)"),
 352                            _input->pixel_format(), _input->components(),
 353                            _input->lines(0), _input->lines(1), _input->lines(2),
 354                            _input->line_size()[0], _input->line_size()[1], _input->line_size()[2]
 355                            ));
 356
 357         socket->write (s.str().length() + 1);
 358         socket->write ((uint8_t *) s.str().c_str(), s.str().length() + 1);
 359
 360         _input->write_to_socket (socket);
 361         if (_subtitle) {
 362                 _subtitle->image()->write_to_socket (socket);
 363         }
 364
 365         shared_ptr<EncodedData> e (new RemotelyEncodedData (socket->read_uint32 ()));
 366         socket->read (e->data(), e->size());
 367
 368         _log->log (String::compose (N_("Finished remotely-encoded frame %1"), _frame));
 369
 370         return e;
 371 }
 372
 373 EncodedData::EncodedData (int s)
 374         : _data (new uint8_t[s])
 375         , _size (s)
 376 {
 377
 378 }
 379
 380 EncodedData::EncodedData (string file)
 381 {
 382         _size = boost::filesystem::file_size (file);
 383         _data = new uint8_t[_size];
 384
 385         FILE* f = fopen (file.c_str(), N_("rb"));
 386         if (!f) {
 387                 throw FileError (_("could not open file for reading"), file);
 388         }
 389
 390         fread (_data, 1, _size, f);
 391         fclose (f);
 392 }
 393
 394
 395 EncodedData::~EncodedData ()
 396 {
 397         delete[] _data;
 398 }
 399
 400 /** Write this data to a J2K file.
 401  *  @param Film Film.
 402  *  @param frame DCP frame index.
 403  */
 404 void
 405 EncodedData::write (shared_ptr<const Film> film, int frame) const
 406 {
 407         string const tmp_j2c = film->j2c_path (frame, true);
 408
 409         FILE* f = fopen (tmp_j2c.c_str (), N_("wb"));
 410
 411         if (!f) {
 412                 throw WriteFileError (tmp_j2c, errno);
 413         }
 414
 415         fwrite (_data, 1, _size, f);
 416         fclose (f);
 417
 418         string const real_j2c = film->j2c_path (frame, false);
 419
 420         /* Rename the file from foo.j2c.tmp to foo.j2c now that it is complete */
 421         boost::filesystem::rename (tmp_j2c, real_j2c);
 422 }
 423
 424 void
 425 EncodedData::write_info (shared_ptr<const Film> film, int frame, libdcp::FrameInfo fin) const
 426 {
 427         string const info = film->info_path (frame);
 428         ofstream h (info.c_str());
 429         fin.write (h);
 430 }
 431
 432 /** Send this data to a socket.
 433  *  @param socket Socket
 434  */
 435 void
 436 EncodedData::send (shared_ptr<Socket> socket)
 437 {
 438         socket->write (_size);
 439         socket->write (_data, _size);
 440 }
 441
 442 LocallyEncodedData::LocallyEncodedData (uint8_t* d, int s)
 443         : EncodedData (s)
 444 {
 445         memcpy (_data, d, s);
 446 }
 447
 448 /** @param s Size of data in bytes */
 449 RemotelyEncodedData::RemotelyEncodedData (int s)
 450         : EncodedData (s)
 451 {
 452
 453 }