Merge master.
[dcpomatic.git] / src / lib / dcp_video_frame.cc
1 /*
2     Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
3     Taken from code Copyright (C) 2010-2011 Terrence Meiczinger
4
5     This program is free software; you can redistribute it and/or modify
6     it under the terms of the GNU General Public License as published by
7     the Free Software Foundation; either version 2 of the License, or
8     (at your option) any later version.
9
10     This program is distributed in the hope that it will be useful,
11     but WITHOUT ANY WARRANTY; without even the implied warranty of
12     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13     GNU General Public License for more details.
14
15     You should have received a copy of the GNU General Public License
16     along with this program; if not, write to the Free Software
17     Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
18
19 */
20
21 /** @file  src/dcp_video_frame.cc
22  *  @brief A single frame of video destined for a DCP.
23  *
24  *  Given an Image and some settings, this class knows how to encode
25  *  the image to J2K either on the local host or on a remote server.
26  *
27  *  Objects of this class are used for the queue that we keep
28  *  of images that require encoding.
29  */
30
31 #include <stdint.h>
32 #include <cstring>
33 #include <cstdlib>
34 #include <stdexcept>
35 #include <cstdio>
36 #include <iomanip>
37 #include <sstream>
38 #include <iostream>
39 #include <fstream>
40 #include <unistd.h>
41 #include <errno.h>
42 #include <boost/array.hpp>
43 #include <boost/asio.hpp>
44 #include <boost/filesystem.hpp>
45 #include <boost/lexical_cast.hpp>
46 #include "film.h"
47 #include "dcp_video_frame.h"
48 #include "lut.h"
49 #include "config.h"
50 #include "exceptions.h"
51 #include "server.h"
52 #include "util.h"
53 #include "scaler.h"
54 #include "image.h"
55 #include "log.h"
56
57 #include "i18n.h"
58
59 using std::string;
60 using std::stringstream;
61 using std::ofstream;
62 using std::cout;
63 using boost::shared_ptr;
64 using libdcp::Size;
65
66 /** Construct a DCP video frame.
67  *  @param input Input image.
68  *  @param f Index of the frame within the DCP.
69  *  @param clut Colour look-up table to use (see Config::colour_lut_index ())
70  *  @param bw J2K bandwidth to use (see Config::j2k_bandwidth ())
71  *  @param l Log to write to.
72  */
73 DCPVideoFrame::DCPVideoFrame (
74         shared_ptr<const Image> image, int f, int dcp_fps, int clut, int bw, shared_ptr<Log> l
75         )
76         : _image (image)
77         , _frame (f)
78         , _frames_per_second (dcp_fps)
79         , _colour_lut (clut)
80         , _j2k_bandwidth (bw)
81         , _log (l)
82         , _opj_image (0)
83         , _parameters (0)
84         , _cinfo (0)
85         , _cio (0)
86 {
87         
88 }
89
90 /** Create a libopenjpeg container suitable for our output image */
91 void
92 DCPVideoFrame::create_openjpeg_container ()
93 {
94         for (int i = 0; i < 3; ++i) {
95                 _cmptparm[i].dx = 1;
96                 _cmptparm[i].dy = 1;
97                 _cmptparm[i].w = _image->size().width;
98                 _cmptparm[i].h = _image->size().height;
99                 _cmptparm[i].x0 = 0;
100                 _cmptparm[i].y0 = 0;
101                 _cmptparm[i].prec = 12;
102                 _cmptparm[i].bpp = 12;
103                 _cmptparm[i].sgnd = 0;
104         }
105
106         _opj_image = opj_image_create (3, &_cmptparm[0], CLRSPC_SRGB);
107         if (_opj_image == 0) {
108                 throw EncodeError (N_("could not create libopenjpeg image"));
109         }
110
111         _opj_image->x0 = 0;
112         _opj_image->y0 = 0;
113         _opj_image->x1 = _image->size().width;
114         _opj_image->y1 = _image->size().height;
115 }
116
117 DCPVideoFrame::~DCPVideoFrame ()
118 {
119         if (_opj_image) {
120                 opj_image_destroy (_opj_image);
121         }
122
123         if (_cio) {
124                 opj_cio_close (_cio);
125         }
126
127         if (_cinfo) {
128                 opj_destroy_compress (_cinfo);
129         }
130
131         if (_parameters) {
132                 free (_parameters->cp_comment);
133         }
134         
135         delete _parameters;
136 }
137
138 /** J2K-encode this frame on the local host.
139  *  @return Encoded data.
140  */
141 shared_ptr<EncodedData>
142 DCPVideoFrame::encode_locally ()
143 {
144         create_openjpeg_container ();
145
146         struct {
147                 double r, g, b;
148         } s;
149
150         struct {
151                 double x, y, z;
152         } d;
153
154         /* Copy our RGB into the openjpeg container, converting to XYZ in the process */
155
156         int jn = 0;
157         for (int y = 0; y < _image->size().height; ++y) {
158                 uint8_t* p = _image->data()[0] + y * _image->stride()[0];
159                 for (int x = 0; x < _image->size().width; ++x) {
160
161                         /* In gamma LUT (converting 8-bit input to 12-bit) */
162                         s.r = lut_in[_colour_lut][*p++ << 4];
163                         s.g = lut_in[_colour_lut][*p++ << 4];
164                         s.b = lut_in[_colour_lut][*p++ << 4];
165                         
166                         /* RGB to XYZ Matrix */
167                         d.x = ((s.r * color_matrix[_colour_lut][0][0]) +
168                                (s.g * color_matrix[_colour_lut][0][1]) +
169                                (s.b * color_matrix[_colour_lut][0][2]));
170                         
171                         d.y = ((s.r * color_matrix[_colour_lut][1][0]) +
172                                (s.g * color_matrix[_colour_lut][1][1]) +
173                                (s.b * color_matrix[_colour_lut][1][2]));
174                         
175                         d.z = ((s.r * color_matrix[_colour_lut][2][0]) +
176                                (s.g * color_matrix[_colour_lut][2][1]) +
177                                (s.b * color_matrix[_colour_lut][2][2]));
178                         
179                         /* DCI companding */
180                         d.x = d.x * DCI_COEFFICENT * (DCI_LUT_SIZE - 1);
181                         d.y = d.y * DCI_COEFFICENT * (DCI_LUT_SIZE - 1);
182                         d.z = d.z * DCI_COEFFICENT * (DCI_LUT_SIZE - 1);
183                         
184                         /* Out gamma LUT */
185                         _opj_image->comps[0].data[jn] = lut_out[LO_DCI][(int) d.x];
186                         _opj_image->comps[1].data[jn] = lut_out[LO_DCI][(int) d.y];
187                         _opj_image->comps[2].data[jn] = lut_out[LO_DCI][(int) d.z];
188
189                         ++jn;
190                 }
191         }
192
193         /* Set the max image and component sizes based on frame_rate */
194         int const max_cs_len = ((float) _j2k_bandwidth) / 8 / _frames_per_second;
195         int const max_comp_size = max_cs_len / 1.25;
196
197         /* Set encoding parameters to default values */
198         _parameters = new opj_cparameters_t;
199         opj_set_default_encoder_parameters (_parameters);
200
201         /* Set default cinema parameters */
202         _parameters->tile_size_on = false;
203         _parameters->cp_tdx = 1;
204         _parameters->cp_tdy = 1;
205         
206         /* Tile part */
207         _parameters->tp_flag = 'C';
208         _parameters->tp_on = 1;
209         
210         /* Tile and Image shall be at (0,0) */
211         _parameters->cp_tx0 = 0;
212         _parameters->cp_ty0 = 0;
213         _parameters->image_offset_x0 = 0;
214         _parameters->image_offset_y0 = 0;
215
216         /* Codeblock size = 32x32 */
217         _parameters->cblockw_init = 32;
218         _parameters->cblockh_init = 32;
219         _parameters->csty |= 0x01;
220         
221         /* The progression order shall be CPRL */
222         _parameters->prog_order = CPRL;
223         
224         /* No ROI */
225         _parameters->roi_compno = -1;
226         
227         _parameters->subsampling_dx = 1;
228         _parameters->subsampling_dy = 1;
229         
230         /* 9-7 transform */
231         _parameters->irreversible = 1;
232         
233         _parameters->tcp_rates[0] = 0;
234         _parameters->tcp_numlayers++;
235         _parameters->cp_disto_alloc = 1;
236         _parameters->cp_rsiz = CINEMA2K;
237         _parameters->cp_comment = strdup (N_("DCP-o-matic"));
238         _parameters->cp_cinema = CINEMA2K_24;
239
240         /* 3 components, so use MCT */
241         _parameters->tcp_mct = 1;
242         
243         /* set max image */
244         _parameters->max_comp_size = max_comp_size;
245         _parameters->tcp_rates[0] = ((float) (3 * _opj_image->comps[0].w * _opj_image->comps[0].h * _opj_image->comps[0].prec)) / (max_cs_len * 8);
246
247         /* get a J2K compressor handle */
248         _cinfo = opj_create_compress (CODEC_J2K);
249         if (_cinfo == 0) {
250                 throw EncodeError (N_("could not create JPEG2000 encoder"));
251         }
252
253         /* Set event manager to null (openjpeg 1.3 bug) */
254         _cinfo->event_mgr = 0;
255
256         /* Setup the encoder parameters using the current image and user parameters */
257         opj_setup_encoder (_cinfo, _parameters, _opj_image);
258
259         _cio = opj_cio_open ((opj_common_ptr) _cinfo, 0, 0);
260         if (_cio == 0) {
261                 throw EncodeError (N_("could not open JPEG2000 stream"));
262         }
263
264         int const r = opj_encode (_cinfo, _cio, _opj_image, 0);
265         if (r == 0) {
266                 throw EncodeError (N_("JPEG2000 encoding failed"));
267         }
268
269         _log->log (String::compose (N_("Finished locally-encoded frame %1"), _frame));
270         
271         return shared_ptr<EncodedData> (new LocallyEncodedData (_cio->buffer, cio_tell (_cio)));
272 }
273
274 /** Send this frame to a remote server for J2K encoding, then read the result.
275  *  @param serv Server to send to.
276  *  @return Encoded data.
277  */
278 shared_ptr<EncodedData>
279 DCPVideoFrame::encode_remotely (ServerDescription const * serv)
280 {
281         boost::asio::io_service io_service;
282         boost::asio::ip::tcp::resolver resolver (io_service);
283         boost::asio::ip::tcp::resolver::query query (serv->host_name(), boost::lexical_cast<string> (Config::instance()->server_port ()));
284         boost::asio::ip::tcp::resolver::iterator endpoint_iterator = resolver.resolve (query);
285
286         shared_ptr<Socket> socket (new Socket);
287
288         socket->connect (*endpoint_iterator);
289
290         stringstream s;
291         s << N_("encode please\n")
292           << N_("width ") << _image->size().width << N_("\n")
293           << N_("height ") << _image->size().height << N_("\n")
294           << N_("frame ") << _frame << N_("\n")
295           << N_("frames_per_second ") << _frames_per_second << N_("\n")
296           << N_("colour_lut ") << _colour_lut << N_("\n")
297           << N_("j2k_bandwidth ") << _j2k_bandwidth << N_("\n");
298
299         _log->log (String::compose (
300                            N_("Sending to remote; pixel format %1, components %2, lines (%3,%4,%5), line sizes (%6,%7,%8)"),
301                            _image->pixel_format(), _image->components(),
302                            _image->lines(0), _image->lines(1), _image->lines(2),
303                            _image->line_size()[0], _image->line_size()[1], _image->line_size()[2]
304                            ));
305
306         socket->write (s.str().length() + 1);
307         socket->write ((uint8_t *) s.str().c_str(), s.str().length() + 1);
308
309         _image->write_to_socket (socket);
310
311         shared_ptr<EncodedData> e (new RemotelyEncodedData (socket->read_uint32 ()));
312         socket->read (e->data(), e->size());
313
314         _log->log (String::compose (N_("Finished remotely-encoded frame %1"), _frame));
315         
316         return e;
317 }
318
319 EncodedData::EncodedData (int s)
320         : _data (new uint8_t[s])
321         , _size (s)
322 {
323
324 }
325
326 EncodedData::EncodedData (string file)
327 {
328         _size = boost::filesystem::file_size (file);
329         _data = new uint8_t[_size];
330
331         FILE* f = fopen (file.c_str(), N_("rb"));
332         if (!f) {
333                 throw FileError (_("could not open file for reading"), file);
334         }
335         
336         fread (_data, 1, _size, f);
337         fclose (f);
338 }
339
340
341 EncodedData::~EncodedData ()
342 {
343         delete[] _data;
344 }
345
346 /** Write this data to a J2K file.
347  *  @param Film Film.
348  *  @param frame DCP frame index.
349  */
350 void
351 EncodedData::write (shared_ptr<const Film> film, int frame) const
352 {
353         string const tmp_j2c = film->j2c_path (frame, true);
354
355         FILE* f = fopen (tmp_j2c.c_str (), N_("wb"));
356         
357         if (!f) {
358                 throw WriteFileError (tmp_j2c, errno);
359         }
360
361         fwrite (_data, 1, _size, f);
362         fclose (f);
363
364         string const real_j2c = film->j2c_path (frame, false);
365
366         /* Rename the file from foo.j2c.tmp to foo.j2c now that it is complete */
367         boost::filesystem::rename (tmp_j2c, real_j2c);
368 }
369
370 void
371 EncodedData::write_info (shared_ptr<const Film> film, int frame, libdcp::FrameInfo fin) const
372 {
373         string const info = film->info_path (frame);
374         ofstream h (info.c_str());
375         fin.write (h);
376 }
377
378 /** Send this data to a socket.
379  *  @param socket Socket
380  */
381 void
382 EncodedData::send (shared_ptr<Socket> socket)
383 {
384         socket->write (_size);
385         socket->write (_data, _size);
386 }
387
388 LocallyEncodedData::LocallyEncodedData (uint8_t* d, int s)
389         : EncodedData (s)
390 {
391         memcpy (_data, d, s);
392 }
393
394 /** @param s Size of data in bytes */
395 RemotelyEncodedData::RemotelyEncodedData (int s)
396         : EncodedData (s)
397 {
398
399 }