More player debugging for butler video-full states.
[dcpomatic.git] / src / lib / image.cc
index cb03e1a7304a160e5459dbac8602372f6f7d93b6..46c085ff2cf17943b6bd3b2b11d90779fefdfefc 100644 (file)
@@ -27,6 +27,7 @@
 #include "timer.h"
 #include "rect.h"
 #include "util.h"
+#include "compose.hpp"
 #include "dcpomatic_socket.h"
 #include <dcp/rgb_xyz.h>
 #include <dcp/transfer_function.h>
@@ -36,6 +37,10 @@ extern "C" {
 #include <libavutil/pixdesc.h>
 #include <libavutil/frame.h>
 }
+#include <png.h>
+#if HAVE_VALGRIND_MEMCHECK_H
+#include <valgrind/memcheck.h>
+#endif
 #include <iostream>
 
 #include "i18n.h"
@@ -101,6 +106,10 @@ Image::planes () const
                throw PixelFormatError ("planes()", _pixel_format);
        }
 
+       if (_pixel_format == AV_PIX_FMT_PAL8) {
+               return 2;
+       }
+
        if ((d->flags & AV_PIX_FMT_FLAG_PLANAR) == 0) {
                return 1;
        }
@@ -176,6 +185,18 @@ Image::crop_scale_window (
                SWS_CS_ITU709
        };
 
+       /* The 3rd parameter here is:
+          0 -> source range MPEG (i.e. "video", 16-235)
+          1 -> source range JPEG (i.e. "full", 0-255)
+          And the 5th:
+          0 -> destination range MPEG (i.e. "video", 16-235)
+          1 -> destination range JPEG (i.e. "full", 0-255)
+
+          But remember: sws_setColorspaceDetails ignores
+          these parameters unless the image isYUV or isGray
+          (if it's neither, it uses video range for source
+          and destination).
+       */
        sws_setColorspaceDetails (
                scale_context,
                sws_getCoefficients (lut[yuv_to_rgb]), 0,
@@ -183,8 +204,8 @@ Image::crop_scale_window (
                0, 1 << 16, 1 << 16
                );
 
-       AVPixFmtDescriptor const * desc = av_pix_fmt_desc_get (_pixel_format);
-       if (!desc) {
+       AVPixFmtDescriptor const * in_desc = av_pix_fmt_desc_get (_pixel_format);
+       if (!in_desc) {
                throw PixelFormatError ("crop_scale_window()", _pixel_format);
        }
 
@@ -196,16 +217,23 @@ Image::crop_scale_window (
                   round down so that we don't crop a subsampled pixel until
                   we've cropped all of its Y-channel pixels.
                */
-               int const x = lrintf (bytes_per_pixel(c) * crop.left) & ~ ((int) desc->log2_chroma_w);
+               int const x = lrintf (bytes_per_pixel(c) * crop.left) & ~ ((int) in_desc->log2_chroma_w);
                scale_in_data[c] = data()[c] + x + stride()[c] * (crop.top / vertical_factor(c));
        }
 
        /* Corner of the image within out_size */
        Position<int> const corner ((out_size.width - inter_size.width) / 2, (out_size.height - inter_size.height) / 2);
 
+       AVPixFmtDescriptor const * out_desc = av_pix_fmt_desc_get (out_format);
+       if (!out_desc) {
+               throw PixelFormatError ("crop_scale_window()", out_format);
+       }
+
        uint8_t* scale_out_data[out->planes()];
        for (int c = 0; c < out->planes(); ++c) {
-               scale_out_data[c] = out->data()[c] + lrintf (out->bytes_per_pixel(c) * corner.x) + out->stride()[c] * (corner.y / out->vertical_factor(c));
+               /* See the note in the crop loop above */
+               int const x = lrintf (out->bytes_per_pixel(c) * corner.x) & ~ ((int) out_desc->log2_chroma_w);
+               scale_out_data[c] = out->data()[c] + x + out->stride()[c] * (corner.y / out->vertical_factor(c));
        }
 
        sws_scale (
@@ -246,7 +274,7 @@ Image::scale (dcp::Size out_size, dcp::YUVToRGB yuv_to_rgb, AVPixelFormat out_fo
        struct SwsContext* scale_context = sws_getContext (
                size().width, size().height, pixel_format(),
                out_size.width, out_size.height, out_format,
-               fast ? SWS_FAST_BILINEAR : SWS_BICUBIC, 0, 0, 0
+               (fast ? SWS_FAST_BILINEAR : SWS_BICUBIC) | SWS_ACCURATE_RND, 0, 0, 0
                );
 
        DCPOMATIC_ASSERT (yuv_to_rgb < dcp::YUV_TO_RGB_COUNT);
@@ -255,6 +283,18 @@ Image::scale (dcp::Size out_size, dcp::YUVToRGB yuv_to_rgb, AVPixelFormat out_fo
                SWS_CS_ITU709
        };
 
+       /* The 3rd parameter here is:
+          0 -> source range MPEG (i.e. "video", 16-235)
+          1 -> source range JPEG (i.e. "full", 0-255)
+          And the 5th:
+          0 -> destination range MPEG (i.e. "video", 16-235)
+          1 -> destination range JPEG (i.e. "full", 0-255)
+
+          But remember: sws_setColorspaceDetails ignores
+          these parameters unless the image isYUV or isGray
+          (if it's neither, it uses video range for source
+          and destination).
+       */
        sws_setColorspaceDetails (
                scale_context,
                sws_getCoefficients (lut[yuv_to_rgb]), 0,
@@ -607,18 +647,52 @@ Image::alpha_blend (shared_ptr<const Image> other, Position<int> position)
                break;
        }
        case AV_PIX_FMT_YUV420P10:
+       {
+               shared_ptr<Image> yuv = other->convert_pixel_format (dcp::YUV_TO_RGB_REC709, _pixel_format, false, false);
+               dcp::Size const ts = size();
+               dcp::Size const os = yuv->size();
+               for (int ty = start_ty, oy = start_oy; ty < ts.height && oy < os.height; ++ty, ++oy) {
+                       int const hty = ty / 2;
+                       int const hoy = oy / 2;
+                       uint16_t* tY = ((uint16_t *) (data()[0] + (ty * stride()[0]))) + start_tx;
+                       uint16_t* tU = ((uint16_t *) (data()[1] + (hty * stride()[1]))) + start_tx / 2;
+                       uint16_t* tV = ((uint16_t *) (data()[2] + (hty * stride()[2]))) + start_tx / 2;
+                       uint16_t* oY = ((uint16_t *) (yuv->data()[0] + (oy * yuv->stride()[0]))) + start_ox;
+                       uint16_t* oU = ((uint16_t *) (yuv->data()[1] + (hoy * yuv->stride()[1]))) + start_ox / 2;
+                       uint16_t* oV = ((uint16_t *) (yuv->data()[2] + (hoy * yuv->stride()[2]))) + start_ox / 2;
+                       uint8_t* alpha = other->data()[0] + (oy * other->stride()[0]) + start_ox * 4;
+                       for (int tx = start_tx, ox = start_ox; tx < ts.width && ox < os.width; ++tx, ++ox) {
+                               float const a = float(alpha[3]) / 255;
+                               *tY = *oY * a + *tY * (1 - a);
+                               *tU = *oU * a + *tU * (1 - a);
+                               *tV = *oV * a + *tV * (1 - a);
+                               ++tY;
+                               ++oY;
+                               if (tx % 2) {
+                                       ++tU;
+                                       ++tV;
+                               }
+                               if (ox % 2) {
+                                       ++oU;
+                                       ++oV;
+                               }
+                               alpha += 4;
+                       }
+               }
+               break;
+       }
        case AV_PIX_FMT_YUV422P10LE:
        {
                shared_ptr<Image> yuv = other->convert_pixel_format (dcp::YUV_TO_RGB_REC709, _pixel_format, false, false);
                dcp::Size const ts = size();
                dcp::Size const os = yuv->size();
                for (int ty = start_ty, oy = start_oy; ty < ts.height && oy < os.height; ++ty, ++oy) {
-                       uint16_t* tY = (uint16_t *) (data()[0] + (ty * stride()[0])) + start_tx;
-                       uint8_t* tU = data()[1] + (ty * stride()[1]) + start_tx;
-                       uint8_t* tV = data()[2] + (ty * stride()[2]) + start_tx;
-                       uint16_t* oY = (uint16_t *) (yuv->data()[0] + (oy * yuv->stride()[0])) + start_ox;
-                       uint8_t* oU = yuv->data()[1] + (oy * yuv->stride()[1]) + start_ox;
-                       uint8_t* oV = yuv->data()[2] + (oy * yuv->stride()[2]) + start_ox;
+                       uint16_t* tY = ((uint16_t *) (data()[0] + (ty * stride()[0]))) + start_tx;
+                       uint16_t* tU = ((uint16_t *) (data()[1] + (ty * stride()[1]))) + start_tx / 2;
+                       uint16_t* tV = ((uint16_t *) (data()[2] + (ty * stride()[2]))) + start_tx / 2;
+                       uint16_t* oY = ((uint16_t *) (yuv->data()[0] + (oy * yuv->stride()[0]))) + start_ox;
+                       uint16_t* oU = ((uint16_t *) (yuv->data()[1] + (oy * yuv->stride()[1]))) + start_ox / 2;
+                       uint16_t* oV = ((uint16_t *) (yuv->data()[2] + (oy * yuv->stride()[2]))) + start_ox / 2;
                        uint8_t* alpha = other->data()[0] + (oy * other->stride()[0]) + start_ox * 4;
                        for (int tx = start_tx, ox = start_ox; tx < ts.width && ox < os.width; ++tx, ++ox) {
                                float const a = float(alpha[3]) / 255;
@@ -626,11 +700,15 @@ Image::alpha_blend (shared_ptr<const Image> other, Position<int> position)
                                *tU = *oU * a + *tU * (1 - a);
                                *tV = *oV * a + *tV * (1 - a);
                                ++tY;
-                               ++tU;
-                               ++tV;
                                ++oY;
-                               ++oU;
-                               ++oV;
+                               if (tx % 2) {
+                                       ++tU;
+                                       ++tV;
+                               }
+                               if (ox % 2) {
+                                       ++oU;
+                                       ++oV;
+                               }
                                alpha += 4;
                        }
                }
@@ -776,11 +854,18 @@ Image::allocate ()
                   testing suggests that it works.
                */
                _data[i] = (uint8_t *) wrapped_av_malloc (_stride[i] * sample_size(i).height + _extra_pixels * bytes_per_pixel(i) + 32);
+#if HAVE_VALGRIND_MEMCHECK_H
+               /* The data between the end of the line size and the stride is undefined but processed by
+                  libswscale, causing lots of valgrind errors.  Mark it all defined to quell these errors.
+               */
+               VALGRIND_MAKE_MEM_DEFINED (_data[i], _stride[i] * sample_size(i).height + _extra_pixels * bytes_per_pixel(i) + 32);
+#endif
        }
 }
 
 Image::Image (Image const & other)
-       : _size (other._size)
+       : boost::enable_shared_from_this<Image>(other)
+       , _size (other._size)
        , _pixel_format (other._pixel_format)
        , _aligned (other._aligned)
        , _extra_pixels (other._extra_pixels)
@@ -1080,8 +1165,8 @@ Image::fade (float f)
        }
 }
 
-shared_ptr<Image>
-Image::ensure_aligned (shared_ptr<Image> image)
+shared_ptr<const Image>
+Image::ensure_aligned (shared_ptr<const Image> image)
 {
        if (image->aligned()) {
                return image;
@@ -1099,3 +1184,98 @@ Image::memory_used () const
        }
        return m;
 }
+
+class Memory
+{
+public:
+       Memory ()
+               : data(0)
+               , size(0)
+       {}
+
+       ~Memory ()
+       {
+               free (data);
+       }
+
+       uint8_t* data;
+       size_t size;
+};
+
+static void
+png_write_data (png_structp png_ptr, png_bytep data, png_size_t length)
+{
+       Memory* mem = reinterpret_cast<Memory*>(png_get_io_ptr(png_ptr));
+       size_t size = mem->size + length;
+
+       if (mem->data) {
+               mem->data = reinterpret_cast<uint8_t*>(realloc(mem->data, size));
+       } else {
+               mem->data = reinterpret_cast<uint8_t*>(malloc(size));
+       }
+
+       if (!mem->data) {
+               throw EncodeError (N_("could not allocate memory for PNG"));
+       }
+
+       memcpy (mem->data + mem->size, data, length);
+       mem->size += length;
+}
+
+static void
+png_flush (png_structp)
+{
+
+}
+
+static void
+png_error_fn (png_structp png_ptr, char const * message)
+{
+       reinterpret_cast<Image*>(png_get_error_ptr(png_ptr))->png_error (message);
+}
+
+void
+Image::png_error (char const * message)
+{
+       throw EncodeError (String::compose ("Error during PNG write: %1", message));
+}
+
+dcp::Data
+Image::as_png () const
+{
+       DCPOMATIC_ASSERT (bytes_per_pixel(0) == 4);
+       DCPOMATIC_ASSERT (planes() == 1);
+       DCPOMATIC_ASSERT (pixel_format() == AV_PIX_FMT_BGRA);
+
+       /* error handling? */
+       png_structp png_ptr = png_create_write_struct(PNG_LIBPNG_VER_STRING, reinterpret_cast<void*>(const_cast<Image*>(this)), png_error_fn, 0);
+       if (!png_ptr) {
+               throw EncodeError (N_("could not create PNG write struct"));
+       }
+
+       Memory state;
+
+       png_set_write_fn (png_ptr, &state, png_write_data, png_flush);
+
+       png_infop info_ptr = png_create_info_struct(png_ptr);
+       if (!info_ptr) {
+               png_destroy_write_struct (&png_ptr, &info_ptr);
+               throw EncodeError (N_("could not create PNG info struct"));
+       }
+
+       png_set_IHDR (png_ptr, info_ptr, size().width, size().height, 8, PNG_COLOR_TYPE_RGBA, PNG_INTERLACE_NONE, PNG_COMPRESSION_TYPE_DEFAULT, PNG_FILTER_TYPE_DEFAULT);
+
+       png_byte ** row_pointers = reinterpret_cast<png_byte **>(png_malloc(png_ptr, size().height * sizeof(png_byte *)));
+       for (int i = 0; i < size().height; ++i) {
+               row_pointers[i] = (png_byte *) (data()[0] + i * stride()[0]);
+       }
+
+       png_write_info (png_ptr, info_ptr);
+       png_write_image (png_ptr, row_pointers);
+       png_write_end (png_ptr, info_ptr);
+
+       png_destroy_write_struct (&png_ptr, &info_ptr);
+       png_free (png_ptr, row_pointers);
+
+       return dcp::Data (state.data, state.size);
+}