src/lib/ffmpeg_image_proxy.cc

   1 /*
   2     Copyright (C) 2014-2018 Carl Hetherington <cth@carlh.net>
   3
   4     This file is part of DCP-o-matic.
   5
   6     DCP-o-matic is free software; you can redistribute it and/or modify
   7     it under the terms of the GNU General Public License as published by
   8     the Free Software Foundation; either version 2 of the License, or
   9     (at your option) any later version.
  10
  11     DCP-o-matic is distributed in the hope that it will be useful,
  12     but WITHOUT ANY WARRANTY; without even the implied warranty of
  13     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14     GNU General Public License for more details.
  15
  16     You should have received a copy of the GNU General Public License
  17     along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 */
  20
  21 #include "ffmpeg_image_proxy.h"
  22 #include "cross.h"
  23 #include "exceptions.h"
  24 #include "dcpomatic_socket.h"
  25 #include "image.h"
  26 #include "compose.hpp"
  27 #include "util.h"
  28 #include "warnings.h"
  29 #include <dcp/raw_convert.h>
  30 extern "C" {
  31 #include <libavcodec/avcodec.h>
  32 #include <libavformat/avformat.h>
  33 #include <libavutil/pixdesc.h>
  34 }
  35 DCPOMATIC_DISABLE_WARNINGS
  36 #include <libxml++/libxml++.h>
  37 DCPOMATIC_ENABLE_WARNINGS
  38 #include <iostream>
  39
  40 #include "i18n.h"
  41
  42 using std::string;
  43 using std::cout;
  44 using std::pair;
  45 using std::min;
  46 using std::make_pair;
  47 using std::shared_ptr;
  48 using boost::optional;
  49 using std::dynamic_pointer_cast;
  50 using dcp::raw_convert;
  51
  52 FFmpegImageProxy::FFmpegImageProxy (boost::filesystem::path path, VideoRange video_range)
  53         : _data (path)
  54         , _video_range (video_range)
  55         , _pos (0)
  56         , _path (path)
  57 {
  58
  59 }
  60
  61 FFmpegImageProxy::FFmpegImageProxy (dcp::ArrayData data, VideoRange video_range)
  62         : _data (data)
  63         , _video_range (video_range)
  64         , _pos (0)
  65 {
  66
  67 }
  68
  69 FFmpegImageProxy::FFmpegImageProxy (shared_ptr<cxml::Node> node, shared_ptr<Socket> socket)
  70         : _video_range (string_to_video_range(node->string_child("VideoRange")))
  71         , _pos (0)
  72 {
  73         uint32_t const size = socket->read_uint32 ();
  74         _data = dcp::ArrayData (size);
  75         socket->read (_data.data(), size);
  76 }
  77
  78 static int
  79 avio_read_wrapper (void* data, uint8_t* buffer, int amount)
  80 {
  81         return reinterpret_cast<FFmpegImageProxy*>(data)->avio_read (buffer, amount);
  82 }
  83
  84 static int64_t
  85 avio_seek_wrapper (void* data, int64_t offset, int whence)
  86 {
  87         return reinterpret_cast<FFmpegImageProxy*>(data)->avio_seek (offset, whence);
  88 }
  89
  90 int
  91 FFmpegImageProxy::avio_read (uint8_t* buffer, int const amount)
  92 {
  93         int const to_do = min(static_cast<int64_t>(amount), static_cast<int64_t>(_data.size()) - _pos);
  94         if (to_do == 0) {
  95                 return AVERROR_EOF;
  96         }
  97         memcpy (buffer, _data.data() + _pos, to_do);
  98         _pos += to_do;
  99         return to_do;
 100 }
 101
 102 int64_t
 103 FFmpegImageProxy::avio_seek (int64_t const pos, int whence)
 104 {
 105         switch (whence) {
 106         case AVSEEK_SIZE:
 107                 return _data.size();
 108         case SEEK_CUR:
 109                 _pos += pos;
 110                 break;
 111         case SEEK_SET:
 112                 _pos = pos;
 113                 break;
 114         case SEEK_END:
 115                 _pos = _data.size() - pos;
 116                 break;
 117         }
 118
 119         return _pos;
 120 }
 121
 122 DCPOMATIC_DISABLE_WARNINGS
 123
 124 ImageProxy::Result
 125 FFmpegImageProxy::image (optional<dcp::Size>) const
 126 {
 127         auto constexpr name_for_errors = "FFmpegImageProxy::image";
 128
 129         boost::mutex::scoped_lock lm (_mutex);
 130
 131         if (_image) {
 132                 return Result (_image, 0);
 133         }
 134
 135         uint8_t* avio_buffer = static_cast<uint8_t*> (wrapped_av_malloc(4096));
 136         AVIOContext* avio_context = avio_alloc_context (avio_buffer, 4096, 0, const_cast<FFmpegImageProxy*>(this), avio_read_wrapper, 0, avio_seek_wrapper);
 137         AVFormatContext* format_context = avformat_alloc_context ();
 138         format_context->pb = avio_context;
 139
 140         AVDictionary* options = 0;
 141         /* These durations are in microseconds, and represent how far into the content file
 142            we will look for streams.
 143         */
 144         av_dict_set (&options, "analyzeduration", raw_convert<string>(5 * 60 * 1000000).c_str(), 0);
 145         av_dict_set (&options, "probesize", raw_convert<string>(5 * 60 * 1000000).c_str(), 0);
 146
 147         int e = avformat_open_input (&format_context, 0, 0, &options);
 148         if ((e < 0 && e == AVERROR_INVALIDDATA) || (e >= 0 && format_context->probe_score <= 25)) {
 149                 /* Hack to fix loading of .tga files through AVIOContexts (rather then
 150                    directly from the file).  This code just does enough to allow the
 151                    probe code to take a hint from "foo.tga" and so try targa format.
 152                 */
 153                 AVInputFormat* f = av_find_input_format ("image2");
 154                 format_context = avformat_alloc_context ();
 155                 format_context->pb = avio_context;
 156                 format_context->iformat = f;
 157                 e = avformat_open_input (&format_context, "foo.tga", f, &options);
 158         }
 159         if (e < 0) {
 160                 if (_path) {
 161                         throw OpenFileError (_path->string(), e, OpenFileError::READ);
 162                 } else {
 163                         boost::throw_exception(DecodeError(String::compose(_("Could not decode image (%1)"), e)));
 164                 }
 165         }
 166
 167         int r = avformat_find_stream_info(format_context, 0);
 168         if (r < 0) {
 169                 throw DecodeError (N_("avcodec_find_stream_info"), name_for_errors, r);
 170         }
 171
 172         DCPOMATIC_ASSERT (format_context->nb_streams == 1);
 173
 174         AVFrame* frame = av_frame_alloc ();
 175         if (!frame) {
 176                 std::bad_alloc ();
 177         }
 178
 179         AVCodecContext* codec_context = format_context->streams[0]->codec;
 180         AVCodec* codec = avcodec_find_decoder (codec_context->codec_id);
 181         DCPOMATIC_ASSERT (codec);
 182
 183         r = avcodec_open2 (codec_context, codec, 0);
 184         if (r < 0) {
 185                 throw DecodeError (N_("avcodec_open2"), name_for_errors, r);
 186         }
 187
 188         AVPacket packet;
 189         r = av_read_frame (format_context, &packet);
 190         if (r < 0) {
 191                 throw DecodeError (N_("av_read_frame"), name_for_errors, r);
 192         }
 193
 194         int frame_finished;
 195         if (avcodec_decode_video2(codec_context, frame, &frame_finished, &packet) < 0 || !frame_finished) {
 196                 throw DecodeError (N_("avcodec_decode_video2"), name_for_errors, r);
 197         }
 198
 199         AVPixelFormat const pix_fmt = static_cast<AVPixelFormat>(frame->format);
 200
 201         _image.reset (new Image(frame));
 202         if (_video_range == VideoRange::VIDEO && av_pix_fmt_desc_get(pix_fmt)->flags & AV_PIX_FMT_FLAG_RGB) {
 203                 /* Asking for the video range to be converted by libswscale (in Image) will not work for
 204                  * RGB sources since that method only processes video range in YUV and greyscale.  So we have
 205                  * to do it ourselves here.
 206                  */
 207                 _image->video_range_to_full_range();
 208         }
 209
 210         av_packet_unref (&packet);
 211         av_frame_free (&frame);
 212         avcodec_close (codec_context);
 213         avformat_close_input (&format_context);
 214         av_free (avio_context->buffer);
 215         av_free (avio_context);
 216
 217         return Result (_image, 0);
 218 }
 219
 220 DCPOMATIC_ENABLE_WARNINGS
 221
 222 void
 223 FFmpegImageProxy::add_metadata (xmlpp::Node* node) const
 224 {
 225         node->add_child("Type")->add_child_text (N_("FFmpeg"));
 226         node->add_child("VideoRange")->add_child_text(video_range_to_string(_video_range));
 227 }
 228
 229 void
 230 FFmpegImageProxy::write_to_socket (shared_ptr<Socket> socket) const
 231 {
 232         socket->write (_data.size());
 233         socket->write (_data.data(), _data.size());
 234 }
 235
 236 bool
 237 FFmpegImageProxy::same (shared_ptr<const ImageProxy> other) const
 238 {
 239         shared_ptr<const FFmpegImageProxy> mp = dynamic_pointer_cast<const FFmpegImageProxy> (other);
 240         if (!mp) {
 241                 return false;
 242         }
 243
 244         return _data == mp->_data;
 245 }
 246
 247 size_t
 248 FFmpegImageProxy::memory_used () const
 249 {
 250         size_t m = _data.size();
 251         if (_image) {
 252                 m += _image->memory_used();
 253         }
 254         return m;
 255 }