src/lib/internet.cc

   1 /*
   2     Copyright (C) 2014-2015 Carl Hetherington <cth@carlh.net>
   3
   4     This file is part of DCP-o-matic.
   5
   6     DCP-o-matic is free software; you can redistribute it and/or modify
   7     it under the terms of the GNU General Public License as published by
   8     the Free Software Foundation; either version 2 of the License, or
   9     (at your option) any later version.
  10
  11     DCP-o-matic is distributed in the hope that it will be useful,
  12     but WITHOUT ANY WARRANTY; without even the implied warranty of
  13     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14     GNU General Public License for more details.
  15
  16     You should have received a copy of the GNU General Public License
  17     along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 */
  20
  21 #include "scoped_temporary.h"
  22 #include "compose.hpp"
  23 #include "exceptions.h"
  24 #include "cross.h"
  25 #include "util.h"
  26 #include <curl/curl.h>
  27 #include <zip.h>
  28 #include <boost/function.hpp>
  29 #include <boost/optional.hpp>
  30 #include <boost/filesystem.hpp>
  31 #include <boost/algorithm/string.hpp>
  32 #include <string>
  33
  34 #include "i18n.h"
  35
  36 using std::string;
  37 using std::list;
  38 using boost::optional;
  39 using boost::function;
  40 using boost::algorithm::trim;
  41
  42 static size_t
  43 ls_url_data (void* buffer, size_t size, size_t nmemb, void* output)
  44 {
  45         string* s = reinterpret_cast<string*>(output);
  46         char* c = reinterpret_cast<char*>(buffer);
  47         for (size_t i = 0; i < (size * nmemb); ++i) {
  48                 *s += c[i];
  49         }
  50         return nmemb;
  51 }
  52
  53 list<string>
  54 ls_url (string url)
  55 {
  56         CURL* curl = curl_easy_init ();
  57         curl_easy_setopt (curl, CURLOPT_URL, url.c_str());
  58         curl_easy_setopt (curl, CURLOPT_DIRLISTONLY, 1);
  59
  60         string ls;
  61         curl_easy_setopt (curl, CURLOPT_WRITEFUNCTION, ls_url_data);
  62         curl_easy_setopt (curl, CURLOPT_WRITEDATA, &ls);
  63         CURLcode const cr = curl_easy_perform (curl);
  64
  65         if (cr != CURLE_OK) {
  66                 return list<string>();
  67         }
  68
  69         list<string> result;
  70         result.push_back("");
  71         for (size_t i = 0; i < ls.size(); ++i) {
  72                 if (ls[i] == '\n') {
  73                         result.push_back("");
  74                 } else {
  75                         result.back() += ls[i];
  76                 }
  77         }
  78
  79         result.pop_back ();
  80         return result;
  81 }
  82
  83 static size_t
  84 get_from_url_data (void* buffer, size_t size, size_t nmemb, void* stream)
  85 {
  86         FILE* f = reinterpret_cast<FILE*> (stream);
  87         return fwrite (buffer, size, nmemb, f);
  88 }
  89
  90 optional<string>
  91 get_from_url (string url, bool pasv, ScopedTemporary& temp)
  92 {
  93         CURL* curl = curl_easy_init ();
  94         curl_easy_setopt (curl, CURLOPT_URL, url.c_str());
  95
  96         FILE* f = temp.open ("wb");
  97         curl_easy_setopt (curl, CURLOPT_WRITEFUNCTION, get_from_url_data);
  98         curl_easy_setopt (curl, CURLOPT_WRITEDATA, f);
  99         curl_easy_setopt (curl, CURLOPT_FTP_USE_EPSV, 0);
 100         curl_easy_setopt (curl, CURLOPT_FTP_USE_EPRT, 0);
 101         if (!pasv) {
 102                 curl_easy_setopt (curl, CURLOPT_FTPPORT, "-");
 103         }
 104
 105         /* Maximum time is 20s */
 106         curl_easy_setopt (curl, CURLOPT_TIMEOUT, 20);
 107
 108         CURLcode const cr = curl_easy_perform (curl);
 109
 110         temp.close ();
 111         curl_easy_cleanup (curl);
 112         if (cr != CURLE_OK) {
 113                 return String::compose (_("Download failed (%1 error %2)"), url, (int) cr);
 114         }
 115
 116         return optional<string>();
 117 }
 118
 119 optional<string>
 120 get_from_url (string url, bool pasv, function<void (boost::filesystem::path)> load)
 121 {
 122         ScopedTemporary temp;
 123         optional<string> e = get_from_url (url, pasv, temp);
 124         if (e) {
 125                 return e;
 126         }
 127         load (temp.file());
 128         return optional<string>();
 129 }
 130
 131 /** @param url URL of ZIP file.
 132  *  @param file Filename within ZIP file.
 133  *  @param load Function passed a (temporary) filesystem path of the unpacked file.
 134  */
 135 optional<string>
 136 get_from_zip_url (string url, string file, bool pasv, function<void (boost::filesystem::path)> load)
 137 {
 138         /* Download the ZIP file to temp_zip */
 139         ScopedTemporary temp_zip;
 140         optional<string> e = get_from_url (url, pasv, temp_zip);
 141         if (e) {
 142                 return e;
 143         }
 144
 145         /* Open the ZIP file and read `file' out of it */
 146
 147 #ifdef DCPOMATIC_HAVE_ZIP_SOURCE_T
 148         /* This is the way to do it with newer versions of libzip, and is required on Windows.
 149            The zip_source_t API is missing in the libzip versions shipped with Ubuntu 14.04,
 150            Centos 6, Centos 7, Debian 7 and Debian 8.
 151         */
 152
 153         FILE* zip_file = fopen_boost (temp_zip.file (), "rb");
 154         if (!zip_file) {
 155                 return optional<string> (_("Could not open downloaded ZIP file"));
 156         }
 157
 158         zip_source_t* zip_source = zip_source_filep_create (zip_file, 0, -1, 0);
 159         if (!zip_source) {
 160                 return optional<string> (_("Could not open downloaded ZIP file"));
 161         }
 162
 163         zip_error_t error;
 164         zip_error_init (&error);
 165         zip_t* zip = zip_open_from_source (zip_source, ZIP_RDONLY, &error);
 166         if (!zip) {
 167                 return String::compose (_("Could not open downloaded ZIP file (%1:%2: %3)"), error.zip_err, error.sys_err, error.str ? error.str : "");
 168         }
 169
 170 #else
 171         struct zip* zip = zip_open (temp_zip.c_str(), 0, 0);
 172 #endif
 173
 174         struct zip_file* file_in_zip = zip_fopen (zip, file.c_str(), 0);
 175         if (!file_in_zip) {
 176                 return optional<string> (_("Unexpected ZIP file contents"));
 177         }
 178
 179         ScopedTemporary temp_cert;
 180         FILE* f = temp_cert.open ("wb");
 181         char buffer[4096];
 182         while (true) {
 183                 int const N = zip_fread (file_in_zip, buffer, sizeof (buffer));
 184                 checked_fwrite (buffer, N, f, temp_cert.file());
 185                 if (N < int (sizeof (buffer))) {
 186                         break;
 187                 }
 188         }
 189         zip_fclose (file_in_zip);
 190         zip_close (zip);
 191         temp_cert.close ();
 192
 193         load (temp_cert.file ());
 194         return optional<string> ();
 195 }