src/lib/job.cc

   1 /*
   2     Copyright (C) 2012-2016 Carl Hetherington <cth@carlh.net>
   3
   4     This file is part of DCP-o-matic.
   5
   6     DCP-o-matic is free software; you can redistribute it and/or modify
   7     it under the terms of the GNU General Public License as published by
   8     the Free Software Foundation; either version 2 of the License, or
   9     (at your option) any later version.
  10
  11     DCP-o-matic is distributed in the hope that it will be useful,
  12     but WITHOUT ANY WARRANTY; without even the implied warranty of
  13     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14     GNU General Public License for more details.
  15
  16     You should have received a copy of the GNU General Public License
  17     along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 */
  20
  21 /** @file  src/job.cc
  22  *  @brief A parent class to represent long-running tasks which are run in their own thread.
  23  */
  24
  25 #include "job.h"
  26 #include "util.h"
  27 #include "cross.h"
  28 #include "exceptions.h"
  29 #include "film.h"
  30 #include "log.h"
  31 #include "compose.hpp"
  32 #include <dcp/exceptions.h>
  33 #include <sub/exceptions.h>
  34 #include <boost/thread.hpp>
  35 #include <boost/filesystem.hpp>
  36 #include <boost/foreach.hpp>
  37 #include <boost/date_time/posix_time/posix_time.hpp>
  38 #include <iostream>
  39
  40 #include "i18n.h"
  41
  42 using std::string;
  43 using std::list;
  44 using std::cout;
  45 using boost::shared_ptr;
  46 using boost::optional;
  47 using boost::function;
  48
  49 #define LOG_ERROR_NC(...) if (_film) { _film->log()->log (__VA_ARGS__, LogEntry::TYPE_ERROR); }
  50 #define LOG_GENERAL(...) if (_film) { _film->log()->log (String::compose (__VA_ARGS__), LogEntry::TYPE_GENERAL); }
  51
  52 /** @param film Associated film, or 0 */
  53 Job::Job (shared_ptr<const Film> film)
  54         : _film (film)
  55         , _thread (0)
  56         , _state (NEW)
  57         , _start_time (0)
  58         , _sub_start_time (0)
  59         , _progress (0)
  60         , _ran_for (0)
  61 {
  62
  63 }
  64
  65 Job::~Job ()
  66 {
  67         if (_thread) {
  68                 _thread->interrupt ();
  69                 /* We can't use DCPOMATIC_ASSERT here as it may throw an exception */
  70                 if (_thread->joinable ()) {
  71                         try {
  72                                 _thread->join ();
  73                         } catch (...) {
  74                                 /* Too late to do anything about this */
  75                         }
  76                 }
  77         }
  78
  79         delete _thread;
  80 }
  81
  82 /** Start the job in a separate thread, returning immediately */
  83 void
  84 Job::start ()
  85 {
  86         set_state (RUNNING);
  87         _start_time = time (0);
  88         _sub_start_time = time (0);
  89         _thread = new boost::thread (boost::bind (&Job::run_wrapper, this));
  90 #ifdef DCPOMATIC_LINUX
  91         pthread_setname_np (_thread->native_handle(), "job-wrapper");
  92 #endif
  93 }
  94
  95 /** A wrapper for the ::run() method to catch exceptions */
  96 void
  97 Job::run_wrapper ()
  98 {
  99         try {
 100
 101                 run ();
 102
 103         } catch (dcp::FileError& e) {
 104
 105                 string m = String::compose (_("An error occurred whilst handling the file %1."), boost::filesystem::path (e.filename()).leaf());
 106
 107                 try {
 108                         boost::filesystem::space_info const s = boost::filesystem::space (e.filename());
 109                         if (s.available < pow (1024, 3)) {
 110                                 m += N_("\n\n");
 111                                 m += _("The drive that the film is stored on is low in disc space.  Free some more space and try again.");
 112                         }
 113                 } catch (...) {
 114
 115                 }
 116
 117                 set_error (e.what(), m);
 118                 set_progress (1);
 119                 set_state (FINISHED_ERROR);
 120
 121         } catch (OpenFileError& e) {
 122
 123                 set_error (
 124                         String::compose (_("Could not open %1"), e.file().string()),
 125                         String::compose (
 126                                 _("DCP-o-matic could not open the file %1 (%2).  Perhaps it does not exist or is in an unexpected format."),
 127                                 boost::filesystem::absolute (e.file()).string(),
 128                                 e.what()
 129                                 )
 130                         );
 131
 132                 set_progress (1);
 133                 set_state (FINISHED_ERROR);
 134
 135         } catch (boost::filesystem::filesystem_error& e) {
 136
 137                 if (e.code() == boost::system::errc::no_such_file_or_directory) {
 138                         set_error (
 139                                 String::compose (_("Could not open %1"), e.path1().string ()),
 140                                 String::compose (
 141                                         _("DCP-o-matic could not open the file %1 (%2).  Perhaps it does not exist or is in an unexpected format."),
 142                                         boost::filesystem::absolute (e.path1()).string(),
 143                                         e.what()
 144                                         )
 145                                 );
 146                 } else {
 147                         set_error (
 148                                 e.what (),
 149                                 string (_("It is not known what caused this error.")) + "  " + REPORT_PROBLEM
 150                                 );
 151                 }
 152
 153                 set_progress (1);
 154                 set_state (FINISHED_ERROR);
 155
 156         } catch (boost::thread_interrupted &) {
 157
 158                 set_state (FINISHED_CANCELLED);
 159
 160         } catch (sub::SubripError& e) {
 161
 162                 string extra = "Error is near:\n";
 163                 BOOST_FOREACH (string i, e.context()) {
 164                         extra += i + "\n";
 165                 }
 166
 167                 set_error (e.what (), extra);
 168                 set_progress (1);
 169                 set_state (FINISHED_ERROR);
 170
 171         } catch (std::bad_alloc& e) {
 172
 173                 set_error (_("Out of memory"), _("There was not enough memory to do this.  If you are running a 32-bit operating system try reducing the number of encoding threads in the General tab of Preferences."));
 174                 set_progress (1);
 175                 set_state (FINISHED_ERROR);
 176
 177         } catch (dcp::DCPReadError& e) {
 178
 179                 set_error (e.message(), e.detail().get_value_or(""));
 180                 set_progress (1);
 181                 set_state (FINISHED_ERROR);
 182
 183         } catch (KDMError& e) {
 184
 185                 set_error (e.summary(), e.detail());
 186                 set_progress (1);
 187                 set_state (FINISHED_ERROR);
 188
 189         } catch (std::exception& e) {
 190
 191                 set_error (
 192                         e.what (),
 193                         string (_("It is not known what caused this error.")) + "  " + REPORT_PROBLEM
 194                         );
 195
 196                 set_progress (1);
 197                 set_state (FINISHED_ERROR);
 198
 199         } catch (...) {
 200
 201                 set_error (
 202                         _("Unknown error"),
 203                         string (_("It is not known what caused this error.")) + "  " + REPORT_PROBLEM
 204                         );
 205
 206                 set_progress (1);
 207                 set_state (FINISHED_ERROR);
 208         }
 209 }
 210
 211 /** @return true if this job is new (ie has not started running) */
 212 bool
 213 Job::is_new () const
 214 {
 215         boost::mutex::scoped_lock lm (_state_mutex);
 216         return _state == NEW;
 217 }
 218
 219 /** @return true if the job is running */
 220 bool
 221 Job::running () const
 222 {
 223         boost::mutex::scoped_lock lm (_state_mutex);
 224         return _state == RUNNING;
 225 }
 226
 227 /** @return true if the job has finished (either successfully or unsuccessfully) */
 228 bool
 229 Job::finished () const
 230 {
 231         boost::mutex::scoped_lock lm (_state_mutex);
 232         return _state == FINISHED_OK || _state == FINISHED_ERROR || _state == FINISHED_CANCELLED;
 233 }
 234
 235 /** @return true if the job has finished successfully */
 236 bool
 237 Job::finished_ok () const
 238 {
 239         boost::mutex::scoped_lock lm (_state_mutex);
 240         return _state == FINISHED_OK;
 241 }
 242
 243 /** @return true if the job has finished unsuccessfully */
 244 bool
 245 Job::finished_in_error () const
 246 {
 247         boost::mutex::scoped_lock lm (_state_mutex);
 248         return _state == FINISHED_ERROR;
 249 }
 250
 251 bool
 252 Job::finished_cancelled () const
 253 {
 254         boost::mutex::scoped_lock lm (_state_mutex);
 255         return _state == FINISHED_CANCELLED;
 256 }
 257
 258 bool
 259 Job::paused_by_user () const
 260 {
 261         boost::mutex::scoped_lock lm (_state_mutex);
 262         return _state == PAUSED_BY_USER;
 263 }
 264
 265 bool
 266 Job::paused_by_priority () const
 267 {
 268         boost::mutex::scoped_lock lm (_state_mutex);
 269         return _state == PAUSED_BY_PRIORITY;
 270 }
 271
 272 /** Set the state of this job.
 273  *  @param s New state.
 274  */
 275 void
 276 Job::set_state (State s)
 277 {
 278         bool finished = false;
 279
 280         {
 281                 boost::mutex::scoped_lock lm (_state_mutex);
 282                 _state = s;
 283
 284                 if (_state == FINISHED_OK || _state == FINISHED_ERROR || _state == FINISHED_CANCELLED) {
 285                         _ran_for = time(0) - _start_time;
 286                         finished = true;
 287                         _sub_name.clear ();
 288                 }
 289         }
 290
 291         if (finished) {
 292                 emit (boost::bind (boost::ref (Finished)));
 293         }
 294 }
 295
 296 /** @return DCPTime (in seconds) that this sub-job has been running */
 297 int
 298 Job::elapsed_sub_time () const
 299 {
 300         if (_sub_start_time == 0) {
 301                 return 0;
 302         }
 303
 304         return time (0) - _sub_start_time;
 305 }
 306
 307 /** Check to see if this job has been interrupted or paused */
 308 void
 309 Job::check_for_interruption_or_pause ()
 310 {
 311         boost::this_thread::interruption_point ();
 312
 313         boost::mutex::scoped_lock lm (_state_mutex);
 314         while (_state == PAUSED_BY_USER || _state == PAUSED_BY_PRIORITY) {
 315                 emit (boost::bind (boost::ref (Progress)));
 316                 _pause_changed.wait (lm);
 317         }
 318 }
 319
 320 /** Set the progress of the current part of the job.
 321  *  @param p Progress (from 0 to 1)
 322  *  @param force Do not ignore this update, even if it hasn't been long since the last one.
 323  */
 324 void
 325 Job::set_progress (float p, bool force)
 326 {
 327         check_for_interruption_or_pause ();
 328
 329         if (!force) {
 330                 /* Check for excessively frequent progress reporting */
 331                 boost::mutex::scoped_lock lm (_progress_mutex);
 332                 struct timeval now;
 333                 gettimeofday (&now, 0);
 334                 if (_last_progress_update && _last_progress_update->tv_sec > 0) {
 335                         double const elapsed = (now.tv_sec + now.tv_usec / 1000000.0)
 336                                 - (_last_progress_update->tv_sec + _last_progress_update->tv_usec / 1000000.0);
 337                         if (elapsed < 0.5) {
 338                                 return;
 339                         }
 340                 }
 341                 _last_progress_update = now;
 342         }
 343
 344         set_progress_common (p);
 345 }
 346
 347 void
 348 Job::set_progress_common (optional<float> p)
 349 {
 350         {
 351                 boost::mutex::scoped_lock lm (_progress_mutex);
 352                 _progress = p;
 353         }
 354
 355         emit (boost::bind (boost::ref (Progress)));
 356 }
 357
 358 /** @return fractional progress of the current sub-job, if known */
 359 optional<float>
 360 Job::progress () const
 361 {
 362         boost::mutex::scoped_lock lm (_progress_mutex);
 363         return _progress;
 364 }
 365
 366 void
 367 Job::sub (string n)
 368 {
 369         {
 370                 boost::mutex::scoped_lock lm (_progress_mutex);
 371                 LOG_GENERAL ("Sub-job %1 starting", n);
 372                 _sub_name = n;
 373         }
 374
 375         set_progress (0, true);
 376         _sub_start_time = time (0);
 377 }
 378
 379 string
 380 Job::error_details () const
 381 {
 382         boost::mutex::scoped_lock lm (_state_mutex);
 383         return _error_details;
 384 }
 385
 386 /** @return A summary of any error that the job has generated */
 387 string
 388 Job::error_summary () const
 389 {
 390         boost::mutex::scoped_lock lm (_state_mutex);
 391         return _error_summary;
 392 }
 393
 394 /** Set the current error string.
 395  *  @param s New error string.
 396  *  @param d New error detail string.
 397  */
 398 void
 399 Job::set_error (string s, string d)
 400 {
 401         if (_film) {
 402                 LOG_ERROR_NC (s);
 403                 LOG_ERROR_NC (d);
 404                 _film->log()->log (String::compose ("Error in job: %1 (%2)", s, d), LogEntry::TYPE_ERROR);
 405         }
 406
 407         boost::mutex::scoped_lock lm (_state_mutex);
 408         _error_summary = s;
 409         _error_details = d;
 410 }
 411
 412 /** Say that this job's progress will be unknown until further notice */
 413 void
 414 Job::set_progress_unknown ()
 415 {
 416         check_for_interruption_or_pause ();
 417         set_progress_common (optional<float> ());
 418 }
 419
 420 /** @return Human-readable status of this job */
 421 string
 422 Job::status () const
 423 {
 424         optional<float> p = progress ();
 425         int const t = elapsed_sub_time ();
 426         int const r = remaining_time ();
 427
 428         string s;
 429         if (!finished () && p) {
 430                 int pc = lrintf (p.get() * 100);
 431                 if (pc == 100) {
 432                         /* 100% makes it sound like we've finished when we haven't */
 433                         pc = 99;
 434                 }
 435
 436                 char buffer[64];
 437                 snprintf (buffer, sizeof(buffer), "%d%%", pc);
 438                 s += buffer;
 439
 440                 if (t > 10 && r > 0) {
 441                         boost::posix_time::ptime now = boost::posix_time::second_clock::local_time();
 442                         boost::posix_time::ptime finish = now + boost::posix_time::seconds(r);
 443                         char finish_string[16];
 444                         snprintf (finish_string, sizeof(finish_string), "%02d:%02d", int(finish.time_of_day().hours()), int(finish.time_of_day().minutes()));
 445                         string day;
 446                         if (now.date() != finish.date()) {
 447                                 /// TRANSLATORS: the %1 in this string will be filled in with a day of the week
 448                                 /// to say what day a job will finish.
 449                                 day = String::compose (_(" on %1"), finish.date().day_of_week().as_long_string());
 450                         }
 451                         /// TRANSLATORS: "remaining; finishing at" here follows an amount of time that is remaining
 452                         /// on an operation; after it is an estimated wall-clock completion time.
 453                         s += String::compose(
 454                                 _("; %1 remaining; finishing at %2%3"),
 455                                 seconds_to_approximate_hms(r), finish_string, day
 456                                 );
 457                 }
 458         } else if (finished_ok ()) {
 459                 s = String::compose (_("OK (ran for %1)"), seconds_to_hms (_ran_for));
 460         } else if (finished_in_error ()) {
 461                 s = String::compose (_("Error: %1"), error_summary ());
 462         } else if (finished_cancelled ()) {
 463                 s = _("Cancelled");
 464         }
 465
 466         return s;
 467 }
 468
 469 string
 470 Job::json_status () const
 471 {
 472         boost::mutex::scoped_lock lm (_state_mutex);
 473
 474         switch (_state) {
 475         case NEW:
 476                 return N_("new");
 477         case RUNNING:
 478                 return N_("running");
 479         case PAUSED_BY_USER:
 480         case PAUSED_BY_PRIORITY:
 481                 return N_("paused");
 482         case FINISHED_OK:
 483                 return N_("finished_ok");
 484         case FINISHED_ERROR:
 485                 return N_("finished_error");
 486         case FINISHED_CANCELLED:
 487                 return N_("finished_cancelled");
 488         }
 489
 490         return "";
 491 }
 492
 493 /** @return An estimate of the remaining time for this sub-job, in seconds */
 494 int
 495 Job::remaining_time () const
 496 {
 497         if (progress().get_value_or(0) == 0) {
 498                 return elapsed_sub_time ();
 499         }
 500
 501         return elapsed_sub_time() / progress().get() - elapsed_sub_time();
 502 }
 503
 504 void
 505 Job::cancel ()
 506 {
 507         if (!_thread) {
 508                 return;
 509         }
 510
 511         if (paused_by_user() || paused_by_priority()) {
 512                 resume ();
 513         }
 514
 515         _thread->interrupt ();
 516         DCPOMATIC_ASSERT (_thread->joinable ());
 517         _thread->join ();
 518         delete _thread;
 519         _thread = 0;
 520 }
 521
 522 /** @return true if the job was paused, false if it was not running */
 523 bool
 524 Job::pause_by_user ()
 525 {
 526         bool paused = false;
 527         {
 528                 boost::mutex::scoped_lock lm (_state_mutex);
 529                 /* We can set _state here directly because we have a lock and we aren't
 530                    setting the job to FINISHED_*
 531                 */
 532                 if (_state == RUNNING) {
 533                         paused = true;
 534                         _state = PAUSED_BY_USER;
 535                 }
 536         }
 537
 538         if (paused) {
 539                 _pause_changed.notify_all ();
 540         }
 541
 542         return paused;
 543 }
 544
 545 void
 546 Job::pause_by_priority ()
 547 {
 548         if (running ()) {
 549                 set_state (PAUSED_BY_PRIORITY);
 550                 _pause_changed.notify_all ();
 551         }
 552 }
 553
 554 void
 555 Job::resume ()
 556 {
 557         if (paused_by_user() || paused_by_priority()) {
 558                 set_state (RUNNING);
 559                 _pause_changed.notify_all ();
 560         }
 561 }
 562
 563 void
 564 Job::when_finished (boost::signals2::connection& connection, function<void()> finished)
 565 {
 566         boost::mutex::scoped_lock lm (_state_mutex);
 567         if (_state == FINISHED_OK || _state == FINISHED_ERROR || _state == FINISHED_CANCELLED) {
 568                 finished ();
 569         } else {
 570                 connection = Finished.connect (finished);
 571         }
 572 }
 573
 574 optional<string>
 575 Job::message () const
 576 {
 577         boost::mutex::scoped_lock lm (_state_mutex);
 578         return _message;
 579 }
 580
 581 void
 582 Job::set_message (string m)
 583 {
 584         boost::mutex::scoped_lock lm (_state_mutex);
 585         _message = m;
 586 }