src/lib/job.cc

   1 /*
   2     Copyright (C) 2012-2019 Carl Hetherington <cth@carlh.net>
   3
   4     This file is part of DCP-o-matic.
   5
   6     DCP-o-matic is free software; you can redistribute it and/or modify
   7     it under the terms of the GNU General Public License as published by
   8     the Free Software Foundation; either version 2 of the License, or
   9     (at your option) any later version.
  10
  11     DCP-o-matic is distributed in the hope that it will be useful,
  12     but WITHOUT ANY WARRANTY; without even the implied warranty of
  13     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14     GNU General Public License for more details.
  15
  16     You should have received a copy of the GNU General Public License
  17     along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 */
  20
  21 /** @file  src/job.cc
  22  *  @brief A parent class to represent long-running tasks which are run in their own thread.
  23  */
  24
  25 #include "job.h"
  26 #include "util.h"
  27 #include "cross.h"
  28 #include "exceptions.h"
  29 #include "film.h"
  30 #include "log.h"
  31 #include "dcpomatic_log.h"
  32 #include "compose.hpp"
  33 #include <dcp/exceptions.h>
  34 #include <sub/exceptions.h>
  35 #include <boost/thread.hpp>
  36 #include <boost/filesystem.hpp>
  37 #include <boost/foreach.hpp>
  38 #include <boost/date_time/posix_time/posix_time.hpp>
  39 #include <iostream>
  40
  41 #include "i18n.h"
  42
  43 using std::string;
  44 using std::list;
  45 using std::cout;
  46 using boost::shared_ptr;
  47 using boost::optional;
  48 using boost::function;
  49
  50 /** @param film Associated film, or 0 */
  51 Job::Job (shared_ptr<const Film> film)
  52         : _film (film)
  53         , _thread (0)
  54         , _state (NEW)
  55         , _start_time (0)
  56         , _sub_start_time (0)
  57         , _progress (0)
  58         , _ran_for (0)
  59 {
  60
  61 }
  62
  63 Job::~Job ()
  64 {
  65         if (_thread) {
  66                 _thread->interrupt ();
  67                 /* We can't use DCPOMATIC_ASSERT here as it may throw an exception */
  68                 if (_thread->joinable ()) {
  69                         try {
  70                                 _thread->join ();
  71                         } catch (...) {
  72                                 /* Too late to do anything about this */
  73                         }
  74                 }
  75         }
  76
  77         delete _thread;
  78 }
  79
  80 /** Start the job in a separate thread, returning immediately */
  81 void
  82 Job::start ()
  83 {
  84         set_state (RUNNING);
  85         _start_time = time (0);
  86         _sub_start_time = time (0);
  87         _thread = new boost::thread (boost::bind (&Job::run_wrapper, this));
  88 #ifdef DCPOMATIC_LINUX
  89         pthread_setname_np (_thread->native_handle(), "job-wrapper");
  90 #endif
  91 }
  92
  93 /** A wrapper for the ::run() method to catch exceptions */
  94 void
  95 Job::run_wrapper ()
  96 {
  97         try {
  98
  99                 run ();
 100
 101         } catch (dcp::FileError& e) {
 102
 103                 string m = String::compose (_("An error occurred whilst handling the file %1."), boost::filesystem::path (e.filename()).leaf());
 104
 105                 try {
 106                         boost::filesystem::space_info const s = boost::filesystem::space (e.filename());
 107                         if (s.available < pow (1024, 3)) {
 108                                 m += N_("\n\n");
 109                                 m += _("The drive that the film is stored on is low in disc space.  Free some more space and try again.");
 110                         }
 111                 } catch (...) {
 112
 113                 }
 114
 115                 set_error (e.what(), m);
 116                 set_progress (1);
 117                 set_state (FINISHED_ERROR);
 118
 119         } catch (OpenFileError& e) {
 120
 121                 set_error (
 122                         String::compose (_("Could not open %1"), e.file().string()),
 123                         String::compose (
 124                                 _("DCP-o-matic could not open the file %1 (%2).  Perhaps it does not exist or is in an unexpected format."),
 125                                 boost::filesystem::absolute (e.file()).string(),
 126                                 e.what()
 127                                 )
 128                         );
 129
 130                 set_progress (1);
 131                 set_state (FINISHED_ERROR);
 132
 133         } catch (boost::filesystem::filesystem_error& e) {
 134
 135                 if (e.code() == boost::system::errc::no_such_file_or_directory) {
 136                         set_error (
 137                                 String::compose (_("Could not open %1"), e.path1().string ()),
 138                                 String::compose (
 139                                         _("DCP-o-matic could not open the file %1 (%2).  Perhaps it does not exist or is in an unexpected format."),
 140                                         boost::filesystem::absolute (e.path1()).string(),
 141                                         e.what()
 142                                         )
 143                                 );
 144                 } else {
 145                         set_error (
 146                                 e.what (),
 147                                 string (_("It is not known what caused this error.")) + "  " + REPORT_PROBLEM
 148                                 );
 149                 }
 150
 151                 set_progress (1);
 152                 set_state (FINISHED_ERROR);
 153
 154         } catch (boost::thread_interrupted &) {
 155
 156                 set_state (FINISHED_CANCELLED);
 157
 158         } catch (sub::SubripError& e) {
 159
 160                 string extra = "Error is near:\n";
 161                 BOOST_FOREACH (string i, e.context()) {
 162                         extra += i + "\n";
 163                 }
 164
 165                 set_error (e.what (), extra);
 166                 set_progress (1);
 167                 set_state (FINISHED_ERROR);
 168
 169         } catch (std::bad_alloc& e) {
 170
 171                 set_error (_("Out of memory"), _("There was not enough memory to do this.  If you are running a 32-bit operating system try reducing the number of encoding threads in the General tab of Preferences."));
 172                 set_progress (1);
 173                 set_state (FINISHED_ERROR);
 174
 175         } catch (dcp::MissingAssetError& e) {
 176
 177                 set_error (e.message(), e.path().string());
 178                 set_progress (1);
 179                 set_state (FINISHED_ERROR);
 180
 181         } catch (dcp::DCPReadError& e) {
 182
 183                 set_error (e.message(), e.detail().get_value_or(""));
 184                 set_progress (1);
 185                 set_state (FINISHED_ERROR);
 186
 187         } catch (KDMError& e) {
 188
 189                 set_error (e.summary(), e.detail());
 190                 set_progress (1);
 191                 set_state (FINISHED_ERROR);
 192
 193         } catch (FileError& e) {
 194
 195                 set_error (e.what(), e.what());
 196                 set_progress (1);
 197                 set_state (FINISHED_ERROR);
 198
 199         } catch (std::exception& e) {
 200
 201                 set_error (
 202                         e.what (),
 203                         string (_("It is not known what caused this error.")) + "  " + REPORT_PROBLEM
 204                         );
 205
 206                 set_progress (1);
 207                 set_state (FINISHED_ERROR);
 208
 209         } catch (...) {
 210
 211                 set_error (
 212                         _("Unknown error"),
 213                         string (_("It is not known what caused this error.")) + "  " + REPORT_PROBLEM
 214                         );
 215
 216                 set_progress (1);
 217                 set_state (FINISHED_ERROR);
 218         }
 219 }
 220
 221 /** @return true if this job is new (ie has not started running) */
 222 bool
 223 Job::is_new () const
 224 {
 225         boost::mutex::scoped_lock lm (_state_mutex);
 226         return _state == NEW;
 227 }
 228
 229 /** @return true if the job is running */
 230 bool
 231 Job::running () const
 232 {
 233         boost::mutex::scoped_lock lm (_state_mutex);
 234         return _state == RUNNING;
 235 }
 236
 237 /** @return true if the job has finished (either successfully or unsuccessfully) */
 238 bool
 239 Job::finished () const
 240 {
 241         boost::mutex::scoped_lock lm (_state_mutex);
 242         return _state == FINISHED_OK || _state == FINISHED_ERROR || _state == FINISHED_CANCELLED;
 243 }
 244
 245 /** @return true if the job has finished successfully */
 246 bool
 247 Job::finished_ok () const
 248 {
 249         boost::mutex::scoped_lock lm (_state_mutex);
 250         return _state == FINISHED_OK;
 251 }
 252
 253 /** @return true if the job has finished unsuccessfully */
 254 bool
 255 Job::finished_in_error () const
 256 {
 257         boost::mutex::scoped_lock lm (_state_mutex);
 258         return _state == FINISHED_ERROR;
 259 }
 260
 261 bool
 262 Job::finished_cancelled () const
 263 {
 264         boost::mutex::scoped_lock lm (_state_mutex);
 265         return _state == FINISHED_CANCELLED;
 266 }
 267
 268 bool
 269 Job::paused_by_user () const
 270 {
 271         boost::mutex::scoped_lock lm (_state_mutex);
 272         return _state == PAUSED_BY_USER;
 273 }
 274
 275 bool
 276 Job::paused_by_priority () const
 277 {
 278         boost::mutex::scoped_lock lm (_state_mutex);
 279         return _state == PAUSED_BY_PRIORITY;
 280 }
 281
 282 /** Set the state of this job.
 283  *  @param s New state.
 284  */
 285 void
 286 Job::set_state (State s)
 287 {
 288         bool finished = false;
 289
 290         {
 291                 boost::mutex::scoped_lock lm (_state_mutex);
 292                 _state = s;
 293
 294                 if (_state == FINISHED_OK || _state == FINISHED_ERROR || _state == FINISHED_CANCELLED) {
 295                         _ran_for = time(0) - _start_time;
 296                         finished = true;
 297                         _sub_name.clear ();
 298                 }
 299         }
 300
 301         if (finished) {
 302                 emit (boost::bind (boost::ref (Finished)));
 303                 FinishedImmediate ();
 304         }
 305 }
 306
 307 /** @return DCPTime (in seconds) that this sub-job has been running */
 308 int
 309 Job::elapsed_sub_time () const
 310 {
 311         if (_sub_start_time == 0) {
 312                 return 0;
 313         }
 314
 315         return time (0) - _sub_start_time;
 316 }
 317
 318 /** Check to see if this job has been interrupted or paused */
 319 void
 320 Job::check_for_interruption_or_pause ()
 321 {
 322         boost::this_thread::interruption_point ();
 323
 324         boost::mutex::scoped_lock lm (_state_mutex);
 325         while (_state == PAUSED_BY_USER || _state == PAUSED_BY_PRIORITY) {
 326                 emit (boost::bind (boost::ref (Progress)));
 327                 _pause_changed.wait (lm);
 328         }
 329 }
 330
 331 /** Set the progress of the current part of the job.
 332  *  @param p Progress (from 0 to 1)
 333  *  @param force Do not ignore this update, even if it hasn't been long since the last one.
 334  */
 335 void
 336 Job::set_progress (float p, bool force)
 337 {
 338         check_for_interruption_or_pause ();
 339
 340         if (!force) {
 341                 /* Check for excessively frequent progress reporting */
 342                 boost::mutex::scoped_lock lm (_progress_mutex);
 343                 struct timeval now;
 344                 gettimeofday (&now, 0);
 345                 if (_last_progress_update && _last_progress_update->tv_sec > 0) {
 346                         double const elapsed = (now.tv_sec + now.tv_usec / 1000000.0)
 347                                 - (_last_progress_update->tv_sec + _last_progress_update->tv_usec / 1000000.0);
 348                         if (elapsed < 0.5) {
 349                                 return;
 350                         }
 351                 }
 352                 _last_progress_update = now;
 353         }
 354
 355         set_progress_common (p);
 356 }
 357
 358 void
 359 Job::set_progress_common (optional<float> p)
 360 {
 361         {
 362                 boost::mutex::scoped_lock lm (_progress_mutex);
 363                 _progress = p;
 364         }
 365
 366         emit (boost::bind (boost::ref (Progress)));
 367 }
 368
 369 /** @return fractional progress of the current sub-job, if known */
 370 optional<float>
 371 Job::progress () const
 372 {
 373         boost::mutex::scoped_lock lm (_progress_mutex);
 374         return _progress;
 375 }
 376
 377 void
 378 Job::sub (string n)
 379 {
 380         {
 381                 boost::mutex::scoped_lock lm (_progress_mutex);
 382                 LOG_GENERAL ("Sub-job %1 starting", n);
 383                 _sub_name = n;
 384         }
 385
 386         set_progress (0, true);
 387         _sub_start_time = time (0);
 388 }
 389
 390 string
 391 Job::error_details () const
 392 {
 393         boost::mutex::scoped_lock lm (_state_mutex);
 394         return _error_details;
 395 }
 396
 397 /** @return A summary of any error that the job has generated */
 398 string
 399 Job::error_summary () const
 400 {
 401         boost::mutex::scoped_lock lm (_state_mutex);
 402         return _error_summary;
 403 }
 404
 405 /** Set the current error string.
 406  *  @param s New error string.
 407  *  @param d New error detail string.
 408  */
 409 void
 410 Job::set_error (string s, string d)
 411 {
 412         if (_film) {
 413                 _film->log()->log (String::compose ("Error in job: %1 (%2)", s, d), LogEntry::TYPE_ERROR);
 414         }
 415
 416         boost::mutex::scoped_lock lm (_state_mutex);
 417         _error_summary = s;
 418         _error_details = d;
 419 }
 420
 421 /** Say that this job's progress will be unknown until further notice */
 422 void
 423 Job::set_progress_unknown ()
 424 {
 425         check_for_interruption_or_pause ();
 426         set_progress_common (optional<float> ());
 427 }
 428
 429 /** @return Human-readable status of this job */
 430 string
 431 Job::status () const
 432 {
 433         optional<float> p = progress ();
 434         int const t = elapsed_sub_time ();
 435         int const r = remaining_time ();
 436
 437         string s;
 438         if (!finished () && p) {
 439                 int pc = lrintf (p.get() * 100);
 440                 if (pc == 100) {
 441                         /* 100% makes it sound like we've finished when we haven't */
 442                         pc = 99;
 443                 }
 444
 445                 char buffer[64];
 446                 snprintf (buffer, sizeof(buffer), "%d%%", pc);
 447                 s += buffer;
 448
 449                 if (t > 10 && r > 0) {
 450                         boost::posix_time::ptime now = boost::posix_time::second_clock::local_time();
 451                         boost::posix_time::ptime finish = now + boost::posix_time::seconds(r);
 452                         char finish_string[16];
 453                         snprintf (finish_string, sizeof(finish_string), "%02d:%02d", int(finish.time_of_day().hours()), int(finish.time_of_day().minutes()));
 454                         string day;
 455                         if (now.date() != finish.date()) {
 456                                 /// TRANSLATORS: the %1 in this string will be filled in with a day of the week
 457                                 /// to say what day a job will finish.
 458                                 day = String::compose (_(" on %1"), day_of_week_to_string(finish.date().day_of_week()));
 459                         }
 460                         /// TRANSLATORS: "remaining; finishing at" here follows an amount of time that is remaining
 461                         /// on an operation; after it is an estimated wall-clock completion time.
 462                         s += String::compose(
 463                                 _("; %1 remaining; finishing at %2%3"),
 464                                 seconds_to_approximate_hms(r), finish_string, day
 465                                 );
 466                 }
 467         } else if (finished_ok ()) {
 468                 s = String::compose (_("OK (ran for %1)"), seconds_to_hms (_ran_for));
 469         } else if (finished_in_error ()) {
 470                 s = String::compose (_("Error: %1"), error_summary ());
 471         } else if (finished_cancelled ()) {
 472                 s = _("Cancelled");
 473         }
 474
 475         return s;
 476 }
 477
 478 string
 479 Job::json_status () const
 480 {
 481         boost::mutex::scoped_lock lm (_state_mutex);
 482
 483         switch (_state) {
 484         case NEW:
 485                 return N_("new");
 486         case RUNNING:
 487                 return N_("running");
 488         case PAUSED_BY_USER:
 489         case PAUSED_BY_PRIORITY:
 490                 return N_("paused");
 491         case FINISHED_OK:
 492                 return N_("finished_ok");
 493         case FINISHED_ERROR:
 494                 return N_("finished_error");
 495         case FINISHED_CANCELLED:
 496                 return N_("finished_cancelled");
 497         }
 498
 499         return "";
 500 }
 501
 502 /** @return An estimate of the remaining time for this sub-job, in seconds */
 503 int
 504 Job::remaining_time () const
 505 {
 506         if (progress().get_value_or(0) == 0) {
 507                 return elapsed_sub_time ();
 508         }
 509
 510         return elapsed_sub_time() / progress().get() - elapsed_sub_time();
 511 }
 512
 513 void
 514 Job::cancel ()
 515 {
 516         if (!_thread) {
 517                 return;
 518         }
 519
 520         if (paused_by_user() || paused_by_priority()) {
 521                 resume ();
 522         }
 523
 524         _thread->interrupt ();
 525         DCPOMATIC_ASSERT (_thread->joinable ());
 526         _thread->join ();
 527         delete _thread;
 528         _thread = 0;
 529 }
 530
 531 /** @return true if the job was paused, false if it was not running */
 532 bool
 533 Job::pause_by_user ()
 534 {
 535         bool paused = false;
 536         {
 537                 boost::mutex::scoped_lock lm (_state_mutex);
 538                 /* We can set _state here directly because we have a lock and we aren't
 539                    setting the job to FINISHED_*
 540                 */
 541                 if (_state == RUNNING) {
 542                         paused = true;
 543                         _state = PAUSED_BY_USER;
 544                 }
 545         }
 546
 547         if (paused) {
 548                 _pause_changed.notify_all ();
 549         }
 550
 551         return paused;
 552 }
 553
 554 void
 555 Job::pause_by_priority ()
 556 {
 557         if (running ()) {
 558                 set_state (PAUSED_BY_PRIORITY);
 559                 _pause_changed.notify_all ();
 560         }
 561 }
 562
 563 void
 564 Job::resume ()
 565 {
 566         if (paused_by_user() || paused_by_priority()) {
 567                 set_state (RUNNING);
 568                 _pause_changed.notify_all ();
 569         }
 570 }
 571
 572 void
 573 Job::when_finished (boost::signals2::connection& connection, function<void()> finished)
 574 {
 575         boost::mutex::scoped_lock lm (_state_mutex);
 576         if (_state == FINISHED_OK || _state == FINISHED_ERROR || _state == FINISHED_CANCELLED) {
 577                 finished ();
 578         } else {
 579                 connection = Finished.connect (finished);
 580         }
 581 }
 582
 583 optional<string>
 584 Job::message () const
 585 {
 586         boost::mutex::scoped_lock lm (_state_mutex);
 587         return _message;
 588 }
 589
 590 void
 591 Job::set_message (string m)
 592 {
 593         boost::mutex::scoped_lock lm (_state_mutex);
 594         _message = m;
 595 }