Rename SafeStringStream -> locked_stringstream. Bump deps for removal of stringstream.
[dcpomatic.git] / src / lib / job.cc
index 812380594ec0ea247661951d93909773fbce2201..585e8fb0d29ace1bdf905fe9ab5fdab691a20fcc 100644 (file)
@@ -1,48 +1,79 @@
 /*
-    Copyright (C) 2012 Carl Hetherington <cth@carlh.net>
+    Copyright (C) 2012-2015 Carl Hetherington <cth@carlh.net>
 
-    This program is free software; you can redistribute it and/or modify
+    This file is part of DCP-o-matic.
+
+    DCP-o-matic is free software; you can redistribute it and/or modify
     it under the terms of the GNU General Public License as published by
     the Free Software Foundation; either version 2 of the License, or
     (at your option) any later version.
 
-    This program is distributed in the hope that it will be useful,
+    DCP-o-matic is distributed in the hope that it will be useful,
     but WITHOUT ANY WARRANTY; without even the implied warranty of
     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
     GNU General Public License for more details.
 
     You should have received a copy of the GNU General Public License
-    along with this program; if not, write to the Free Software
-    Foundation, Inc., 675 Mass Ave, Cambridge, MA 02139, USA.
+    along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
 
 */
 
-/** @file src/job.cc
+/** @file  src/job.cc
  *  @brief A parent class to represent long-running tasks which are run in their own thread.
  */
 
-#include <boost/thread.hpp>
-#include <boost/filesystem.hpp>
-#include <libdcp/exceptions.h>
 #include "job.h"
 #include "util.h"
+#include "cross.h"
+#include "exceptions.h"
+#include "film.h"
+#include "log.h"
+#include "compose.hpp"
+#include <dcp/exceptions.h>
+#include <boost/thread.hpp>
+#include <boost/filesystem.hpp>
+#include <iostream>
 
 #include "i18n.h"
 
 using std::string;
 using std::list;
-using std::stringstream;
+using std::cout;
 using boost::shared_ptr;
+using boost::optional;
+using boost::function;
+
+#define LOG_ERROR_NC(...) _film->log()->log (__VA_ARGS__, LogEntry::TYPE_ERROR);
+#define LOG_GENERAL(...) _film->log()->log (String::compose (__VA_ARGS__), LogEntry::TYPE_GENERAL);
 
-Job::Job (shared_ptr<Film> f)
-       : _film (f)
+/** @param film Associated film, or 0 */
+Job::Job (shared_ptr<const Film> film)
+       : _film (film)
        , _thread (0)
        , _state (NEW)
        , _start_time (0)
-       , _progress_unknown (false)
+       , _sub_start_time (0)
+       , _progress (0)
        , _ran_for (0)
 {
-       descend (1);
+
+}
+
+Job::~Job ()
+{
+       if (_thread) {
+               _thread->interrupt ();
+               /* We can't use DCPOMATIC_ASSERT here as it may throw an exception */
+               if (_thread->joinable ()) {
+                       try {
+                               _thread->join ();
+                       } catch (...) {
+                               /* Too late to do anything about this */
+                       }
+               }
+       }
+
+       delete _thread;
 }
 
 /** Start the job in a separate thread, returning immediately */
@@ -51,6 +82,7 @@ Job::start ()
 {
        set_state (RUNNING);
        _start_time = time (0);
+       _sub_start_time = time (0);
        _thread = new boost::thread (boost::bind (&Job::run_wrapper, this));
 }
 
@@ -62,11 +94,8 @@ Job::run_wrapper ()
 
                run ();
 
-       } catch (libdcp::FileError& e) {
-               
-               set_progress (1);
-               set_state (FINISHED_ERROR);
-               
+       } catch (dcp::FileError& e) {
+
                string m = String::compose (_("An error occurred whilst handling the file %1."), boost::filesystem::path (e.filename()).leaf());
 
                try {
@@ -80,29 +109,71 @@ Job::run_wrapper ()
                }
 
                set_error (e.what(), m);
+               set_progress (1);
+               set_state (FINISHED_ERROR);
+
+       } catch (OpenFileError& e) {
+
+               set_error (
+                       String::compose (_("Could not open %1"), e.file().string()),
+                       String::compose (
+                               _("DCP-o-matic could not open the file %1.  Perhaps it does not exist or is in an unexpected format."),
+                               boost::filesystem::absolute (e.file()).string()
+                               )
+                       );
+
+               set_progress (1);
+               set_state (FINISHED_ERROR);
+
+       } catch (boost::filesystem::filesystem_error& e) {
+
+               if (e.code() == boost::system::errc::no_such_file_or_directory) {
+                       set_error (
+                               String::compose (_("Could not open %1"), e.path1().string ()),
+                               String::compose (
+                                       _("DCP-o-matic could not open the file %1.  Perhaps it does not exist or is in an unexpected format."),
+                                       boost::filesystem::absolute (e.path1()).string()
+                                       )
+                               );
+               } else {
+                       set_error (
+                               e.what (),
+                               string (_("It is not known what caused this error.")) + "  " + REPORT_PROBLEM
+                               );
+               }
+
+               set_progress (1);
+               set_state (FINISHED_ERROR);
 
        } catch (boost::thread_interrupted &) {
 
                set_state (FINISHED_CANCELLED);
-               
-       } catch (std::exception& e) {
 
+       } catch (std::bad_alloc& e) {
+
+               set_error (_("Out of memory"), _("There was not enough memory to do this.  If you are running a 32-bit operating system try reducing the number of encoding threads in the General tab of Preferences."));
                set_progress (1);
                set_state (FINISHED_ERROR);
+
+       } catch (std::exception& e) {
+
                set_error (
                        e.what (),
-                       _("It is not known what caused this error.  The best idea is to report the problem to the DCP-o-matic mailing list (dcpomatic@carlh.net)")
+                       string (_("It is not known what caused this error.")) + "  " + REPORT_PROBLEM
                        );
 
-       } catch (...) {
-
                set_progress (1);
                set_state (FINISHED_ERROR);
+
+       } catch (...) {
+
                set_error (
                        _("Unknown error"),
-                       _("It is not known what caused this error.  The best idea is to report the problem to the DCP-o-matic mailing list (dcpomatic@carlh.net)")
+                       string (_("It is not known what caused this error.")) + "  " + REPORT_PROBLEM
                        );
 
+               set_progress (1);
+               set_state (FINISHED_ERROR);
        }
 }
 
@@ -153,91 +224,109 @@ Job::finished_cancelled () const
        return _state == FINISHED_CANCELLED;
 }
 
+bool
+Job::paused () const
+{
+       boost::mutex::scoped_lock lm (_state_mutex);
+       return _state == PAUSED;
+}
+
 /** Set the state of this job.
  *  @param s New state.
  */
 void
 Job::set_state (State s)
 {
-       boost::mutex::scoped_lock lm (_state_mutex);
-       _state = s;
+       bool finished = false;
+
+       {
+               boost::mutex::scoped_lock lm (_state_mutex);
+               _state = s;
+
+               if (_state == FINISHED_OK || _state == FINISHED_ERROR || _state == FINISHED_CANCELLED) {
+                       _ran_for = time(0) - _start_time;
+                       finished = true;
+                       _sub_name.clear ();
+               }
+       }
 
-       if (_state == FINISHED_OK || _state == FINISHED_ERROR) {
-               _ran_for = elapsed_time ();
+       if (finished) {
+               emit (boost::bind (boost::ref (Finished)));
        }
 }
 
-/** @return Time (in seconds) that this job has been running */
+/** @return DCPTime (in seconds) that this sub-job has been running */
 int
-Job::elapsed_time () const
+Job::elapsed_sub_time () const
 {
-       if (_start_time == 0) {
+       if (_sub_start_time == 0) {
                return 0;
        }
-       
-       return time (0) - _start_time;
+
+       return time (0) - _sub_start_time;
 }
 
 /** Set the progress of the current part of the job.
  *  @param p Progress (from 0 to 1)
  */
 void
-Job::set_progress (float p)
+Job::set_progress (float p, bool force)
 {
-       boost::mutex::scoped_lock lm (_progress_mutex);
-       _progress_unknown = false;
-       _stack.back().normalised = p;
-       boost::this_thread::interruption_point ();
+       if (!force) {
+               /* Check for excessively frequent progress reporting */
+               boost::mutex::scoped_lock lm (_progress_mutex);
+               struct timeval now;
+               gettimeofday (&now, 0);
+               if (_last_progress_update && _last_progress_update->tv_sec > 0) {
+                       double const elapsed = (now.tv_sec + now.tv_usec / 1000000.0)
+                               - (_last_progress_update->tv_sec + _last_progress_update->tv_usec / 1000000.0);
+                       if (elapsed < 0.5) {
+                               return;
+                       }
+               }
+               _last_progress_update = now;
+       }
+
+       set_progress_common (p);
 }
 
-/** @return fractional overall progress, or -1 if not known */
-float
-Job::overall_progress () const
+void
+Job::set_progress_common (optional<float> p)
 {
        boost::mutex::scoped_lock lm (_progress_mutex);
-       if (_progress_unknown) {
-               return -1;
-       }
+       _progress = p;
+       boost::this_thread::interruption_point ();
 
-       float overall = 0;
-       float factor = 1;
-       for (list<Level>::const_iterator i = _stack.begin(); i != _stack.end(); ++i) {
-               factor *= i->allocation;
-               overall += i->normalised * factor;
+       boost::mutex::scoped_lock lm2 (_state_mutex);
+       while (_state == PAUSED) {
+               _pause_changed.wait (lm2);
        }
 
-       if (overall > 1) {
-               overall = 1;
-       }
-       
-       return overall;
+       lm.unlock ();
+       lm2.unlock ();
+
+       emit (boost::bind (boost::ref (Progress)));
 }
 
-/** Ascend up one level in terms of progress reporting; see descend() */
-void
-Job::ascend ()
+/** @return fractional progress of the current sub-job, if known */
+optional<float>
+Job::progress () const
 {
        boost::mutex::scoped_lock lm (_progress_mutex);
-       
-       assert (!_stack.empty ());
-       float const a = _stack.back().allocation;
-       _stack.pop_back ();
-       _stack.back().normalised += a;
+       return _progress;
 }
 
-/** Descend down one level in terms of progress reporting; e.g. if
- *  there is a task which is split up into N subtasks, each of which
- *  report their progress from 0 to 100%, call descend() before executing
- *  each subtask, and ascend() afterwards to ensure that overall progress
- *  is reported correctly.
- *
- *  @param a Fraction (from 0 to 1) of the current task to allocate to the subtask.
- */
 void
-Job::descend (float a)
+Job::sub (string n)
 {
-       boost::mutex::scoped_lock lm (_progress_mutex);
-       _stack.push_back (Level (a));
+       {
+               boost::mutex::scoped_lock lm (_progress_mutex);
+               LOG_GENERAL ("Sub-job %1 starting", n);
+               _sub_name = n;
+       }
+
+       set_progress (0, true);
+       _sub_start_time = time (0);
 }
 
 string
@@ -261,6 +350,12 @@ Job::error_summary () const
 void
 Job::set_error (string s, string d)
 {
+       if (_film) {
+               LOG_ERROR_NC (s);
+               LOG_ERROR_NC (d);
+               _film->log()->log (String::compose ("Error in job: %1 (%2)", s, d), LogEntry::TYPE_ERROR);
+       }
+
        boost::mutex::scoped_lock lm (_state_mutex);
        _error_summary = s;
        _error_details = d;
@@ -270,28 +365,28 @@ Job::set_error (string s, string d)
 void
 Job::set_progress_unknown ()
 {
-       boost::mutex::scoped_lock lm (_progress_mutex);
-       _progress_unknown = true;
+       set_progress_common (optional<float> ());
 }
 
 /** @return Human-readable status of this job */
 string
 Job::status () const
 {
-       float const p = overall_progress ();
-       int const t = elapsed_time ();
+       optional<float> p = progress ();
+       int const t = elapsed_sub_time ();
        int const r = remaining_time ();
 
-       int pc = rint (p * 100);
-       if (pc == 100) {
-               /* 100% makes it sound like we've finished when we haven't */
-               pc = 99;
-       }
+       locked_stringstream s;
+       if (!finished () && p) {
+               int pc = lrintf (p.get() * 100);
+               if (pc == 100) {
+                       /* 100% makes it sound like we've finished when we haven't */
+                       pc = 99;
+               }
 
-       stringstream s;
-       if (!finished ()) {
                s << pc << N_("%");
-               if (p >= 0 && t > 10 && r > 0) {
+
+               if (t > 10 && r > 0) {
                        /// TRANSLATORS: remaining here follows an amount of time that is remaining
                        /// on an operation.
                        s << "; " << seconds_to_approximate_hms (r) << " " << _("remaining");
@@ -299,7 +394,7 @@ Job::status () const
        } else if (finished_ok ()) {
                s << String::compose (_("OK (ran for %1)"), seconds_to_hms (_ran_for));
        } else if (finished_in_error ()) {
-               s << String::compose (_("Error (%1)"), error_summary());
+               s << String::compose (_("Error: %1"), error_summary ());
        } else if (finished_cancelled ()) {
                s << _("Cancelled");
        }
@@ -307,11 +402,38 @@ Job::status () const
        return s.str ();
 }
 
-/** @return An estimate of the remaining time for this job, in seconds */
+string
+Job::json_status () const
+{
+       boost::mutex::scoped_lock lm (_state_mutex);
+
+       switch (_state) {
+       case NEW:
+               return N_("new");
+       case RUNNING:
+               return N_("running");
+       case PAUSED:
+               return N_("paused");
+       case FINISHED_OK:
+               return N_("finished_ok");
+       case FINISHED_ERROR:
+               return N_("finished_error");
+       case FINISHED_CANCELLED:
+               return N_("finished_cancelled");
+       }
+
+       return "";
+}
+
+/** @return An estimate of the remaining time for this sub-job, in seconds */
 int
 Job::remaining_time () const
 {
-       return elapsed_time() / overall_progress() - elapsed_time();
+       if (progress().get_value_or(0) == 0) {
+               return elapsed_sub_time ();
+       }
+
+       return elapsed_sub_time() / progress().get() - elapsed_sub_time();
 }
 
 void
@@ -321,6 +443,42 @@ Job::cancel ()
                return;
        }
 
+       if (paused ()) {
+               resume ();
+       }
+
        _thread->interrupt ();
+       DCPOMATIC_ASSERT (_thread->joinable ());
        _thread->join ();
+       delete _thread;
+       _thread = 0;
+}
+
+void
+Job::pause ()
+{
+       if (running ()) {
+               set_state (PAUSED);
+               _pause_changed.notify_all ();
+       }
+}
+
+void
+Job::resume ()
+{
+       if (paused ()) {
+               set_state (RUNNING);
+               _pause_changed.notify_all ();
+       }
+}
+
+void
+Job::when_finished (boost::signals2::connection& connection, function<void()> finished)
+{
+       boost::mutex::scoped_lock lm (_state_mutex);
+       if (_state == FINISHED_OK || _state == FINISHED_ERROR || _state == FINISHED_CANCELLED) {
+               finished ();
+       } else {
+               connection = Finished.connect (finished);
+       }
 }