src/wx/audio_plot.cc

   1 /*
   2     Copyright (C) 2013-2020 Carl Hetherington <cth@carlh.net>
   3
   4     This file is part of DCP-o-matic.
   5
   6     DCP-o-matic is free software; you can redistribute it and/or modify
   7     it under the terms of the GNU General Public License as published by
   8     the Free Software Foundation; either version 2 of the License, or
   9     (at your option) any later version.
  10
  11     DCP-o-matic is distributed in the hope that it will be useful,
  12     but WITHOUT ANY WARRANTY; without even the implied warranty of
  13     MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  14     GNU General Public License for more details.
  15
  16     You should have received a copy of the GNU General Public License
  17     along with DCP-o-matic.  If not, see <http://www.gnu.org/licenses/>.
  18
  19 */
  20
  21 #include "audio_plot.h"
  22 #include "wx_util.h"
  23 #include "film_viewer.h"
  24 #include "lib/audio_decoder.h"
  25 #include "lib/audio_analysis.h"
  26 #include "lib/compose.hpp"
  27 #include <wx/graphics.h>
  28 #include <boost/bind.hpp>
  29 #include <iostream>
  30 #include <cfloat>
  31
  32 using std::cout;
  33 using std::vector;
  34 using std::list;
  35 using std::max;
  36 using std::min;
  37 using std::map;
  38 using boost::bind;
  39 using boost::optional;
  40 using boost::shared_ptr;
  41 using boost::weak_ptr;
  42 using namespace dcpomatic;
  43
  44 int const AudioPlot::_minimum = -70;
  45 int const AudioPlot::_cursor_size = 8;
  46 int const AudioPlot::max_smoothing = 128;
  47
  48 AudioPlot::AudioPlot (wxWindow* parent, weak_ptr<FilmViewer> viewer)
  49         : wxPanel (parent, wxID_ANY, wxDefaultPosition, wxDefaultSize, wxFULL_REPAINT_ON_RESIZE)
  50         , _viewer (viewer)
  51         , _smoothing (max_smoothing / 2)
  52         , _gain_correction (0)
  53 {
  54 #ifndef __WXOSX__
  55         SetDoubleBuffered (true);
  56 #endif
  57
  58         for (int i = 0; i < MAX_DCP_AUDIO_CHANNELS; ++i) {
  59                 _channel_visible[i] = false;
  60         }
  61
  62         for (int i = 0; i < AudioPoint::COUNT; ++i) {
  63                 _type_visible[i] = false;
  64         }
  65
  66         _colours.push_back (wxColour (  0,   0,   0));
  67         _colours.push_back (wxColour (255,   0,   0));
  68         _colours.push_back (wxColour (  0, 255,   0));
  69         _colours.push_back (wxColour (139,   0, 204));
  70         _colours.push_back (wxColour (  0,   0, 255));
  71         _colours.push_back (wxColour (  0, 139,   0));
  72         _colours.push_back (wxColour (  0,   0, 139));
  73         _colours.push_back (wxColour (255, 255,   0));
  74         _colours.push_back (wxColour (  0, 255, 255));
  75         _colours.push_back (wxColour (255,   0, 255));
  76         _colours.push_back (wxColour (255,   0, 139));
  77         _colours.push_back (wxColour (139,   0, 255));
  78
  79         _colours.push_back (wxColour (139, 139, 255));
  80         _colours.push_back (wxColour (  0, 139, 255));
  81         _colours.push_back (wxColour (255, 139, 139));
  82         _colours.push_back (wxColour (255, 139,   0));
  83
  84         set_analysis (shared_ptr<AudioAnalysis> ());
  85
  86 #if MAX_DCP_AUDIO_CHANNELS != 16
  87 #warning AudioPlot::AudioPlot is expecting the wrong MAX_DCP_AUDIO_CHANNELS
  88 #endif
  89
  90         Bind (wxEVT_PAINT, boost::bind (&AudioPlot::paint, this));
  91         Bind (wxEVT_MOTION, boost::bind (&AudioPlot::mouse_moved, this, _1));
  92         Bind (wxEVT_LEAVE_WINDOW, boost::bind (&AudioPlot::mouse_leave, this, _1));
  93         Bind (wxEVT_LEFT_DOWN, boost::bind(&AudioPlot::left_down, this));
  94
  95         SetMinSize (wxSize (640, 512));
  96 }
  97
  98 void
  99 AudioPlot::set_analysis (shared_ptr<AudioAnalysis> a)
 100 {
 101         _analysis = a;
 102
 103         if (!a) {
 104                 _message = _("Please wait; audio is being analysed...");
 105         }
 106
 107         Refresh ();
 108 }
 109
 110 void
 111 AudioPlot::set_channel_visible (int c, bool v)
 112 {
 113         _channel_visible[c] = v;
 114         Refresh ();
 115 }
 116
 117 void
 118 AudioPlot::set_type_visible (int t, bool v)
 119 {
 120         _type_visible[t] = v;
 121         Refresh ();
 122 }
 123
 124 void
 125 AudioPlot::set_message (wxString s)
 126 {
 127         _message = s;
 128         Refresh ();
 129 }
 130
 131 struct Metrics
 132 {
 133         double db_label_width;
 134         int height;
 135         int y_origin;
 136         float x_scale; ///< pixels per data point
 137         float y_scale;
 138 };
 139
 140 void
 141 AudioPlot::paint ()
 142 {
 143         wxPaintDC dc (this);
 144
 145         wxGraphicsContext* gc = wxGraphicsContext::Create (dc);
 146         if (!gc) {
 147                 return;
 148         }
 149
 150         if (!_analysis || _analysis->channels() == 0) {
 151                 gc->SetFont (gc->CreateFont (*wxNORMAL_FONT));
 152                 gc->DrawText (_message, 32, 32);
 153                 return;
 154         }
 155
 156         wxGraphicsPath h_grid = gc->CreatePath ();
 157         gc->SetFont (gc->CreateFont (*wxSMALL_FONT));
 158         wxDouble db_label_height;
 159         wxDouble db_label_descent;
 160         wxDouble db_label_leading;
 161         Metrics metrics;
 162         gc->GetTextExtent (wxT ("-80dB"), &metrics.db_label_width, &db_label_height, &db_label_descent, &db_label_leading);
 163
 164         metrics.db_label_width += 8;
 165
 166         int const data_width = GetSize().GetWidth() - metrics.db_label_width;
 167         /* Assume all channels have the same number of points */
 168         metrics.x_scale = data_width / float (_analysis->points (0));
 169         metrics.height = GetSize().GetHeight ();
 170         metrics.y_origin = 32;
 171         metrics.y_scale = (metrics.height - metrics.y_origin) / -_minimum;
 172
 173         for (int i = _minimum; i <= 0; i += 10) {
 174                 int const y = (metrics.height - (i - _minimum) * metrics.y_scale) - metrics.y_origin;
 175                 h_grid.MoveToPoint (metrics.db_label_width - 4, y);
 176                 h_grid.AddLineToPoint (metrics.db_label_width + data_width, y);
 177                 gc->DrawText (std_to_wx (String::compose ("%1dB", i)), 0, y - (db_label_height / 2));
 178         }
 179
 180         gc->SetPen (wxPen (wxColour (200, 200, 200)));
 181         gc->StrokePath (h_grid);
 182
 183         /* Draw an x axis with marks */
 184
 185         wxGraphicsPath v_grid = gc->CreatePath ();
 186
 187         DCPOMATIC_ASSERT (_analysis->samples_per_point() != 0.0);
 188         double const pps = _analysis->sample_rate() * metrics.x_scale / _analysis->samples_per_point();
 189
 190         gc->SetPen (*wxThePenList->FindOrCreatePen (wxColour (0, 0, 0), 1, wxPENSTYLE_SOLID));
 191
 192         double const mark_interval = calculate_mark_interval (rint (128 / pps));
 193
 194         DCPTime t = DCPTime::from_seconds (mark_interval);
 195         while ((t.seconds() * pps) < data_width) {
 196                 double tc = t.seconds ();
 197                 int const h = tc / 3600;
 198                 tc -= h * 3600;
 199                 int const m = tc / 60;
 200                 tc -= m * 60;
 201                 int const s = tc;
 202
 203                 wxString str = wxString::Format (wxT ("%02d:%02d:%02d"), h, m, s);
 204                 wxDouble str_width;
 205                 wxDouble str_height;
 206                 wxDouble str_descent;
 207                 wxDouble str_leading;
 208                 gc->GetTextExtent (str, &str_width, &str_height, &str_descent, &str_leading);
 209
 210                 int const tx = llrintf (metrics.db_label_width + t.seconds() * pps);
 211                 gc->DrawText (str, tx - str_width / 2, metrics.height - metrics.y_origin + db_label_height);
 212
 213                 v_grid.MoveToPoint (tx, metrics.height - metrics.y_origin + 4);
 214                 v_grid.AddLineToPoint (tx, metrics.y_origin);
 215
 216                 t += DCPTime::from_seconds (mark_interval);
 217         }
 218
 219         gc->SetPen (wxPen (wxColour (200, 200, 200)));
 220         gc->StrokePath (v_grid);
 221
 222         if (_type_visible[AudioPoint::PEAK]) {
 223                 for (int c = 0; c < MAX_DCP_AUDIO_CHANNELS; ++c) {
 224                         wxGraphicsPath p = gc->CreatePath ();
 225                         if (_channel_visible[c] && c < _analysis->channels()) {
 226                                 plot_peak (p, c, metrics);
 227                         }
 228                         wxColour const col = _colours[c];
 229                         gc->SetPen (wxPen (wxColour (col.Red(), col.Green(), col.Blue(), col.Alpha() / 2), 1, wxPENSTYLE_SOLID));
 230                         gc->StrokePath (p);
 231                 }
 232         }
 233
 234         if (_type_visible[AudioPoint::RMS]) {
 235                 for (int c = 0; c < MAX_DCP_AUDIO_CHANNELS; ++c) {
 236                         wxGraphicsPath p = gc->CreatePath ();
 237                         if (_channel_visible[c] && c < _analysis->channels()) {
 238                                 plot_rms (p, c, metrics);
 239                         }
 240                         wxColour const col = _colours[c];
 241                         gc->SetPen (wxPen (col, 1, wxPENSTYLE_SOLID));
 242                         gc->StrokePath (p);
 243                 }
 244         }
 245
 246         wxGraphicsPath axes = gc->CreatePath ();
 247         axes.MoveToPoint (metrics.db_label_width, 0);
 248         axes.AddLineToPoint (metrics.db_label_width, metrics.height - metrics.y_origin);
 249         axes.AddLineToPoint (metrics.db_label_width + data_width, metrics.height - metrics.y_origin);
 250         gc->SetPen (wxPen (wxColour (0, 0, 0)));
 251         gc->StrokePath (axes);
 252
 253         if (_cursor) {
 254                 wxGraphicsPath cursor = gc->CreatePath ();
 255                 cursor.MoveToPoint (_cursor->draw.x - _cursor_size / 2, _cursor->draw.y - _cursor_size / 2);
 256                 cursor.AddLineToPoint (_cursor->draw.x + _cursor_size / 2, _cursor->draw.y + _cursor_size / 2);
 257                 cursor.MoveToPoint (_cursor->draw.x + _cursor_size / 2, _cursor->draw.y - _cursor_size / 2);
 258                 cursor.AddLineToPoint (_cursor->draw.x - _cursor_size / 2, _cursor->draw.y + _cursor_size / 2);
 259                 gc->StrokePath (cursor);
 260
 261
 262         }
 263
 264         delete gc;
 265 }
 266
 267 float
 268 AudioPlot::y_for_linear (float p, Metrics const & metrics) const
 269 {
 270         if (p < 1e-4) {
 271                 p = 1e-4;
 272         }
 273
 274         return metrics.height - (linear_to_db(p) - _minimum) * metrics.y_scale - metrics.y_origin;
 275 }
 276
 277 void
 278 AudioPlot::plot_peak (wxGraphicsPath& path, int channel, Metrics const & metrics) const
 279 {
 280         if (_analysis->points (channel) == 0) {
 281                 return;
 282         }
 283
 284         _peak[channel] = PointList ();
 285
 286         float peak = 0;
 287         int const N = _analysis->points(channel);
 288         for (int i = 0; i < N; ++i) {
 289                 float const p = get_point(channel, i)[AudioPoint::PEAK];
 290                 peak -= 0.01f * (1 - log10 (_smoothing) / log10 (max_smoothing));
 291                 if (p > peak) {
 292                         peak = p;
 293                 } else if (peak < 0) {
 294                         peak = 0;
 295                 }
 296
 297                 _peak[channel].push_back (
 298                         Point (
 299                                 wxPoint (metrics.db_label_width + i * metrics.x_scale, y_for_linear (peak, metrics)),
 300                                 DCPTime::from_frames (i * _analysis->samples_per_point(), _analysis->sample_rate()),
 301                                 linear_to_db(peak)
 302                                 )
 303                         );
 304         }
 305
 306         DCPOMATIC_ASSERT (_peak.find(channel) != _peak.end());
 307
 308         path.MoveToPoint (_peak[channel][0].draw);
 309         BOOST_FOREACH (Point const & i, _peak[channel]) {
 310                 path.AddLineToPoint (i.draw);
 311         }
 312 }
 313
 314 void
 315 AudioPlot::plot_rms (wxGraphicsPath& path, int channel, Metrics const & metrics) const
 316 {
 317         if (_analysis->points (channel) == 0) {
 318                 return;
 319         }
 320
 321         _rms[channel] = PointList();
 322
 323         list<float> smoothing;
 324
 325         int const N = _analysis->points(channel);
 326
 327         float const first = get_point(channel, 0)[AudioPoint::RMS];
 328         float const last = get_point(channel, N - 1)[AudioPoint::RMS];
 329
 330         int const before = _smoothing / 2;
 331         int const after = _smoothing - before;
 332
 333         /* Pre-load the smoothing list */
 334         for (int i = 0; i < before; ++i) {
 335                 smoothing.push_back (first);
 336         }
 337         for (int i = 0; i < after; ++i) {
 338                 if (i < N) {
 339                         smoothing.push_back (get_point(channel, i)[AudioPoint::RMS]);
 340                 } else {
 341                         smoothing.push_back (last);
 342                 }
 343         }
 344
 345         for (int i = 0; i < N; ++i) {
 346
 347                 int const next_for_window = i + after;
 348
 349                 if (next_for_window < N) {
 350                         smoothing.push_back (get_point(channel, i)[AudioPoint::RMS]);
 351                 } else {
 352                         smoothing.push_back (last);
 353                 }
 354
 355                 smoothing.pop_front ();
 356
 357                 float p = 0;
 358                 for (list<float>::const_iterator j = smoothing.begin(); j != smoothing.end(); ++j) {
 359                         p += pow (*j, 2);
 360                 }
 361
 362                 if (!smoothing.empty ()) {
 363                         p = sqrt (p / smoothing.size ());
 364                 }
 365
 366                 _rms[channel].push_back (
 367                         Point (
 368                                 wxPoint (metrics.db_label_width + i * metrics.x_scale, y_for_linear (p, metrics)),
 369                                 DCPTime::from_frames (i * _analysis->samples_per_point(), _analysis->sample_rate()),
 370                                 linear_to_db(p)
 371                                 )
 372                         );
 373         }
 374
 375         DCPOMATIC_ASSERT (_rms.find(channel) != _rms.end());
 376
 377         path.MoveToPoint (_rms[channel][0].draw);
 378         BOOST_FOREACH (Point const & i, _rms[channel]) {
 379                 path.AddLineToPoint (i.draw);
 380         }
 381 }
 382
 383 void
 384 AudioPlot::set_smoothing (int s)
 385 {
 386         _smoothing = s;
 387         _rms.clear ();
 388         _peak.clear ();
 389         Refresh ();
 390 }
 391
 392 void
 393 AudioPlot::set_gain_correction (double gain)
 394 {
 395         _gain_correction = gain;
 396         Refresh ();
 397 }
 398
 399 AudioPoint
 400 AudioPlot::get_point (int channel, int point) const
 401 {
 402         AudioPoint p = _analysis->get_point (channel, point);
 403         for (int i = 0; i < AudioPoint::COUNT; ++i) {
 404                 p[i] *= db_to_linear(_gain_correction);
 405         }
 406
 407         return p;
 408 }
 409
 410 /** @param n Channel index.
 411  *  @return Colour used by that channel in the plot.
 412  */
 413 wxColour
 414 AudioPlot::colour (int n) const
 415 {
 416         DCPOMATIC_ASSERT (n < int(_colours.size()));
 417         return _colours[n];
 418 }
 419
 420 void
 421 AudioPlot::search (map<int, PointList> const & search, wxMouseEvent const & ev, double& min_dist, Point& min_point) const
 422 {
 423         for (map<int, PointList>::const_iterator i = search.begin(); i != search.end(); ++i) {
 424                 BOOST_FOREACH (Point const & j, i->second) {
 425                         double const dist = pow(ev.GetX() - j.draw.x, 2) + pow(ev.GetY() - j.draw.y, 2);
 426                         if (dist < min_dist) {
 427                                 min_dist = dist;
 428                                 min_point = j;
 429                         }
 430                 }
 431         }
 432 }
 433
 434
 435 void
 436 AudioPlot::left_down ()
 437 {
 438         if (_cursor) {
 439                 shared_ptr<FilmViewer> fv = _viewer.lock ();
 440                 if (fv) {
 441                         fv->seek (_cursor->time, true);
 442                 }
 443         }
 444 }
 445
 446
 447 void
 448 AudioPlot::mouse_moved (wxMouseEvent& ev)
 449 {
 450         double min_dist = DBL_MAX;
 451         Point min_point;
 452
 453         search (_rms, ev, min_dist, min_point);
 454         search (_peak, ev, min_dist, min_point);
 455
 456         _cursor = optional<Point> ();
 457
 458         if (min_dist < DBL_MAX) {
 459                 wxRect before (min_point.draw.x - _cursor_size / 2, min_point.draw.y - _cursor_size / 2, _cursor_size, _cursor_size);
 460                 GetParent()->Refresh (true, &before);
 461                 _cursor = min_point;
 462                 wxRect after (min_point.draw.x - _cursor_size / 2, min_point.draw.y - _cursor_size / 2, _cursor_size, _cursor_size);
 463                 GetParent()->Refresh (true, &after);
 464                 Cursor (min_point.time, min_point.db);
 465         }
 466 }
 467
 468 void
 469 AudioPlot::mouse_leave (wxMouseEvent &)
 470 {
 471         _cursor = optional<Point> ();
 472         Refresh ();
 473         Cursor (optional<DCPTime>(), optional<float>());
 474 }