Fix --no-nls (4/5), i18n include order in libs/*
[ardour.git] / libs / ardour / luaproc.cc
1 /*
2     Copyright (C) 2016 Robin Gareus <robin@gareus.org>
3     Copyright (C) 2006 Paul Davis
4
5     This program is free software; you can redistribute it and/or modify it
6     under the terms of the GNU General Public License as published by the Free
7     Software Foundation; either version 2 of the License, or (at your option)
8     any later version.
9
10     This program is distributed in the hope that it will be useful, but WITHOUT
11     ANY WARRANTY; without even the implied warranty of MERCHANTABILITY or
12     FITNESS FOR A PARTICULAR PURPOSE.  See the GNU General Public License
13     for more details.
14
15     You should have received a copy of the GNU General Public License along
16     with this program; if not, write to the Free Software Foundation, Inc.,
17     675 Mass Ave, Cambridge, MA 02139, USA.
18 */
19
20 #include <glib.h>
21 #include <glibmm/miscutils.h>
22 #include <glibmm/fileutils.h>
23
24 #include "pbd/gstdio_compat.h"
25 #include "pbd/pthread_utils.h"
26
27 #include "ardour/audio_buffer.h"
28 #include "ardour/buffer_set.h"
29 #include "ardour/filesystem_paths.h"
30 #include "ardour/luabindings.h"
31 #include "ardour/luaproc.h"
32 #include "ardour/luascripting.h"
33 #include "ardour/midi_buffer.h"
34 #include "ardour/plugin.h"
35 #include "ardour/session.h"
36
37 #include "LuaBridge/LuaBridge.h"
38
39 #include "pbd/i18n.h"
40
41 using namespace ARDOUR;
42 using namespace PBD;
43
44 LuaProc::LuaProc (AudioEngine& engine,
45                   Session& session,
46                   const std::string &script)
47         : Plugin (engine, session)
48         , _mempool ("LuaProc", 3145728)
49 #ifdef USE_TLSF
50         , lua (lua_newstate (&PBD::TLSF::lalloc, &_mempool))
51 #elif defined USE_MALLOC
52         , lua ()
53 #else
54         , lua (lua_newstate (&PBD::ReallocPool::lalloc, &_mempool))
55 #endif
56         , _lua_dsp (0)
57         , _script (script)
58         , _lua_does_channelmapping (false)
59         , _lua_has_inline_display (false)
60         , _designated_bypass_port (UINT32_MAX)
61         , _control_data (0)
62         , _shadow_data (0)
63         , _configured (false)
64         , _has_midi_input (false)
65         , _has_midi_output (false)
66 {
67         init ();
68
69         /* when loading a session, or pasing a processor,
70          * the script is set during set_state();
71          */
72         if (!_script.empty () && load_script ()) {
73                 throw failed_constructor ();
74         }
75 }
76
77 LuaProc::LuaProc (const LuaProc &other)
78         : Plugin (other)
79         , _mempool ("LuaProc", 3145728)
80 #ifdef USE_TLSF
81         , lua (lua_newstate (&PBD::TLSF::lalloc, &_mempool))
82 #elif defined USE_MALLOC
83         , lua ()
84 #else
85         , lua (lua_newstate (&PBD::ReallocPool::lalloc, &_mempool))
86 #endif
87         , _lua_dsp (0)
88         , _script (other.script ())
89         , _origin (other._origin)
90         , _lua_does_channelmapping (false)
91         , _lua_has_inline_display (false)
92         , _designated_bypass_port (UINT32_MAX)
93         , _control_data (0)
94         , _shadow_data (0)
95         , _configured (false)
96         , _has_midi_input (false)
97         , _has_midi_output (false)
98 {
99         init ();
100
101         if (load_script ()) {
102                 throw failed_constructor ();
103         }
104
105         for (uint32_t i = 0; i < parameter_count (); ++i) {
106                 _control_data[i] = other._shadow_data[i];
107                 _shadow_data[i]  = other._shadow_data[i];
108         }
109 }
110
111 LuaProc::~LuaProc () {
112 #ifdef WITH_LUAPROC_STATS
113         if (_info && _stats_cnt > 0) {
114                 printf ("LuaProc: '%s' run()  avg: %.3f  max: %.3f [ms] p: %.1f\n",
115                                 _info->name.c_str (),
116                                 0.0001f * _stats_avg[0] / (float) _stats_cnt,
117                                 0.0001f * _stats_max[0],
118                                 _stats_max[0] * (float)_stats_cnt / _stats_avg[0]);
119                 printf ("LuaProc: '%s' gc()   avg: %.3f  max: %.3f [ms] p: %.1f\n",
120                                 _info->name.c_str (),
121                                 0.0001f * _stats_avg[1] / (float) _stats_cnt,
122                                 0.0001f * _stats_max[1],
123                                 _stats_max[1] * (float)_stats_cnt / _stats_avg[1]);
124         }
125 #endif
126         lua.do_command ("collectgarbage();");
127         delete (_lua_dsp);
128         delete [] _control_data;
129         delete [] _shadow_data;
130 }
131
132 void
133 LuaProc::init ()
134 {
135 #ifdef WITH_LUAPROC_STATS
136         _stats_avg[0] = _stats_avg[1] = _stats_max[0] = _stats_max[1] = 0;
137         _stats_cnt = -25;
138 #endif
139
140         lua.Print.connect (sigc::mem_fun (*this, &LuaProc::lua_print));
141         // register session object
142         lua_State* L = lua.getState ();
143         lua_mlock (L, 1);
144         LuaBindings::stddef (L);
145         LuaBindings::common (L);
146         LuaBindings::dsp (L);
147
148         luabridge::getGlobalNamespace (L)
149                 .beginNamespace ("Ardour")
150                 .deriveClass <LuaProc, PBD::StatefulDestructible> ("LuaProc")
151                 .addFunction ("queue_draw", &LuaProc::queue_draw)
152                 .addFunction ("shmem", &LuaProc::instance_shm)
153                 .addFunction ("table", &LuaProc::instance_ref)
154                 .addFunction ("route", &LuaProc::route)
155                 .addFunction ("unique_id", &LuaProc::unique_id)
156                 .addFunction ("name", &LuaProc::name)
157                 .endClass ()
158                 .endNamespace ();
159         lua_mlock (L, 0);
160
161         // add session to global lua namespace
162         luabridge::push <Session *> (L, &_session);
163         lua_setglobal (L, "Session");
164
165         // instance
166         luabridge::push <LuaProc *> (L, this);
167         lua_setglobal (L, "self");
168
169         // sandbox
170         lua.sandbox (true);
171 #if 0
172         lua.do_command ("for n in pairs(_G) do print(n) end print ('----')"); // print global env
173 #endif
174         lua.do_command ("function ardour () end");
175 }
176
177 boost::weak_ptr<Route>
178 LuaProc::route () const
179 {
180         if (!_owner) {
181                 return boost::weak_ptr<Route>();
182         }
183         return static_cast<Route*>(_owner)->weakroute ();
184 }
185
186 void
187 LuaProc::lua_print (std::string s) {
188         std::cout <<"LuaProc: " << s << "\n";
189         PBD::error << "LuaProc: " << s << "\n";
190 }
191
192 bool
193 LuaProc::load_script ()
194 {
195         assert (!_lua_dsp); // don't allow to re-initialize
196         LuaPluginInfoPtr lpi;
197
198         // TODO: refine APIs; function arguments..
199         // - perform channel-map in ardour (silent/scratch buffers) ?
200         // - control-port API (explicit get/set functions ??)
201         // - latency reporting (global var? ctrl-port? set-function ?)
202         // - MIDI -> sparse table of events
203         //     { [sample] => { Event }, .. }
204         //   or  { { sample, Event }, .. }
205
206         try {
207                 LuaScriptInfoPtr lsi = LuaScripting::script_info (_script);
208                 lpi = LuaPluginInfoPtr (new LuaPluginInfo (lsi));
209                 assert (lpi);
210                 set_info (lpi);
211                 _mempool.set_name ("LuaProc: " + lsi->name);
212                 _docs = lsi->description;
213         } catch (failed_constructor& err) {
214                 return true;
215         }
216
217         lua_State* L = lua.getState ();
218         lua.do_command (_script);
219
220         // check if script has a DSP callback
221         luabridge::LuaRef lua_dsp_run = luabridge::getGlobal (L, "dsp_run");
222         luabridge::LuaRef lua_dsp_map = luabridge::getGlobal (L, "dsp_runmap");
223
224         if ((lua_dsp_run.type () != LUA_TFUNCTION) == (lua_dsp_map.type () != LUA_TFUNCTION)) {
225                 return true;
226         }
227
228         if (lua_dsp_run.type () == LUA_TFUNCTION) {
229                 _lua_dsp = new luabridge::LuaRef (lua_dsp_run);
230         }
231         else if (lua_dsp_map.type () == LUA_TFUNCTION) {
232                 _lua_dsp = new luabridge::LuaRef (lua_dsp_map);
233                 _lua_does_channelmapping = true;
234         }
235         else {
236                 assert (0);
237         }
238
239         // initialize the DSP if needed
240         luabridge::LuaRef lua_dsp_init = luabridge::getGlobal (L, "dsp_init");
241         if (lua_dsp_init.type () == LUA_TFUNCTION) {
242                 try {
243                         lua_dsp_init (_session.nominal_sample_rate ());
244                 } catch (luabridge::LuaException const& e) {
245                 } catch (...) { }
246         }
247
248         _ctrl_params.clear ();
249
250         luabridge::LuaRef lua_render = luabridge::getGlobal (L, "render_inline");
251         if (lua_render.isFunction ()) {
252                 _lua_has_inline_display = true;
253         }
254
255         luabridge::LuaRef lua_params = luabridge::getGlobal (L, "dsp_params");
256         if (lua_params.isFunction ()) {
257
258                 // call function // add try {} catch (luabridge::LuaException const& e)
259                 luabridge::LuaRef params = lua_params ();
260
261                 if (params.isTable ()) {
262
263                         for (luabridge::Iterator i (params); !i.isNil (); ++i) {
264                                 // required fields
265                                 if (!i.key ().isNumber ())           { return false; }
266                                 if (!i.value ().isTable ())          { return false; }
267                                 if (!i.value ()["type"].isString ()) { return false; }
268                                 if (!i.value ()["name"].isString ()) { return false; }
269                                 if (!i.value ()["min"].isNumber ())  { return false; }
270                                 if (!i.value ()["max"].isNumber ())  { return false; }
271
272                                 int pn = i.key ().cast<int> ();
273                                 std::string type = i.value ()["type"].cast<std::string> ();
274                                 if (type == "input") {
275                                         if (!i.value ()["default"].isNumber ()) { return false; }
276                                         _ctrl_params.push_back (std::make_pair (false, pn));
277                                 }
278                                 else if (type == "output") {
279                                         _ctrl_params.push_back (std::make_pair (true, pn));
280                                 } else {
281                                         return false;
282                                 }
283                                 assert (pn == (int) _ctrl_params.size ());
284
285                                 //_param_desc[pn] = boost::shared_ptr<ParameterDescriptor> (new ParameterDescriptor());
286                                 luabridge::LuaRef lr = i.value ();
287
288                                 if (type == "input") {
289                                         _param_desc[pn].normal     = lr["default"].cast<float> ();
290                                 } else {
291                                         _param_desc[pn].normal     = lr["min"].cast<float> (); // output-port, no default
292                                 }
293                                 _param_desc[pn].lower        = lr["min"].cast<float> ();
294                                 _param_desc[pn].upper        = lr["max"].cast<float> ();
295                                 _param_desc[pn].toggled      = lr["toggled"].isBoolean () && (lr["toggled"]).cast<bool> ();
296                                 _param_desc[pn].logarithmic  = lr["logarithmic"].isBoolean () && (lr["logarithmic"]).cast<bool> ();
297                                 _param_desc[pn].integer_step = lr["integer"].isBoolean () && (lr["integer"]).cast<bool> ();
298                                 _param_desc[pn].sr_dependent = lr["ratemult"].isBoolean () && (lr["ratemult"]).cast<bool> ();
299                                 _param_desc[pn].enumeration  = lr["enum"].isBoolean () && (lr["enum"]).cast<bool> ();
300
301                                 if (lr["bypass"].isBoolean () && (lr["bypass"]).cast<bool> ()) {
302                                         _designated_bypass_port = pn - 1; // lua table starts at 1.
303                                 }
304
305                                 if (lr["unit"].isString ()) {
306                                         std::string unit = lr["unit"].cast<std::string> ();
307                                         if (unit == "dB")             { _param_desc[pn].unit = ParameterDescriptor::DB; }
308                                         else if (unit == "Hz")        { _param_desc[pn].unit = ParameterDescriptor::HZ; }
309                                         else if (unit == "Midi Note") { _param_desc[pn].unit = ParameterDescriptor::MIDI_NOTE; }
310                                 }
311                                 _param_desc[pn].label        = (lr["name"]).cast<std::string> ();
312                                 _param_desc[pn].scale_points = parse_scale_points (&lr);
313
314                                 luabridge::LuaRef doc = lr["doc"];
315                                 if (doc.isString ()) {
316                                         _param_doc[pn] = doc.cast<std::string> ();
317                                 } else {
318                                         _param_doc[pn] = "";
319                                 }
320                                 assert (!(_param_desc[pn].toggled && _param_desc[pn].logarithmic));
321                         }
322                 }
323         }
324
325         _control_data = new float[parameter_count ()];
326         _shadow_data  = new float[parameter_count ()];
327
328         for (uint32_t i = 0; i < parameter_count (); ++i) {
329                 if (parameter_is_input (i)) {
330                         _control_data[i] = _shadow_data[i] = default_value (i);
331                 }
332         }
333
334         // expose ctrl-ports to global lua namespace
335         luabridge::push <float *> (L, _control_data);
336         lua_setglobal (L, "CtrlPorts");
337
338         return false; // no error
339 }
340
341 bool
342 LuaProc::can_support_io_configuration (const ChanCount& in, ChanCount& out, ChanCount* imprecise)
343 {
344         // caller must hold process lock (no concurrent calls to interpreter
345         _output_configs.clear ();
346
347         lua_State* L = lua.getState ();
348         luabridge::LuaRef ioconfig = luabridge::getGlobal (L, "dsp_ioconfig");
349
350         luabridge::LuaRef *_iotable = NULL; // can't use reference :(
351
352         if (ioconfig.isFunction ()) {
353                 try {
354                         luabridge::LuaRef iotable = ioconfig ();
355                         if (iotable.isTable ()) {
356                                 _iotable = new luabridge::LuaRef (iotable);
357                         }
358                 } catch (luabridge::LuaException const& e) {
359                         _iotable = NULL;
360                 } catch (...) {
361                         _iotable = NULL;
362                 }
363         }
364
365         if (!_iotable) {
366                 /* empty table as default */
367                 luabridge::LuaRef iotable = luabridge::newTable(L);
368                 _iotable = new luabridge::LuaRef (iotable);
369         }
370
371         // now we can reference it.
372         luabridge::LuaRef iotable (*_iotable);
373         delete _iotable;
374
375         if ((iotable).length () < 1) {
376                 /* empty table as only config, to get default values */
377                 luabridge::LuaRef ioconf = luabridge::newTable(L);
378                 iotable[1] = ioconf;
379         }
380
381         const int audio_in = in.n_audio ();
382         const int midi_in = in.n_midi ();
383
384         // preferred setting (provided by plugin_insert)
385         const int preferred_out = out.n_audio ();
386         const int preferred_midiout = out.n_midi ();
387
388         int midi_out = -1;
389         int audio_out = -1;
390         float penalty = 9999;
391         bool found = false;
392
393 #define FOUNDCFG_PENALTY(in, out, p) {                              \
394   _output_configs.insert (out);                                     \
395   if (p < penalty) {                                                \
396     audio_out = (out);                                              \
397     midi_out = possible_midiout;                                    \
398     if (imprecise) {                                                \
399       imprecise->set (DataType::AUDIO, (in));                       \
400       imprecise->set (DataType::MIDI, possible_midiin);             \
401     }                                                               \
402     _has_midi_input = (possible_midiin > 0);                        \
403     _has_midi_output = (possible_midiout > 0);                      \
404     penalty = p;                                                    \
405     found = true;                                                   \
406   }                                                                 \
407 }
408
409 #define FOUNDCFG_IMPRECISE(in, out) {                               \
410   const float p = fabsf ((float)(out) - preferred_out) *            \
411                       (((out) > preferred_out) ? 1.1 : 1)           \
412                 + fabsf ((float)possible_midiout - preferred_midiout) *    \
413                       ((possible_midiout - preferred_midiout) ? 0.6 : 0.5) \
414                 + fabsf ((float)(in) - audio_in) *                  \
415                       (((in) > audio_in) ? 275 : 250)               \
416                 + fabsf ((float)possible_midiin - midi_in) *        \
417                       ((possible_midiin - midi_in) ? 100 : 110);    \
418   FOUNDCFG_PENALTY(in, out, p);                                     \
419 }
420
421 #define FOUNDCFG(out)                                               \
422   FOUNDCFG_IMPRECISE(audio_in, out)
423
424 #define ANYTHINGGOES                                                \
425   _output_configs.insert (0);
426
427 #define UPTO(nch) {                                                 \
428   for (int n = 1; n < nch; ++n) {                                   \
429     _output_configs.insert (n);                                     \
430   }                                                                 \
431 }
432
433         if (imprecise) {
434                 *imprecise = in;
435         }
436
437         for (luabridge::Iterator i (iotable); !i.isNil (); ++i) {
438                 luabridge::LuaRef io (i.value ());
439                 if (!io.isTable()) {
440                         continue;
441                 }
442
443                 int possible_in = io["audio_in"].isNumber() ? io["audio_in"] : -1;
444                 int possible_out = io["audio_out"].isNumber() ? io["audio_out"] : -1;
445                 int possible_midiin = io["midi_in"].isNumber() ? io["midi_in"] : 0;
446                 int possible_midiout = io["midi_out"].isNumber() ? io["midi_out"] : 0;
447
448                 if (midi_in != possible_midiin && !imprecise) {
449                         continue;
450                 }
451
452                 // exact match
453                 if ((possible_in == audio_in) && (possible_out == preferred_out)) {
454                         /* Set penalty so low that this output configuration
455                          * will trump any other one */
456                         FOUNDCFG_PENALTY(audio_in, preferred_out, -1);
457                 }
458
459                 if (possible_out == 0 && possible_midiout == 0) {
460                         /* skip configurations with no output at all */
461                         continue;
462                 }
463
464                 if (possible_in == -1 || possible_in == -2) {
465                         /* wildcard for input */
466                         if (possible_out == possible_in) {
467                                 /* either both -1 or both -2 (invalid and
468                                  * interpreted as both -1): out must match in */
469                                 FOUNDCFG (audio_in);
470                         } else if (possible_out == -3 - possible_in) {
471                                 /* one is -1, the other is -2: any output configuration
472                                  * possible, pick what the insert prefers */
473                                 FOUNDCFG (preferred_out);
474                                 ANYTHINGGOES;
475                         } else if (possible_out < -2) {
476                                 /* variable number of outputs up to -N,
477                                  * invalid if in == -2 but we accept it anyway */
478                                 FOUNDCFG (min (-possible_out, preferred_out));
479                                 UPTO (-possible_out)
480                         } else {
481                                 /* exact number of outputs */
482                                 FOUNDCFG (possible_out);
483                         }
484                 }
485
486                 if (possible_in < -2 || possible_in >= 0) {
487                         /* specified number, exact or up to */
488                         int desired_in;
489                         if (possible_in >= 0) {
490                                 /* configuration can only match possible_in */
491                                 desired_in = possible_in;
492                         } else {
493                                 /* configuration can match up to -possible_in */
494                                 desired_in = min (-possible_in, audio_in);
495                         }
496                         if (!imprecise && audio_in != desired_in) {
497                                 /* skip that configuration, it cannot match
498                                  * the required audio input count, and we
499                                  * cannot ask for change via \imprecise */
500                         } else if (possible_out == -1 || possible_out == -2) {
501                                 /* any output configuration possible
502                                  * out == -2 is invalid, interpreted as out == -1.
503                                  * Really imprecise only if desired_in != audio_in */
504                                 FOUNDCFG_IMPRECISE (desired_in, preferred_out);
505                                 ANYTHINGGOES;
506                         } else if (possible_out < -2) {
507                                 /* variable number of outputs up to -N
508                                  * not specified if in > 0, but we accept it anyway.
509                                  * Really imprecise only if desired_in != audio_in */
510                                 FOUNDCFG_IMPRECISE (desired_in, min (-possible_out, preferred_out));
511                                 UPTO (-possible_out)
512                         } else {
513                                 /* exact number of outputs
514                                  * Really imprecise only if desired_in != audio_in */
515                                 FOUNDCFG_IMPRECISE (desired_in, possible_out);
516                         }
517                 }
518
519         }
520
521         if (!found) {
522                 return false;
523         }
524
525         if (imprecise) {
526                 _selected_in = *imprecise;
527         } else {
528                 _selected_in = in;
529         }
530
531         out.set (DataType::MIDI, midi_out);
532         out.set (DataType::AUDIO, audio_out);
533         _selected_out = out;
534
535         return true;
536 }
537
538 bool
539 LuaProc::configure_io (ChanCount in, ChanCount out)
540 {
541         in.set (DataType::MIDI, _has_midi_input ? 1 : 0);
542         out.set (DataType::MIDI, _has_midi_output ? 1 : 0);
543
544         _info->n_inputs = _selected_in;
545         _info->n_outputs = _selected_out;
546
547         // configure the DSP if needed
548         if (in != _configured_in || out != _configured_out || !_configured) {
549                 lua_State* L = lua.getState ();
550                 luabridge::LuaRef lua_dsp_configure = luabridge::getGlobal (L, "dsp_configure");
551                 if (lua_dsp_configure.type () == LUA_TFUNCTION) {
552                         try {
553                                 luabridge::LuaRef io = lua_dsp_configure (&in, &out);
554                                 if (io.isTable ()) {
555                                         ChanCount lin (_selected_in);
556                                         ChanCount lout (_selected_out);
557
558                                         if (io["audio_in"].type() == LUA_TNUMBER) {
559                                                 const int c = io["audio_in"].cast<int> ();
560                                                 if (c >= 0) {
561                                                         lin.set (DataType::AUDIO, c);
562                                                 }
563                                         }
564                                         if (io["audio_out"].type() == LUA_TNUMBER) {
565                                                 const int c = io["audio_out"].cast<int> ();
566                                                 if (c >= 0) {
567                                                         lout.set (DataType::AUDIO, c);
568                                                 }
569                                         }
570                                         if (io["midi_in"].type() == LUA_TNUMBER) {
571                                                 const int c = io["midi_in"].cast<int> ();
572                                                 if (c >= 0) {
573                                                         lin.set (DataType::MIDI, c);
574                                                 }
575                                         }
576                                         if (io["midi_out"].type() == LUA_TNUMBER) {
577                                                 const int c = io["midi_out"].cast<int> ();
578                                                 if (c >= 0) {
579                                                         lout.set (DataType::MIDI, c);
580                                                 }
581                                         }
582                                         _info->n_inputs = lin;
583                                         _info->n_outputs = lout;
584                                 }
585                                 _configured = true;
586                         } catch (luabridge::LuaException const& e) {
587                                 PBD::error << "LuaException: " << e.what () << "\n";
588 #ifndef NDEBUG
589                                 std::cerr << "LuaException: " << e.what () << "\n";
590 #endif
591                                 return false;
592                         } catch (...) {
593                                 return false;
594                         }
595                 }
596         }
597
598         _configured_in = in;
599         _configured_out = out;
600
601         return true;
602 }
603
604 int
605 LuaProc::connect_and_run (BufferSet& bufs,
606                 samplepos_t start, samplepos_t end, double speed,
607                 ChanMapping in, ChanMapping out,
608                 pframes_t nframes, samplecnt_t offset)
609 {
610         if (!_lua_dsp) {
611                 return 0;
612         }
613
614         Plugin::connect_and_run (bufs, start, end, speed, in, out, nframes, offset);
615
616         // This is needed for ARDOUR::Session requests :(
617         if (! SessionEvent::has_per_thread_pool ()) {
618                 char name[64];
619                 snprintf (name, 64, "Proc-%p", this);
620                 pthread_set_name (name);
621                 SessionEvent::create_per_thread_pool (name, 64);
622                 PBD::notify_event_loops_about_thread_creation (pthread_self(), name, 64);
623         }
624
625         uint32_t const n = parameter_count ();
626         for (uint32_t i = 0; i < n; ++i) {
627                 if (parameter_is_control (i) && parameter_is_input (i)) {
628                         _control_data[i] = _shadow_data[i];
629                 }
630         }
631
632 #ifdef WITH_LUAPROC_STATS
633         int64_t t0 = g_get_monotonic_time ();
634 #endif
635
636         try {
637                 if (_lua_does_channelmapping) {
638                         // run the DSP function
639                         (*_lua_dsp)(&bufs, in, out, nframes, offset);
640                 } else {
641                         // map buffers
642                         BufferSet& silent_bufs  = _session.get_silent_buffers (ChanCount (DataType::AUDIO, 1));
643                         BufferSet& scratch_bufs = _session.get_scratch_buffers (ChanCount (DataType::AUDIO, 1));
644
645                         lua_State* L = lua.getState ();
646                         luabridge::LuaRef in_map (luabridge::newTable (L));
647                         luabridge::LuaRef out_map (luabridge::newTable (L));
648
649                         const uint32_t audio_in = _configured_in.n_audio ();
650                         const uint32_t audio_out = _configured_out.n_audio ();
651                         const uint32_t midi_in = _configured_in.n_midi ();
652
653                         for (uint32_t ap = 0; ap < audio_in; ++ap) {
654                                 bool valid;
655                                 const uint32_t buf_index = in.get(DataType::AUDIO, ap, &valid);
656                                 if (valid) {
657                                         in_map[ap + 1] = bufs.get_audio (buf_index).data (offset);
658                                 } else {
659                                         in_map[ap + 1] = silent_bufs.get_audio (0).data (offset);
660                                 }
661                         }
662                         for (uint32_t ap = 0; ap < audio_out; ++ap) {
663                                 bool valid;
664                                 const uint32_t buf_index = out.get(DataType::AUDIO, ap, &valid);
665                                 if (valid) {
666                                         out_map[ap + 1] = bufs.get_audio (buf_index).data (offset);
667                                 } else {
668                                         out_map[ap + 1] = scratch_bufs.get_audio (0).data (offset);
669                                 }
670                         }
671
672                         luabridge::LuaRef lua_midi_src_tbl (luabridge::newTable (L));
673                         int e = 1; // > 1 port, we merge events (unsorted)
674                         for (uint32_t mp = 0; mp < midi_in; ++mp) {
675                                 bool valid;
676                                 const uint32_t idx = in.get(DataType::MIDI, mp, &valid);
677                                 if (valid) {
678                                         for (MidiBuffer::iterator m = bufs.get_midi(idx).begin();
679                                                         m != bufs.get_midi(idx).end(); ++m, ++e) {
680                                                 const Evoral::Event<samplepos_t> ev(*m, false);
681                                                 luabridge::LuaRef lua_midi_data (luabridge::newTable (L));
682                                                 const uint8_t* data = ev.buffer();
683                                                 for (uint32_t i = 0; i < ev.size(); ++i) {
684                                                         lua_midi_data [i + 1] = data[i];
685                                                 }
686                                                 luabridge::LuaRef lua_midi_event (luabridge::newTable (L));
687                                                 lua_midi_event["time"] = 1 + (*m).time();
688                                                 lua_midi_event["data"] = lua_midi_data;
689                                                 lua_midi_event["bytes"] = data;
690                                                 lua_midi_event["size"] = ev.size();
691                                                 lua_midi_src_tbl[e] = lua_midi_event;
692                                         }
693                                 }
694                         }
695
696                         if (_has_midi_input) {
697                                 // XXX TODO This needs a better solution than global namespace
698                                 luabridge::push (L, lua_midi_src_tbl);
699                                 lua_setglobal (L, "midiin");
700                         }
701
702                         luabridge::LuaRef lua_midi_sink_tbl (luabridge::newTable (L));
703                         if (_has_midi_output) {
704                                 luabridge::push (L, lua_midi_sink_tbl);
705                                 lua_setglobal (L, "midiout");
706                         }
707
708                         // run the DSP function
709                         (*_lua_dsp)(in_map, out_map, nframes);
710
711                         // copy back midi events
712                         if (_has_midi_output && lua_midi_sink_tbl.isTable ()) {
713                                 bool valid;
714                                 const uint32_t idx = out.get(DataType::MIDI, 0, &valid);
715                                 if (valid && bufs.count().n_midi() > idx) {
716                                         MidiBuffer& mbuf = bufs.get_midi(idx);
717                                         mbuf.silence(0, 0);
718                                         for (luabridge::Iterator i (lua_midi_sink_tbl); !i.isNil (); ++i) {
719                                                 if (!i.key ().isNumber ()) { continue; }
720                                                 if (!i.value ()["time"].isNumber ()) { continue; }
721                                                 if (!i.value ()["data"].isTable ()) { continue; }
722                                                 luabridge::LuaRef data_tbl (i.value ()["data"]);
723                                                 samplepos_t tme = i.value ()["time"];
724                                                 if (tme < 1 || tme > nframes) { continue; }
725                                                 uint8_t data[64];
726                                                 size_t size = 0;
727                                                 for (luabridge::Iterator di (data_tbl); !di.isNil () && size < sizeof(data); ++di, ++size) {
728                                                         data[size] = di.value ();
729                                                 }
730                                                 if (size > 0 && size < 64) {
731                                                         mbuf.push_back(tme - 1, size, data);
732                                                 }
733                                         }
734
735                                 }
736                         }
737                 }
738         } catch (luabridge::LuaException const& e) {
739                 PBD::error << "LuaException: " << e.what () << "\n";
740 #ifndef NDEBUG
741                 std::cerr << "LuaException: " << e.what () << "\n";
742 #endif
743                 return -1;
744         } catch (...) {
745                 return -1;
746         }
747 #ifdef WITH_LUAPROC_STATS
748         int64_t t1 = g_get_monotonic_time ();
749 #endif
750
751         lua.collect_garbage_step ();
752 #ifdef WITH_LUAPROC_STATS
753         if (++_stats_cnt > 0) {
754                 int64_t t2 = g_get_monotonic_time ();
755                 int64_t ela0 = t1 - t0;
756                 int64_t ela1 = t2 - t1;
757                 if (ela0 > _stats_max[0]) _stats_max[0] = ela0;
758                 if (ela1 > _stats_max[1]) _stats_max[1] = ela1;
759                 _stats_avg[0] += ela0;
760                 _stats_avg[1] += ela1;
761         }
762 #endif
763         return 0;
764 }
765
766
767 void
768 LuaProc::add_state (XMLNode* root) const
769 {
770         XMLNode*    child;
771
772         gchar* b64 = g_base64_encode ((const guchar*)_script.c_str (), _script.size ());
773         std::string b64s (b64);
774         g_free (b64);
775         XMLNode* script_node = new XMLNode (X_("script"));
776         script_node->set_property (X_("lua"), LUA_VERSION);
777         script_node->set_property (X_("origin"), _origin);
778         script_node->add_content (b64s);
779         root->add_child_nocopy (*script_node);
780
781         for (uint32_t i = 0; i < parameter_count(); ++i) {
782                 if (parameter_is_input(i) && parameter_is_control(i)) {
783                         child = new XMLNode("Port");
784                         child->set_property("id", i);
785                         child->set_property("value", _shadow_data[i]);
786                         root->add_child_nocopy(*child);
787                 }
788         }
789 }
790
791 int
792 LuaProc::set_script_from_state (const XMLNode& node)
793 {
794         XMLNode* child;
795         if (node.name () != state_node_name ()) {
796                 return -1;
797         }
798
799         if ((child = node.child (X_("script"))) != 0) {
800                 XMLProperty const* prop;
801                 if ((prop = node.property ("origin")) != 0) {
802                         _origin = prop->value();
803                 }
804                 for (XMLNodeList::const_iterator n = child->children ().begin (); n != child->children ().end (); ++n) {
805                         if (!(*n)->is_content ()) { continue; }
806                         gsize size;
807                         guchar* buf = g_base64_decode ((*n)->content ().c_str (), &size);
808                         _script = std::string ((const char*)buf, size);
809                         g_free (buf);
810                         if (load_script ()) {
811                                 PBD::error << _("Failed to load Lua script from session state.") << endmsg;
812 #ifndef NDEBUG
813                                 std::cerr << "Failed Lua Script: " << _script << std::endl;
814 #endif
815                                 _script = "";
816                         }
817                         break;
818                 }
819         }
820         if (_script.empty ()) {
821                 PBD::error << _("Session State for LuaProcessor did not include a Lua script.") << endmsg;
822                 return -1;
823         }
824         if (!_lua_dsp) {
825                 PBD::error << _("Invalid/incompatible Lua script found for LuaProcessor.") << endmsg;
826                 return -1;
827         }
828         return 0;
829 }
830
831 int
832 LuaProc::set_state (const XMLNode& node, int version)
833 {
834 #ifndef NO_PLUGIN_STATE
835         XMLNodeList nodes;
836         XMLNodeConstIterator iter;
837         XMLNode *child;
838 #endif
839
840         if (_script.empty ()) {
841                 if (set_script_from_state (node)) {
842                         return -1;
843                 }
844         }
845
846 #ifndef NO_PLUGIN_STATE
847         if (node.name() != state_node_name()) {
848                 error << _("Bad node sent to LuaProc::set_state") << endmsg;
849                 return -1;
850         }
851
852         nodes = node.children ("Port");
853         for (iter = nodes.begin(); iter != nodes.end(); ++iter) {
854                 child = *iter;
855
856                 uint32_t port_id;
857                 float value;
858
859                 if (!child->get_property("id", port_id)) {
860                         warning << _("LuaProc: port has no symbol, ignored") << endmsg;
861                         continue;
862                 }
863
864                 if (!child->get_property("value", value)) {
865                         warning << _("LuaProc: port has no value, ignored") << endmsg;
866                         continue;
867                 }
868
869                 set_parameter (port_id, value);
870         }
871 #endif
872
873         return Plugin::set_state (node, version);
874 }
875
876 uint32_t
877 LuaProc::parameter_count () const
878 {
879         return _ctrl_params.size ();
880 }
881
882 float
883 LuaProc::default_value (uint32_t port)
884 {
885         if (_ctrl_params[port].first) {
886                 assert (0);
887                 return 0;
888         }
889         int lp = _ctrl_params[port].second;
890         return _param_desc[lp].normal;
891 }
892
893 void
894 LuaProc::set_parameter (uint32_t port, float val)
895 {
896         assert (port < parameter_count ());
897         if (get_parameter (port) == val) {
898                 return;
899         }
900         _shadow_data[port] = val;
901         Plugin::set_parameter (port, val);
902 }
903
904 float
905 LuaProc::get_parameter (uint32_t port) const
906 {
907         if (parameter_is_input (port)) {
908                 return _shadow_data[port];
909         } else {
910                 return _control_data[port];
911         }
912 }
913
914 int
915 LuaProc::get_parameter_descriptor (uint32_t port, ParameterDescriptor& desc) const
916 {
917         assert (port <= parameter_count ());
918         int lp = _ctrl_params[port].second;
919         const ParameterDescriptor& d (_param_desc.find(lp)->second);
920
921         desc.lower        = d.lower;
922         desc.upper        = d.upper;
923         desc.normal       = d.normal;
924         desc.toggled      = d.toggled;
925         desc.logarithmic  = d.logarithmic;
926         desc.integer_step = d.integer_step;
927         desc.sr_dependent = d.sr_dependent;
928         desc.enumeration  = d.enumeration;
929         desc.unit         = d.unit;
930         desc.label        = d.label;
931         desc.scale_points = d.scale_points;
932
933         desc.update_steps ();
934         return 0;
935 }
936
937 std::string
938 LuaProc::get_parameter_docs (uint32_t port) const {
939         assert (port <= parameter_count ());
940         int lp = _ctrl_params[port].second;
941         return _param_doc.find(lp)->second;
942 }
943
944 uint32_t
945 LuaProc::nth_parameter (uint32_t port, bool& ok) const
946 {
947         if (port < _ctrl_params.size ()) {
948                 ok = true;
949                 return port;
950         }
951         ok = false;
952         return 0;
953 }
954
955 bool
956 LuaProc::parameter_is_input (uint32_t port) const
957 {
958         assert (port < _ctrl_params.size ());
959         return (!_ctrl_params[port].first);
960 }
961
962 bool
963 LuaProc::parameter_is_output (uint32_t port) const
964 {
965         assert (port < _ctrl_params.size ());
966         return (_ctrl_params[port].first);
967 }
968
969 std::set<Evoral::Parameter>
970 LuaProc::automatable () const
971 {
972         std::set<Evoral::Parameter> automatables;
973         for (uint32_t i = 0; i < _ctrl_params.size (); ++i) {
974                 if (parameter_is_input (i)) {
975                         automatables.insert (automatables.end (), Evoral::Parameter (PluginAutomation, 0, i));
976                 }
977         }
978         return automatables;
979 }
980
981 std::string
982 LuaProc::describe_parameter (Evoral::Parameter param)
983 {
984         if (param.type () == PluginAutomation && param.id () < parameter_count ()) {
985                 int lp = _ctrl_params[param.id ()].second;
986                 return _param_desc[lp].label;
987         }
988         return "??";
989 }
990
991 void
992 LuaProc::print_parameter (uint32_t param, char* buf, uint32_t len) const
993 {
994         if (buf && len) {
995                 if (param < parameter_count ()) {
996                         snprintf (buf, len, "%.3f", get_parameter (param));
997                 } else {
998                         strcat (buf, "0");
999                 }
1000         }
1001 }
1002
1003 boost::shared_ptr<ScalePoints>
1004 LuaProc::parse_scale_points (luabridge::LuaRef* lr)
1005 {
1006         if (!(*lr)["scalepoints"].isTable()) {
1007                 return boost::shared_ptr<ScalePoints> ();
1008         }
1009
1010         int cnt = 0;
1011         boost::shared_ptr<ScalePoints> rv = boost::shared_ptr<ScalePoints>(new ScalePoints());
1012         luabridge::LuaRef scalepoints ((*lr)["scalepoints"]);
1013
1014         for (luabridge::Iterator i (scalepoints); !i.isNil (); ++i) {
1015                 if (!i.key ().isString ())    { continue; }
1016                 if (!i.value ().isNumber ())  { continue; }
1017                 rv->insert(make_pair(i.key ().cast<std::string> (),
1018                                         i.value ().cast<float> ()));
1019                 ++cnt;
1020         }
1021
1022         if (rv->size() > 0) {
1023                 return rv;
1024         }
1025         return boost::shared_ptr<ScalePoints> ();
1026 }
1027
1028 boost::shared_ptr<ScalePoints>
1029 LuaProc::get_scale_points (uint32_t port) const
1030 {
1031         int lp = _ctrl_params[port].second;
1032         return _param_desc.find(lp)->second.scale_points;
1033 }
1034
1035 void
1036 LuaProc::setup_lua_inline_gui (LuaState *lua_gui)
1037 {
1038         lua_State* LG = lua_gui->getState ();
1039         LuaBindings::stddef (LG);
1040         LuaBindings::common (LG);
1041         LuaBindings::dsp (LG);
1042         LuaBindings::osc (LG);
1043
1044         lua_gui->Print.connect (sigc::mem_fun (*this, &LuaProc::lua_print));
1045         lua_gui->do_command ("function ardour () end");
1046         lua_gui->do_command (_script);
1047
1048         // TODO think: use a weak-pointer here ?
1049         // (the GUI itself uses a shared ptr to this plugin, so we should be good)
1050         luabridge::getGlobalNamespace (LG)
1051                 .beginNamespace ("Ardour")
1052                 .beginClass <LuaProc> ("LuaProc")
1053                 .addFunction ("shmem", &LuaProc::instance_shm)
1054                 .addFunction ("table", &LuaProc::instance_ref)
1055                 .endClass ()
1056                 .endNamespace ();
1057
1058         luabridge::push <LuaProc *> (LG, this);
1059         lua_setglobal (LG, "self");
1060
1061         luabridge::push <float *> (LG, _control_data);
1062         lua_setglobal (LG, "CtrlPorts");
1063 }
1064 ////////////////////////////////////////////////////////////////////////////////
1065
1066 #include "ardour/search_paths.h"
1067 #include "sha1.c"
1068
1069 std::string
1070 LuaProc::preset_name_to_uri (const std::string& name) const
1071 {
1072         std::string uri ("urn:lua:");
1073         char hash[41];
1074         Sha1Digest s;
1075         sha1_init (&s);
1076         sha1_write (&s, (const uint8_t *) name.c_str(), name.size ());
1077         sha1_write (&s, (const uint8_t *) _script.c_str(), _script.size ());
1078         sha1_result_hash (&s, hash);
1079         return uri + hash;
1080 }
1081
1082 std::string
1083 LuaProc::presets_file () const
1084 {
1085         return string_compose ("lua-%1", _info->unique_id);
1086 }
1087
1088 XMLTree*
1089 LuaProc::presets_tree () const
1090 {
1091         XMLTree* t = new XMLTree;
1092         std::string p = Glib::build_filename (ARDOUR::user_config_directory (), "presets");
1093
1094         if (!Glib::file_test (p, Glib::FILE_TEST_IS_DIR)) {
1095                 if (g_mkdir_with_parents (p.c_str(), 0755) != 0) {
1096                         error << _("Unable to create LuaProc presets directory") << endmsg;
1097                 };
1098         }
1099
1100         p = Glib::build_filename (p, presets_file ());
1101
1102         if (!Glib::file_test (p, Glib::FILE_TEST_EXISTS)) {
1103                 t->set_root (new XMLNode (X_("LuaPresets")));
1104                 return t;
1105         }
1106
1107         t->set_filename (p);
1108         if (!t->read ()) {
1109                 delete t;
1110                 return 0;
1111         }
1112         return t;
1113 }
1114
1115 bool
1116 LuaProc::load_preset (PresetRecord r)
1117 {
1118         boost::shared_ptr<XMLTree> t (presets_tree ());
1119         if (t == 0) {
1120                 return false;
1121         }
1122
1123         XMLNode* root = t->root ();
1124         for (XMLNodeList::const_iterator i = root->children().begin(); i != root->children().end(); ++i) {
1125                 std::string str;
1126                 if (!(*i)->get_property (X_("label"), str)) {
1127                         assert (false);
1128                 }
1129                 if (str != r.label) {
1130                         continue;
1131                 }
1132
1133                 for (XMLNodeList::const_iterator j = (*i)->children().begin(); j != (*i)->children().end(); ++j) {
1134                         if ((*j)->name() == X_("Parameter")) {
1135                                 uint32_t index;
1136                                 float value;
1137                                 if (!(*j)->get_property (X_("index"), index) ||
1138                                     !(*j)->get_property (X_("value"), value)) {
1139                                         assert (false);
1140                                 }
1141                                 set_parameter (index, value);
1142                                 PresetPortSetValue (index, value); /* EMIT SIGNAL */
1143                         }
1144                 }
1145                 return Plugin::load_preset(r);
1146         }
1147         return false;
1148 }
1149
1150 std::string
1151 LuaProc::do_save_preset (std::string name) {
1152
1153         boost::shared_ptr<XMLTree> t (presets_tree ());
1154         if (t == 0) {
1155                 return "";
1156         }
1157
1158         // prevent dups -- just in case
1159         t->root()->remove_nodes_and_delete (X_("label"), name);
1160
1161         std::string uri (preset_name_to_uri (name));
1162
1163         XMLNode* p = new XMLNode (X_("Preset"));
1164         p->set_property (X_("uri"), uri);
1165         p->set_property (X_("label"), name);
1166
1167         for (uint32_t i = 0; i < parameter_count(); ++i) {
1168                 if (parameter_is_input (i)) {
1169                         XMLNode* c = new XMLNode (X_("Parameter"));
1170                         c->set_property (X_("index"), i);
1171                         c->set_property (X_("value"), get_parameter (i));
1172                         p->add_child_nocopy (*c);
1173                 }
1174         }
1175         t->root()->add_child_nocopy (*p);
1176
1177         std::string f = Glib::build_filename (ARDOUR::user_config_directory (), "presets");
1178         f = Glib::build_filename (f, presets_file ());
1179
1180         t->write (f);
1181         return uri;
1182 }
1183
1184 void
1185 LuaProc::do_remove_preset (std::string name)
1186 {
1187         boost::shared_ptr<XMLTree> t (presets_tree ());
1188         if (t == 0) {
1189                 return;
1190         }
1191         t->root()->remove_nodes_and_delete (X_("label"), name);
1192         std::string f = Glib::build_filename (ARDOUR::user_config_directory (), "presets");
1193         f = Glib::build_filename (f, presets_file ());
1194         t->write (f);
1195 }
1196
1197 void
1198 LuaProc::find_presets ()
1199 {
1200         boost::shared_ptr<XMLTree> t (presets_tree ());
1201         if (t) {
1202                 XMLNode* root = t->root ();
1203                 for (XMLNodeList::const_iterator i = root->children().begin(); i != root->children().end(); ++i) {
1204                         std::string uri;
1205                         std::string label;
1206
1207                         if (!(*i)->get_property (X_("uri"), uri) || !(*i)->get_property (X_("label"), label)) {
1208                                 assert (false);
1209                         }
1210
1211                         PresetRecord r (uri, label, true);
1212                         _presets.insert (make_pair (r.uri, r));
1213                 }
1214         }
1215 }
1216
1217 ////////////////////////////////////////////////////////////////////////////////
1218
1219 LuaPluginInfo::LuaPluginInfo (LuaScriptInfoPtr lsi) {
1220         if (lsi->type != LuaScriptInfo::DSP) {
1221                 throw failed_constructor ();
1222         }
1223
1224         path = lsi->path;
1225         name = lsi->name;
1226         creator = lsi->author;
1227         category = lsi->category;
1228         unique_id = lsi->unique_id;
1229
1230         n_inputs.set (DataType::AUDIO, 1);
1231         n_outputs.set (DataType::AUDIO, 1);
1232         type = Lua;
1233
1234 }
1235
1236 PluginPtr
1237 LuaPluginInfo::load (Session& session)
1238 {
1239         std::string script = "";
1240         if (!Glib::file_test (path, Glib::FILE_TEST_EXISTS)) {
1241                 return PluginPtr ();
1242         }
1243
1244         try {
1245                 script = Glib::file_get_contents (path);
1246         } catch (Glib::FileError err) {
1247                 return PluginPtr ();
1248         }
1249
1250         if (script.empty ()) {
1251                 return PluginPtr ();
1252         }
1253
1254         try {
1255                 LuaProc* lp = new LuaProc (session.engine (), session, script);
1256                 lp->set_origin (path);
1257                 PluginPtr plugin (lp);
1258                 return plugin;
1259         } catch (failed_constructor& err) {
1260                 ;
1261         }
1262         return PluginPtr ();
1263 }
1264
1265 std::vector<Plugin::PresetRecord>
1266 LuaPluginInfo::get_presets (bool /*user_only*/) const
1267 {
1268         std::vector<Plugin::PresetRecord> p;
1269         XMLTree* t = new XMLTree;
1270         std::string pf = Glib::build_filename (ARDOUR::user_config_directory (), "presets", string_compose ("lua-%1", unique_id));
1271         if (Glib::file_test (pf, Glib::FILE_TEST_EXISTS)) {
1272                 t->set_filename (pf);
1273                 if (t->read ()) {
1274                         XMLNode* root = t->root ();
1275                         for (XMLNodeList::const_iterator i = root->children().begin(); i != root->children().end(); ++i) {
1276                                 XMLProperty const * uri = (*i)->property (X_("uri"));
1277                                 XMLProperty const * label = (*i)->property (X_("label"));
1278                                 p.push_back (Plugin::PresetRecord (uri->value(), label->value(), true));
1279                         }
1280                 }
1281         }
1282         delete t;
1283         return p;
1284 }