Fix mis-named variable and fix building in a specified directory using docker.
[cdist.git] / cdist
diff --git a/cdist b/cdist
index 8a1b3c42d676fc767f6ed74ed844263cff0330e7..8d3fe6fb982646f02e9840fe8bbc57659447fcdf 100755 (executable)
--- a/cdist
+++ b/cdist
@@ -1,6 +1,6 @@
 #!/usr/bin/python
 
-#    Copyright (C) 2012-2019 Carl Hetherington <cth@carlh.net>
+#    Copyright (C) 2012-2020 Carl Hetherington <cth@carlh.net>
 #
 #    This program is free software; you can redistribute it and/or modify
 #    it under the terms of the GNU General Public License as published by
@@ -114,6 +114,18 @@ class Config:
                          Option('flatpak_state_dir'),
                          Option('parallel', multiprocessing.cpu_count()) ]
 
+        config_dir = '%s/.config' % os.path.expanduser('~')
+        if not os.path.exists(config_dir):
+            os.mkdir(config_dir)
+        config_file = '%s/cdist' % config_dir
+        if not os.path.exists(config_file):
+            f = open(config_file, 'w')
+            for o in self.options:
+                print('# %s ' % o.key, file=f)
+            f.close()
+            print('Template config file written to %s; please edit and try again.' % config_file, file=sys.stderr)
+            sys.exit(1)
+
         try:
             f = open('%s/.config/cdist' % os.path.expanduser('~'), 'r')
             while True:
@@ -302,20 +314,24 @@ def devel_to_git(git_commit, filename):
         filename = filename.replace('devel', '-%s' % git_commit)
     return filename
 
-def argument_options(args):
-    opts = dict()
+
+def get_options(args, target):
+    options = dict()
     if args.option is not None:
         for o in args.option:
             b = o.split(':')
             if len(b) != 2:
                 raise Error("Bad option `%s'" % o)
             if b[1] == 'False':
-                opts[b[0]] = False
+                options[b[0]] = False
             elif b[1] == 'True':
-                opts[b[0]] = True
+                options[b[0]] = True
             else:
-                opts[b[0]] = b[1]
-    return opts
+                options[b[0]] = b[1]
+    # Add defaults for any unspecified options
+    tree = globals.trees.get(args.project, args.checkout, target)
+    tree.add_defaults(options)
+    return options
 
 
 class TreeDirectory:
@@ -514,9 +530,8 @@ class Target(object):
 
 
 class DockerTarget(Target):
-    def __init__(self, platform, directory, version):
+    def __init__(self, platform, directory):
         super(DockerTarget, self).__init__(platform, directory)
-        self.version = version
         self.mounts = []
         self.privileged = False
 
@@ -542,7 +557,8 @@ class DockerTarget(Target):
 
     def command(self, cmd):
         dir = os.path.join(self.directory, os.path.relpath(os.getcwd(), self.directory))
-        command('%s exec %s -t %s /bin/bash -c \'export %s; cd %s; %s\'' % (config.docker(), self._user_tag(), self.container, self.variables_string(), dir, cmd))
+        interactive_flag = '-i ' if sys.stdin.isatty() else ''
+        command('%s exec %s %s -t %s /bin/bash -c \'export %s; cd %s; %s\'' % (config.docker(), self._user_tag(), interactive_flag, self.container, self.variables_string(), dir, cmd))
 
     def cleanup(self):
         super(DockerTarget, self).cleanup()
@@ -589,8 +605,9 @@ class WindowsTarget(DockerTarget):
     environment_prefix: path to Windows environment for the appropriate target (libraries and some tools)
     tool_path: path to 32- and 64-bit tools
     """
-    def __init__(self, version, bits, directory=None):
-        super(WindowsTarget, self).__init__('windows', directory, version)
+    def __init__(self, windows_version, bits, directory, environment_version):
+        super(WindowsTarget, self).__init__('windows', directory)
+        self.version = windows_version
         self.bits = bits
 
         self.tool_path = '%s/usr/bin' % config.get('mxe_prefix')
@@ -616,6 +633,8 @@ class WindowsTarget(DockerTarget):
         self.set('LDFLAGS', '"%s"' % link)
 
         self.image = 'windows'
+        if environment_version is not None:
+            self.image += '_%s' % environment_version
 
     @property
     def library_prefix(self):
@@ -655,8 +674,9 @@ class LinuxTarget(DockerTarget):
     """
 
     def __init__(self, distro, version, bits, directory=None):
-        super(LinuxTarget, self).__init__('linux', directory, version)
+        super(LinuxTarget, self).__init__('linux', directory)
         self.distro = distro
+        self.version = version
         self.bits = bits
         self.detail = None
 
@@ -798,9 +818,9 @@ def target_factory(args):
     if s.startswith('windows-'):
         x = s.split('-')
         if len(x) == 2:
-            target = WindowsTarget(None, int(x[1]), args.work)
+            target = WindowsTarget(None, int(x[1]), args.work, args.environment_version)
         elif len(x) == 3:
-            target = WindowsTarget(x[1], int(x[2]), args.work)
+            target = WindowsTarget(x[1], int(x[2]), args.work, args.environment_version)
         else:
             raise Error("Bad Windows target name `%s'")
     elif s.startswith('ubuntu-') or s.startswith('debian-') or s.startswith('centos-') or s.startswith('fedora-') or s.startswith('mageia-'):
@@ -918,7 +938,13 @@ class Tree(object):
     def add_defaults(self, options):
         """Add the defaults from this into a dict options"""
         if 'option_defaults' in self.cscript:
-            for k, v in self.cscript['option_defaults']().items():
+            from_cscript = self.cscript['option_defaults']
+            if isinstance(from_cscript, dict):
+                defaults_dict = from_cscript
+            else:
+                log("Deprecated cscript option_defaults method; replace with a dict")
+                defaults_dict = from_cscript()
+            for k, v in defaults_dict.items():
                 if not k in options:
                     options[k] = v
 
@@ -955,12 +981,19 @@ class Tree(object):
 
     def build_dependencies(self, options):
         for i in self.dependencies(options):
+            global args
+            if args.verbose:
+                print('Building a dependency of %s %s %s with %s' % (self.name, self.specifier, self.version, options))
             i[0].build(i[1])
 
     def build(self, options):
         if self.built:
             return
 
+        global args
+        if args.verbose:
+            print("* Building %s %s %s with %s" % (self.name, self.specifier, self.version, options))
+
         variables = copy.copy(self.target.variables)
 
         # Start with the options passed in
@@ -988,7 +1021,6 @@ def main():
         "package": "package and build project",
         "release": "release a project using its next version number (changing wscript and tagging)",
         "pot": "build the project's .pot files",
-        "changelog": "generate a simple HTML changelog",
         "manual": "build the project's manual",
         "doxygen": "build the project's Doxygen documentation",
         "latest": "print out the latest version",
@@ -1014,7 +1046,8 @@ def main():
     parser.add_argument('-c', '--checkout', help='string to pass to git for checkout')
     parser.add_argument('-o', '--output', help='output directory', default='.')
     parser.add_argument('-q', '--quiet', help='be quiet', action='store_true')
-    parser.add_argument('-t', '--target', help='target')
+    parser.add_argument('-t', '--target', help='target', action='append')
+    parser.add_argument('--environment-version', help='version of environment to use')
     parser.add_argument('-k', '--keep', help='keep working tree', action='store_true')
     parser.add_argument('--debug', help='build with debugging symbols where possible', action='store_true')
     parser.add_argument('-w', '--work', help='override default work directory')
@@ -1026,8 +1059,18 @@ def main():
     parser.add_argument('--no-version-commit', help="use just tags for versioning, don't modify wscript, ChangeLog etc.", action='store_true')
     parser.add_argument('--option', help='set an option for the build (use --option key:value)', action='append')
     parser.add_argument('--ccache', help='use ccache', action='store_true')
+    parser.add_argument('--verbose', help='be verbose', action='store_true')
+    global args
     args = parser.parse_args()
 
+    # Check for incorrect multiple parameters
+    if args.target is not None:
+        if len(args.target) > 1:
+            parser.error('multiple -t options specified')
+            sys.exit(1)
+        else:
+            args.target = args.target[0]
+
     # Override configured stuff
     if args.git_prefix is not None:
         config.set('git_prefix', args.git_prefix)
@@ -1043,6 +1086,8 @@ def main():
 
     if args.work is not None:
         args.work = os.path.abspath(args.work)
+        if not os.path.exists(args.work):
+            os.makedirs(args.work)
 
     if args.project is None and args.command != 'shell':
         raise Error('you must specify -p or --project')
@@ -1060,7 +1105,7 @@ def main():
             raise Error('you must specify -t or --target')
 
         target = target_factory(args)
-        target.build(args.project, args.checkout, argument_options(args))
+        target.build(args.project, args.checkout, get_options(args, target))
         if not args.keep:
             target.cleanup()
 
@@ -1081,13 +1126,7 @@ def main():
                 output_dir = args.output
 
             makedirs(output_dir)
-
-            # Start with the options passed on the command line
-            options = copy.copy(argument_options(args))
-            # Fill in the defaults
-            tree = globals.trees.get(args.project, args.checkout, target)
-            tree.add_defaults(options)
-            target.package(args.project, args.checkout, output_dir, options)
+            target.package(args.project, args.checkout, output_dir, get_options(args, target))
         except Error as e:
             if target is not None and not args.keep:
                 target.cleanup()
@@ -1139,52 +1178,6 @@ def main():
 
         target.cleanup()
 
-    elif globals.command == 'changelog':
-        target = SourceTarget()
-        tree = globals.trees.get(args.project, args.checkout, target)
-
-        with TreeDirectory(tree):
-            text = open('ChangeLog', 'r')
-
-        html = tempfile.NamedTemporaryFile()
-        versions = 8
-
-        last = None
-        changes = []
-
-        while True:
-            l = text.readline()
-            if l == '':
-                break
-
-            if len(l) > 0 and l[0] == "\t":
-                s = l.split()
-                if len(s) == 4 and s[1] == "Version" and s[3] == "released.":
-                    v = Version(s[2])
-                    if v.micro == 0:
-                        if last is not None and len(changes) > 0:
-                            print("<h2>Changes between version %s and %s</h2>" % (s[2], last), file=html)
-                            print("<ul>", file=html)
-                            for c in changes:
-                                print("<li>%s" % c, file=html)
-                            print("</ul>", file=html)
-                        last = s[2]
-                        changes = []
-                        versions -= 1
-                        if versions < 0:
-                            break
-                else:
-                    c = l.strip()
-                    if len(c) > 0:
-                        if c[0] == '*':
-                            changes.append(c[2:])
-                        else:
-                            changes[-1] += " " + c
-
-        copyfile(html.file, '%schangelog.html' % args.output)
-        html.close()
-        target.cleanup()
-
     elif globals.command == 'manual':
         target = SourceTarget()
         tree = globals.trees.get(args.project, args.checkout, target)
@@ -1246,7 +1239,7 @@ def main():
             target = target_factory(args)
             tree = globals.trees.get(args.project, args.checkout, target)
             with TreeDirectory(tree):
-                target.test(tree, args.test, argument_options(args))
+                target.test(tree, args.test, get_options(args, target))
         except Error as e:
             if target is not None and not args.keep:
                 target.cleanup()