Rename notarize -> notarize_dmg.
[cdist.git] / cdist
diff --git a/cdist b/cdist
index 20deb5ffe34115dcbceae33dd31433a0f820f228..c28825e839323906d706e8adaba2f7d4a12355f5 100755 (executable)
--- a/cdist
+++ b/cdist
@@ -26,6 +26,7 @@ import glob
 import inspect
 import multiprocessing
 import os
+import platform
 import re
 import shlex
 import shutil
@@ -34,8 +35,6 @@ import sys
 import tempfile
 import time
 
-TEMPORARY_DIRECTORY = '/var/tmp'
-
 class Error(Exception):
     def __init__(self, value):
         self.value = value
@@ -70,6 +69,10 @@ class Trees:
         self.trees.append(nt)
         return nt
 
+    def add_built(self, name, specifier, target):
+        self.trees.append(Tree(name, specifier, target, None, built=True))
+
+
 class Globals:
     quiet = False
     command = None
@@ -117,7 +120,8 @@ class Config:
                          BoolOption('docker_no_user'),
                          Option('docker_hub_repository'),
                          Option('flatpak_state_dir'),
-                         Option('parallel', multiprocessing.cpu_count()) ]
+                         Option('parallel', multiprocessing.cpu_count()),
+                         Option('temp', '/var/tmp')]
 
         config_dir = '%s/.config' % os.path.expanduser('~')
         if not os.path.exists(config_dir):
@@ -208,7 +212,7 @@ def copytree(a, b):
         command('scp -r %s %s' % (scp_escape(a), scp_escape(b)))
 
 def copyfile(a, b):
-    log_normal('copy %s -> %s' % (scp_escape(a), scp_escape(b)))
+    log_normal('copy %s -> %s with cwd %s' % (scp_escape(a), scp_escape(b), os.getcwd()))
     if b.startswith('s3://'):
         command('s3cmd -P put "%s" "%s"' % (a, b))
     else:
@@ -251,9 +255,12 @@ def rmtree(a):
 
 def command(c):
     log_normal(c)
-    r = os.system(c)
-    if (r >> 8):
-        raise Error('command %s failed' % c)
+    try:
+        r = subprocess.run(c, shell=True)
+        if r.returncode != 0:
+            raise Error('command %s failed (%d)' % (c, r.returncode))
+    except Exception as e:
+        raise Error('command %s failed (%s)' % (c, e))
 
 def command_and_read(c):
     log_normal(c)
@@ -278,45 +285,6 @@ def read_wscript_variable(directory, variable):
     f.close()
     return None
 
-def set_version_in_wscript(version):
-    f = open('wscript', 'rw')
-    o = open('wscript.tmp', 'w')
-    while True:
-        l = f.readline()
-        if l == '':
-            break
-
-        s = l.split()
-        if len(s) == 3 and s[0] == "VERSION":
-            print("VERSION = '%s'" % version, file=o)
-        else:
-            print(l, file=o, end="")
-    f.close()
-    o.close()
-
-    os.rename('wscript.tmp', 'wscript')
-
-def append_version_to_changelog(version):
-    try:
-        f = open('ChangeLog', 'r')
-    except:
-        log_normal('Could not open ChangeLog')
-        return
-
-    c = f.read()
-    f.close()
-
-    f = open('ChangeLog', 'w')
-    now = datetime.datetime.now()
-    f.write('%d-%02d-%02d  Carl Hetherington  <cth@carlh.net>\n\n\t* Version %s released.\n\n' % (now.year, now.month, now.day, version))
-    f.write(c)
-
-def append_version_to_debian_changelog(version):
-    if not os.path.exists('debian'):
-        log_normal('Could not find debian directory')
-        return
-
-    command('dch -b -v %s-1 "New upstream release."' % version)
 
 def devel_to_git(git_commit, filename):
     if git_commit is not None:
@@ -445,7 +413,7 @@ class Target(object):
         self.build_dependencies = True
 
         if directory is None:
-            self.directory = tempfile.mkdtemp('', 'tmp', TEMPORARY_DIRECTORY)
+            self.directory = tempfile.mkdtemp('', 'tmp', config.get('temp'))
             self.rmdir = True
             self.set('CCACHE_BASEDIR', os.path.realpath(self.directory))
             self.set('CCACHE_NOHASHDIR', '')
@@ -457,20 +425,24 @@ class Target(object):
     def setup(self):
         pass
 
-    def package(self, project, checkout, output_dir, options):
-        tree = self.build(project, checkout, options)
-        tree.add_defaults(options)
+    def _build_packages(self, tree, options):
         if len(inspect.getfullargspec(tree.cscript['package']).args) == 3:
             packages = tree.call('package', tree.version, options)
         else:
             log_normal("Deprecated cscript package() method with no options parameter")
             packages = tree.call('package', tree.version)
 
-        if isinstance(packages, list):
-            for p in packages:
-                copyfile(p, os.path.join(output_dir, os.path.basename(devel_to_git(tree.git_commit, p))))
-        else:
-            copyfile(packages, os.path.join(output_dir, os.path.basename(devel_to_git(tree.git_commit, packages))))
+        return packages if isinstance(packages, list) else [packages]
+
+    def _copy_packages(self, tree, packages, output_dir):
+        for p in packages:
+            copyfile(p, os.path.join(output_dir, os.path.basename(devel_to_git(tree.git_commit, p))))
+
+    def package(self, project, checkout, output_dir, options, no_notarize):
+        tree = self.build(project, checkout, options)
+        tree.add_defaults(options)
+        p = self._build_packages(tree, options)
+        self._copy_packages(tree, p, output_dir)
 
     def build(self, project, checkout, options):
         tree = globals.trees.get(project, checkout, self)
@@ -479,18 +451,17 @@ class Target(object):
         tree.build(options)
         return tree
 
-    def test(self, tree, test, options):
+    def test(self, project, checkout, target, test, options):
         """test is the test case to run, or None"""
-        if self.build_dependencies:
-            tree.build_dependencies(options)
-        tree.build(options)
+        tree = globals.trees.get(project, checkout, target)
 
         tree.add_defaults(options)
-        if len(inspect.getfullargspec(tree.cscript['test']).args) == 3:
-            return tree.call('test', options, test)
-        else:
-            log_normal('Deprecated cscript test() method with no options parameter')
-            return tree.call('test', test)
+        with TreeDirectory(tree):
+            if len(inspect.getfullargspec(tree.cscript['test']).args) == 3:
+                return tree.call('test', options, test)
+            else:
+                log_normal('Deprecated cscript test() method with no options parameter')
+                return tree.call('test', test)
 
     def set(self, a, b):
         self.variables[a] = b
@@ -612,7 +583,7 @@ class FlatpakTarget(Target):
         return b
 
 
-class WindowsTarget(DockerTarget):
+class WindowsDockerTarget(DockerTarget):
     """
     This target exposes the following additional API:
 
@@ -623,7 +594,7 @@ class WindowsTarget(DockerTarget):
     tool_path: path to 32- and 64-bit tools
     """
     def __init__(self, windows_version, bits, directory, environment_version):
-        super(WindowsTarget, self).__init__('windows', directory)
+        super(WindowsDockerTarget, self).__init__('windows', directory)
         self.version = windows_version
         self.bits = bits
 
@@ -686,6 +657,28 @@ class WindowsTarget(DockerTarget):
         return self.name
 
 
+class WindowsNativeTarget(Target):
+    """
+    This target exposes the following additional API:
+
+    version: Windows version ('xp' or None)
+    bits: bitness of Windows (32 or 64)
+    name: name of our target e.g. x86_64-w64-mingw32.shared
+    environment_prefix: path to Windows environment for the appropriate target (libraries and some tools)
+    """
+    def __init__(self, directory):
+        super().__init__('windows', directory)
+        self.version = None
+        self.bits = 64
+
+        self.environment_prefix = config.get('windows_native_environmnet_prefix')
+
+        self.set('PATH', '%s/bin:%s' % (self.environment_prefix, os.environ['PATH']))
+
+    def command(self, cmd):
+        command(cmd)
+
+
 class LinuxTarget(DockerTarget):
     """
     Build for Linux in a docker container.
@@ -722,10 +715,10 @@ class LinuxTarget(DockerTarget):
             self.set('CC', '"ccache gcc"')
             self.set('CXX', '"ccache g++"')
 
-    def test(self, tree, test, options):
+    def test(self, project, checkout, target, test, options):
         self.append_with_colon('PATH', '%s/bin' % self.directory)
         self.append_with_colon('LD_LIBRARY_PATH', '%s/lib' % self.directory)
-        super(LinuxTarget, self).test(tree, test, options)
+        super(LinuxTarget, self).test(project, checkout, target, test, options)
 
 
 class AppImageTarget(LinuxTarget):
@@ -735,10 +728,43 @@ class AppImageTarget(LinuxTarget):
         self.privileged = True
 
 
+def notarize_dmg(dmg, bundle_id):
+    p = subprocess.run(
+        ['xcrun', 'altool', '--notarize-app', '-t', 'osx', '-f', dmg, '--primary-bundle-id', bundle_id, '-u', config.get('apple_id'), '-p', config.get('apple_password'), '--output-format', 'xml'],
+        capture_output=True
+        )
+
+    def string_after(process, key):
+        lines = p.stdout.decode('utf-8').splitlines()
+        for i in range(0, len(lines)):
+            if lines[i].find(key) != -1:
+                return lines[i+1].strip().replace('<string>', '').replace('</string>', '')
+
+    request_uuid = string_after(p, "RequestUUID")
+    if request_uuid is None:
+        raise Error('No RequestUUID found in response from Apple')
+
+    for i in range(0, 30):
+        print('Checking up on %s' % request_uuid)
+        p = subprocess.run(['xcrun', 'altool', '--notarization-info', request_uuid, '-u', config.get('apple_id'), '-p', config.get('apple_password'), '--output-format', 'xml'], capture_output=True)
+        status = string_after(p, 'Status')
+        print('Got %s' % status)
+        if status == 'invalid':
+            raise Error("Notarization failed")
+        elif status == 'success':
+            subprocess.run(['xcrun', 'stapler', 'staple', dmg])
+            return
+        elif status != "in progress":
+            print("Could not understand xcrun response")
+            print(p)
+        time.sleep(30)
+
+    raise Error("Notarization timed out")
+
+
 class OSXTarget(Target):
     def __init__(self, directory=None):
         super(OSXTarget, self).__init__('osx', directory)
-        self.sdk = config.get('osx_sdk')
         self.sdk_prefix = config.get('osx_sdk_prefix')
         self.environment_prefix = config.get('osx_environment_prefix')
         self.apple_id = config.get('apple_id')
@@ -749,33 +775,31 @@ class OSXTarget(Target):
     def command(self, c):
         command('%s %s' % (self.variables_string(False), c))
 
-    def build(self, *a, **k):
+    def unlock_keychain(self):
         self.command('security unlock-keychain -p %s %s' % (self.osx_keychain_password, self.osx_keychain_file))
-        return super().build(*a, **k)
 
 
 class OSXSingleTarget(OSXTarget):
-    def __init__(self, bits, directory=None):
+    def __init__(self, arch, sdk, directory=None):
         super(OSXSingleTarget, self).__init__(directory)
-        self.bits = bits
+        self.arch = arch
+        self.sdk = sdk
 
-        if bits == 32:
-            arch = 'i386'
-        else:
-            arch = 'x86_64'
+        flags = '-isysroot %s/MacOSX%s.sdk -arch %s' % (self.sdk_prefix, sdk, arch)
+        host_enviro = '%s/x86_64' % config.get('osx_environment_prefix')
+        target_enviro = '%s/%s' % (config.get('osx_environment_prefix'), arch)
 
-        flags = '-isysroot %s/MacOSX%s.sdk -arch %s' % (self.sdk_prefix, self.sdk, arch)
-        enviro = '%s/%d' % (config.get('osx_environment_prefix'), bits)
+        self.bin = '%s/bin' % target_enviro
 
         # Environment variables
-        self.set('CFLAGS', '"-I%s/include -I%s/include %s"' % (self.directory, enviro, flags))
+        self.set('CFLAGS', '"-I%s/include -I%s/include %s"' % (self.directory, target_enviro, flags))
         self.set('CPPFLAGS', '')
-        self.set('CXXFLAGS', '"-I%s/include -I%s/include %s"' % (self.directory, enviro, flags))
-        self.set('LDFLAGS', '"-L%s/lib -L%s/lib %s"' % (self.directory, enviro, flags))
-        self.set('LINKFLAGS', '"-L%s/lib -L%s/lib %s"' % (self.directory, enviro, flags))
-        self.set('PKG_CONFIG_PATH', '%s/lib/pkgconfig:%s/lib/pkgconfig:/usr/lib/pkgconfig' % (self.directory, enviro))
-        self.set('PATH', '$PATH:/usr/bin:/sbin:/usr/local/bin:%s/bin' % enviro)
-        self.set('MACOSX_DEPLOYMENT_TARGET', config.get('osx_sdk'))
+        self.set('CXXFLAGS', '"-I%s/include -I%s/include %s"' % (self.directory, target_enviro, flags))
+        self.set('LDFLAGS', '"-L%s/lib -L%s/lib %s"' % (self.directory, target_enviro, flags))
+        self.set('LINKFLAGS', '"-L%s/lib -L%s/lib %s"' % (self.directory, target_enviro, flags))
+        self.set('PKG_CONFIG_PATH', '%s/lib/pkgconfig:%s/lib/pkgconfig:/usr/lib/pkgconfig' % (self.directory, target_enviro))
+        self.set('PATH', '$PATH:/usr/bin:/sbin:/usr/local/bin:%s/bin' % host_enviro)
+        self.set('MACOSX_DEPLOYMENT_TARGET', sdk)
         self.set('CCACHE_BASEDIR', self.directory)
 
     @Target.ccache.setter
@@ -785,28 +809,42 @@ class OSXSingleTarget(OSXTarget):
             self.set('CC', '"ccache gcc"')
             self.set('CXX', '"ccache g++"')
 
+    def package(self, project, checkout, output_dir, options, no_notarize):
+        tree = self.build(project, checkout, options)
+        tree.add_defaults(options)
+        self.unlock_keychain()
+        p = self._build_packages(tree, options)
+        for x in p:
+            if not isinstance(x, tuple):
+                raise Error('macOS packages must be returned from cscript as tuples of (dmg-filename, bundle-id)')
+            if not no_notarize:
+                notarize_dmg(x[0], x[1])
+        self._copy_packages(tree, [x[0] for x in p], output_dir)
+
 
 class OSXUniversalTarget(OSXTarget):
-    def __init__(self, directory=None):
+    def __init__(self, archs, directory=None):
         super(OSXUniversalTarget, self).__init__(directory)
-        self.bits = None
+        self.archs = archs
+
+    def package(self, project, checkout, output_dir, options, no_notarize):
 
-    def package(self, project, checkout, output_dir, options):
+        sdk = config.get('osx_sdk')
+        for a in self.archs:
+            if a.find('arm') != -1:
+                sdk = '11.0'
 
-        for b in [32, 64]:
-            target = OSXSingleTarget(b, os.path.join(self.directory, '%d' % b))
+        for a in self.archs:
+            target = OSXSingleTarget(a, sdk, os.path.join(self.directory, a))
             target.ccache = self.ccache
             tree = globals.trees.get(project, checkout, target)
             tree.build_dependencies(options)
             tree.build(options)
 
+        self.unlock_keychain()
         tree = globals.trees.get(project, checkout, self)
         with TreeDirectory(tree):
-            if len(inspect.getfullargspec(tree.cscript['package']).args) == 3:
-                packages = tree.call('package', tree.version, options)
-            else:
-                log_normal("Deprecated cscript package() method with no options parameter")
-                packages = tree.call('package', tree.version)
+            self._build_packages(tree, options)
             for p in packages:
                 copyfile(p, os.path.join(output_dir, os.path.basename(devel_to_git(tree.git_commit, p))))
 
@@ -822,7 +860,7 @@ class SourceTarget(Target):
     def cleanup(self):
         rmtree(self.directory)
 
-    def package(self, project, checkout, output_dir, options):
+    def package(self, project, checkout, output_dir, options, no_notarize):
         tree = globals.trees.get(project, checkout, self)
         with TreeDirectory(tree):
             name = read_wscript_variable(os.getcwd(), 'APPNAME')
@@ -837,7 +875,7 @@ class SourceTarget(Target):
 #    or centos-version-{32,64}
 #    or fedora-version-{32,64}
 #    or mageia-version-{32,64}
-#    or osx-{32,64}
+#    or osx-{intel,arm}
 #    or source
 #    or flatpak
 #    or appimage
@@ -847,12 +885,15 @@ def target_factory(args):
     target = None
     if s.startswith('windows-'):
         x = s.split('-')
-        if len(x) == 2:
-            target = WindowsTarget(None, int(x[1]), args.work, args.environment_version)
-        elif len(x) == 3:
-            target = WindowsTarget(x[1], int(x[2]), args.work, args.environment_version)
+        if platform.system() == "Windows":
+            target = WindowsNativeTarget(args.work)
         else:
-            raise Error("Bad Windows target name `%s'")
+            if len(x) == 2:
+                target = WindowsDockerTarget(None, int(x[1]), args.work, args.environment_version)
+            elif len(x) == 3:
+                target = WindowsDockerTarget(x[1], int(x[2]), args.work, args.environment_version)
+            else:
+                raise Error("Bad Windows target name `%s'")
     elif s.startswith('ubuntu-') or s.startswith('debian-') or s.startswith('centos-') or s.startswith('fedora-') or s.startswith('mageia-'):
         p = s.split('-')
         if len(p) != 3:
@@ -865,13 +906,17 @@ def target_factory(args):
         target = LinuxTarget(p[0], None, int(p[1]), args.work)
     elif s == 'raspbian':
         target = LinuxTarget(s, None, None, args.work)
-    elif s.startswith('osx-'):
-        target = OSXSingleTarget(int(s.split('-')[1]), args.work)
-    elif s == 'osx':
-        if globals.command == 'build':
-            target = OSXSingleTarget(64, args.work)
+    elif s == 'osx-intel-32-64':
+        # Universal Intel 32/64-bit built for config's os_sdk
+        if args.command == 'build':
+            target = OSXSingleTarget('x86_64', args.work)
         else:
-            target = OSXUniversalTarget(args.work)
+            target = OSXUniversalTarget(('i386', 'x86_64'), args.work)
+    elif s == 'osx-arm-intel-64':
+        # Universal arm64 and Intel 64-bit built for SDK 11.0
+        target = OSXUniversalTarget(('arm64', 'x86_64'), args.work)
+    elif s == 'osx-arm64':
+        target = OSXSingleTarget('arm64', '11.0', args.work)
     elif s == 'source':
         target = SourceTarget()
     elif s == 'flatpak':
@@ -914,55 +959,56 @@ class Tree(object):
            required_by -- name of the tree that requires this one
     """
 
-    def __init__(self, name, specifier, target, required_by):
+    def __init__(self, name, specifier, target, required_by, built=False):
         self.name = name
         self.specifier = specifier
         self.target = target
         self.version = None
         self.git_commit = None
-        self.built = False
+        self.built = built
         self.required_by = required_by
 
         cwd = os.getcwd()
+        proj = '%s/src/%s' % (target.directory, self.name)
 
-        flags = ''
-        redirect = ''
-        if globals.quiet:
-            flags = '-q'
-            redirect = '>/dev/null'
-        if config.has('git_reference'):
-            ref = '--reference-if-able %s/%s.git' % (config.get('git_reference'), self.name)
-        else:
-            ref = ''
-        command('git clone %s %s %s/%s.git %s/src/%s' % (flags, ref, config.get('git_prefix'), self.name, target.directory, self.name))
-        os.chdir('%s/src/%s' % (target.directory, self.name))
+        if not built:
+            flags = ''
+            redirect = ''
+            if globals.quiet:
+                flags = '-q'
+                redirect = '>/dev/null'
+            if config.has('git_reference'):
+                ref = '--reference-if-able %s/%s.git' % (config.get('git_reference'), self.name)
+            else:
+                ref = ''
+            command('git clone %s %s %s/%s.git %s/src/%s' % (flags, ref, config.get('git_prefix'), self.name, target.directory, self.name))
+            os.chdir('%s/src/%s' % (target.directory, self.name))
 
-        spec = self.specifier
-        if spec is None:
-            spec = 'master'
+            spec = self.specifier
+            if spec is None:
+                spec = 'master'
 
-        command('git checkout %s %s %s' % (flags, spec, redirect))
-        self.git_commit = command_and_read('git rev-parse --short=7 HEAD')[0].strip()
-
-        proj = '%s/src/%s' % (target.directory, self.name)
+            command('git checkout %s %s %s' % (flags, spec, redirect))
+            self.git_commit = command_and_read('git rev-parse --short=7 HEAD')[0].strip()
 
         self.cscript = {}
         exec(open('%s/cscript' % proj).read(), self.cscript)
 
-        # cscript can include submodules = False to stop submodules being fetched
-        if (not 'submodules' in self.cscript or self.cscript['submodules'] == True) and os.path.exists('.gitmodules'):
-            command('git submodule --quiet init')
-            paths = command_and_read('git config --file .gitmodules --get-regexp path')
-            urls = command_and_read('git config --file .gitmodules --get-regexp url')
-            for path, url in zip(paths, urls):
-                ref = ''
-                if config.has('git_reference'):
-                    url = url.split(' ')[1]
-                    ref_path = os.path.join(config.get('git_reference'), os.path.basename(url))
-                    if os.path.exists(ref_path):
-                        ref = '--reference %s' % ref_path
-                path = path.split(' ')[1]
-                command('git submodule --quiet update %s %s' % (ref, path))
+        if not built:
+            # cscript can include submodules = False to stop submodules being fetched
+            if (not 'submodules' in self.cscript or self.cscript['submodules'] == True) and os.path.exists('.gitmodules'):
+                command('git submodule --quiet init')
+                paths = command_and_read('git config --file .gitmodules --get-regexp path')
+                urls = command_and_read('git config --file .gitmodules --get-regexp url')
+                for path, url in zip(paths, urls):
+                    ref = ''
+                    if config.has('git_reference'):
+                        url = url.split(' ')[1]
+                        ref_path = os.path.join(config.get('git_reference'), os.path.basename(url))
+                        if os.path.exists(ref_path):
+                            ref = '--reference %s' % ref_path
+                    path = path.split(' ')[1]
+                    command('git submodule --quiet update %s %s' % (ref, path))
 
         if os.path.exists('%s/wscript' % proj):
             v = read_wscript_variable(proj, "VERSION");
@@ -970,8 +1016,13 @@ class Tree(object):
                 try:
                     self.version = Version(v)
                 except:
-                    tag = command_and_read('git -C %s describe --tags' % proj)[0][1:]
-                    self.version = Version.from_git_tag(tag)
+                    try:
+                        tag = command_and_read('git -C %s describe --tags' % proj)[0][1:]
+                        self.version = Version.from_git_tag(tag)
+                    except:
+                        # We'll leave version as None if we can't read it; maybe this is a bad idea
+                        # Should probably just install git on the Windows VM
+                        pass
 
         os.chdir(cwd)
 
@@ -1051,6 +1102,7 @@ class Tree(object):
         self.target.variables = variables
         self.built = True
 
+
 #
 # Command-line parser
 #
@@ -1059,32 +1111,27 @@ def main():
 
     commands = {
         "build": "build project",
-        "package": "package and build project",
-        "release": "release a project using its next version number (changing wscript and tagging)",
+        "package": "build and package the project",
+        "release": "release a project using its next version number (adding a tag)",
         "pot": "build the project's .pot files",
         "manual": "build the project's manual",
         "doxygen": "build the project's Doxygen documentation",
         "latest": "print out the latest version",
-        "test": "run the project's unit tests",
-        "shell": "build the project then start a shell",
+        "test": "build the project and run its unit tests",
+        "shell": "start a shell in the project''s work directory",
         "checkout": "check out the project",
         "revision": "print the head git revision number",
         "dependencies" : "print details of the project's dependencies as a .dot file"
     }
 
-    one_of = "Command is one of:\n"
+    one_of = ""
     summary = ""
     for k, v in commands.items():
-        one_of += "\t%s\t%s\n" % (k, v)
+        one_of += "\t%s%s\n" % (k.ljust(20), v)
         summary += k + " "
 
     parser = argparse.ArgumentParser()
-    parser.add_argument('command', help=summary)
     parser.add_argument('-p', '--project', help='project name')
-    parser.add_argument('--minor', help='minor version number bump', action='store_true')
-    parser.add_argument('--micro', help='micro version number bump', action='store_true')
-    parser.add_argument('--latest-major', help='major version to return with latest', type=int)
-    parser.add_argument('--latest-minor', help='minor version to return with latest', type=int)
     parser.add_argument('-c', '--checkout', help='string to pass to git for checkout')
     parser.add_argument('-o', '--output', help='output directory', default='.')
     parser.add_argument('-q', '--quiet', help='be quiet', action='store_true')
@@ -1094,14 +1141,34 @@ def main():
     parser.add_argument('--debug', help='build with debugging symbols where possible', action='store_true')
     parser.add_argument('-w', '--work', help='override default work directory')
     parser.add_argument('-g', '--git-prefix', help='override configured git prefix')
-    parser.add_argument('--test', help="name of test to run (with `test'), defaults to all")
     parser.add_argument('-n', '--dry-run', help='run the process without building anything', action='store_true')
     parser.add_argument('-e', '--environment', help='pass the value of the named environment variable into the build', action='append')
     parser.add_argument('-m', '--mount', help='mount a given directory in the build environment', action='append')
-    parser.add_argument('--no-version-commit', help="use just tags for versioning, don't modify wscript, ChangeLog etc.", action='store_true')
     parser.add_argument('--option', help='set an option for the build (use --option key:value)', action='append')
     parser.add_argument('--ccache', help='use ccache', action='store_true')
     parser.add_argument('--verbose', help='be verbose', action='store_true')
+
+    subparsers = parser.add_subparsers(help='command to run', dest='command')
+    parser_build = subparsers.add_parser("build", help="build project")
+    parser_package = subparsers.add_parser("package", help="build and package project")
+    parser_package.add_argument('--no-notarize', help='do not notarize .dmg packages', action='store_true')
+    parser_release = subparsers.add_parser("release", help="release a project using its next version number (adding a tag)")
+    parser_release.add_argument('--minor', help='minor version number bump', action='store_true')
+    parser_release.add_argument('--micro', help='micro version number bump', action='store_true')
+    parser_pot = subparsers.add_parser("pot", help="build the project's .pot files")
+    parser_manual = subparsers.add_parser("manual", help="build the project's manual")
+    parser_doxygen = subparsers.add_parser("doxygen", help="build the project's Doxygen documentation")
+    parser_latest = subparsers.add_parser("latest", help="print out the latest version")
+    parser_latest.add_argument('--major', help='major version to return', type=int)
+    parser_latest.add_argument('--minor', help='minor version to return', type=int)
+    parser_test = subparsers.add_parser("test", help="build the project and run its unit tests")
+    parser_test.add_argument('--no-implicit-build', help='do not build first', action='store_true')
+    parser_test.add_argument('--test', help="name of test to run, defaults to all")
+    parser_shell = subparsers.add_parser("shell", help="build the project then start a shell")
+    parser_checkout = subparsers.add_parser("checkout", help="check out the project")
+    parser_revision = subparsers.add_parser("revision", help="print the head git revision number")
+    parser_dependencies = subparsers.add_parser("dependencies", help="print details of the project's dependencies as a .dot file")
+
     global args
     args = parser.parse_args()
 
@@ -1136,14 +1203,9 @@ def main():
 
     globals.quiet = args.quiet
     globals.verbose = args.verbose
-    globals.command = args.command
     globals.dry_run = args.dry_run
 
-    if not globals.command in commands:
-        e = 'command must be one of:\n' + one_of
-        raise Error('command must be one of:\n%s' % one_of)
-
-    if globals.command == 'build':
+    if args.command == 'build':
         if args.target is None:
             raise Error('you must specify -t or --target')
 
@@ -1152,7 +1214,7 @@ def main():
         if not args.keep:
             target.cleanup()
 
-    elif globals.command == 'package':
+    elif args.command == 'package':
         if args.target is None:
             raise Error('you must specify -t or --target')
 
@@ -1169,7 +1231,7 @@ def main():
                 output_dir = args.output
 
             makedirs(output_dir)
-            target.package(args.project, args.checkout, output_dir, get_command_line_options(args))
+            target.package(args.project, args.checkout, output_dir, get_command_line_options(args), args.no_notarize)
         except Error as e:
             if target is not None and not args.keep:
                 target.cleanup()
@@ -1178,7 +1240,7 @@ def main():
         if target is not None and not args.keep:
             target.cleanup()
 
-    elif globals.command == 'release':
+    elif args.command == 'release':
         if args.minor is False and args.micro is False:
             raise Error('you must specify --minor or --micro')
 
@@ -1193,25 +1255,12 @@ def main():
             version.bump_micro()
 
         with TreeDirectory(tree):
-            if not args.no_version_commit:
-                set_version_in_wscript(version)
-                append_version_to_changelog(version)
-                append_version_to_debian_changelog(version)
-                command('git commit -a -m "Bump version"')
-
             command('git tag -m "v%s" v%s' % (version, version))
-
-            if not args.no_version_commit:
-                version.to_devel()
-                set_version_in_wscript(version)
-                command('git commit -a -m "Bump version"')
-                command('git push')
-
             command('git push --tags')
 
         target.cleanup()
 
-    elif globals.command == 'pot':
+    elif args.command == 'pot':
         target = SourceTarget()
         tree = globals.trees.get(args.project, args.checkout, target)
 
@@ -1221,7 +1270,7 @@ def main():
 
         target.cleanup()
 
-    elif globals.command == 'manual':
+    elif args.command == 'manual':
         target = SourceTarget()
         tree = globals.trees.get(args.project, args.checkout, target)
 
@@ -1234,7 +1283,7 @@ def main():
 
         target.cleanup()
 
-    elif globals.command == 'doxygen':
+    elif args.command == 'doxygen':
         target = SourceTarget()
         tree = globals.trees.get(args.project, args.checkout, target)
 
@@ -1247,7 +1296,7 @@ def main():
 
         target.cleanup()
 
-    elif globals.command == 'latest':
+    elif args.command == 'latest':
         target = SourceTarget()
         tree = globals.trees.get(args.project, args.checkout, target)
 
@@ -1267,38 +1316,37 @@ def main():
                             t = s[1]
                         if len(t) > 0 and t[0] == 'v':
                             v = Version(t[1:])
-                            if (args.latest_major is None or v.major == args.latest_major) and (args.latest_minor is None or v.minor == args.latest_minor):
+                            if (args.major is None or v.major == args.major) and (args.minor is None or v.minor == args.minor):
                                 latest = v
 
         print(latest)
         target.cleanup()
 
-    elif globals.command == 'test':
+    elif args.command == 'test':
         if args.target is None:
             raise Error('you must specify -t or --target')
 
         target = None
         try:
             target = target_factory(args)
-            tree = globals.trees.get(args.project, args.checkout, target)
-            with TreeDirectory(tree):
-                target.test(tree, args.test, get_command_line_options(args))
-        except Error as e:
+            options = get_command_line_options(args)
+            if args.no_implicit_build:
+                globals.trees.add_built(args.project, args.checkout, target)
+            else:
+                target.build(args.project, args.checkout, options)
+            target.test(args.project, args.checkout, target, args.test, options)
+        finally:
             if target is not None and not args.keep:
                 target.cleanup()
-            raise
 
-        if target is not None and not args.keep:
-            target.cleanup()
-
-    elif globals.command == 'shell':
+    elif args.command == 'shell':
         if args.target is None:
             raise Error('you must specify -t or --target')
 
         target = target_factory(args)
         target.command('bash')
 
-    elif globals.command == 'revision':
+    elif args.command == 'revision':
 
         target = SourceTarget()
         tree = globals.trees.get(args.project, args.checkout, target)
@@ -1306,7 +1354,7 @@ def main():
             print(command_and_read('git rev-parse HEAD')[0].strip()[:7])
         target.cleanup()
 
-    elif globals.command == 'checkout':
+    elif args.command == 'checkout':
 
         if args.output is None:
             raise Error('you must specify -o or --output')
@@ -1317,7 +1365,7 @@ def main():
             shutil.copytree('.', args.output)
         target.cleanup()
 
-    elif globals.command == 'dependencies':
+    elif args.command == 'dependencies':
         if args.target is None:
             raise Error('you must specify -t or --target')
         if args.checkout is None:
@@ -1330,8 +1378,6 @@ def main():
             print("%s -> %s;" % (d[2].name.replace("-", "-"), d[0].name.replace("-", "_")))
         print("}")
 
-    else:
-        raise Error('invalid command %s' % globals.command)
 
 try:
     main()