Reverse the sense of a bunch of notarize variables.
[cdist.git] / cdist
diff --git a/cdist b/cdist
index 8ce2497fd3e474b898e89c5a2c31c5d8a43d8829..f7094a076f3b2688b18581f44112bb070818ff5a 100755 (executable)
--- a/cdist
+++ b/cdist
@@ -35,8 +35,6 @@ import sys
 import tempfile
 import time
 
-TEMPORARY_DIRECTORY = '/var/tmp'
-
 class Error(Exception):
     def __init__(self, value):
         self.value = value
@@ -122,7 +120,8 @@ class Config:
                          BoolOption('docker_no_user'),
                          Option('docker_hub_repository'),
                          Option('flatpak_state_dir'),
-                         Option('parallel', multiprocessing.cpu_count()) ]
+                         Option('parallel', multiprocessing.cpu_count()),
+                         Option('temp', '/var/tmp')]
 
         config_dir = '%s/.config' % os.path.expanduser('~')
         if not os.path.exists(config_dir):
@@ -256,9 +255,12 @@ def rmtree(a):
 
 def command(c):
     log_normal(c)
-    r = os.system(c)
-    if (r >> 8):
-        raise Error('command %s failed' % c)
+    try:
+        r = subprocess.run(c, shell=True)
+        if r.returncode != 0:
+            raise Error('command %s failed (%d)' % (c, r.returncode))
+    except Exception as e:
+        raise Error('command %s failed (%s)' % (c, e))
 
 def command_and_read(c):
     log_normal(c)
@@ -411,7 +413,7 @@ class Target(object):
         self.build_dependencies = True
 
         if directory is None:
-            self.directory = tempfile.mkdtemp('', 'tmp', TEMPORARY_DIRECTORY)
+            self.directory = tempfile.mkdtemp('', 'tmp', config.get('temp'))
             self.rmdir = True
             self.set('CCACHE_BASEDIR', os.path.realpath(self.directory))
             self.set('CCACHE_NOHASHDIR', '')
@@ -436,7 +438,7 @@ class Target(object):
         for p in packages:
             copyfile(p, os.path.join(output_dir, os.path.basename(devel_to_git(tree.git_commit, p))))
 
-    def package(self, project, checkout, output_dir, options, no_notarize):
+    def package(self, project, checkout, output_dir, options, notarize):
         tree = self.build(project, checkout, options)
         tree.add_defaults(options)
         p = self._build_packages(tree, options)
@@ -726,7 +728,7 @@ class AppImageTarget(LinuxTarget):
         self.privileged = True
 
 
-def notarize(dmg, bundle_id):
+def notarize_dmg(dmg, bundle_id):
     p = subprocess.run(
         ['xcrun', 'altool', '--notarize-app', '-t', 'osx', '-f', dmg, '--primary-bundle-id', bundle_id, '-u', config.get('apple_id'), '-p', config.get('apple_password'), '--output-format', 'xml'],
         capture_output=True
@@ -734,14 +736,13 @@ def notarize(dmg, bundle_id):
 
     def string_after(process, key):
         lines = p.stdout.decode('utf-8').splitlines()
-        request_uuid = None
         for i in range(0, len(lines)):
             if lines[i].find(key) != -1:
                 return lines[i+1].strip().replace('<string>', '').replace('</string>', '')
 
-        raise Error("Missing expected response %s from Apple" % key)
-
     request_uuid = string_after(p, "RequestUUID")
+    if request_uuid is None:
+        raise Error('No RequestUUID found in response from Apple')
 
     for i in range(0, 30):
         print('Checking up on %s' % request_uuid)
@@ -753,6 +754,9 @@ def notarize(dmg, bundle_id):
         elif status == 'success':
             subprocess.run(['xcrun', 'stapler', 'staple', dmg])
             return
+        elif status != "in progress":
+            print("Could not understand xcrun response")
+            print(p)
         time.sleep(30)
 
     raise Error("Notarization timed out")
@@ -761,7 +765,6 @@ def notarize(dmg, bundle_id):
 class OSXTarget(Target):
     def __init__(self, directory=None):
         super(OSXTarget, self).__init__('osx', directory)
-        self.sdk = config.get('osx_sdk')
         self.sdk_prefix = config.get('osx_sdk_prefix')
         self.environment_prefix = config.get('osx_environment_prefix')
         self.apple_id = config.get('apple_id')
@@ -772,33 +775,31 @@ class OSXTarget(Target):
     def command(self, c):
         command('%s %s' % (self.variables_string(False), c))
 
-    def build(self, *a, **k):
+    def unlock_keychain(self):
         self.command('security unlock-keychain -p %s %s' % (self.osx_keychain_password, self.osx_keychain_file))
-        return super().build(*a, **k)
 
 
 class OSXSingleTarget(OSXTarget):
-    def __init__(self, bits, directory=None):
+    def __init__(self, arch, sdk, directory=None):
         super(OSXSingleTarget, self).__init__(directory)
-        self.bits = bits
+        self.arch = arch
+        self.sdk = sdk
 
-        if bits == 32:
-            arch = 'i386'
-        else:
-            arch = 'x86_64'
+        flags = '-isysroot %s/MacOSX%s.sdk -arch %s' % (self.sdk_prefix, sdk, arch)
+        host_enviro = '%s/x86_64' % config.get('osx_environment_prefix')
+        target_enviro = '%s/%s' % (config.get('osx_environment_prefix'), arch)
 
-        flags = '-isysroot %s/MacOSX%s.sdk -arch %s' % (self.sdk_prefix, self.sdk, arch)
-        enviro = '%s/%d' % (config.get('osx_environment_prefix'), bits)
+        self.bin = '%s/bin' % target_enviro
 
         # Environment variables
-        self.set('CFLAGS', '"-I%s/include -I%s/include %s"' % (self.directory, enviro, flags))
+        self.set('CFLAGS', '"-I%s/include -I%s/include %s"' % (self.directory, target_enviro, flags))
         self.set('CPPFLAGS', '')
-        self.set('CXXFLAGS', '"-I%s/include -I%s/include %s"' % (self.directory, enviro, flags))
-        self.set('LDFLAGS', '"-L%s/lib -L%s/lib %s"' % (self.directory, enviro, flags))
-        self.set('LINKFLAGS', '"-L%s/lib -L%s/lib %s"' % (self.directory, enviro, flags))
-        self.set('PKG_CONFIG_PATH', '%s/lib/pkgconfig:%s/lib/pkgconfig:/usr/lib/pkgconfig' % (self.directory, enviro))
-        self.set('PATH', '$PATH:/usr/bin:/sbin:/usr/local/bin:%s/bin' % enviro)
-        self.set('MACOSX_DEPLOYMENT_TARGET', config.get('osx_sdk'))
+        self.set('CXXFLAGS', '"-I%s/include -I%s/include %s"' % (self.directory, target_enviro, flags))
+        self.set('LDFLAGS', '"-L%s/lib -L%s/lib %s"' % (self.directory, target_enviro, flags))
+        self.set('LINKFLAGS', '"-L%s/lib -L%s/lib %s"' % (self.directory, target_enviro, flags))
+        self.set('PKG_CONFIG_PATH', '%s/lib/pkgconfig:%s/lib/pkgconfig:/usr/lib/pkgconfig' % (self.directory, target_enviro))
+        self.set('PATH', '$PATH:/usr/bin:/sbin:/usr/local/bin:%s/bin' % host_enviro)
+        self.set('MACOSX_DEPLOYMENT_TARGET', sdk)
         self.set('CCACHE_BASEDIR', self.directory)
 
     @Target.ccache.setter
@@ -808,39 +809,42 @@ class OSXSingleTarget(OSXTarget):
             self.set('CC', '"ccache gcc"')
             self.set('CXX', '"ccache g++"')
 
-    def package(self, project, checkout, output_dir, options, no_notarize):
+    def package(self, project, checkout, output_dir, options, notarize):
         tree = self.build(project, checkout, options)
         tree.add_defaults(options)
+        self.unlock_keychain()
         p = self._build_packages(tree, options)
         for x in p:
             if not isinstance(x, tuple):
                 raise Error('macOS packages must be returned from cscript as tuples of (dmg-filename, bundle-id)')
-            if not no_notarize:
-                notarize(x[0], x[1])
+            if notarize:
+                notarize_dmg(x[0], x[1])
         self._copy_packages(tree, [x[0] for x in p], output_dir)
 
 
 class OSXUniversalTarget(OSXTarget):
-    def __init__(self, directory=None):
+    def __init__(self, archs, directory=None):
         super(OSXUniversalTarget, self).__init__(directory)
-        self.bits = None
+        self.archs = archs
+
+    def package(self, project, checkout, output_dir, options, notarize):
 
-    def package(self, project, checkout, output_dir, options, no_notarize):
+        sdk = config.get('osx_sdk')
+        for a in self.archs:
+            if a.find('arm') != -1:
+                sdk = '11.0'
 
-        for b in [32, 64]:
-            target = OSXSingleTarget(b, os.path.join(self.directory, '%d' % b))
+        for a in self.archs:
+            target = OSXSingleTarget(a, sdk, os.path.join(self.directory, a))
             target.ccache = self.ccache
             tree = globals.trees.get(project, checkout, target)
             tree.build_dependencies(options)
             tree.build(options)
 
+        self.unlock_keychain()
         tree = globals.trees.get(project, checkout, self)
         with TreeDirectory(tree):
-            if len(inspect.getfullargspec(tree.cscript['package']).args) == 3:
-                packages = tree.call('package', tree.version, options)
-            else:
-                log_normal("Deprecated cscript package() method with no options parameter")
-                packages = tree.call('package', tree.version)
+            self._build_packages(tree, options)
             for p in packages:
                 copyfile(p, os.path.join(output_dir, os.path.basename(devel_to_git(tree.git_commit, p))))
 
@@ -856,7 +860,7 @@ class SourceTarget(Target):
     def cleanup(self):
         rmtree(self.directory)
 
-    def package(self, project, checkout, output_dir, options):
+    def package(self, project, checkout, output_dir, options, notarize):
         tree = globals.trees.get(project, checkout, self)
         with TreeDirectory(tree):
             name = read_wscript_variable(os.getcwd(), 'APPNAME')
@@ -871,7 +875,7 @@ class SourceTarget(Target):
 #    or centos-version-{32,64}
 #    or fedora-version-{32,64}
 #    or mageia-version-{32,64}
-#    or osx-{32,64}
+#    or osx-{intel,arm}
 #    or source
 #    or flatpak
 #    or appimage
@@ -902,13 +906,17 @@ def target_factory(args):
         target = LinuxTarget(p[0], None, int(p[1]), args.work)
     elif s == 'raspbian':
         target = LinuxTarget(s, None, None, args.work)
-    elif s.startswith('osx-'):
-        target = OSXSingleTarget(int(s.split('-')[1]), args.work)
-    elif s == 'osx':
+    elif s == 'osx-intel-32-64':
+        # Universal Intel 32/64-bit built for config's os_sdk
         if args.command == 'build':
-            target = OSXSingleTarget(64, args.work)
+            target = OSXSingleTarget('x86_64', args.work)
         else:
-            target = OSXUniversalTarget(args.work)
+            target = OSXUniversalTarget(('i386', 'x86_64'), args.work)
+    elif s == 'osx-arm-intel-64':
+        # Universal arm64 and Intel 64-bit built for SDK 11.0
+        target = OSXUniversalTarget(('arm64', 'x86_64'), args.work)
+    elif s == 'osx-arm64':
+        target = OSXSingleTarget('arm64', '11.0', args.work)
     elif s == 'source':
         target = SourceTarget()
     elif s == 'flatpak':
@@ -1151,8 +1159,8 @@ def main():
     parser_manual = subparsers.add_parser("manual", help="build the project's manual")
     parser_doxygen = subparsers.add_parser("doxygen", help="build the project's Doxygen documentation")
     parser_latest = subparsers.add_parser("latest", help="print out the latest version")
-    parser_latest.add_argument('--latest-major', help='major version to return', type=int)
-    parser_latest.add_argument('--latest-minor', help='minor version to return', type=int)
+    parser_latest.add_argument('--major', help='major version to return', type=int)
+    parser_latest.add_argument('--minor', help='minor version to return', type=int)
     parser_test = subparsers.add_parser("test", help="build the project and run its unit tests")
     parser_test.add_argument('--no-implicit-build', help='do not build first', action='store_true')
     parser_test.add_argument('--test', help="name of test to run, defaults to all")
@@ -1223,7 +1231,7 @@ def main():
                 output_dir = args.output
 
             makedirs(output_dir)
-            target.package(args.project, args.checkout, output_dir, get_command_line_options(args), args.no_notarize)
+            target.package(args.project, args.checkout, output_dir, get_command_line_options(args), not args.no_notarize)
         except Error as e:
             if target is not None and not args.keep:
                 target.cleanup()
@@ -1308,7 +1316,7 @@ def main():
                             t = s[1]
                         if len(t) > 0 and t[0] == 'v':
                             v = Version(t[1:])
-                            if (args.latest_major is None or v.major == args.latest_major) and (args.latest_minor is None or v.minor == args.latest_minor):
+                            if (args.major is None or v.major == args.major) and (args.minor is None or v.minor == args.minor):
                                 latest = v
 
         print(latest)