Fix various bugs in subtitle/ccap verification.
[libdcp.git] / run / tests
index 7083c6842b742f6b0c8252b877a1da67ec1918c2..eb599af4ca50e6496fad7829ca2a07ede609ae5b 100755 (executable)
--- a/run/tests
+++ b/run/tests
@@ -1,49 +1,87 @@
-#!/bin/bash -e
+#!/bin/bash
 #
-# Run our test suite, which (amongst other things)
-# builds a couple of DCPs.
-# The outputs are compared against the ones
-# in test/ref/DCP, and an error is given
-# if anything is different.
+# Run our test suite.
 
+# Private test data; this is stuff that is non-distributable
 private=../libdcp-test-private
+# Work directory
 work=build/test
+# Path to tools
 dcpinfo=build/tools/dcpinfo
+dcpverify=build/tools/dcpverify
 
-export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:build/src:build/asdcplib/src
+export LD_LIBRARY_PATH=build/src:$LD_LIBRARY_PATH
+# SIP stops this being passed in from the caller's environment
+export DYLD_LIBRARY_PATH=/Users/ci/osx-environment/x86_64/lib
+export LIBDCP_SHARE_PREFIX=.
+
+# Make sure we have the required tools
+for c in xmlsec1 xmllint; do
+  hash $c 2>/dev/null || { echo >&2 "$c required but not found; aborting"; exit 1; }
+done
+
+echo "--- Unit tests"
 
 # Run the unit tests in test/
 if [ "$1" == "--debug" ]; then
     shift
-    gdb --args $work/tests $private
+    gdb --args $work/tests $private $*
 elif [ "$1" == "--valgrind" ]; then
     shift
-    valgrind --tool="memcheck" $work/tests $private
+    valgrind --tool="memcheck" $work/tests $private $*
+elif [ "$1" == "--callgrind" ]; then
+    shift
+    valgrind --tool="callgrind" $work/tests $private $*
 else
-    $work/tests $private $*
+    $work/tests $* -- $private
+    if [ "$?" != "0" ]; then
+       echo "FAIL: unit tests"
+        exit 1
+    fi
 fi
 
-# Check a MXF written by the unit tests
-diff $work/baz/video1.mxf $work/baz/video2.mxf
+if [ "$*" != "" ]; then
+    echo "Skipping post-test checks as not all unit tests were run."
+    exit 0
+fi
+
+echo "--- Other tests"
+
+# Check the DCP written by dcp_test1
+diff -ur test/ref/DCP/dcp_test1 $work/DCP/dcp_test1
 if [ "$?" != "0" ]; then
-    echo "FAIL: MXFs from recovery incorrect"
+    echo "FAIL: files differ"
     exit 1
 fi
 
-# Check the first DCP written by the unit tests
-diff -ur test/ref/DCP/dcp_test1 $work/DCP/dcp_test1
+# Check the DCP written by dcp_test2
+diff -ur test/ref/DCP/dcp_test2 $work/DCP/dcp_test2
+if [ "$?" != "0" ]; then
+    echo "FAIL: files differ"
+    exit 1
+fi
+
+# Check the DCP written by dcp_test5
+diff -ur test/ref/DCP/dcp_test5 $work/DCP/dcp_test5
+if [ "$?" != "0" ]; then
+    echo "FAIL: files differ"
+    exit 1
+fi
+
+# Check the DCP written by dcp_test7
+diff -ur test/ref/DCP/dcp_test7 $work/DCP/dcp_test7
 if [ "$?" != "0" ]; then
     echo "FAIL: files differ"
     exit 1
 fi
 
-# Check the second DCP written by the unit tests
-diff -ur test/ref/DCP/bar $work/DCP/bar
+# Check the DCP written by encryption_test
+diff -ur test/ref/DCP/encryption_test $work/DCP/encryption_test
 if [ "$?" != "0" ]; then
     echo "FAIL: files differ"
     exit 1
 fi
-    
+
 # Everything beyond this point needs $private to exist
 if [ ! -e "$private/info.log" ]; then
     echo ""
@@ -52,10 +90,12 @@ if [ ! -e "$private/info.log" ]; then
 fi
 
 # Run dcpinfo on all the DCPs in private/metadata, writing $work/info.log
+# This writes details of the CPLs and all subtitle details, so it checks
+# if the code is reading subtitle files correctly.
 rm -f $work/info.log
 for d in `find $private/metadata -mindepth 1 -maxdepth 1 -type d | sort -f -d`; do
     if [ `basename $d` != ".git" ]; then
-        $dcpinfo --ignore-missing-assets -k -s $d 2> /dev/null >> $work/info.log
+        $dcpinfo --ignore-missing-assets -s $d >> $work/info.log
         if [ "$?" != "0" ]; then
             echo "FAIL: dcpinfo failed for $d"
             exit 1
@@ -63,6 +103,17 @@ for d in `find $private/metadata -mindepth 1 -maxdepth 1 -type d | sort -f -d`;
     fi
 done
 
+# Run dcpverify on all the DCPs in private/metadata
+for d in `find $private/metadata -mindepth 1 -maxdepth 1 -type d | sort -f -d`; do
+    if [ `basename $d` != ".git" ]; then
+        $dcpverify --ignore-missing-assets --ignore-bv21-smpte -q $d
+        if [ "$?" != "0" ]; then
+            echo "FAIL: dcpverify failed for $d"
+            exit 1
+        fi
+    fi
+done
+
 # Check info.log is what it should be
 diff -q $work/info.log $private/info.log
 if [ "$?" != "0" ]; then
@@ -70,16 +121,17 @@ if [ "$?" != "0" ]; then
     exit 1
 fi
 
-# Copy test/private into build/ then re-write the subtitles of every DCP using 
-# $work/rewrite_subs.  This tests round-trip of subtitle reading/writing.
+# Copy $private/metadata into build/metadata then re-write the subtitles
+# of every DCP using $work/rewrite_subs.  This tests round-trip of
+# subtitle reading/writing.
 rm -f $work/info2.log
 rm -rf $work/private
 mkdir $work/private
-cp -r $private/* $work/private
+cp -r $private/metadata $work/private/
 for d in `find $work/private/metadata -mindepth 1 -maxdepth 1 -type d | sort -f -d`; do
     if [ `basename $d` != ".git" ]; then
         $work/rewrite_subs $d
-        $dcpinfo --ignore-missing-assets -k -s $d >> $work/info2.log
+        $dcpinfo --ignore-missing-assets -s $d >> $work/info2.log
     fi
 done
 
@@ -93,8 +145,16 @@ if [ "$?" != "0" ]; then
     exit 1
 fi
 
-# Dump the subs of JourneyToJah... (which has MXF-wrapped subtitles)
+# Dump the subs of JourneyToJah... (which has MXF-wrapped SMPTE subtitles)
 # and check that they are right
 $dcpinfo -s $private/data/JourneyToJah_TLR-1_F_EN-DE-FR_CH_51_2K_LOK_20140225_DGL_SMPTE_OV >> $work/jah.log
 
+# Parse some problematic subs and check that we get it right
+run/test/subs_in_out $private/TunaBoat_Icelandic_Reel1_V1_8sec.xml > $work/tuna.xml
+diff -q $private/TunaBoat_Icelandic_Reel1_V1_8sec.parsed.xml $work/tuna.xml
+if [ "$?" != "0" ]; then
+    echo "FAIL: output of parse check 1 invalid"
+    exit 1
+fi
+
 echo "PASS"