Add some more errno to debug 'failed to start J2K encoding'

Fix deprecated cscript bits.

Revert "Packet header writing: set empty packet header bit to 0 when appropriate (small optimization)"

This reverts commit 2609fb8077125b5b31f1bcc2f98c12ff1e6572d7.

I am testing this reversion to see if it fixes problems with DCP
playback on various systems (DCP-o-matic bug #1136).

Fix from Aaron to match v1's threshold value.

use tolerance to bail out early from rate control : much faster

Add some error codes to debug failure in opj_j2k_start_compress.

Compile with -fPIC so we can build shared libdcp with static openjp2.

Add cscript

Merge pull request #1211 from sebras/master

Add check to validate SGcod/SPcoc/SPcod parameter values.

Merge pull request #1246 from rouault/write_plt

Add support for generation of PLT markers in encoder

Add support for generation of PLT markers in encoder

* -PLT switch added to opj_compress
* Add a opj_encoder_set_extra_options() function that
  accepts a PLT=YES option, and could be expanded later
  for other uses.

-------

Testing with a Sentinel2 10m band, T36JTT_20160914T074612_B02.jp2,
coming from S2A_MSIL1C_20160914T074612_N0204_R135_T36JTT_20160914T081456.SAFE

Decompress it to TIFF:
```
opj_uncompress -i T36JTT_20160914T074612_B02.jp2 -o T36JTT_20160914T074612_B02.tif
```

Recompress it with similar parameters as original:
```
opj_compress -n 5 -c [256,256],[256,256],[256,256],[256,256],[256,256] -t 1024,1024 -PLT -i T36JTT_20160914T074612_B02.tif -o T36JTT_20160914T074612_B02_PLT.jp2
```

Dump codestream detail with GDAL dump_jp2.py utility (https://github.com/OSGeo/gdal/blob/master/gdal/swig/python/samples/dump_jp2.py)
```
python dump_jp2.py T36JTT_20160914T074612_B02.jp2 > /tmp/dump_sentinel2_ori.txt
python dump_jp2.py T36JTT_20160914T074612_B02_PLT.jp2 > /tmp/dump_sentinel2_openjpeg_plt.txt
```

The diff between both show very similar structure, and identical number of packets in PLT markers

Now testing with Kakadu (KDU803_Demo_Apps_for_Linux-x86-64_200210)

Full file decompression:
```
kdu_expand -i T36JTT_20160914T074612_B02_PLT.jp2 -o tmp.tif

Consumed 121 tile-part(s) from a total of 121 tile(s).
Consumed 80,318,806 codestream bytes (excluding any file format) = 5.329697
bits/pel.
Processed using the multi-threaded environment, with
    8 parallel threads of execution
```

Partial decompresson (presumably using PLT markers):
```
kdu_expand -i T36JTT_20160914T074612_B02.jp2 -o tmp.pgm -region "{0.5,0.5},{0.01,0.01}"
kdu_expand -i T36JTT_20160914T074612_B02_PLT.jp2 -o tmp2.pgm  -region "{0.5,0.5},{0.01,0.01}"
diff tmp.pgm tmp2.pgm && echo "same !"
```

-------

Funded by ESA for S2-MPC project

struct opj_j2k: remove unused fields, and add some documentation

Merge pull request #1244 from rouault/fix_pi_warnings

Fix warnings about signed/unsigned casts in pi.c

color_apply_icc_profile: add checks on the number of components (#1236)

jp3d/jpwl/mj2/jpip: Fix resource leaks (#1226)

This issues were found by cppcheck and coverity.

Fix warnings about signed/unsigned casts in pi.c

Rename mis-named function opj_tcd_get_encoded_tile_size() to opj_tcd_get_encoder_input_buffer_size()

Merge pull request #1240 from rouault/fix_crash_opj_decompress

opj_decompress: add sanity checks to avoid segfault in case of decoding error

opj_decompress: add sanity checks to avoid segfault in case of decoding error

Prevent crashes like:
opj_decompress -i 0722_5-1_2019.jp2 -o out.ppm -r 4 -t 0

where 0722_5-1_2019.jp2 is
https://drive.google.com/file/d/1ZxOUZg2-FKjYwa257VFLMpTXRWxEoP0a/view?usp=sharing

opj_compress: improve help message regarding new IMF switch

Merge pull request #1235 from rouault/imf

Implement writing of IMF profiles

Implement writing of IMF profiles

Add -IMF switch to opj_compress as well

openjpeg.h: fix values of OPJ_PROFILE_IMF_ constants

Merge pull request #1234 from rouault/md5_libtiff_4_1

tests: add alternate checksums for libtiff 4.1

tests: add alternate checksums for libtiff 4.1

Fixes #1233

libtiff 4.1 slightly modifies the way it generates files. So
add the new expected md5sum.

Not super elegant solution admitedly.

Merge pull request #1232 from rouault/fix_1231

opj_tcd_init_tile(): avoid integer overflow

opj_tcd_init_tile(): avoid integer overflow

That could lead to later assertion failures.

Fixes #1231 / CVE-2020-8112

tests/fuzzers: link fuzz binaries using $LIB_FUZZING_ENGINE. (#1230)

This was changed some time ago (https://google.github.io/oss-fuzz/getting-started/new-project-guide/) but the build didn't fail as there is a fallback mechanism. The main advantage of the new approach is that for libFuzzer this produces more performant binaries (as `$LIB_FUZZING_ENGINE` expands into `-fsanitize=fuzzer`, which links libFuzzer from the compiler-rt, allowing better optimization tricks).

I'm also experimenting with dataflow (https://github.com/google/oss-fuzz/issues/1632) on your project, and the dataflow config doesn't have a fallback (as it's a new configuration), therefore I'm proposing a change to migrate from `-lFuzzingEngine` to `$LIB_FUZZING_ENGINE`.

Merge pull request #1229 from rouault/fix_1228

opj_j2k_update_image_dimensions(): reject images whose coordinates are beyond INT_MAX (fixes #1228)

opj_j2k_update_image_dimensions(): reject images whose coordinates are beyond INT_MAX (fixes #1228)

Merge pull request #1217 from rouault/fix_ossfuzz_18979

pi.c: avoid integer overflow, resulting in later invalid access to memory in opj_t2_decode_packets()

JPWL: convert: Fix buffer overflow reading an image file less than four characters (#1196)

Fixes #1068

Merge pull request #1218 from rouault/fix_broken_abi_check

abi-check.sh: fix false postive ABI error, and display output error log

abi-check.sh: fix false postive ABI error, and display output error log

There is currently a false positive ABI check failure between v2.3.1
and current. It disappears when removing the generated reports of v2.3.1
and recreating them. It is likely that some tooling has evolved since
the initial v2.3.1 report generation.

pi.c: avoid integer overflow, resulting in later invalid access to memory in opj_t2_decode_packets(). Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=18979

opj_tcd_mct_decode()/opj_mct_decode()/opj_mct_encode_real()/opj_mct_decode_real(): proper deal with a number of samples larger than 4 billion (refs #1151)

openjp2/j2k: Validate all SGcod/SPcod/SPcoc parameter values.

Previously the multiple component transformation SGcod(C)
and wavelet transformation SPcod(H)/SPcoc(E) parameter
values were never checked, allowing for out of range values.

The lack of validation allowed the bit stream provided in
issue #1158 through. After this commit an error message
points to the marker segments' parameters as being out of
range.

input/nonregression/edf_c2_20.jp2 contains an SPcod(H) value
of 17, but according to Table A-20 of the specification only
values 0 and 1 are valid. input/nonregression/issue826.jp2
contains a SGcod(B) value of 2, but according to Table A-17
of the specification only values 0 and 1 are valid.
input/nonregression/oss-fuzz2785.jp2 contains a SGcod(B)
value of 32, but it is likewise limited to 0 or 1. These test
cases have been updated to consistently fail to parse the
headers since they contain out of bounds values.

This fixes issue #1210.

openjp2/j2k: Make comments adhere to specification.

The function is used to read both SPcod and SPcoc, so all
comments should refer to both marker segments' parameter names.

Merge pull request #1164 from sebras/master

openjp2/j2k: Report error if all wanted components are not decoded.

opj_decompress_fuzzer: remove checks regarding input dimensions (fixes #1079)

test_decode_area.c: assign tdy to *ptileh instead of *ptilew (fixes #1195)

Merge pull request #1185 from Young-X/fix

Fix several potential vulnerabilities

Merge pull request #1192 from rouault/poc_fixes

compression: emit POC marker when only one single POC is requested (f…

Change opj_j2k_check_poc_val() to take into account tile number

Add test for previous commit

Fix POC in multi-tile scenarios: avoid almost endless loop when a tile has no POC settings

Add test for previous commit

opj_j2k_check_poc_val(): prevent potential write outside of allocated array

opj_j2k_check_poc_val(): fix starting index for checking layer dimension

The standard mandates that the layer index always starts at zero for every
progression.

compression: emit POC marker when only one single POC is requested (fixes #1191)

j2k.c: use correct naming convention for total_data_size variable

bmp_read_rle4_data(): avoid potential infinite loop

convertbmp: detect invalid file dimensions early

width/length dimensions read from bmp headers are not necessarily
valid. For instance they may have been maliciously set to very large
values with the intention to cause DoS (large memory allocation, stack
overflow). In these cases we want to detect the invalid size as early
as possible.

This commit introduces a counter which verifies that the number of
written bytes corresponds to the advertized width/length.

See commit 8ee335227bbc for details.

Signed-off-by: Young Xiao <YangX92@hotmail.com>

Comment back opj_previous_version in abi_check.sh

Update version number for automatic abi check

update token for appveyor auto release

update token for automatic release

Update for release 2.3.1

Update for release 2.3.1

update for release 2.3.1

Update BUILD version for release 2.3.1

Merge pull request #1188 from rouault/fix_abi_check

abi-check.sh: fix broken download URL

abi-check.sh: fix broken download URL

Merge pull request #1187 from rouault/fix_ubsan_in_opj_t1_encode_cblks

opj_t1_encode_cblks: fix UBSAN signed integer overflow

opj_t1_encode_cblks: fix UBSAN signed integer overflow

Fixes #1053 / CVE-2018-5727

Note: I don't consider this issue to be a security vulnerability, in
practice.
At least with gcc or clang compilers on x86_64 which generate the same
assembly code with or without that fix.

Revert "[JPWL] tgatoimage(): avoid excessive memory allocation attempt,"

This reverts commit 05be3084460e46282ee63f04c72c451f3271fd28.

This commit doesn't compile due to missing OPJ_UINT64 type

Revert "[MJ2] Avoid index out of bounds access to pi->include[]"

This reverts commit c277159986c80142180fbe5efb256bbf3bdf3edc.

The commit didn't compile. include_size is not defined in openmj2

openjp2/j2k: Report error if all wanted components are not decoded.

Previously the caller had to check whether each component data had
been decoded. This means duplicating the checking in every user of
openjpeg which is unnecessary. If the caller wantes to decode all
or a set of, or a specific component then openjpeg ought to error
out if it was unable to do so.

Fixes #1158.

Merge pull request #1172 from hlef/master

convertbmp: detect invalid file dimensions early (CVE-2018-6616)

convertbmp: detect invalid file dimensions early

width/length dimensions read from bmp headers are not necessarily
valid. For instance they may have been maliciously set to very large
values with the intention to cause DoS (large memory allocation, stack
overflow). In these cases we want to detect the invalid size as early
as possible.

This commit introduces a counter which verifies that the number of
written bytes corresponds to the advertized width/length.

Fixes #1059 (CVE-2018-6616).

Merge pull request #1168 from Young-X/fix_dev

Fix multiple potential vulnerabilities and bugs

[JPWL] tgatoimage(): avoid excessive memory allocation attempt,
and fixes unaligned load

Signed-off-by: Young Xiao <YangX92@hotmail.com>

 [JP3D] To avoid divisions by zero / undefined behaviour on shift (CVE-2018-14423

Signed-off-by: Young_X <YangX92@hotmail.com>

 [JPWL] opj_compress: reorder checks related to code block dimensions to avoid potential int overflow

Signed-off-by: Young_X <YangX92@hotmail.com>

[OPENJP2] change the way to compute *p_tx0, *p_tx1, *p_ty0, *p_ty1 in function
opj_get_encoding_parameters

Signed-off-by: Young_X <YangX92@hotmail.com>

[MJ2] Avoid index out of bounds access to pi->include[]

Signed-off-by: Young_X <YangX92@hotmail.com>

Merge pull request #1170 from rouault/fix_color_apply_icc_profile

color_apply_icc_profile: avoid potential heap buffer overflow

color_apply_icc_profile: avoid potential heap buffer overflow

Derived from a patch by Thuan Pham

[JPWL] imagetotga(): fix read heap buffer overflow if numcomps < 3 (#987)

Signed-off-by: Young_X <YangX92@hotmail.com>

[JPWL] fix CVE-2018-16375

Signed-off-by: Young_X <YangX92@hotmail.com>

[MJ2] To avoid divisions by zero / undefined behaviour on shift

Signed-off-by: Young_X <YangX92@hotmail.com>

Merge pull request #1160 from hlef/master

jp3d/jpwl convert: fix write stack buffer overflow

openjp3d: Int overflow fixed (#1159)

When compressing a lot of slices (starting from 44 FullHD slices with 3 8bit components in our experiments) the rate values are high enough to cause an int overflow that leads to negative lengths and wrong results. The cast happens too late.

jp2: convert: fix null pointer dereference

Tile components in a JP2 image might have null data pointer by defining a
zero component size (for example using large horizontal or vertical
sampling periods). This null data pointer leads to null image component
data pointer, causing crash when dereferenced without != null check in
imagetopnm.

Add != null check.

This commit addresses #1152 (CVE-2018-18088).

jp3d/jpwl convert: fix write stack buffer overflow

Missing buffer length formatter in fscanf call might lead to write
stack buffer overflow.

fixes #1044 (CVE-2017-17480)

Fix some potential overflow issues (#1161)

* Fix some potential overflow issues

Put sizeof to the beginning of the multiplication to enforce that
size_t instead of smaller integer types is used for the calculation.

This fixes warnings from LGTM:

    Multiplication result may overflow 'unsigned int'
    before it is converted to 'unsigned long'.

It also allows removing some type casts.

Signed-off-by: Stefan Weil <sw@weilnetz.de>
* Fix code indentation

Signed-off-by: Stefan Weil <sw@weilnetz.de>

Merge pull request #1163 from nforro/memory-and-resource-leaks

Fix several memory and resource leaks

Fix several memory and resource leaks

Signed-off-by: Nikola Forró <nforro@redhat.com>

opj_thread_pool_setup(): fix infinite waiting if a thread creation failed

Merge pull request #1148 from hlef/master

CVE-2018-5785: fix issues with zero bitmasks

opj_jp2_apply_pclr(): remove useless assert that can trigger on some files (fixes #1125)

Merge branch 'pr1095'

opj_mj2_extract: Check provided output prefix for length

This uses snprintf() with correct buffer length instead of sprintf(), which
prevents a buffer overflow when providing a long output prefix. Furthermore
the program exits with an error when the provided output prefix is too long.

Fixes #1088.

Merge branch 'pr1107'

opj_mj2_extract: Avoid segfault for long filenames

Merge pull request #1136 from reverson/master

Cast on uint ceildiv

Merge pull request #1119 from stweil/ssize_t

Use local type declaration for POSIX standard type only for MS compiler

Merge pull request #1128 from stweil/typos

Fix some typos in code comments and documentation

Merge pull request #1140 from bukatlib/fix_relpath

Relative path to header files is hardcoded in OpenJPEGConfig.cmake.in file

Merge pull request #1141 from szukw000/changes-in-pnmtoimage

Changes in pnmtoimage if image data are missing