fixup! Try to build with AVX2.

Try to build with AVX2.

Add cscript.

T1 encoder: speed-up by aggressive inlining and more cache friendly data organization

~ 9% speed improvement seen on 10980x10980 uint16 image, T36JTT_20160914T074612_B02.tif
opj_compress time from 17.2s to 15.8s

Forward DWT 9-7: major speed up by vectorizing vertical pass

`bench_dwt -I -encode` times goes from 8.6s to 2.1s

Forward DWT 5-3: major speed up by vectorizing vertical pass

`bench_dwt -encode` times goes from 7.9s to 1.7s

Forward DWT: small code refactoring to allow future improvements for the vertical pass

dwt.c: remove unused typedef

Forward DWT 5x3: performance improvements in horizontal pass, and modest in vertical pass

Forward DWT: small code refactoring to allow future improvements for the horizontal pass

Speed-up 9x7 IDWD by ~30% with OPJ_NUM_THREADS=2

"bench_dwt -I" time goes from 2.2s to 1.5s

Remove useless + 5U margin in opj_dwt_decode_tile_97()

Nothing in code analysis nor test suite shows that this margin is
needed.
It dates back to commit dbeebe72b9d35f6ff807c21c7f217b569fa894f6
where vector 9x7 decoding was introduced.

Speed-up 9x7 IDWD by ~20%

"bench_dwt -I" time goes from 2.8s to 2.2s

bench_dwt.c: add a -I switch to test irreversible FWDT/IDWT

Irreversible decoding: partially revert previous commit, to fix failures in test suite

Irreversible compression/decompression DWT: use 1/K constant as per standard

The previous constant opj_c13318 was mysteriously equal to 2/K , and in
the DWT, we had to divide K and opj_c13318 by 2... The issue was that the
band->stepsize computation in tcd.c didn't take into account the log2gain of
the band.

The effect of this change is expected to be mostly equivalent to the previous
situation, except some difference in rounding. But it leads to a dramatic
reduction of the mean square error and peak error in the irreversible encoding
of issue141.tif !

Irreversible decoding: align code more closely to the standard by avoid messing up with stepsize (no functional change)

opj_dwt_encode_1_real(): avoid many bound comparisons, similarly to decoding side

opj_j2k_setup_encoder(): add validation of tile width and height to avoid potential division by zero

opj_mct_encode_real(): add SSE optimization

Testing: revise testing of lossy encoding by comparing PEAK and MSE with original image

compare_images.c: code reformatting

tcd.c: add comment

Encoder: use floating-point operations for irreversible transformation

dwt.c: change sign of constants to match standard and compensate (no functional change)

Add multithreaded support in the DWT encoder.

Update the bench_dwt utility to have a -decode/-encode switch

Measured performance gains for DWT encoder on a
Intel(R) Core(TM) i7-6700HQ CPU @ 2.60GHz (4 cores, hyper threaded)

Encoding time:
$ ./bin/bench_dwt -encode -num_threads 1
time for dwt_encode: total = 8.348 s, wallclock = 8.352 s

$ ./bin/bench_dwt -encode -num_threads 2
time for dwt_encode: total = 9.776 s, wallclock = 4.904 s

$ ./bin/bench_dwt -encode -num_threads 4
time for dwt_encode: total = 13.188 s, wallclock = 3.310 s

$ ./bin/bench_dwt -encode -num_threads 8
time for dwt_encode: total = 30.024 s, wallclock = 4.064 s

Scaling is probably limited by memory access patterns causing
memory access to be the bottleneck.
The slightly worse results with threads==8 than with thread==4
is due to hyperthreading being not appropriate here.

Add multithreading support in the T1 (entropy phase) encoder

- API wise, opj_codec_set_threads() can be used on the encoding side
- opj_compress has a -threads switch similar to opj_uncompress

Merge pull request #1246 from rouault/write_plt

Add support for generation of PLT markers in encoder

Add support for generation of PLT markers in encoder

* -PLT switch added to opj_compress
* Add a opj_encoder_set_extra_options() function that
  accepts a PLT=YES option, and could be expanded later
  for other uses.

-------

Testing with a Sentinel2 10m band, T36JTT_20160914T074612_B02.jp2,
coming from S2A_MSIL1C_20160914T074612_N0204_R135_T36JTT_20160914T081456.SAFE

Decompress it to TIFF:
```
opj_uncompress -i T36JTT_20160914T074612_B02.jp2 -o T36JTT_20160914T074612_B02.tif
```

Recompress it with similar parameters as original:
```
opj_compress -n 5 -c [256,256],[256,256],[256,256],[256,256],[256,256] -t 1024,1024 -PLT -i T36JTT_20160914T074612_B02.tif -o T36JTT_20160914T074612_B02_PLT.jp2
```

Dump codestream detail with GDAL dump_jp2.py utility (https://github.com/OSGeo/gdal/blob/master/gdal/swig/python/samples/dump_jp2.py)
```
python dump_jp2.py T36JTT_20160914T074612_B02.jp2 > /tmp/dump_sentinel2_ori.txt
python dump_jp2.py T36JTT_20160914T074612_B02_PLT.jp2 > /tmp/dump_sentinel2_openjpeg_plt.txt
```

The diff between both show very similar structure, and identical number of packets in PLT markers

Now testing with Kakadu (KDU803_Demo_Apps_for_Linux-x86-64_200210)

Full file decompression:
```
kdu_expand -i T36JTT_20160914T074612_B02_PLT.jp2 -o tmp.tif

Consumed 121 tile-part(s) from a total of 121 tile(s).
Consumed 80,318,806 codestream bytes (excluding any file format) = 5.329697
bits/pel.
Processed using the multi-threaded environment, with
    8 parallel threads of execution
```

Partial decompresson (presumably using PLT markers):
```
kdu_expand -i T36JTT_20160914T074612_B02.jp2 -o tmp.pgm -region "{0.5,0.5},{0.01,0.01}"
kdu_expand -i T36JTT_20160914T074612_B02_PLT.jp2 -o tmp2.pgm  -region "{0.5,0.5},{0.01,0.01}"
diff tmp.pgm tmp2.pgm && echo "same !"
```

-------

Funded by ESA for S2-MPC project

struct opj_j2k: remove unused fields, and add some documentation

Merge pull request #1244 from rouault/fix_pi_warnings

Fix warnings about signed/unsigned casts in pi.c

color_apply_icc_profile: add checks on the number of components (#1236)

jp3d/jpwl/mj2/jpip: Fix resource leaks (#1226)

This issues were found by cppcheck and coverity.

Fix warnings about signed/unsigned casts in pi.c

Rename mis-named function opj_tcd_get_encoded_tile_size() to opj_tcd_get_encoder_input_buffer_size()

Merge pull request #1240 from rouault/fix_crash_opj_decompress

opj_decompress: add sanity checks to avoid segfault in case of decoding error

opj_decompress: add sanity checks to avoid segfault in case of decoding error

Prevent crashes like:
opj_decompress -i 0722_5-1_2019.jp2 -o out.ppm -r 4 -t 0

where 0722_5-1_2019.jp2 is
https://drive.google.com/file/d/1ZxOUZg2-FKjYwa257VFLMpTXRWxEoP0a/view?usp=sharing

opj_compress: improve help message regarding new IMF switch

Merge pull request #1235 from rouault/imf

Implement writing of IMF profiles

Implement writing of IMF profiles

Add -IMF switch to opj_compress as well

openjpeg.h: fix values of OPJ_PROFILE_IMF_ constants

Merge pull request #1234 from rouault/md5_libtiff_4_1

tests: add alternate checksums for libtiff 4.1

tests: add alternate checksums for libtiff 4.1

Fixes #1233

libtiff 4.1 slightly modifies the way it generates files. So
add the new expected md5sum.

Not super elegant solution admitedly.

Merge pull request #1232 from rouault/fix_1231

opj_tcd_init_tile(): avoid integer overflow

opj_tcd_init_tile(): avoid integer overflow

That could lead to later assertion failures.

Fixes #1231 / CVE-2020-8112

tests/fuzzers: link fuzz binaries using $LIB_FUZZING_ENGINE. (#1230)

This was changed some time ago (https://google.github.io/oss-fuzz/getting-started/new-project-guide/) but the build didn't fail as there is a fallback mechanism. The main advantage of the new approach is that for libFuzzer this produces more performant binaries (as `$LIB_FUZZING_ENGINE` expands into `-fsanitize=fuzzer`, which links libFuzzer from the compiler-rt, allowing better optimization tricks).

I'm also experimenting with dataflow (https://github.com/google/oss-fuzz/issues/1632) on your project, and the dataflow config doesn't have a fallback (as it's a new configuration), therefore I'm proposing a change to migrate from `-lFuzzingEngine` to `$LIB_FUZZING_ENGINE`.

Merge pull request #1229 from rouault/fix_1228

opj_j2k_update_image_dimensions(): reject images whose coordinates are beyond INT_MAX (fixes #1228)

opj_j2k_update_image_dimensions(): reject images whose coordinates are beyond INT_MAX (fixes #1228)

Merge pull request #1217 from rouault/fix_ossfuzz_18979

pi.c: avoid integer overflow, resulting in later invalid access to memory in opj_t2_decode_packets()

JPWL: convert: Fix buffer overflow reading an image file less than four characters (#1196)

Fixes #1068

Merge pull request #1218 from rouault/fix_broken_abi_check

abi-check.sh: fix false postive ABI error, and display output error log

abi-check.sh: fix false postive ABI error, and display output error log

There is currently a false positive ABI check failure between v2.3.1
and current. It disappears when removing the generated reports of v2.3.1
and recreating them. It is likely that some tooling has evolved since
the initial v2.3.1 report generation.

pi.c: avoid integer overflow, resulting in later invalid access to memory in opj_t2_decode_packets(). Fixes https://bugs.chromium.org/p/oss-fuzz/issues/detail?id=18979

opj_tcd_mct_decode()/opj_mct_decode()/opj_mct_encode_real()/opj_mct_decode_real(): proper deal with a number of samples larger than 4 billion (refs #1151)

Merge pull request #1164 from sebras/master

openjp2/j2k: Report error if all wanted components are not decoded.

opj_decompress_fuzzer: remove checks regarding input dimensions (fixes #1079)

test_decode_area.c: assign tdy to *ptileh instead of *ptilew (fixes #1195)

Merge pull request #1185 from Young-X/fix

Fix several potential vulnerabilities

Merge pull request #1192 from rouault/poc_fixes

compression: emit POC marker when only one single POC is requested (f…

Change opj_j2k_check_poc_val() to take into account tile number

Add test for previous commit

Fix POC in multi-tile scenarios: avoid almost endless loop when a tile has no POC settings

Add test for previous commit

opj_j2k_check_poc_val(): prevent potential write outside of allocated array

opj_j2k_check_poc_val(): fix starting index for checking layer dimension

The standard mandates that the layer index always starts at zero for every
progression.

compression: emit POC marker when only one single POC is requested (fixes #1191)

j2k.c: use correct naming convention for total_data_size variable

bmp_read_rle4_data(): avoid potential infinite loop

convertbmp: detect invalid file dimensions early

width/length dimensions read from bmp headers are not necessarily
valid. For instance they may have been maliciously set to very large
values with the intention to cause DoS (large memory allocation, stack
overflow). In these cases we want to detect the invalid size as early
as possible.

This commit introduces a counter which verifies that the number of
written bytes corresponds to the advertized width/length.

See commit 8ee335227bbc for details.

Signed-off-by: Young Xiao <YangX92@hotmail.com>

Comment back opj_previous_version in abi_check.sh

Update version number for automatic abi check

update token for appveyor auto release

update token for automatic release

Update for release 2.3.1

Update for release 2.3.1

update for release 2.3.1

Update BUILD version for release 2.3.1

Merge pull request #1188 from rouault/fix_abi_check

abi-check.sh: fix broken download URL

abi-check.sh: fix broken download URL

Merge pull request #1187 from rouault/fix_ubsan_in_opj_t1_encode_cblks

opj_t1_encode_cblks: fix UBSAN signed integer overflow

opj_t1_encode_cblks: fix UBSAN signed integer overflow

Fixes #1053 / CVE-2018-5727

Note: I don't consider this issue to be a security vulnerability, in
practice.
At least with gcc or clang compilers on x86_64 which generate the same
assembly code with or without that fix.

Revert "[JPWL] tgatoimage(): avoid excessive memory allocation attempt,"

This reverts commit 05be3084460e46282ee63f04c72c451f3271fd28.

This commit doesn't compile due to missing OPJ_UINT64 type

Revert "[MJ2] Avoid index out of bounds access to pi->include[]"

This reverts commit c277159986c80142180fbe5efb256bbf3bdf3edc.

The commit didn't compile. include_size is not defined in openmj2

openjp2/j2k: Report error if all wanted components are not decoded.

Previously the caller had to check whether each component data had
been decoded. This means duplicating the checking in every user of
openjpeg which is unnecessary. If the caller wantes to decode all
or a set of, or a specific component then openjpeg ought to error
out if it was unable to do so.

Fixes #1158.

Merge pull request #1172 from hlef/master

convertbmp: detect invalid file dimensions early (CVE-2018-6616)

convertbmp: detect invalid file dimensions early

width/length dimensions read from bmp headers are not necessarily
valid. For instance they may have been maliciously set to very large
values with the intention to cause DoS (large memory allocation, stack
overflow). In these cases we want to detect the invalid size as early
as possible.

This commit introduces a counter which verifies that the number of
written bytes corresponds to the advertized width/length.

Fixes #1059 (CVE-2018-6616).

Merge pull request #1168 from Young-X/fix_dev

Fix multiple potential vulnerabilities and bugs

[JPWL] tgatoimage(): avoid excessive memory allocation attempt,
and fixes unaligned load

Signed-off-by: Young Xiao <YangX92@hotmail.com>

 [JP3D] To avoid divisions by zero / undefined behaviour on shift (CVE-2018-14423

Signed-off-by: Young_X <YangX92@hotmail.com>

 [JPWL] opj_compress: reorder checks related to code block dimensions to avoid potential int overflow

Signed-off-by: Young_X <YangX92@hotmail.com>

[OPENJP2] change the way to compute *p_tx0, *p_tx1, *p_ty0, *p_ty1 in function
opj_get_encoding_parameters

Signed-off-by: Young_X <YangX92@hotmail.com>

[MJ2] Avoid index out of bounds access to pi->include[]

Signed-off-by: Young_X <YangX92@hotmail.com>

Merge pull request #1170 from rouault/fix_color_apply_icc_profile

color_apply_icc_profile: avoid potential heap buffer overflow

color_apply_icc_profile: avoid potential heap buffer overflow

Derived from a patch by Thuan Pham

[JPWL] imagetotga(): fix read heap buffer overflow if numcomps < 3 (#987)

Signed-off-by: Young_X <YangX92@hotmail.com>

[JPWL] fix CVE-2018-16375

Signed-off-by: Young_X <YangX92@hotmail.com>

[MJ2] To avoid divisions by zero / undefined behaviour on shift

Signed-off-by: Young_X <YangX92@hotmail.com>

Merge pull request #1160 from hlef/master

jp3d/jpwl convert: fix write stack buffer overflow

openjp3d: Int overflow fixed (#1159)

When compressing a lot of slices (starting from 44 FullHD slices with 3 8bit components in our experiments) the rate values are high enough to cause an int overflow that leads to negative lengths and wrong results. The cast happens too late.

jp2: convert: fix null pointer dereference

Tile components in a JP2 image might have null data pointer by defining a
zero component size (for example using large horizontal or vertical
sampling periods). This null data pointer leads to null image component
data pointer, causing crash when dereferenced without != null check in
imagetopnm.

Add != null check.

This commit addresses #1152 (CVE-2018-18088).