src/lib/openjp2/dwt.c

   1 /*
   2  * The copyright in this software is being made available under the 2-clauses
   3  * BSD License, included below. This software may be subject to other third
   4  * party and contributor rights, including patent rights, and no such rights
   5  * are granted under this license.
   6  *
   7  * Copyright (c) 2002-2014, Universite catholique de Louvain (UCL), Belgium
   8  * Copyright (c) 2002-2014, Professor Benoit Macq
   9  * Copyright (c) 2001-2003, David Janssens
  10  * Copyright (c) 2002-2003, Yannick Verschueren
  11  * Copyright (c) 2003-2007, Francois-Olivier Devaux
  12  * Copyright (c) 2003-2014, Antonin Descampe
  13  * Copyright (c) 2005, Herve Drolon, FreeImage Team
  14  * Copyright (c) 2007, Jonathan Ballard <dzonatas@dzonux.net>
  15  * Copyright (c) 2007, Callum Lerwick <seg@haxxed.com>
  16  * All rights reserved.
  17  *
  18  * Redistribution and use in source and binary forms, with or without
  19  * modification, are permitted provided that the following conditions
  20  * are met:
  21  * 1. Redistributions of source code must retain the above copyright
  22  *    notice, this list of conditions and the following disclaimer.
  23  * 2. Redistributions in binary form must reproduce the above copyright
  24  *    notice, this list of conditions and the following disclaimer in the
  25  *    documentation and/or other materials provided with the distribution.
  26  *
  27  * THIS SOFTWARE IS PROVIDED BY THE COPYRIGHT HOLDERS AND CONTRIBUTORS `AS IS'
  28  * AND ANY EXPRESS OR IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE
  29  * IMPLIED WARRANTIES OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE
  30  * ARE DISCLAIMED.  IN NO EVENT SHALL THE COPYRIGHT OWNER OR CONTRIBUTORS BE
  31  * LIABLE FOR ANY DIRECT, INDIRECT, INCIDENTAL, SPECIAL, EXEMPLARY, OR
  32  * CONSEQUENTIAL DAMAGES (INCLUDING, BUT NOT LIMITED TO, PROCUREMENT OF
  33  * SUBSTITUTE GOODS OR SERVICES; LOSS OF USE, DATA, OR PROFITS; OR BUSINESS
  34  * INTERRUPTION) HOWEVER CAUSED AND ON ANY THEORY OF LIABILITY, WHETHER IN
  35  * CONTRACT, STRICT LIABILITY, OR TORT (INCLUDING NEGLIGENCE OR OTHERWISE)
  36  * ARISING IN ANY WAY OUT OF THE USE OF THIS SOFTWARE, EVEN IF ADVISED OF THE
  37  * POSSIBILITY OF SUCH DAMAGE.
  38  */
  39
  40 #ifdef __SSE__
  41 #include <xmmintrin.h>
  42 #endif
  43
  44 #include "opj_includes.h"
  45
  46 /** @defgroup DWT DWT - Implementation of a discrete wavelet transform */
  47 /*@{*/
  48
  49 #define OPJ_WS(i) v->mem[(i)*2]
  50 #define OPJ_WD(i) v->mem[(1+(i)*2)]
  51
  52 /** @name Local data structures */
  53 /*@{*/
  54
  55 typedef struct dwt_local {
  56         OPJ_INT32* mem;
  57         OPJ_INT32 dn;
  58         OPJ_INT32 sn;
  59         OPJ_INT32 cas;
  60 } opj_dwt_t;
  61
  62 typedef union {
  63         OPJ_FLOAT32     f[4];
  64 } opj_v4_t;
  65
  66 typedef struct v4dwt_local {
  67         opj_v4_t*       wavelet ;
  68         OPJ_INT32               dn ;
  69         OPJ_INT32               sn ;
  70         OPJ_INT32               cas ;
  71 } opj_v4dwt_t ;
  72
  73 static const OPJ_FLOAT32 opj_dwt_alpha =  1.586134342f; /*  12994 */
  74 static const OPJ_FLOAT32 opj_dwt_beta  =  0.052980118f; /*    434 */
  75 static const OPJ_FLOAT32 opj_dwt_gamma = -0.882911075f; /*  -7233 */
  76 static const OPJ_FLOAT32 opj_dwt_delta = -0.443506852f; /*  -3633 */
  77
  78 static const OPJ_FLOAT32 opj_K      = 1.230174105f; /*  10078 */
  79 static const OPJ_FLOAT32 opj_c13318 = 1.625732422f;
  80
  81 /*@}*/
  82
  83 /**
  84 Virtual function type for wavelet transform in 1-D
  85 */
  86 typedef void (*DWT1DFN)(opj_dwt_t* v);
  87
  88 /** @name Local static functions */
  89 /*@{*/
  90
  91 /**
  92 Forward lazy transform (horizontal)
  93 */
  94 static void opj_dwt_deinterleave_h(OPJ_INT32 *a, OPJ_INT32 *b, OPJ_INT32 dn, OPJ_INT32 sn, OPJ_INT32 cas);
  95 /**
  96 Forward lazy transform (vertical)
  97 */
  98 static void opj_dwt_deinterleave_v(OPJ_INT32 *a, OPJ_INT32 *b, OPJ_INT32 dn, OPJ_INT32 sn, OPJ_INT32 x, OPJ_INT32 cas);
  99 /**
 100 Inverse lazy transform (horizontal)
 101 */
 102 static void opj_dwt_interleave_h(opj_dwt_t* h, OPJ_INT32 *a);
 103 /**
 104 Inverse lazy transform (vertical)
 105 */
 106 static void opj_dwt_interleave_v(opj_dwt_t* v, OPJ_INT32 *a, OPJ_INT32 x);
 107 /**
 108 Forward 5-3 wavelet transform in 1-D
 109 */
 110 static void opj_dwt_encode_1(OPJ_INT32 *a, OPJ_INT32 dn, OPJ_INT32 sn, OPJ_INT32 cas);
 111 /**
 112 Inverse 5-3 wavelet transform in 1-D
 113 */
 114 static void opj_dwt_decode_1(opj_dwt_t *v);
 115 static void opj_dwt_decode_1_(OPJ_INT32 *a, OPJ_INT32 dn, OPJ_INT32 sn, OPJ_INT32 cas);
 116 /**
 117 Forward 9-7 wavelet transform in 1-D
 118 */
 119 static void opj_dwt_encode_1_real(OPJ_INT32 *a, OPJ_INT32 dn, OPJ_INT32 sn, OPJ_INT32 cas);
 120 /**
 121 Explicit calculation of the Quantization Stepsizes
 122 */
 123 static void opj_dwt_encode_stepsize(OPJ_INT32 stepsize, OPJ_INT32 numbps, opj_stepsize_t *bandno_stepsize);
 124 /**
 125 Inverse wavelet transform in 2-D.
 126 */
 127 static OPJ_BOOL opj_dwt_decode_tile(opj_tcd_tilecomp_t* tilec, OPJ_UINT32 i, DWT1DFN fn);
 128
 129 static OPJ_BOOL opj_dwt_encode_procedure(       opj_tcd_tilecomp_t * tilec,
 130                                                                                     void (*p_function)(OPJ_INT32 *, OPJ_INT32,OPJ_INT32,OPJ_INT32) );
 131
 132 static OPJ_UINT32 opj_dwt_max_resolution(opj_tcd_resolution_t* restrict r, OPJ_UINT32 i);
 133
 134 /* <summary>                             */
 135 /* Inverse 9-7 wavelet transform in 1-D. */
 136 /* </summary>                            */
 137 static void opj_v4dwt_decode(opj_v4dwt_t* restrict dwt);
 138
 139 static void opj_v4dwt_interleave_h(opj_v4dwt_t* restrict w, OPJ_FLOAT32* restrict a, OPJ_INT32 x, OPJ_INT32 size);
 140
 141 static void opj_v4dwt_interleave_v(opj_v4dwt_t* restrict v , OPJ_FLOAT32* restrict a , OPJ_INT32 x, OPJ_INT32 nb_elts_read);
 142
 143 #ifdef __SSE__
 144 static void opj_v4dwt_decode_step1_sse(opj_v4_t* w, OPJ_INT32 count, const __m128 c);
 145
 146 static void opj_v4dwt_decode_step2_sse(opj_v4_t* l, opj_v4_t* w, OPJ_INT32 k, OPJ_INT32 m, __m128 c);
 147
 148 #else
 149 static void opj_v4dwt_decode_step1(opj_v4_t* w, OPJ_INT32 count, const OPJ_FLOAT32 c);
 150
 151 static void opj_v4dwt_decode_step2(opj_v4_t* l, opj_v4_t* w, OPJ_INT32 k, OPJ_INT32 m, OPJ_FLOAT32 c);
 152
 153 #endif
 154
 155 /*@}*/
 156
 157 /*@}*/
 158
 159 #define OPJ_S(i) a[(i)*2]
 160 #define OPJ_D(i) a[(1+(i)*2)]
 161 #define OPJ_S_(i) ((i)<0?OPJ_S(0):((i)>=sn?OPJ_S(sn-1):OPJ_S(i)))
 162 #define OPJ_D_(i) ((i)<0?OPJ_D(0):((i)>=dn?OPJ_D(dn-1):OPJ_D(i)))
 163 /* new */
 164 #define OPJ_SS_(i) ((i)<0?OPJ_S(0):((i)>=dn?OPJ_S(dn-1):OPJ_S(i)))
 165 #define OPJ_DD_(i) ((i)<0?OPJ_D(0):((i)>=sn?OPJ_D(sn-1):OPJ_D(i)))
 166
 167 /* <summary>                                                              */
 168 /* This table contains the norms of the 5-3 wavelets for different bands. */
 169 /* </summary>                                                             */
 170 static const OPJ_FLOAT64 opj_dwt_norms[4][10] = {
 171         {1.000, 1.500, 2.750, 5.375, 10.68, 21.34, 42.67, 85.33, 170.7, 341.3},
 172         {1.038, 1.592, 2.919, 5.703, 11.33, 22.64, 45.25, 90.48, 180.9},
 173         {1.038, 1.592, 2.919, 5.703, 11.33, 22.64, 45.25, 90.48, 180.9},
 174         {.7186, .9218, 1.586, 3.043, 6.019, 12.01, 24.00, 47.97, 95.93}
 175 };
 176
 177 /* <summary>                                                              */
 178 /* This table contains the norms of the 9-7 wavelets for different bands. */
 179 /* </summary>                                                             */
 180 static const OPJ_FLOAT64 opj_dwt_norms_real[4][10] = {
 181         {1.000, 1.965, 4.177, 8.403, 16.90, 33.84, 67.69, 135.3, 270.6, 540.9},
 182         {2.022, 3.989, 8.355, 17.04, 34.27, 68.63, 137.3, 274.6, 549.0},
 183         {2.022, 3.989, 8.355, 17.04, 34.27, 68.63, 137.3, 274.6, 549.0},
 184         {2.080, 3.865, 8.307, 17.18, 34.71, 69.59, 139.3, 278.6, 557.2}
 185 };
 186
 187 /*
 188 ==========================================================
 189    local functions
 190 ==========================================================
 191 */
 192
 193 /* <summary>                                     */
 194 /* Forward lazy transform (horizontal).  */
 195 /* </summary>                            */
 196 static void opj_dwt_deinterleave_h(OPJ_INT32 *a, OPJ_INT32 *b, OPJ_INT32 dn, OPJ_INT32 sn, OPJ_INT32 cas) {
 197         OPJ_INT32 i;
 198         OPJ_INT32 * l_dest = b;
 199         OPJ_INT32 * l_src = a+cas;
 200
 201     for (i=0; i<sn; ++i) {
 202                 *l_dest++ = *l_src;
 203                 l_src += 2;
 204         }
 205
 206     l_dest = b + sn;
 207         l_src = a + 1 - cas;
 208
 209     for (i=0; i<dn; ++i)  {
 210                 *l_dest++=*l_src;
 211                 l_src += 2;
 212         }
 213 }
 214
 215 /* <summary>                             */
 216 /* Forward lazy transform (vertical).    */
 217 /* </summary>                            */
 218 static void opj_dwt_deinterleave_v(OPJ_INT32 *a, OPJ_INT32 *b, OPJ_INT32 dn, OPJ_INT32 sn, OPJ_INT32 x, OPJ_INT32 cas) {
 219     OPJ_INT32 i = sn;
 220         OPJ_INT32 * l_dest = b;
 221         OPJ_INT32 * l_src = a+cas;
 222
 223     while (i--) {
 224                 *l_dest = *l_src;
 225                 l_dest += x;
 226                 l_src += 2;
 227                 } /* b[i*x]=a[2*i+cas]; */
 228
 229         l_dest = b + sn * x;
 230         l_src = a + 1 - cas;
 231
 232         i = dn;
 233     while (i--) {
 234                 *l_dest = *l_src;
 235                 l_dest += x;
 236                 l_src += 2;
 237         } /*b[(sn+i)*x]=a[(2*i+1-cas)];*/
 238 }
 239
 240 /* <summary>                             */
 241 /* Inverse lazy transform (horizontal).  */
 242 /* </summary>                            */
 243 static void opj_dwt_interleave_h(opj_dwt_t* h, OPJ_INT32 *a) {
 244     OPJ_INT32 *ai = a;
 245     OPJ_INT32 *bi = h->mem + h->cas;
 246     OPJ_INT32  i        = h->sn;
 247     while( i-- ) {
 248       *bi = *(ai++);
 249           bi += 2;
 250     }
 251     ai  = a + h->sn;
 252     bi  = h->mem + 1 - h->cas;
 253     i   = h->dn ;
 254     while( i-- ) {
 255       *bi = *(ai++);
 256           bi += 2;
 257     }
 258 }
 259
 260 /* <summary>                             */
 261 /* Inverse lazy transform (vertical).    */
 262 /* </summary>                            */
 263 static void opj_dwt_interleave_v(opj_dwt_t* v, OPJ_INT32 *a, OPJ_INT32 x) {
 264     OPJ_INT32 *ai = a;
 265     OPJ_INT32 *bi = v->mem + v->cas;
 266     OPJ_INT32  i = v->sn;
 267     while( i-- ) {
 268       *bi = *ai;
 269           bi += 2;
 270           ai += x;
 271     }
 272     ai = a + (v->sn * x);
 273     bi = v->mem + 1 - v->cas;
 274     i = v->dn ;
 275     while( i-- ) {
 276       *bi = *ai;
 277           bi += 2;
 278           ai += x;
 279     }
 280 }
 281
 282
 283 /* <summary>                            */
 284 /* Forward 5-3 wavelet transform in 1-D. */
 285 /* </summary>                           */
 286 static void opj_dwt_encode_1(OPJ_INT32 *a, OPJ_INT32 dn, OPJ_INT32 sn, OPJ_INT32 cas) {
 287         OPJ_INT32 i;
 288
 289         if (!cas) {
 290                 if ((dn > 0) || (sn > 1)) {     /* NEW :  CASE ONE ELEMENT */
 291                         for (i = 0; i < dn; i++) OPJ_D(i) -= (OPJ_S_(i) + OPJ_S_(i + 1)) >> 1;
 292                         for (i = 0; i < sn; i++) OPJ_S(i) += (OPJ_D_(i - 1) + OPJ_D_(i) + 2) >> 2;
 293                 }
 294         } else {
 295                 if (!sn && dn == 1)                 /* NEW :  CASE ONE ELEMENT */
 296                         OPJ_S(0) *= 2;
 297                 else {
 298                         for (i = 0; i < dn; i++) OPJ_S(i) -= (OPJ_DD_(i) + OPJ_DD_(i - 1)) >> 1;
 299                         for (i = 0; i < sn; i++) OPJ_D(i) += (OPJ_SS_(i) + OPJ_SS_(i + 1) + 2) >> 2;
 300                 }
 301         }
 302 }
 303
 304 /* <summary>                            */
 305 /* Inverse 5-3 wavelet transform in 1-D. */
 306 /* </summary>                           */
 307 static void opj_dwt_decode_1_(OPJ_INT32 *a, OPJ_INT32 dn, OPJ_INT32 sn, OPJ_INT32 cas) {
 308         OPJ_INT32 i;
 309
 310         if (!cas) {
 311                 if ((dn > 0) || (sn > 1)) { /* NEW :  CASE ONE ELEMENT */
 312                         for (i = 0; i < sn; i++) OPJ_S(i) -= (OPJ_D_(i - 1) + OPJ_D_(i) + 2) >> 2;
 313                         for (i = 0; i < dn; i++) OPJ_D(i) += (OPJ_S_(i) + OPJ_S_(i + 1)) >> 1;
 314                 }
 315         } else {
 316                 if (!sn  && dn == 1)          /* NEW :  CASE ONE ELEMENT */
 317                         OPJ_S(0) /= 2;
 318                 else {
 319                         for (i = 0; i < sn; i++) OPJ_D(i) -= (OPJ_SS_(i) + OPJ_SS_(i + 1) + 2) >> 2;
 320                         for (i = 0; i < dn; i++) OPJ_S(i) += (OPJ_DD_(i) + OPJ_DD_(i - 1)) >> 1;
 321                 }
 322         }
 323 }
 324
 325 /* <summary>                            */
 326 /* Inverse 5-3 wavelet transform in 1-D. */
 327 /* </summary>                           */
 328 static void opj_dwt_decode_1(opj_dwt_t *v) {
 329         opj_dwt_decode_1_(v->mem, v->dn, v->sn, v->cas);
 330 }
 331
 332 /* <summary>                             */
 333 /* Forward 9-7 wavelet transform in 1-D. */
 334 /* </summary>                            */
 335 static void opj_dwt_encode_1_real(OPJ_INT32 *a, OPJ_INT32 dn, OPJ_INT32 sn, OPJ_INT32 cas) {
 336         OPJ_INT32 i;
 337         if (!cas) {
 338                 if ((dn > 0) || (sn > 1)) {     /* NEW :  CASE ONE ELEMENT */
 339                         for (i = 0; i < dn; i++)
 340                                 OPJ_D(i) -= opj_int_fix_mul(OPJ_S_(i) + OPJ_S_(i + 1), 12993);
 341                         for (i = 0; i < sn; i++)
 342                                 OPJ_S(i) -= opj_int_fix_mul(OPJ_D_(i - 1) + OPJ_D_(i), 434);
 343                         for (i = 0; i < dn; i++)
 344                                 OPJ_D(i) += opj_int_fix_mul(OPJ_S_(i) + OPJ_S_(i + 1), 7233);
 345                         for (i = 0; i < sn; i++)
 346                                 OPJ_S(i) += opj_int_fix_mul(OPJ_D_(i - 1) + OPJ_D_(i), 3633);
 347                         for (i = 0; i < dn; i++)
 348                                 OPJ_D(i) = opj_int_fix_mul(OPJ_D(i), 5038);     /*5038 */
 349                         for (i = 0; i < sn; i++)
 350                                 OPJ_S(i) = opj_int_fix_mul(OPJ_S(i), 6659);     /*6660 */
 351                 }
 352         } else {
 353                 if ((sn > 0) || (dn > 1)) {     /* NEW :  CASE ONE ELEMENT */
 354                         for (i = 0; i < dn; i++)
 355                                 OPJ_S(i) -= opj_int_fix_mul(OPJ_DD_(i) + OPJ_DD_(i - 1), 12993);
 356                         for (i = 0; i < sn; i++)
 357                                 OPJ_D(i) -= opj_int_fix_mul(OPJ_SS_(i) + OPJ_SS_(i + 1), 434);
 358                         for (i = 0; i < dn; i++)
 359                                 OPJ_S(i) += opj_int_fix_mul(OPJ_DD_(i) + OPJ_DD_(i - 1), 7233);
 360                         for (i = 0; i < sn; i++)
 361                                 OPJ_D(i) += opj_int_fix_mul(OPJ_SS_(i) + OPJ_SS_(i + 1), 3633);
 362                         for (i = 0; i < dn; i++)
 363                                 OPJ_S(i) = opj_int_fix_mul(OPJ_S(i), 5038);     /*5038 */
 364                         for (i = 0; i < sn; i++)
 365                                 OPJ_D(i) = opj_int_fix_mul(OPJ_D(i), 6659);     /*6660 */
 366                 }
 367         }
 368 }
 369
 370 static void opj_dwt_encode_stepsize(OPJ_INT32 stepsize, OPJ_INT32 numbps, opj_stepsize_t *bandno_stepsize) {
 371         OPJ_INT32 p, n;
 372         p = opj_int_floorlog2(stepsize) - 13;
 373         n = 11 - opj_int_floorlog2(stepsize);
 374         bandno_stepsize->mant = (n < 0 ? stepsize >> -n : stepsize << n) & 0x7ff;
 375         bandno_stepsize->expn = numbps - p;
 376 }
 377
 378 /*
 379 ==========================================================
 380    DWT interface
 381 ==========================================================
 382 */
 383
 384
 385 /* <summary>                            */
 386 /* Forward 5-3 wavelet transform in 2-D. */
 387 /* </summary>                           */
 388 static INLINE OPJ_BOOL opj_dwt_encode_procedure(opj_tcd_tilecomp_t * tilec,void (*p_function)(OPJ_INT32 *, OPJ_INT32,OPJ_INT32,OPJ_INT32) )
 389 {
 390         OPJ_INT32 i, j, k;
 391         OPJ_INT32 *a = 00;
 392         OPJ_INT32 *aj = 00;
 393         OPJ_INT32 *bj = 00;
 394         OPJ_INT32 w, l;
 395
 396         OPJ_INT32 rw;                   /* width of the resolution level computed   */
 397         OPJ_INT32 rh;                   /* height of the resolution level computed  */
 398         OPJ_UINT32 l_data_size;
 399
 400         opj_tcd_resolution_t * l_cur_res = 0;
 401         opj_tcd_resolution_t * l_last_res = 0;
 402
 403         w = tilec->x1-tilec->x0;
 404         l = (OPJ_INT32)tilec->numresolutions-1;
 405         a = tilec->data;
 406
 407         l_cur_res = tilec->resolutions + l;
 408         l_last_res = l_cur_res - 1;
 409
 410         l_data_size = opj_dwt_max_resolution( tilec->resolutions,tilec->numresolutions) * (OPJ_UINT32)sizeof(OPJ_INT32);
 411         bj = (OPJ_INT32*)opj_malloc((size_t)l_data_size);
 412         /* l_data_size is equal to 0 when numresolutions == 1 but bj is not used */
 413         /* in that case, so do not error out */
 414         if (l_data_size != 0 && ! bj) {
 415                 return OPJ_FALSE;
 416         }
 417         i = l;
 418
 419         while (i--) {
 420                 OPJ_INT32 rw1;          /* width of the resolution level once lower than computed one                                       */
 421                 OPJ_INT32 rh1;          /* height of the resolution level once lower than computed one                                      */
 422                 OPJ_INT32 cas_col;      /* 0 = non inversion on horizontal filtering 1 = inversion between low-pass and high-pass filtering */
 423                 OPJ_INT32 cas_row;      /* 0 = non inversion on vertical filtering 1 = inversion between low-pass and high-pass filtering   */
 424                 OPJ_INT32 dn, sn;
 425
 426                 rw  = l_cur_res->x1 - l_cur_res->x0;
 427                 rh  = l_cur_res->y1 - l_cur_res->y0;
 428                 rw1 = l_last_res->x1 - l_last_res->x0;
 429                 rh1 = l_last_res->y1 - l_last_res->y0;
 430
 431                 cas_row = l_cur_res->x0 & 1;
 432                 cas_col = l_cur_res->y0 & 1;
 433
 434                 sn = rh1;
 435                 dn = rh - rh1;
 436                 for (j = 0; j < rw; ++j) {
 437                         aj = a + j;
 438                         for (k = 0; k < rh; ++k) {
 439                                 bj[k] = aj[k*w];
 440                         }
 441
 442                         (*p_function) (bj, dn, sn, cas_col);
 443
 444                         opj_dwt_deinterleave_v(bj, aj, dn, sn, w, cas_col);
 445                 }
 446
 447                 sn = rw1;
 448                 dn = rw - rw1;
 449
 450                 for (j = 0; j < rh; j++) {
 451                         aj = a + j * w;
 452                         for (k = 0; k < rw; k++)  bj[k] = aj[k];
 453                         (*p_function) (bj, dn, sn, cas_row);
 454                         opj_dwt_deinterleave_h(bj, aj, dn, sn, cas_row);
 455                 }
 456
 457                 l_cur_res = l_last_res;
 458
 459                 --l_last_res;
 460         }
 461
 462         opj_free(bj);
 463         return OPJ_TRUE;
 464 }
 465
 466 /* Forward 5-3 wavelet transform in 2-D. */
 467 /* </summary>                           */
 468 OPJ_BOOL opj_dwt_encode(opj_tcd_tilecomp_t * tilec)
 469 {
 470         return opj_dwt_encode_procedure(tilec,opj_dwt_encode_1);
 471 }
 472
 473 /* <summary>                            */
 474 /* Inverse 5-3 wavelet transform in 2-D. */
 475 /* </summary>                           */
 476 OPJ_BOOL opj_dwt_decode(opj_tcd_tilecomp_t* tilec, OPJ_UINT32 numres) {
 477         return opj_dwt_decode_tile(tilec, numres, &opj_dwt_decode_1);
 478 }
 479
 480
 481 /* <summary>                          */
 482 /* Get gain of 5-3 wavelet transform. */
 483 /* </summary>                         */
 484 OPJ_UINT32 opj_dwt_getgain(OPJ_UINT32 orient) {
 485         if (orient == 0)
 486                 return 0;
 487         if (orient == 1 || orient == 2)
 488                 return 1;
 489         return 2;
 490 }
 491
 492 /* <summary>                */
 493 /* Get norm of 5-3 wavelet. */
 494 /* </summary>               */
 495 OPJ_FLOAT64 opj_dwt_getnorm(OPJ_UINT32 level, OPJ_UINT32 orient) {
 496         return opj_dwt_norms[orient][level];
 497 }
 498
 499 /* <summary>                             */
 500 /* Forward 9-7 wavelet transform in 2-D. */
 501 /* </summary>                            */
 502 OPJ_BOOL opj_dwt_encode_real(opj_tcd_tilecomp_t * tilec)
 503 {
 504         return opj_dwt_encode_procedure(tilec,opj_dwt_encode_1_real);
 505 }
 506
 507 /* <summary>                          */
 508 /* Get gain of 9-7 wavelet transform. */
 509 /* </summary>                         */
 510 OPJ_UINT32 opj_dwt_getgain_real(OPJ_UINT32 orient) {
 511         (void)orient;
 512         return 0;
 513 }
 514
 515 /* <summary>                */
 516 /* Get norm of 9-7 wavelet. */
 517 /* </summary>               */
 518 OPJ_FLOAT64 opj_dwt_getnorm_real(OPJ_UINT32 level, OPJ_UINT32 orient) {
 519         return opj_dwt_norms_real[orient][level];
 520 }
 521
 522 void opj_dwt_calc_explicit_stepsizes(opj_tccp_t * tccp, OPJ_UINT32 prec) {
 523         OPJ_UINT32 numbands, bandno;
 524         numbands = 3 * tccp->numresolutions - 2;
 525         for (bandno = 0; bandno < numbands; bandno++) {
 526                 OPJ_FLOAT64 stepsize;
 527                 OPJ_UINT32 resno, level, orient, gain;
 528
 529                 resno = (bandno == 0) ? 0 : ((bandno - 1) / 3 + 1);
 530                 orient = (bandno == 0) ? 0 : ((bandno - 1) % 3 + 1);
 531                 level = tccp->numresolutions - 1 - resno;
 532                 gain = (tccp->qmfbid == 0) ? 0 : ((orient == 0) ? 0 : (((orient == 1) || (orient == 2)) ? 1 : 2));
 533                 if (tccp->qntsty == J2K_CCP_QNTSTY_NOQNT) {
 534                         stepsize = 1.0;
 535                 } else {
 536                         OPJ_FLOAT64 norm = opj_dwt_norms_real[orient][level];
 537                         stepsize = (1 << (gain)) / norm;
 538                 }
 539                 opj_dwt_encode_stepsize((OPJ_INT32) floor(stepsize * 8192.0), (OPJ_INT32)(prec + gain), &tccp->stepsizes[bandno]);
 540         }
 541 }
 542
 543 /* <summary>                             */
 544 /* Determine maximum computed resolution level for inverse wavelet transform */
 545 /* </summary>                            */
 546 static OPJ_UINT32 opj_dwt_max_resolution(opj_tcd_resolution_t* restrict r, OPJ_UINT32 i) {
 547         OPJ_UINT32 mr   = 0;
 548         OPJ_UINT32 w;
 549         while( --i ) {
 550                 ++r;
 551                 if( mr < ( w = (OPJ_UINT32)(r->x1 - r->x0) ) )
 552                         mr = w ;
 553                 if( mr < ( w = (OPJ_UINT32)(r->y1 - r->y0) ) )
 554                         mr = w ;
 555         }
 556         return mr ;
 557 }
 558
 559 /* <summary>                            */
 560 /* Inverse wavelet transform in 2-D.     */
 561 /* </summary>                           */
 562 static OPJ_BOOL opj_dwt_decode_tile(opj_tcd_tilecomp_t* tilec, OPJ_UINT32 numres, DWT1DFN dwt_1D) {
 563         opj_dwt_t h;
 564         opj_dwt_t v;
 565
 566         opj_tcd_resolution_t* tr = tilec->resolutions;
 567
 568         OPJ_UINT32 rw = (OPJ_UINT32)(tr->x1 - tr->x0);  /* width of the resolution level computed */
 569         OPJ_UINT32 rh = (OPJ_UINT32)(tr->y1 - tr->y0);  /* height of the resolution level computed */
 570
 571         OPJ_UINT32 w = (OPJ_UINT32)(tilec->x1 - tilec->x0);
 572
 573         if (numres == 1U) {
 574                 return OPJ_TRUE;
 575         }
 576         h.mem = (OPJ_INT32*)opj_aligned_malloc(opj_dwt_max_resolution(tr, numres) * sizeof(OPJ_INT32));
 577         if (! h.mem){
 578                 /* FIXME event manager error callback */
 579                 return OPJ_FALSE;
 580         }
 581
 582         v.mem = h.mem;
 583
 584         while( --numres) {
 585                 OPJ_INT32 * restrict tiledp = tilec->data;
 586                 OPJ_UINT32 j;
 587
 588                 ++tr;
 589                 h.sn = (OPJ_INT32)rw;
 590                 v.sn = (OPJ_INT32)rh;
 591
 592                 rw = (OPJ_UINT32)(tr->x1 - tr->x0);
 593                 rh = (OPJ_UINT32)(tr->y1 - tr->y0);
 594
 595                 h.dn = (OPJ_INT32)(rw - (OPJ_UINT32)h.sn);
 596                 h.cas = tr->x0 % 2;
 597
 598                 for(j = 0; j < rh; ++j) {
 599                         opj_dwt_interleave_h(&h, &tiledp[j*w]);
 600                         (dwt_1D)(&h);
 601                         memcpy(&tiledp[j*w], h.mem, rw * sizeof(OPJ_INT32));
 602                 }
 603
 604                 v.dn = (OPJ_INT32)(rh - (OPJ_UINT32)v.sn);
 605                 v.cas = tr->y0 % 2;
 606
 607                 for(j = 0; j < rw; ++j){
 608                         OPJ_UINT32 k;
 609                         opj_dwt_interleave_v(&v, &tiledp[j], (OPJ_INT32)w);
 610                         (dwt_1D)(&v);
 611                         for(k = 0; k < rh; ++k) {
 612                                 tiledp[k * w + j] = v.mem[k];
 613                         }
 614                 }
 615         }
 616         opj_aligned_free(h.mem);
 617         return OPJ_TRUE;
 618 }
 619
 620 static void opj_v4dwt_interleave_h(opj_v4dwt_t* restrict w, OPJ_FLOAT32* restrict a, OPJ_INT32 x, OPJ_INT32 size){
 621         OPJ_FLOAT32* restrict bi = (OPJ_FLOAT32*) (w->wavelet + w->cas);
 622         OPJ_INT32 count = w->sn;
 623         OPJ_INT32 i, k;
 624
 625         for(k = 0; k < 2; ++k){
 626                 if ( count + 3 * x < size && ((size_t) a & 0x0f) == 0 && ((size_t) bi & 0x0f) == 0 && (x & 0x0f) == 0 ) {
 627                         /* Fast code path */
 628                         for(i = 0; i < count; ++i){
 629                                 OPJ_INT32 j = i;
 630                                 bi[i*8    ] = a[j];
 631                                 j += x;
 632                                 bi[i*8 + 1] = a[j];
 633                                 j += x;
 634                                 bi[i*8 + 2] = a[j];
 635                                 j += x;
 636                                 bi[i*8 + 3] = a[j];
 637                         }
 638                 }
 639                 else {
 640                         /* Slow code path */
 641                         for(i = 0; i < count; ++i){
 642                                 OPJ_INT32 j = i;
 643                                 bi[i*8    ] = a[j];
 644                                 j += x;
 645                                 if(j >= size) continue;
 646                                 bi[i*8 + 1] = a[j];
 647                                 j += x;
 648                                 if(j >= size) continue;
 649                                 bi[i*8 + 2] = a[j];
 650                                 j += x;
 651                                 if(j >= size) continue;
 652                                 bi[i*8 + 3] = a[j]; /* This one*/
 653                         }
 654                 }
 655
 656                 bi = (OPJ_FLOAT32*) (w->wavelet + 1 - w->cas);
 657                 a += w->sn;
 658                 size -= w->sn;
 659                 count = w->dn;
 660         }
 661 }
 662
 663 static void opj_v4dwt_interleave_v(opj_v4dwt_t* restrict v , OPJ_FLOAT32* restrict a , OPJ_INT32 x, OPJ_INT32 nb_elts_read){
 664         opj_v4_t* restrict bi = v->wavelet + v->cas;
 665         OPJ_INT32 i;
 666
 667         for(i = 0; i < v->sn; ++i){
 668                 memcpy(&bi[i*2], &a[i*x], (size_t)nb_elts_read * sizeof(OPJ_FLOAT32));
 669         }
 670
 671         a += v->sn * x;
 672         bi = v->wavelet + 1 - v->cas;
 673
 674         for(i = 0; i < v->dn; ++i){
 675                 memcpy(&bi[i*2], &a[i*x], (size_t)nb_elts_read * sizeof(OPJ_FLOAT32));
 676         }
 677 }
 678
 679 #ifdef __SSE__
 680
 681 static void opj_v4dwt_decode_step1_sse(opj_v4_t* w, OPJ_INT32 count, const __m128 c){
 682         __m128* restrict vw = (__m128*) w;
 683         OPJ_INT32 i;
 684         /* 4x unrolled loop */
 685         for(i = 0; i < count >> 2; ++i){
 686                 *vw = _mm_mul_ps(*vw, c);
 687                 vw += 2;
 688                 *vw = _mm_mul_ps(*vw, c);
 689                 vw += 2;
 690                 *vw = _mm_mul_ps(*vw, c);
 691                 vw += 2;
 692                 *vw = _mm_mul_ps(*vw, c);
 693                 vw += 2;
 694         }
 695         count &= 3;
 696         for(i = 0; i < count; ++i){
 697                 *vw = _mm_mul_ps(*vw, c);
 698                 vw += 2;
 699         }
 700 }
 701
 702 void opj_v4dwt_decode_step2_sse(opj_v4_t* l, opj_v4_t* w, OPJ_INT32 k, OPJ_INT32 m, __m128 c){
 703         __m128* restrict vl = (__m128*) l;
 704         __m128* restrict vw = (__m128*) w;
 705         OPJ_INT32 i;
 706         __m128 tmp1, tmp2, tmp3;
 707         tmp1 = vl[0];
 708         for(i = 0; i < m; ++i){
 709                 tmp2 = vw[-1];
 710                 tmp3 = vw[ 0];
 711                 vw[-1] = _mm_add_ps(tmp2, _mm_mul_ps(_mm_add_ps(tmp1, tmp3), c));
 712                 tmp1 = tmp3;
 713                 vw += 2;
 714         }
 715         vl = vw - 2;
 716         if(m >= k){
 717                 return;
 718         }
 719         c = _mm_add_ps(c, c);
 720         c = _mm_mul_ps(c, vl[0]);
 721         for(; m < k; ++m){
 722                 __m128 tmp = vw[-1];
 723                 vw[-1] = _mm_add_ps(tmp, c);
 724                 vw += 2;
 725         }
 726 }
 727
 728 #else
 729
 730 static void opj_v4dwt_decode_step1(opj_v4_t* w, OPJ_INT32 count, const OPJ_FLOAT32 c)
 731 {
 732         OPJ_FLOAT32* restrict fw = (OPJ_FLOAT32*) w;
 733         OPJ_INT32 i;
 734         for(i = 0; i < count; ++i){
 735                 OPJ_FLOAT32 tmp1 = fw[i*8    ];
 736                 OPJ_FLOAT32 tmp2 = fw[i*8 + 1];
 737                 OPJ_FLOAT32 tmp3 = fw[i*8 + 2];
 738                 OPJ_FLOAT32 tmp4 = fw[i*8 + 3];
 739                 fw[i*8    ] = tmp1 * c;
 740                 fw[i*8 + 1] = tmp2 * c;
 741                 fw[i*8 + 2] = tmp3 * c;
 742                 fw[i*8 + 3] = tmp4 * c;
 743         }
 744 }
 745
 746 static void opj_v4dwt_decode_step2(opj_v4_t* l, opj_v4_t* w, OPJ_INT32 k, OPJ_INT32 m, OPJ_FLOAT32 c)
 747 {
 748         OPJ_FLOAT32* fl = (OPJ_FLOAT32*) l;
 749         OPJ_FLOAT32* fw = (OPJ_FLOAT32*) w;
 750         OPJ_INT32 i;
 751         for(i = 0; i < m; ++i){
 752                 OPJ_FLOAT32 tmp1_1 = fl[0];
 753                 OPJ_FLOAT32 tmp1_2 = fl[1];
 754                 OPJ_FLOAT32 tmp1_3 = fl[2];
 755                 OPJ_FLOAT32 tmp1_4 = fl[3];
 756                 OPJ_FLOAT32 tmp2_1 = fw[-4];
 757                 OPJ_FLOAT32 tmp2_2 = fw[-3];
 758                 OPJ_FLOAT32 tmp2_3 = fw[-2];
 759                 OPJ_FLOAT32 tmp2_4 = fw[-1];
 760                 OPJ_FLOAT32 tmp3_1 = fw[0];
 761                 OPJ_FLOAT32 tmp3_2 = fw[1];
 762                 OPJ_FLOAT32 tmp3_3 = fw[2];
 763                 OPJ_FLOAT32 tmp3_4 = fw[3];
 764                 fw[-4] = tmp2_1 + ((tmp1_1 + tmp3_1) * c);
 765                 fw[-3] = tmp2_2 + ((tmp1_2 + tmp3_2) * c);
 766                 fw[-2] = tmp2_3 + ((tmp1_3 + tmp3_3) * c);
 767                 fw[-1] = tmp2_4 + ((tmp1_4 + tmp3_4) * c);
 768                 fl = fw;
 769                 fw += 8;
 770         }
 771         if(m < k){
 772                 OPJ_FLOAT32 c1;
 773                 OPJ_FLOAT32 c2;
 774                 OPJ_FLOAT32 c3;
 775                 OPJ_FLOAT32 c4;
 776                 c += c;
 777                 c1 = fl[0] * c;
 778                 c2 = fl[1] * c;
 779                 c3 = fl[2] * c;
 780                 c4 = fl[3] * c;
 781                 for(; m < k; ++m){
 782                         OPJ_FLOAT32 tmp1 = fw[-4];
 783                         OPJ_FLOAT32 tmp2 = fw[-3];
 784                         OPJ_FLOAT32 tmp3 = fw[-2];
 785                         OPJ_FLOAT32 tmp4 = fw[-1];
 786                         fw[-4] = tmp1 + c1;
 787                         fw[-3] = tmp2 + c2;
 788                         fw[-2] = tmp3 + c3;
 789                         fw[-1] = tmp4 + c4;
 790                         fw += 8;
 791                 }
 792         }
 793 }
 794
 795 #endif
 796
 797 /* <summary>                             */
 798 /* Inverse 9-7 wavelet transform in 1-D. */
 799 /* </summary>                            */
 800 static void opj_v4dwt_decode(opj_v4dwt_t* restrict dwt)
 801 {
 802         OPJ_INT32 a, b;
 803         if(dwt->cas == 0) {
 804                 if(!((dwt->dn > 0) || (dwt->sn > 1))){
 805                         return;
 806                 }
 807                 a = 0;
 808                 b = 1;
 809         }else{
 810                 if(!((dwt->sn > 0) || (dwt->dn > 1))) {
 811                         return;
 812                 }
 813                 a = 1;
 814                 b = 0;
 815         }
 816 #ifdef __SSE__
 817         opj_v4dwt_decode_step1_sse(dwt->wavelet+a, dwt->sn, _mm_set1_ps(opj_K));
 818         opj_v4dwt_decode_step1_sse(dwt->wavelet+b, dwt->dn, _mm_set1_ps(opj_c13318));
 819         opj_v4dwt_decode_step2_sse(dwt->wavelet+b, dwt->wavelet+a+1, dwt->sn, opj_int_min(dwt->sn, dwt->dn-a), _mm_set1_ps(opj_dwt_delta));
 820         opj_v4dwt_decode_step2_sse(dwt->wavelet+a, dwt->wavelet+b+1, dwt->dn, opj_int_min(dwt->dn, dwt->sn-b), _mm_set1_ps(opj_dwt_gamma));
 821         opj_v4dwt_decode_step2_sse(dwt->wavelet+b, dwt->wavelet+a+1, dwt->sn, opj_int_min(dwt->sn, dwt->dn-a), _mm_set1_ps(opj_dwt_beta));
 822         opj_v4dwt_decode_step2_sse(dwt->wavelet+a, dwt->wavelet+b+1, dwt->dn, opj_int_min(dwt->dn, dwt->sn-b), _mm_set1_ps(opj_dwt_alpha));
 823 #else
 824         opj_v4dwt_decode_step1(dwt->wavelet+a, dwt->sn, opj_K);
 825         opj_v4dwt_decode_step1(dwt->wavelet+b, dwt->dn, opj_c13318);
 826         opj_v4dwt_decode_step2(dwt->wavelet+b, dwt->wavelet+a+1, dwt->sn, opj_int_min(dwt->sn, dwt->dn-a), opj_dwt_delta);
 827         opj_v4dwt_decode_step2(dwt->wavelet+a, dwt->wavelet+b+1, dwt->dn, opj_int_min(dwt->dn, dwt->sn-b), opj_dwt_gamma);
 828         opj_v4dwt_decode_step2(dwt->wavelet+b, dwt->wavelet+a+1, dwt->sn, opj_int_min(dwt->sn, dwt->dn-a), opj_dwt_beta);
 829         opj_v4dwt_decode_step2(dwt->wavelet+a, dwt->wavelet+b+1, dwt->dn, opj_int_min(dwt->dn, dwt->sn-b), opj_dwt_alpha);
 830 #endif
 831 }
 832
 833
 834 /* <summary>                             */
 835 /* Inverse 9-7 wavelet transform in 2-D. */
 836 /* </summary>                            */
 837 OPJ_BOOL opj_dwt_decode_real(opj_tcd_tilecomp_t* restrict tilec, OPJ_UINT32 numres)
 838 {
 839         opj_v4dwt_t h;
 840         opj_v4dwt_t v;
 841
 842         opj_tcd_resolution_t* res = tilec->resolutions;
 843
 844         OPJ_UINT32 rw = (OPJ_UINT32)(res->x1 - res->x0);        /* width of the resolution level computed */
 845         OPJ_UINT32 rh = (OPJ_UINT32)(res->y1 - res->y0);        /* height of the resolution level computed */
 846
 847         OPJ_UINT32 w = (OPJ_UINT32)(tilec->x1 - tilec->x0);
 848
 849         h.wavelet = (opj_v4_t*) opj_aligned_malloc((opj_dwt_max_resolution(res, numres)+5) * sizeof(opj_v4_t));
 850         if (!h.wavelet) {
 851                 /* FIXME event manager error callback */
 852                 return OPJ_FALSE;
 853         }
 854         v.wavelet = h.wavelet;
 855
 856         while( --numres) {
 857                 OPJ_FLOAT32 * restrict aj = (OPJ_FLOAT32*) tilec->data;
 858                 OPJ_UINT32 bufsize = (OPJ_UINT32)((tilec->x1 - tilec->x0) * (tilec->y1 - tilec->y0));
 859                 OPJ_INT32 j;
 860
 861                 h.sn = (OPJ_INT32)rw;
 862                 v.sn = (OPJ_INT32)rh;
 863
 864                 ++res;
 865
 866                 rw = (OPJ_UINT32)(res->x1 - res->x0);   /* width of the resolution level computed */
 867                 rh = (OPJ_UINT32)(res->y1 - res->y0);   /* height of the resolution level computed */
 868
 869                 h.dn = (OPJ_INT32)(rw - (OPJ_UINT32)h.sn);
 870                 h.cas = res->x0 % 2;
 871
 872                 for(j = (OPJ_INT32)rh; j > 3; j -= 4) {
 873                         OPJ_INT32 k;
 874                         opj_v4dwt_interleave_h(&h, aj, (OPJ_INT32)w, (OPJ_INT32)bufsize);
 875                         opj_v4dwt_decode(&h);
 876
 877                         for(k = (OPJ_INT32)rw; --k >= 0;){
 878                                 aj[k               ] = h.wavelet[k].f[0];
 879                                 aj[k+(OPJ_INT32)w  ] = h.wavelet[k].f[1];
 880                                 aj[k+(OPJ_INT32)w*2] = h.wavelet[k].f[2];
 881                                 aj[k+(OPJ_INT32)w*3] = h.wavelet[k].f[3];
 882                         }
 883
 884                         aj += w*4;
 885                         bufsize -= w*4;
 886                 }
 887
 888                 if (rh & 0x03) {
 889                         OPJ_INT32 k;
 890                         j = rh & 0x03;
 891                         opj_v4dwt_interleave_h(&h, aj, (OPJ_INT32)w, (OPJ_INT32)bufsize);
 892                         opj_v4dwt_decode(&h);
 893                         for(k = (OPJ_INT32)rw; --k >= 0;){
 894                                 switch(j) {
 895                                         case 3: aj[k+(OPJ_INT32)w*2] = h.wavelet[k].f[2];
 896                                         case 2: aj[k+(OPJ_INT32)w  ] = h.wavelet[k].f[1];
 897                                         case 1: aj[k               ] = h.wavelet[k].f[0];
 898                                 }
 899                         }
 900                 }
 901
 902                 v.dn = (OPJ_INT32)(rh - (OPJ_UINT32)v.sn);
 903                 v.cas = res->y0 % 2;
 904
 905                 aj = (OPJ_FLOAT32*) tilec->data;
 906                 for(j = (OPJ_INT32)rw; j > 3; j -= 4){
 907                         OPJ_UINT32 k;
 908
 909                         opj_v4dwt_interleave_v(&v, aj, (OPJ_INT32)w, 4);
 910                         opj_v4dwt_decode(&v);
 911
 912                         for(k = 0; k < rh; ++k){
 913                                 memcpy(&aj[k*w], &v.wavelet[k], 4 * sizeof(OPJ_FLOAT32));
 914                         }
 915                         aj += 4;
 916                 }
 917
 918                 if (rw & 0x03){
 919                         OPJ_UINT32 k;
 920
 921                         j = rw & 0x03;
 922
 923                         opj_v4dwt_interleave_v(&v, aj, (OPJ_INT32)w, j);
 924                         opj_v4dwt_decode(&v);
 925
 926                         for(k = 0; k < rh; ++k){
 927                                 memcpy(&aj[k*w], &v.wavelet[k], (size_t)j * sizeof(OPJ_FLOAT32));
 928                         }
 929                 }
 930         }
 931
 932         opj_aligned_free(h.wavelet);
 933         return OPJ_TRUE;
 934 }