src/KM_util.h

   1 /*
   2 Copyright (c) 2005-2015, John Hurst
   3 All rights reserved.
   4
   5 Redistribution and use in source and binary forms, with or without
   6 modification, are permitted provided that the following conditions
   7 are met:
   8 1. Redistributions of source code must retain the above copyright
   9    notice, this list of conditions and the following disclaimer.
  10 2. Redistributions in binary form must reproduce the above copyright
  11    notice, this list of conditions and the following disclaimer in the
  12    documentation and/or other materials provided with the distribution.
  13 3. The name of the author may not be used to endorse or promote products
  14    derived from this software without specific prior written permission.
  15
  16 THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  17 IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  18 OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  19 IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  20 INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  21 NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  22 DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  23 THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  24 (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  25 THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  26 */
  27   /*! \file    KM_util.h
  28     \version $Id: KM_util.h,v 1.39 2015/10/12 15:30:46 jhurst Exp $
  29     \brief   Utility functions
  30   */
  31
  32 #ifndef _KM_UTIL_H_
  33 #define _KM_UTIL_H_
  34
  35 #include <KM_memio.h>
  36 #include <KM_error.h>
  37 #include <KM_tai.h>
  38 #include <string.h>
  39 #include <list>
  40
  41 namespace Kumu
  42 {
  43   // The version number declaration and explanation are in ../configure.ac
  44   const char* Version();
  45
  46   // a class that represents the string form of a value
  47   template <class T, int SIZE = 16>
  48     class IntPrinter : public std::string
  49   {
  50     KM_NO_COPY_CONSTRUCT(IntPrinter);
  51     IntPrinter();
  52
  53     protected:
  54     const char* m_format;
  55     char m_strbuf[SIZE];
  56
  57     public:
  58     IntPrinter(const char* format, T value) {
  59       assert(format);
  60       m_format = format;
  61       snprintf(m_strbuf, SIZE, m_format, value);
  62     }
  63
  64     inline operator const char*() { return m_strbuf; }
  65     inline const char* c_str() { return m_strbuf; }
  66     inline const char* set_value(T value) {
  67       snprintf(m_strbuf, SIZE, m_format, value);
  68       return m_strbuf;
  69     }
  70   };
  71
  72   struct i8Printer : public IntPrinter<i8_t> {
  73     i8Printer(i8_t value) : IntPrinter<i8_t>("%hd", value) {}
  74   };
  75
  76   struct ui8Printer : public IntPrinter<ui8_t> {
  77     ui8Printer(ui8_t value) : IntPrinter<ui8_t>("%hu", value) {}
  78   };
  79
  80   struct i16Printer : public IntPrinter<i16_t> {
  81     i16Printer(i16_t value) : IntPrinter<i16_t>("%hd", value) {}
  82   };
  83
  84   struct ui16Printer : public IntPrinter<ui16_t> {
  85     ui16Printer(ui16_t value) : IntPrinter<ui16_t>("%hu", value) {}
  86   };
  87
  88   struct i32Printer : public IntPrinter<i32_t> {
  89     i32Printer(i32_t value) : IntPrinter<i32_t>("%d", value) {}
  90   };
  91
  92   struct ui32Printer : public IntPrinter<ui32_t> {
  93     ui32Printer(ui32_t value) : IntPrinter<ui32_t>("%u", value) {}
  94   };
  95
  96 #ifdef KM_WIN32
  97   struct i64Printer : public IntPrinter<i64_t, 32> {
  98     i64Printer(i64_t value) : IntPrinter<i64_t, 32>("%I64d", value) {}
  99   };
 100
 101   struct ui64Printer : public IntPrinter<ui64_t, 32> {
 102     ui64Printer(ui64_t value) : IntPrinter<ui64_t, 32>("%I64u", value) {}
 103   };
 104 #else
 105   struct i64Printer : public IntPrinter<i64_t, 32> {
 106     i64Printer(i64_t value) : IntPrinter<i64_t, 32>("%qd", value) {}
 107   };
 108
 109   struct ui64Printer : public IntPrinter<ui64_t, 32> {
 110     ui64Printer(ui64_t value) : IntPrinter<ui64_t, 32>("%qu", value) {}
 111   };
 112 #endif
 113
 114   // Convert NULL-terminated UTF-8 hexadecimal string to binary, returns 0 if
 115   // the binary buffer was large enough to hold the result. The output parameter
 116   // 'char_count' will contain the length of the converted string. If the output
 117   // buffer is too small or any of the pointer arguments are NULL, the subroutine
 118   // will return -1 and set 'char_count' to the required buffer size. No data will
 119   // be written to 'buf' if the subroutine fails.
 120   i32_t       hex2bin(const char* str, byte_t* buf, ui32_t buf_len, ui32_t* char_count);
 121
 122   // Convert a binary string to NULL-terminated UTF-8 hexadecimal, returns the buffer
 123   // if the output buffer was large enough to hold the result. If the output buffer
 124   // is too small or any of the pointer arguments are NULL, the subroutine will
 125   // return 0.
 126   //
 127   const char* bin2hex(const byte_t* bin_buf, ui32_t bin_len, char* str_buf, ui32_t str_len);
 128
 129   const char* bin2UUIDhex(const byte_t* bin_buf, ui32_t bin_len, char* str_buf, ui32_t str_len);
 130
 131   // same as above for base64 text
 132   i32_t       base64decode(const char* str, byte_t* buf, ui32_t buf_len, ui32_t* char_count);
 133   const char* base64encode(const byte_t* bin_buf, ui32_t bin_len, char* str_buf, ui32_t str_len);
 134
 135   // returns the length of a Base64 encoding of a buffer of the given length
 136   inline ui32_t base64_encode_length(ui32_t length) {
 137     while ( ( length % 3 ) != 0 )
 138       length++;
 139
 140     return ( length / 3 ) * 4;
 141   }
 142
 143   // print buffer contents to a stream as hexadecimal values in numbered
 144   // rows of 16-bytes each.
 145   //
 146   void hexdump(const byte_t* buf, ui32_t dump_len, FILE* stream = 0);
 147
 148   // Return the length in bytes of a BER encoded value
 149   inline ui32_t BER_length(const byte_t* buf)
 150     {
 151       if ( buf == 0 || (*buf & 0xf0) != 0x80 )
 152         return 0;
 153
 154       return (*buf & 0x0f) + 1;
 155     }
 156
 157   // Return the BER length required to encode value. A return value of zero
 158   // indicates a value too large for this library.
 159   ui32_t get_BER_length_for_value(ui64_t valuse);
 160
 161   // read a BER value
 162   bool read_BER(const byte_t* buf, ui64_t* val);
 163
 164   // decode a ber value and compare it to a test value
 165   bool read_test_BER(byte_t **buf, ui64_t test_value);
 166
 167   // create BER encoding of integer value
 168   bool write_BER(byte_t* buf, ui64_t val, ui32_t ber_len = 0);
 169
 170   //----------------------------------------------------------------
 171   //
 172
 173   // an abstract base class that objects implement to serialize state
 174   // to and from a binary stream.
 175   class IArchive
 176     {
 177     public:
 178       virtual ~IArchive(){}
 179       virtual bool   HasValue() const = 0;
 180       virtual ui32_t ArchiveLength() const = 0;
 181       virtual bool   Archive(MemIOWriter* Writer) const = 0;
 182       virtual bool   Unarchive(MemIOReader* Reader) = 0;
 183     };
 184
 185   //
 186   template <class T>
 187   class ArchivableList : public std::list<T>, public IArchive
 188     {
 189     public:
 190       ArchivableList() {}
 191       virtual ~ArchivableList() {}
 192
 193       bool HasValue() const { return ! this->empty(); }
 194
 195       ui32_t ArchiveLength() const
 196       {
 197         ui32_t arch_size = sizeof(ui32_t);
 198
 199         typename ArchivableList<T>::const_iterator i = this->begin();
 200         for ( ; i != this->end(); i++ )
 201           arch_size += i->ArchiveLength();
 202
 203         return arch_size;
 204       }
 205
 206       bool Unarchive(Kumu::MemIOReader* Reader)
 207         {
 208           if ( Reader == 0 ) return false;
 209           ui32_t read_size = 0;
 210           if ( ! Reader->ReadUi32BE(&read_size) ) return false;
 211           for ( ui32_t i = 0; i < read_size; i++ )
 212             {
 213               T TmpTP;
 214               if ( ! TmpTP.Unarchive(Reader) ) return false;
 215               this->push_back(TmpTP);
 216             }
 217
 218           return true;
 219         }
 220
 221       bool Archive(Kumu::MemIOWriter* Writer) const
 222         {
 223           if ( Writer == 0 ) return false;
 224           if ( ! Writer->WriteUi32BE(static_cast<ui32_t>(this->size())) ) return false;
 225           typename ArchivableList<T>::const_iterator i = this->begin();
 226           for ( ; i != this->end(); i++ )
 227             if ( ! i->Archive(Writer) ) return false;
 228
 229           return true;
 230         }
 231     };
 232
 233   // archivable version of std::string
 234
 235   //
 236   class ArchivableString : public std::string, public Kumu::IArchive
 237     {
 238
 239     public:
 240       ArchivableString() {}
 241       ArchivableString(const char* sz) : std::string(sz) {}
 242       ArchivableString(const std::string& s) : std::string(s) {}
 243       virtual ~ArchivableString() {}
 244
 245       bool   HasValue() const { return ! this->empty(); }
 246       ui32_t ArchiveLength() const { return sizeof(ui32_t) + static_cast<ui32_t>(this->size()); }
 247
 248       bool   Archive(MemIOWriter* Writer) const {
 249         if ( Writer == 0 ) return false;
 250         return Writer->WriteString(*this);
 251       }
 252
 253       bool   Unarchive(MemIOReader* Reader) {
 254         if ( Reader == 0 ) return false;
 255         return Reader->ReadString(*this);
 256       }
 257     };
 258
 259   //
 260   typedef Kumu::ArchivableList<ArchivableString> StringList;
 261
 262   //
 263   // the base of all identifier classes, Identifier is not usually used directly
 264   // see UUID and SymmetricKey below for more detail.
 265   //
 266   template <ui32_t SIZE>
 267     class Identifier : public IArchive
 268     {
 269     protected:
 270       bool   m_HasValue;
 271       byte_t m_Value[SIZE];
 272
 273     public:
 274       Identifier() : m_HasValue(false) { memset(m_Value, 0, SIZE); }
 275       Identifier(const byte_t* value) : m_HasValue(true) { memcpy(m_Value, value, SIZE); }
 276       Identifier(const Identifier& rhs) : IArchive() {
 277         m_HasValue = rhs.m_HasValue;
 278         memcpy(m_Value, rhs.m_Value, SIZE);
 279       }
 280
 281       virtual ~Identifier() {}
 282
 283       const Identifier& operator=(const Identifier& rhs) {
 284         m_HasValue = rhs.m_HasValue;
 285         memcpy(m_Value, rhs.m_Value, SIZE);
 286         return *this;
 287       }
 288
 289       inline void Set(const byte_t* value) { m_HasValue = true; memcpy(m_Value, value, SIZE); }
 290       inline void Reset() { m_HasValue = false; memset(m_Value, 0, SIZE); }
 291       inline const byte_t* Value() const { return m_Value; }
 292       inline ui32_t Size() const { return SIZE; }
 293
 294       inline bool operator<(const Identifier& rhs) const {
 295         ui32_t test_size = xmin(rhs.Size(), SIZE);
 296
 297         for ( ui32_t i = 0; i < test_size; i++ )
 298           {
 299             if ( m_Value[i] != rhs.m_Value[i] )
 300               return m_Value[i] < rhs.m_Value[i];
 301           }
 302
 303         return false;
 304       }
 305
 306       inline bool operator==(const Identifier& rhs) const {
 307         if ( rhs.Size() != SIZE ) return false;
 308         return ( memcmp(m_Value, rhs.m_Value, SIZE) == 0 );
 309       }
 310
 311       inline bool operator!=(const Identifier& rhs) const {
 312         if ( rhs.Size() != SIZE ) return true;
 313         return ( memcmp(m_Value, rhs.m_Value, SIZE) != 0 );
 314       }
 315
 316       inline bool DecodeHex(const char* str) {
 317         ui32_t char_count;
 318         m_HasValue = ( hex2bin(str, m_Value, SIZE, &char_count) == 0 );
 319         if ( m_HasValue && char_count != SIZE )
 320           m_HasValue = false;
 321         return m_HasValue;
 322       }
 323
 324       inline const char* EncodeHex(char* buf, ui32_t buf_len) const {
 325         return bin2hex(m_Value, SIZE, buf, buf_len);
 326       }
 327
 328       inline const char* EncodeString(char* str_buf, ui32_t buf_len) const {
 329         return EncodeHex(str_buf, buf_len);
 330       }
 331
 332       inline bool DecodeBase64(const char* str) {
 333         ui32_t char_count;
 334         m_HasValue = ( base64decode(str, m_Value, SIZE, &char_count) == 0 );
 335         if ( m_HasValue && char_count != SIZE )
 336           m_HasValue = false;
 337         return m_HasValue;
 338       }
 339
 340       inline const char* EncodeBase64(char* buf, ui32_t buf_len) const {
 341         return base64encode(m_Value, SIZE, buf, buf_len);
 342       }
 343
 344       inline bool HasValue() const { return m_HasValue; }
 345
 346       inline ui32_t ArchiveLength() const { return SIZE; }
 347
 348       inline bool Unarchive(Kumu::MemIOReader* Reader) {
 349         m_HasValue = Reader->ReadRaw(m_Value, SIZE);
 350         return m_HasValue;
 351       }
 352
 353       inline bool Archive(Kumu::MemIOWriter* Writer) const {
 354         return Writer->WriteRaw(m_Value, SIZE);
 355       }
 356     };
 357
 358
 359   // UUID
 360   //
 361   const ui32_t UUID_Length = 16;
 362   class UUID : public Identifier<UUID_Length>
 363     {
 364     public:
 365       UUID() {}
 366       UUID(const byte_t* value) : Identifier<UUID_Length>(value) {}
 367       UUID(const UUID& rhs) : Identifier<UUID_Length>(rhs) {}
 368       virtual ~UUID() {}
 369
 370       inline const char* EncodeString(char* buf, ui32_t buf_len) const {
 371         return bin2UUIDhex(m_Value, Size(), buf, buf_len);
 372       }
 373
 374       inline const char* EncodeHex(char* buf, ui32_t buf_len) const {
 375         return bin2UUIDhex(m_Value, Size(), buf, buf_len);
 376       }
 377     };
 378
 379   void GenRandomUUID(byte_t* buf); // buf must be UUID_Length or longer
 380   void GenRandomValue(UUID&);
 381
 382   typedef ArchivableList<UUID> UUIDList;
 383
 384   // a self-wiping key container
 385   //
 386   const ui32_t SymmetricKey_Length = 16;
 387   const byte_t NilKey[SymmetricKey_Length] = {
 388     0xfa, 0xce, 0xfa, 0xce, 0xfa, 0xce, 0xfa, 0xce,
 389     0xfa, 0xce, 0xfa, 0xce, 0xfa, 0xce, 0xfa, 0xce
 390   };
 391
 392   class SymmetricKey : public Identifier<SymmetricKey_Length>
 393     {
 394     public:
 395       SymmetricKey() {}
 396       SymmetricKey(const byte_t* value) : Identifier<SymmetricKey_Length>(value) {}
 397       SymmetricKey(const UUID& rhs) : Identifier<SymmetricKey_Length>(rhs) {}
 398       virtual ~SymmetricKey() { memcpy(m_Value, NilKey, 16); m_HasValue = false; }
 399     };
 400
 401   void GenRandomValue(SymmetricKey&);
 402
 403   //
 404   // 2004-05-01T13:20:00+00:00
 405   const ui32_t DateTimeLen = 25; //  the number of chars in the xs:dateTime format (sans milliseconds)
 406
 407   // UTC time+date representation
 408   class Timestamp : public IArchive
 409     {
 410       TAI::tai m_Timestamp; // always UTC
 411       i32_t m_TZOffsetMinutes;
 412
 413    public:
 414       Timestamp();
 415       Timestamp(const Timestamp& rhs);
 416       Timestamp(const char* datestr);
 417       Timestamp(const ui16_t& Year, const ui8_t&  Month, const ui8_t&  Day);
 418       Timestamp(const ui16_t& Year, const ui8_t&  Month, const ui8_t&  Day,
 419                 const ui8_t&  Hour, const ui8_t&  Minute, const ui8_t&  Second);
 420       virtual ~Timestamp();
 421
 422       const Timestamp& operator=(const Timestamp& rhs);
 423       bool operator<(const Timestamp& rhs) const;
 424       bool operator>(const Timestamp& rhs) const;
 425       bool operator==(const Timestamp& rhs) const;
 426       bool operator!=(const Timestamp& rhs) const;
 427
 428       // always UTC
 429       void GetComponents(ui16_t& Year, ui8_t&  Month, ui8_t&  Day,
 430                          ui8_t&  Hour, ui8_t&  Minute, ui8_t&  Second) const;
 431       void SetComponents(const ui16_t& Year, const ui8_t&  Month, const ui8_t&  Day,
 432                          const ui8_t&  Hour, const ui8_t&  Minute, const ui8_t&  Second);
 433
 434       // Write the timestamp value to the given buffer in the form 2004-05-01T13:20:00+00:00
 435       // returns 0 if the buffer is smaller than DateTimeLen
 436       const char* EncodeString(char* str_buf, ui32_t buf_len) const;
 437
 438       // decode and set value from string formatted by EncodeString
 439       bool        DecodeString(const char* datestr);
 440
 441       // Add the given number of days, hours, minutes, or seconds to the timestamp value.
 442       // Values less than zero will cause the timestamp to decrease
 443       inline void AddDays(const i32_t& d) { m_Timestamp.add_days(d); }
 444       inline  void AddHours(const i32_t& h) { m_Timestamp.add_hours(h); }
 445       inline  void AddMinutes(const i32_t& m) { m_Timestamp.add_minutes(m); }
 446       inline  void AddSeconds(const i32_t& s) { m_Timestamp.add_seconds(s); }
 447
 448       // returns false if the requested adjustment is out of range
 449       bool SetTZOffsetMinutes(const i32_t& minutes);
 450       inline i32_t GetTZOffsetMinutes() const { return m_TZOffsetMinutes; }
 451
 452       // Return the number of seconds since the Unix epoch UTC (1970-01-01T00:00:00+00:00)
 453       ui64_t GetCTime() const;
 454
 455       // Set internal time to the number of seconds since the Unix epoch UTC
 456       void SetCTime(const ui64_t& ctime);
 457
 458       // Read and write the timestamp (always UTC) value as a byte string having
 459       // the following format:
 460       // | 16 bits int, big-endian |    8 bits   |   8 bits  |   8 bits   |    8 bits    |    8 bits    |
 461       // |        Year A.D         | Month(1-12) | Day(1-31) | Hour(0-23) | Minute(0-59) | Second(0-59) |
 462       //
 463       virtual bool   HasValue() const;
 464       virtual ui32_t ArchiveLength() const { return 8L; }
 465       virtual bool   Archive(MemIOWriter* Writer) const;
 466       virtual bool   Unarchive(MemIOReader* Reader);
 467     };
 468
 469   //
 470   class ByteString : public IArchive
 471     {
 472       KM_NO_COPY_CONSTRUCT(ByteString);
 473
 474     protected:
 475       byte_t* m_Data;          // pointer to memory area containing frame data
 476       ui32_t  m_Capacity;      // size of memory area pointed to by m_Data
 477       ui32_t  m_Length;        // length of byte string in memory area pointed to by m_Data
 478
 479     public:
 480       ByteString();
 481       ByteString(ui32_t cap);
 482       virtual ~ByteString();
 483
 484       // Sets or resets the size of the internally allocated buffer.
 485       Result_t Capacity(ui32_t cap);
 486
 487       Result_t Append(const ByteString&);
 488       Result_t Append(const byte_t* buf, ui32_t buf_len);
 489
 490       // returns the size of the buffer
 491       inline ui32_t  Capacity() const { return m_Capacity; }
 492
 493       // returns a const pointer to the essence data
 494       inline const byte_t* RoData() const { assert(m_Data); return m_Data; }
 495
 496       // returns a non-const pointer to the essence data
 497       inline byte_t* Data() { assert(m_Data); return m_Data; }
 498
 499       // set the length of the buffer's contents
 500       inline ui32_t  Length(ui32_t l) { return m_Length = l; }
 501
 502       // returns the length of the buffer's contents
 503       inline ui32_t  Length() const { return m_Length; }
 504
 505       // copy the given data into the ByteString, set Length value.
 506       // Returns error if the ByteString is too small.
 507       Result_t Set(const byte_t* buf, ui32_t buf_len);
 508       Result_t Set(const ByteString& Buf);
 509
 510       inline virtual bool HasValue() const { return m_Length > 0; }
 511
 512       inline virtual ui32_t ArchiveLength() const { return sizeof(ui32_t) + m_Length; }
 513
 514       inline virtual bool Archive(MemIOWriter* Writer) const {
 515         assert(Writer);
 516         if ( ! Writer->WriteUi32BE(m_Length) ) return false;
 517         if ( ! Writer->WriteRaw(m_Data, m_Length) ) return false;
 518         return true;
 519       }
 520
 521       inline virtual bool Unarchive(MemIOReader* Reader) {
 522         assert(Reader);
 523         ui32_t tmp_len;
 524         if ( ! Reader->ReadUi32BE(&tmp_len) ) return false;
 525         if ( KM_FAILURE(Capacity(tmp_len)) ) return false;
 526         if ( ! Reader->ReadRaw(m_Data, tmp_len) ) return false;
 527         m_Length = tmp_len;
 528         return true;
 529       }
 530     };
 531
 532   inline void hexdump(const ByteString& buf, FILE* stream = 0) {
 533     hexdump(buf.RoData(), buf.Length(), stream);
 534   }
 535
 536   // Locates the first occurrence of the null-terminated string s2 in the string s1, where not more
 537   // than n characters are searched.  Characters that appear after a `\0' character are not searched.
 538   // Reproduced here from BSD for portability.
 539   const char *km_strnstr(const char *s1, const char *s2, size_t n);
 540
 541   // Split the input string into tokens using the given separator. If the separator is not found the
 542   // entire string will be returned as a single-item list.  Empty items will be recorded for
 543   // adjacent instances of the separator. E.g., "/foo//bar/" will return ["", "foo", "", "bar", ""].
 544   std::list<std::string> km_token_split(const std::string& str, const std::string& separator);
 545
 546 } // namespace Kumu
 547
 548
 549 #endif // _KM_UTIL_H_
 550
 551 //
 552 // end KM_util.h
 553 //