sys/contrib/zstd/tests/fuzz/zstd_helpers.c

   1 /*
   2  * Copyright (c) 2016-present, Facebook, Inc.
   3  * All rights reserved.
   4  *
   5  * This source code is licensed under both the BSD-style license (found in the
   6  * LICENSE file in the root directory of this source tree) and the GPLv2 (found
   7  * in the COPYING file in the root directory of this source tree).
   8  */
   9
  10 #define ZSTD_STATIC_LINKING_ONLY
  11 #define ZDICT_STATIC_LINKING_ONLY
  12
  13 #include <string.h>
  14
  15 #include "zstd_helpers.h"
  16 #include "fuzz_helpers.h"
  17 #include "zstd.h"
  18 #include "zdict.h"
  19
  20 const int kMinClevel = -3;
  21 const int kMaxClevel = 19;
  22
  23 static void set(ZSTD_CCtx *cctx, ZSTD_cParameter param, int value)
  24 {
  25     FUZZ_ZASSERT(ZSTD_CCtx_setParameter(cctx, param, value));
  26 }
  27
  28 static void setRand(ZSTD_CCtx *cctx, ZSTD_cParameter param, unsigned min,
  29                     unsigned max, FUZZ_dataProducer_t *producer) {
  30     unsigned const value = FUZZ_dataProducer_uint32Range(producer, min, max);
  31     set(cctx, param, value);
  32 }
  33
  34 ZSTD_compressionParameters FUZZ_randomCParams(size_t srcSize, FUZZ_dataProducer_t *producer)
  35 {
  36     /* Select compression parameters */
  37     ZSTD_compressionParameters cParams;
  38     cParams.windowLog = FUZZ_dataProducer_uint32Range(producer, ZSTD_WINDOWLOG_MIN, 15);
  39     cParams.hashLog = FUZZ_dataProducer_uint32Range(producer, ZSTD_HASHLOG_MIN, 15);
  40     cParams.chainLog = FUZZ_dataProducer_uint32Range(producer, ZSTD_CHAINLOG_MIN, 16);
  41     cParams.searchLog = FUZZ_dataProducer_uint32Range(producer, ZSTD_SEARCHLOG_MIN, 9);
  42     cParams.minMatch = FUZZ_dataProducer_uint32Range(producer, ZSTD_MINMATCH_MIN,
  43                                           ZSTD_MINMATCH_MAX);
  44     cParams.targetLength = FUZZ_dataProducer_uint32Range(producer, 0, 512);
  45     cParams.strategy = FUZZ_dataProducer_uint32Range(producer, ZSTD_STRATEGY_MIN, ZSTD_STRATEGY_MAX);
  46     return ZSTD_adjustCParams(cParams, srcSize, 0);
  47 }
  48
  49 ZSTD_frameParameters FUZZ_randomFParams(FUZZ_dataProducer_t *producer)
  50 {
  51     /* Select frame parameters */
  52     ZSTD_frameParameters fParams;
  53     fParams.contentSizeFlag = FUZZ_dataProducer_uint32Range(producer, 0, 1);
  54     fParams.checksumFlag = FUZZ_dataProducer_uint32Range(producer, 0, 1);
  55     fParams.noDictIDFlag = FUZZ_dataProducer_uint32Range(producer, 0, 1);
  56     return fParams;
  57 }
  58
  59 ZSTD_parameters FUZZ_randomParams(size_t srcSize, FUZZ_dataProducer_t *producer)
  60 {
  61     ZSTD_parameters params;
  62     params.cParams = FUZZ_randomCParams(srcSize, producer);
  63     params.fParams = FUZZ_randomFParams(producer);
  64     return params;
  65 }
  66
  67 void FUZZ_setRandomParameters(ZSTD_CCtx *cctx, size_t srcSize, FUZZ_dataProducer_t *producer)
  68 {
  69     ZSTD_compressionParameters cParams = FUZZ_randomCParams(srcSize, producer);
  70     set(cctx, ZSTD_c_windowLog, cParams.windowLog);
  71     set(cctx, ZSTD_c_hashLog, cParams.hashLog);
  72     set(cctx, ZSTD_c_chainLog, cParams.chainLog);
  73     set(cctx, ZSTD_c_searchLog, cParams.searchLog);
  74     set(cctx, ZSTD_c_minMatch, cParams.minMatch);
  75     set(cctx, ZSTD_c_targetLength, cParams.targetLength);
  76     set(cctx, ZSTD_c_strategy, cParams.strategy);
  77     /* Select frame parameters */
  78     setRand(cctx, ZSTD_c_contentSizeFlag, 0, 1, producer);
  79     setRand(cctx, ZSTD_c_checksumFlag, 0, 1, producer);
  80     setRand(cctx, ZSTD_c_dictIDFlag, 0, 1, producer);
  81     /* Select long distance matching parameters */
  82     setRand(cctx, ZSTD_c_enableLongDistanceMatching, 0, 1, producer);
  83     setRand(cctx, ZSTD_c_ldmHashLog, ZSTD_HASHLOG_MIN, 16, producer);
  84     setRand(cctx, ZSTD_c_ldmMinMatch, ZSTD_LDM_MINMATCH_MIN,
  85             ZSTD_LDM_MINMATCH_MAX, producer);
  86     setRand(cctx, ZSTD_c_ldmBucketSizeLog, 0, ZSTD_LDM_BUCKETSIZELOG_MAX,
  87             producer);
  88     setRand(cctx, ZSTD_c_ldmHashRateLog, ZSTD_LDM_HASHRATELOG_MIN,
  89             ZSTD_LDM_HASHRATELOG_MAX, producer);
  90     /* Set misc parameters */
  91     setRand(cctx, ZSTD_c_nbWorkers, 0, 2, producer);
  92     setRand(cctx, ZSTD_c_rsyncable, 0, 1, producer);
  93     setRand(cctx, ZSTD_c_forceMaxWindow, 0, 1, producer);
  94     setRand(cctx, ZSTD_c_literalCompressionMode, 0, 2, producer);
  95     setRand(cctx, ZSTD_c_forceAttachDict, 0, 2, producer);
  96     if (FUZZ_dataProducer_uint32Range(producer, 0, 1) == 0) {
  97       setRand(cctx, ZSTD_c_srcSizeHint, ZSTD_SRCSIZEHINT_MIN, 2 * srcSize, producer);
  98     }
  99 }
 100
 101 FUZZ_dict_t FUZZ_train(void const* src, size_t srcSize, FUZZ_dataProducer_t *producer)
 102 {
 103     size_t const dictSize = MAX(srcSize / 8, 1024);
 104     size_t const totalSampleSize = dictSize * 11;
 105     FUZZ_dict_t dict = { malloc(dictSize), dictSize };
 106     char* const samples = (char*)malloc(totalSampleSize);
 107     unsigned nbSamples = 100;
 108     size_t* const samplesSizes = (size_t*)malloc(sizeof(size_t) * nbSamples);
 109     size_t pos = 0;
 110     size_t sample = 0;
 111     ZDICT_fastCover_params_t params;
 112     FUZZ_ASSERT(dict.buff && samples && samplesSizes);
 113
 114     for (sample = 0; sample < nbSamples; ++sample) {
 115       size_t const remaining = totalSampleSize - pos;
 116       size_t const offset = FUZZ_dataProducer_uint32Range(producer, 0, MAX(srcSize, 1) - 1);
 117       size_t const limit = MIN(srcSize - offset, remaining);
 118       size_t const toCopy = MIN(limit, remaining / (nbSamples - sample));
 119       memcpy(samples + pos, src + offset, toCopy);
 120       pos += toCopy;
 121       samplesSizes[sample] = toCopy;
 122
 123     }
 124     memset(samples + pos, 0, totalSampleSize - pos);
 125
 126     memset(&params, 0, sizeof(params));
 127     params.accel = 5;
 128     params.k = 40;
 129     params.d = 8;
 130     params.f = 14;
 131     params.zParams.compressionLevel = 1;
 132     dict.size = ZDICT_trainFromBuffer_fastCover(dict.buff, dictSize,
 133         samples, samplesSizes, nbSamples, params);
 134     if (ZSTD_isError(dict.size)) {
 135         free(dict.buff);
 136         memset(&dict, 0, sizeof(dict));
 137     }
 138
 139     free(samplesSizes);
 140     free(samples);
 141
 142     return dict;
 143 }