II. DCT MODELS AND THE HEAVY TAIL PHENOMENON

　　本节首先回顾了测试建模精度的三个指标，然后对DCT系数建模文献中的相关研究进行了调查。 然后我们讨论DCT系数中的重尾现象。

A. Measurement for Modeling Accuracy

　　在文献中通常使用三种方法来测试建模精度，即Kolmogorov-Smirnov（KS）检验，Kullback-Leibler（KL）[12]散度和χ2检验[2]。通常，KS测试对主要部分比对尾部更敏感。 另一方面，χ2检验比KS检验更关注尾部。通过对对数的使用所示，就平衡主要部分的精度和尾部的精度而言，KL散度位于KS和χ2检验的中间。（The KL divergence, as shown by its use of logarithm, stands in the middle of KS and χ2 test in terms of balancing between the ?tness of the main portion and the ?tness of the tail part.）

　　与[2]类似，本文优先考虑χ2检验而不KS检验来测量建模精度。 除了[2]中提供的使用χ2检验而不是KS检验的正确性，因为χ2对源编码提供了更有意义的指导，我们的偏好也源于DCT系数的重尾现象。 具体而言，χ2检验更好地表征分布中统计上不显着的尾部，而KS检验往往忽略尾部。 在下文中，对于重尾现象存在更详细的讨论。 除了使用χ2检验外，我们还使用KL散度来比较建模精度，因为它平衡了侧重主要部分的KS检验和侧重尾部的χ2检验。

　　给定一系列样本概率{pi}和一系列模型概率{qi}，模型与观测结果的KL散度是

　　\[KL = \sum\limits_i {{p_i}\ln \frac{{{p_i}}}{{{q_i}}}} \]

　　其中 0ln0 定义为 0 ，χ2检验定义为

　　\[{\chi ^2} = \sum\limits_i {\frac{{n{{({p_i} - {q_i})}^2}}}{{{q_i}}}} \]

　　其中 n 是样本的总数。

B. Models in the Literature for DCT Coef?cients

　　 1) Gaussian Distributions:

　　高斯分布广泛用于模拟DCT系数[1]，其正则根源于中心极限定理（CLT）[12]。（ Gaussian distributions are widely used for modeling DCT coef?cients [1], and its justi?cation roots in the central limit theorem (CLT)） 在[9]中研究了基于高斯概率密度函数的一系列较为全面的概率分布（a comprehensive collection of distributions）。然而，观察到自然图像/视频的DCT系数通常具有比高斯分布更重的尾部[2]。 因此，建议使用广义高斯分布来建模DCT系数。

　　2) Generalized Gaussian Distributions:

　　用于模拟DCT数据的具有零均值的广义高斯分布（GGD）的概率密度函数（pdf）如下，

　　\[f(y) = \frac{\beta }{{2\alpha \Gamma (1/\beta )}}{e^{ - {{(|y|/\alpha )}^\beta }}}\]

　　其中α是正比例参数（positive scale parameter），β是正形状参数（positive shape parameter），分母中是gamma函数。

　　很容易看出，当β= 1时，GGD退化为拉普拉斯分布。 当β= 2时，它变为具有方差α²/ 2的高斯分布。 通过自由选择尺度参数α和形状参数β，GGD展现了一种有效的方法来参数化从高斯到均匀分布的一族对称分布，以及从拉普拉斯分布到高斯分布的一族对称分布。如上所述 ，DCT系数分布具有重尾。 在这方面，GGD允许：β<2时比高斯尾部更重的尾部，β<1时比拉普拉斯尾部更重的尾部，或者β> 2时比高斯尾部更轻的尾部。（In this regard, the GGD allows for either heavier-thanGaussian tails with β<2, heavier-than-Laplacian tails with β<1, or lighter-than-Gaussian tails with β>2.）因此，GG模型在模拟DCT系数的建模精度方面一般优于高斯和拉普拉斯模型。

　　然而，GG模型精确建模的好处带来了一些不可避免的缺点：缺乏封闭形式的累积分布函数（cdf）和参数估计的高复杂性。 如[2]所示，β的最大似然估计是求解以下等式，

　　\[\frac{{\Psi (1/\beta  + 1) + log(\beta )}}{{{\beta ^2}}} + \frac{1}{{{\beta ^2}}}\log (\frac{1}{n}\sum\limits_{i = 1}^n {{{\left| {{Y_i}} \right|}^\beta }} ) - \frac{{\sum\nolimits_{i = 1}^n {{{\left| {{Y_i}} \right|}^\beta }\log } \left| {{Y_i}} \right|}}{{\beta \sum\nolimits_{i = 1}^n {{{\left| {{Y_i}} \right|}^\beta }} }} = 0\]

　　其中

　　\[\Psi (\tau ) = \gamma  + \int_0^1 {(1 - {t^{\tau  - 1}}){{(1 - t)}^{ - 1}}dt} \]

　　\[\gamma  = 0.577...\]表示欧拉常数

　　显然，当数值迭代求解β时，\[{\sum\nolimits_{i = 1}^n {{{\left| {{Y_i}} \right|}^\beta }\log } \left| {{Y_i}} \right|}\]和\[{\sum\nolimits_{i = 1}^n {{{\left| {{Y_i}} \right|}^\beta }} }\]会产生大量的计算量。

　　3）Laplacian Distributions:

　　由于其简单性和相当的建模性能，拉普拉斯模型成为最受欢迎的使用选择[10]，[11]，其pdf如下，\[f(y) = \frac{1}{{2\lambda }}{e^{ - \left( {\left| y \right|/\lambda } \right)}}\]

　　其 中λ为正比例参数（positive scale parameter）。给定一系列样本Y_i ，i=1,...,n,则λ的最大似然估计可以简单地用下式计算\[\lambda  = \frac{1}{n}\sum\limits_{i = 1}^n {\left| {{Y_i}} \right|} \]

　　4）Other Distributions:

　　在DCT建模的文献中研究了其他分布[6] - [9]，这些分布的灵感来自于DCT系数的重尾观测。 一个有趣的分布是Cauchy分布[8]，\[f(y) = \frac{r}{\pi }\frac{1}{{{{(y - {y_0})}^2} + {r^2}}}\]

　　其中y₀是位置参数，r代表比例参数。 我们对Cauchy模型与GGD进行比较的研究表明，GGD通常比Cauchy模型提供更好的拟合优势（参见第V节）。 此外，Cauchy分布的应用也受到限制，due to the fact that it does not have finite moments of any order，导致其参数估计的困难。

C. Heavy Tail Observations

　　拉普拉斯分布，高斯分布和GG分布都以指数方式快速衰减。 然而，如图1所示，DCT系数通常具有更重的尾部。 图1是通过将浮点II型8×8DCT应用于众所周知的512×512 Lenna图像而获得的，其中黄色条表示DCT系数的直方图。 从图1中可以明显看出，对于DCT系数的主要部分，DCT系数的直方图首先相当快地衰减，然后对于DCT系数的尾部变得相对平缓。

　　图1的下图放大尾部并进一步比较DCT系数与GG和拉普拉斯模型的直方图，其中黄色条依然代表DCT系数的直方图，红色和黑色曲线分别显示GG模型和拉普拉斯模型的结果。在图1中，GG模型参数的ML估计是通过[14]的Matlab代码计算的，而拉普拉斯模型的λ值是用（2.6）计算的。对于这两种模型，进行χ2测试以评估它们各自的建模精度。根据χ2检验，GG模型显着优于拉普拉斯模型。此外，在图1中，所获得的形状参数β远小于1，这意味着所得到的GG分布具有比拉普拉斯分布更重的尾部。然而，与图1中所示的实际数据直方图相比，GG模型仍然受到指数有界尾部的影响，该尾部比DCT系数轻得多。

III. CONTINUOUS TRANSPARENT COMPOSITE MODEL

　　为了更好地处理DCT数据中的重尾，我们现在将DCT系数的尾部与主要部分分开，并使用不同的模型对每个部分进行建模。 由于尾部的DCT系数在统计上是不重要的，每个系数经常会出现几次（ Since DCT coef?cients in the tail portion are insigni?cant statistically, eachofthem oftenappearsonceora few times）。 因此，通过均匀分布对它们进行单独建模是有意义的，同时通过参数分布对主要部分进行建模，我们将模型称为透明复合模型。在本节中，我们假设DCT数据是连续的并考虑连续的TCM。

A. Description of General Continuous TCMs

　　f为pdf含参数theta，F为cdf，f在y方向关于原点对称，F在y>=0时是凹函数

B. ML Estimate of TCM Parameters