[数]?相对熵

...，互信息是一种测度，用来度量一个随机变量包含另一个随机变量的信息量。熵恰好变成一个随机变量的自信息。相对熵(relative entropy)是个更广泛的量，它是刻画两个概率分布之间距离的一种度量，而互信息又是它的特殊情形。

?交叉熵

为了定量地衡量两个不同分布之间的差异， 我们引入了基于交叉熵（Relative Entropy）的 L 测度，在此过程中我们对于分 布的尾部进行了探讨。L 测度对于我们控制组合在因子上的风险有很重要的意 义。

?或相对熵

定义3：叉熵（Cross entropy，也叫 Kullback-Leibler散度或相对熵（Relative entropy））：指随机变量X的叉熵为:，其中为待求的概率分布，而为先验概率分布(故有且)。