信息论与编码 第四章信息率失真函数

无失真信源编码和有噪信道编码告诉我们:只要信道的信息传输速率 R 小于信道容量 C,总能找到一种编码方法,使得在该信道上的信息传输的差错概率 Pe 任意小;反之,若信道的信息传输速率大于信道容量,则不可能使信息传输差错概率任意小。但是,无失真的编码并非总是必要的。无失真的编码并非总是可能的。在实际信息传输系统中,失真是不可避免的,有时甚至是必须的。 ### 4.1 失真测度

4.1.1 系统模型

有失真信源编码的问题->无失真的信源通过有噪信道传输的问题。

4.1.2 失真度和平均失真度

  1. 单符号失真度

    定义非负函数 d(x,y) 称为单符号失真度,或单符号失真函数。用来度量信源发出的每一个符号 x,而接受译码器输出为符号 y 所引起的信息失真。通常规定 d(x,y) 越小表示引起的失真越小,显然 d(x,y)=0 表示没有失真。

    汉明失真矩阵的特点为:主对角线元素全为 0,其他全为 1。

    常见的失真度还有平方误差失真度 \(d_{ij}=(x_i-y_j)^2\),绝对值误差失真度 \(d_{ij}=|x_i-y_j|\)

    删除信源:\[\begin{equation} d(u_i,v_j)=\left\{ \begin{aligned} 0 && i=j \\ 1 && i\ne j \\ 1/2 && j=s \end{aligned} \right. \end{equation}​\]

  2. 序列失真度

  3. 平均失真度

    单符号平均失真 \(D=\sum_{i,j}p(a_ib_j)d(a_ib_j)=\sum_{i,j}p(a_i)p(b_j/a_i)d(a_i,b_j)\),表示由信源 X 和试验信道 {X,P(Y|X),Y} 组成的通信系统的平均失真度。

    序列平均失真 \(\vec{d}=\frac 1N\sum_{i=1}^NE[d(x_i,y_j)]=\frac 1N\sum_{i=1}^ND_i\),平均失真度是从总体上度量整个通信系统失真的大小。

    对离散无记忆 N 次扩展序列的讨论看归结为对一维扩展序列的讨论(二者相等)。

    若平均失真度 \(\overline D\) 不大于我们所允许的失真 D,即:\(\overline D≤D\),称此为保真度准则。满足保真度准则的试验信道统称为——D 失真许可试验信道

4.2 信息率失真函数及其性质

4.2.1 信息率失真函数的定义

在许可试验信道集合 PD 中,总可以找到某一试验信道,使信道信息传输速率 \(R=I(X;Y)\) 达到最小值,记为 R(D)。R(D) 被称为信源的信息速率失真函数,简称率失真函数

率失真函数 R(D) 给出了熵压缩编码可能达到的最小熵率与失真的关系,其逆函数称为失真率函数 D(R),表示一定信息速率下所可能达到的最小的平均失真。

4.2.2 信息率失真函数的性质

  1. R(D) 的值域

    \(0≤R(D)≤H(X)​\)

  2. R(D) 的定义域

    \(0≤D_{min}≤D≤D_{max} \\ D_{min}=\sum_xp(x)min_yd(x,y) \\ D_{max}=min_y\sum_xp(x)d(x,y)\)

  3. R(D) 是关于平均失真 D 的下凸函数

    设 D1,D2 为任意两个平均失真,0≤a≤1,则有:\(R[aD_1+(1-a)D_2]≤aR(D_1)+(1-a)R(D_2)\)

  4. R(D) 是 (Dmin,Dmax) 区间上的连续和严格单调递减函数

4.3 离散无记忆信源的信息率失真函数

已知信源的概率分布函数失真函数,就可求得信源的信息率失真函数。原则上与信道容量一样,是在失真受约束条件下求函数的极小值,即求:

4.3.1 等概率、对称失真信源的 R(D) 计算

对于等概、对称失真的信源,存在一个与失真矩阵具有同样对称性的转移概率分布达到率失真R(D)。

对于同一失真度 D,n 越大,R(D) 越大,信源的可压缩性越小。

4.3.2 离散无记忆信源的信息率失真函数的参量表述

原则上利用拉格朗日乘子法,可以求出来。

4.4 连续无记忆信源的信息率失真函数

To be continued…

4.5 保真度准则下的信源编码定理

即香农第三定理:

设 R(D) 为一离散无记忆信源的信息率失真函数,并且有有限的失真测度 D。对于任意 D≥0,ε>0,以及任意长的码长 k,一定存在一种信源编码 C,其码字个数为 M ≥ 2k[R(D)+ε],使编码后码的平均失真度小于 D。

即对于任何失真度 D,只要码长 k 足够长,总可以找到一种编码,使编码后每个信源符号的信息传输率满足 \(R=\frac{logM}k≥R(D)+\epsilon\),而码的平均失真度不大于给定的允许失真度。R(D) 为给定 D 前提下信源编码可能达到的下限,所以香农第三定理说明了达到此下限的最佳信源编码是存在的。

Comments

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×