信息论与编码 第三章信道及其容量

3.1 信道的数学模型与分类

#### 3.1.1 信道的分类

  1. 根据输入、输出信号的时间特性和取值特性:离散信道、连续信道、半离散信道、波形信道;
  2. 根据信道的统计特性:恒参信道、随参信道;
  3. 根据信道用户数量的不同:两端(单用户)信道、多端(多用户)信道;
  4. 根据信道上是否存在干扰:无扰信道、有扰信道;
  5. 根据信道的记忆特性:无记忆信道、有记忆信道。

3.1.2 信道的数学模型

  • 信道输入概率空间:\([\overline{X},p(\overline{x})]\)
  • 信道输入概率空间:\([\overline{Y},p(\overline{y})]\)
  • 信道的传递概率或转移概率:\(p(\overline{y}/\overline{x})\)

信道的数学模型可以表示为:\(\{\overline{X},p(\overline{y}/\overline{x},\overline{Y})\}\)

根据信道的统计特性不同,离散信道又可以分成下述 3 种情况:

1.无干扰(无噪)信道

信道中没有随机性的干扰,输出信号 \(\overline{Y}\) 与输入信号 \(\overline{X}\) 之间存在着确定的对应关系,即 \(y = f(x)\),故条件概率 \(p(\overline{y}/\overline{x})\) 满足:

\[\begin{equation} p(\overline{y}/\overline{x})=\left\{ \begin{aligned} 1 & & y=f(x) \\ 0 & & y\ne{f(x)} \end{aligned} \right. \end{equation}\]

2.有干扰无记忆信道

信道输入和输出之间的条件概率是一般的概率分布。如果任一时刻输出符号只统计依赖于对应时刻的输入符号,则这种信道称为无记忆信道。

3.有干扰有记忆信道

在这一类信道中某一瞬间的输出符号不但与对应时刻的输入符号有关,而且还与此以前其他时刻信道的输入符号及输出符号有关,这样的信道称为有记忆信道。

处理有记忆有干扰信道的两种方法:

  1. 最直观的方法是把记忆较强的 N 个符号当作一个 N 维矢量,而把各矢量之间认为是无记忆的,这样就转化成无记忆信道的问题。当然,这样处理会引入误差,但随着 N 增加,引入的误差减小。

  2. 另一种处理方法是把 \(p(\overline{y}/\overline{x})\) 看成马尔可夫链的形式。信道的统计特性可用在已知时刻的输入符号和前时刻信道所处的状态的条件下,信道的输出符号和所处的状态的联合条件概率来描述,即用 p(ynSn/xnSn-1) 来描述。

3.1.3 单符号离散信道

当信道输入为 x=ai 时,信道的输出 y 必为 b1,b2,…,bs 中的一个。这组条件概率称为单符号离散信道的传递概率转移概率

二元对称信道(Binary Symmetrical Channel, BSC)

二元删除信道(Binary Eliminated Channel, BEC)

一般离散单符号信道的传递概率可用矩阵表示:

该矩阵又称为信道矩阵(转移矩阵)。

3.2 信道疑义度与平均互信息

3.2.1 信道疑义度

先验熵:\(H(X)=\sum_{i=1}^rp(a_i)log\frac{1}{p(a_i)}=-\sum_Xp(x)logp(x)\)

接收到符号 bj 后关于 X 的后验熵:\(H(X|b_j)=\sum_Xp(x|b_j)log\frac{1}{p(x|b_j)}​\)

信道疑义度(损失熵):\(H(X|Y)=E[H(X|b_j)]=\sum_{X,Y}p(xy)log\frac{1}{p(x|y)}\)

如果是一一对应信道,那么接收到符号Y后,对X的不确性完全消除,则信道疑义度H(X/Y)=0

条件熵小于无条件熵,即H(X/Y) ≤ H(X)。

3.2.2 平均互信息

定义互信息量 \(I(x_i;y_j)\) 为收到消息 yj 后获得关于 xi 的信息量: \(I(x_i;y_j) = log \frac{p(x_i/y_j)}{p(x_i)}\)

对于无干扰信道:\(I(x_i;y_j)=I(x_i)\)

对于全损信道:\(I(x_i;y_j)=0​\)

定义平均互信息 \(I(X;Y)\)\(I(a_i;b_j)\) 的统计平均,即 \(I(X;Y)=\sum_j\sum_ip(x_iy_j)log \frac{p(x_i/y_j)}{p(x_i)}\)

推导得: \(I(X;Y)=H(X)-H(X|Y)\)

  • 互信息 I(x ; y) 代表收到某消息 y 后获得关于某事件 x 的信息量。它可取正值,也可取负值。
  • 若互信息 I(x ; y)<0,说明在未收到信息量 y 以前对消息 x 是否出现的不确定性较小,但由于噪声的存在,接收到消息 y 后,反而对 x 是否出现的不确定程度增加了。
  • I(X;Y) 是 I (x ; y) 的统计平均,所以 I(X;Y) ≥ 0。
  • 若 I(X;Y) = 0,表示在信道输出端接收到输出符号 Y 后不获得任何关于输入符号 X 的信息量,此时是全损信道

平均互信息与各类熵之间关系的说明:

  • I(X;Y) = H(X) - H(X|Y):从 Y 中获得关于 X 的平均互信息 I(X;Y),等于接收到输出 Y 的前、后关于 X 的平均不确定性的消除;
  • I(X;Y) = H(Y) - H(Y|X):平均互信息 I(X;Y) 也等于发出 X 的前、后关于 Y 的平均不确定性的消除;
  • 熵只是平均不确定性的描述,I(X;Y) 才是接收端所获得的信息量(不确定性的消除)。
  • 平均互信息量 I(X;Y) 确定了通过信道的信息量的多少,因此称它为信息传输率传信率

  1. 离散无干扰信道(无噪无损信道)

    信道的输入和输出一一对应,信息无损失地传输,称为无损信道:\(H(X|Y)=H(Y|X)=0​\)

    由于噪声熵等于零,因此,输出端接收的信息就等于平均互信息:\(I(X;Y)=H(X)=H(Y)​\)

  2. 全损信道(输入/输出独立信道)

    信道输入端 X 与输出端 Y 完全统计独立。信道的输入和输出没有依赖关系,信息无法传输,称为全损信道,\(H(X|Y)=H(X),H(Y|X)=H(Y)\)

    从而:\(I(X;Y)=H(X)-H(X|Y)=0​\)

3.2.3 平均互信息的性质

  1. 非负性

    \(I(X;Y) ≥0\),(互信息可正可负,X、Y 统计独立时等式成立)

  2. 极值性

    \(I(X;Y) ≤H(X)\),当 H(X/Y)=0 时,即信道中传输信息无损时,等式成立。

  3. 对称性

    \(I(X;Y) = I(Y;X)\)

  4. 凸状性

    平均互信息 I(X;Y) 是输入信源的概率分布 P(x) 的 ∩ 型凸函数。

    (1)对固定信道,选择不同的信源(其概率分布不同)与信道连接,在信道输出端接收到每个符号后获得的信息量是不同的。 (2)对于每一个固定信道,一定存在有一种信源(某一种概率分布 P(x)),使输出端获得的平均信息量为最大。

    平均互信息 I(X;Y) 是信道传递的概率 P(y/x) 的∪型凸函数。

    (1)当信源固定后,选择不同的信道来传输同一信源符号,在信道输出端获得关于信源的信息量是不同的。 (2)对每一种信源都存在一种最差的信道,此时干扰 (噪声) 最大,而输出端获得的信息量最小。

3.3 离散无记忆信道的扩展信道

离散无记忆信道 ( DMC,Discrete Memoryless Channel) ,其传递概率满足:

\(P(\overline{y}|\overline{x})=P(y_1y_2…y_N|x_1x_2…x_N)=\prod_{i=1}^NP(y_j|x_i)\)

  • 若信道是无记忆的,则 \(I(\overline{X};\overline{Y})≤\sum_{i=1}^NI(X_i;Y_j)\)
  • 若信源是无记忆的,则 \(I(\overline{X};\overline{Y})≥\sum_{i=1}^NI(X_i;Y_j)​\)

  • 若信源与信道都是无记忆的,则若信道是无记忆的,则 \(I(\overline{X};\overline{Y})=\sum_{i=1}^NI(X_i;Y_j) = NI(X;Y)​\)

3.4 离散信道的信道容量

3.4.1 信道容量的定义

信息传输率 \(R =I(X;Y)\)

信道容量 \(C=max_{P(X)}\{I(X;Y)\}\)(bit/符号),即信道中能传输的最大信息传输率。当信源的概率分布为最佳信源分布时,才能达到。

对 BSC 来说,最佳信源分布为等概分布,信道容量 C = 1 - H(p)

即对于一个特定的信道,信道容量 C 是确定的,不随信源分布而改变,信道容量 C 取值的大小,直接反映了信道质量的好坏。

单位时间内平均传输的最大信息量 Ci 为 C/t (bit/s)

3.4.2 简单离散信道的信道容量

  1. 无噪无损信道

    信道的输入/输出符号之间存在一一对应关系,是无噪无损信道。其信道矩阵是单位矩阵。

    信道疑义度为 0,\(I(X;Y)=H(X)=H(Y),C = maxH(X) = logr = maxH(Y) = logs\)

  2. 有噪无损信道

    在接收到符号 Y 后,对信源符号 X 而言是完全确定的,因此,损失熵为 0,\(I(X;Y)=H(X)<H(Y),C = maxH(X) = logr​\)

  3. 无噪有损信道(确定信道)

    输出 y 是输入 x 的确定函数,但不是一一对应的。

    \(I(X;Y)=H(Y)<H(X),C=maxI(X;Y)=maxH(Y)=logs(bit/符号)​\)

3.4.3 对称离散信道的信道容量

若一个信道的转移概率矩阵按输出可分为若干子集,其中每个子集都有如下特性:即每一行是其他行的置换,每一列是其他列的置换,则信道称为对称信道

有时将转移概率矩阵可分成多个子集的对称信道为准对称弱对称信道,而只有一个子集的对称信道称强对称信道

某对称离散信道的信道矩阵如下:

信道容量为:\(C=logn-H(1-p,\frac{p}{n-1},…,\frac{p}{n-1})\)

对称离散信道的信道容量:\(C=max_{P(x)}[H(Y)-H(P_1',P_2',…,P_S')]=logs-H(P_1',P_2',…,P_S')(bit / symbol)​\)

当 p(x) 等概率分布时,达到信道容量,s 是列数。

非离散信道:\(C=max_{P(x)}[H(Y)-H(P_1',P_2',…,P_S')]=H(Y)-H(P_1',P_2',…,P_S')(bit / symbol)\)

3.4.4 一般离散信道的容量

  • \(I(X;Y)=\sum_{i,j}p_ip_{ij}log\frac{p_{ij}}{q_j}\) 在约束 \(\sum_io_i=1,p_i≥0\) 下的极值,则可以利用拉格朗日乘子法,求其极值。
  • 对于离散无记忆信道,当且仅当 \(I(a_i;Y)=C,对于p_i>0;I(a_i;Y)≤C,对于p_i=0;I(X;Y)\) 达到最大值,此时 C 为信道容量。

3.4.5 离散无记忆 N 次扩展信道的信道容量

对于一般的离散无记忆信道的 N 次扩展信道,其信道容量是:

即 CN=NC。一般情况下,消息序列在离散无记忆的 N 次扩展信道中传输的信息量:\(I(X;Y)≤NC​\)

3.5 连续信道的信道容量

To be continued…

3.6 信源与信道的匹配

信息传输率 R 接近于信道容量 C 只有在信源取最佳分布时才能实现。当 R 达到信道容量 C 时,我们称信源与信道达到匹配,否则认为信道有剩余。

信道剩余度定义为:\(C-I(X;Y)\),表示信道的实际传信率和信道容量之差。信道剩余度可以用来衡量信道利用率的高低。

相对信道剩余度:\(\frac{C-I(X;Y)}{C}​\)

无损信道中,信道容量 C=logr (r 是信道输入符号数)。而 I(X;Y)=H(X),因而,无损信道的相对剩余度:\(1-\frac{H(X)}{logr}\)。(信源剩余度:\(1-\frac{H_\infty}{H_0}\)

上式说明提高无损信道信息传输率就等于减少信源的剩余度。对于无损信道,可以通过信源编码、减少信源的剩余度,使信息传输率 R 达到信道容量 C。

3.7 信道编码定理

信道中传输的可靠性可用传输错误概率(译码错误概率)Pe来描述。

信道传输中,希望 R 越大越好,Pe 越小越好。信道容量是保证信息可靠传输的最大信息传输率。

有噪信道编码定理(香农第二定理):若有一离散无记忆平稳信道,其容量为 C,输入序列长度为 L,只要待传送的信息率 R<C,总可以找到一种编码,当 L 足够长时,译码错误概率 pe<ε,ε 为任意大于零的正数。反之,当 R> C时,任何编码的 Pe 必大于零,当 L->∞ 时,Pe->1。

香农第二定理只是一个存在性定理,它指出在保证信息传输率低于(直至无限接近)信道容量的前提下,错误概率趋于“0”的编码是存在的。

Comments

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×