信息论与编码 第一章绪论

信息论奠基人:香农,他于 1948 念发表的论文 A Mathematical Theory of Communication 是信息论的理论基础。 ### 信息的概念

信息的一般概念

物质、能量和信息是构成客观世界的三大要素。信息是物质和能量在空间和时间上分布的不均匀程度。或者说信息是关于事物运动的状态和规律。

信息、消息和信号
  • 信息:信息是任何随机事件发生所包含的内容。信息仅与随机事件的发生相关,非随机事件的发生不包含任何信息。它是更高层次哲学上的抽象,是信号与消息的更高表达层次。
  • 消息:(或称为符号)是信息的数学表达层,它虽不是一个物理量,但是可以定量地加以描述,它是具体物理信号的进一步数学抽象,可将具体物理信号抽象为两大类型:
    • 离散(数字)消息,一组未知量,可用随机序列来描述: X=(X1…Xi…Xn)
    • 连续(模拟)消息,未知量,它可用随机过程来描述: X( t, ω)
  • 信号:是信息的物理表达层,是三个层次中最具体的层次。它是一个物理量,是一个载荷信息的实体,可测量、可描述、可显示。

信息、消息、信号是既有区别又有联系的三个不同的概念

  • 消息中包含信息,是信息的载体。
  • 信号携带着消息,它是消息的运载工具。
  • 信息可认为是由具体的物理信号、数学描述的消息的内涵,即信号具体载荷的内容、消息描述的含义。
  • 而信号则是抽象信息在物理层表达的外延;消息则是抽象信息在数学层表达的外延。
  • 同一信息,可以采用不同的消息形式(比如文字、语言、图像等)来载荷;同一消息,也可以载荷不同的信息,可能很多,也可能很少。
  • 同一消息可用不同的信号表示,同一信号也可表示不同的消息。

香农信息定义

  • 形式化假说 去掉消息的“语义”和“语用”因素,保留能用数学描述的“形式”这一因素。
  • 非决定论 用随机的观点和概率统计的方法来观察和处理信息。
  • 不确定性 在通信领域中,“信息”就是用来消除不确定的东西。

信息是事物运动状态或存在方式的不确定性的描述。 信息的基本概念在于它的不确定性,任何已确定的事物都不含有信息。信息是不确定量的减少。

香农定义信息的局限性: (1)定义的出发点是假定事物状态可以用一个以经典集合论为基础的概率模型来描述,在实际中要寻找一个合适的概率模型往往是非常困难的。有时是否存在这样一种模型还值得探讨。 (2)定义没有考虑收信者的主观特性和主观意义,不顾信息的具体含意、具体用途、重要程度和引起后果等因素。这就与实际情况不完全一致。其实,信息有很强的主观性和实用性。

信息各层次之间的关系图
信息各层次之间的关系图
信息各层次之间的关系图

通信系统模型

通信系统模型
通信系统模型

通信系统是从空间的一点到另一点传送信息的;而存储系统是从时间的一点到另一点传送信息的。

通信系统模型
通信系统模型

该模型主要有五个部分组成:

(1)信息源(信源)。产生消息和消息序列的来源。消息可以是离散的,也可以是连续的,通常信源的消息序列是随机发生的,因此要用随机变量来描述。

(2)编码器:把消息变换成适合于信道传输的信号。

​ 信源编码器:将信源的输出进行适当的变换,以提高信息传输的有效性。 ​ 信道编码器:对信源编码器的输出进行变换,用增加多余度的方法提高信道的抗干扰能力,以提高信息传输的可靠性

(*)调制器:将信道编码器输出的数字序列变换为振幅、频率或相位受到调制控制的形式,以适合在信道中进行较长距离的传输。

(3)信道:信号由发送端传输到接收端的媒介,即信号的通道。

​ 典型的传输信道有明线、电缆、高频无线信道、微波通道和光纤通道等;典型的存储媒介有磁芯、磁鼓、磁盘、磁带等。

(*)干扰源:对传输信道或存储媒介构成干扰的来源的总称。干扰和噪声往往具有随机性,所以信道的特征也可以用概率空间来描述;而噪声源的统计特性又是划分信道的依据。

​ 加性干扰,它是由外界原因产生的随机干扰,它与信道中传送的信号的统计特性无关,因而信道的输出是输入和干扰的叠加;

​ 乘性干扰:信道的输出信号可看成输入信号和一个时变参量相乘的结果。

(*)解调器:从载波中提取信号,是调制的逆过程

(4)译码器:把信道输出的编码信号(可能叠加了噪声)进行反变换,以获得解码的消息。

​ 信道译码器:利用信道编码时所提供的多余度,检查或纠正数字序列中的错误。 ​ 信源译码器:把经过信道译码器核对过的信息序列转换成适合接收者接收的信息形式。 (5)信宿:消息传送的对象 (人或机器 )。

Q&A

Q:能否将三种码(信源编码、信道编码和密码) 合成一种码进行编译?

  1. 提高有效性必须去掉信源符号中的冗余部分,此时信道误码会使接收端不能恢复原来的信息,也就是必须相应提高传送的可靠性,不然会使通信质量下降;

  2. 反之,为了可靠而采用信道编码,往往需扩大码率,就降低了有效性。安全性也有类似情况;

  3. 编成密码,有时需扩展码位,这样就降低有效性;有时也会因失真而使授权用户无法获得信息,必须重发而降低有效性,或丢失信息而降低可靠性。

  4. 从理论方面来说,若能把三种码合并成一种码来编译,即同时考虑有效、可靠和安全,可使编译码器更理想化,在经济上可能也更优越。这种三码合一的设想是当前众所关心的课题,但因理论上和技术上的复杂性,要取得有用的结果,还是相当困难。

在通信系统中形式上传输的是消息,但实质上传输的是信息。消息只是表达信息的工具、载荷信息的客体。显然,在通信中被利用的(亦即携带信息的)实际客体是不重要的,而重要的是信息。

通信的结果是消除或部分消除不确定性从而获得信息。

信息的测度

信息的测度:信息量与不确定性消除的程度有关。

相关术语

  • 样本空间:所有可能选择的消息的集合(某事物所有可能出现的状态 )
  • 概率空间:一个样本空间和它的概率测度,可用[X,P]来表示

\[ \left[ \begin{matrix} X \\ p(x) \end{matrix} \right] = \left[ \begin{matrix} a_1,a_2,…,a_q \\ p(a_1),p(a_2),…,p(a_q) \end{matrix} \right] \]

  • 先验概率:选择符号 ai 作为消息的概率:P(ai)

  • 自信息:ai 本身携带的信息量(香农信息) \[ I(a_i) = log \frac1{P(a_i)} \]

  • 后验概率:接收端收到消息(符号) bj 后而发送端发的是 ai 的概率 P(ai/bj) (存在信道干扰导致 bj 和 ai 不同),则接收端收到bj,发送端是否发送的是ai尚存在的不确定性为: \[ log \frac1{P(a_i/b_j)} \]

  • 互信息:收信者获得的信息量:先验的不确定性减去尚存在的不确定性 \[ I(a_i;b_j) = log \frac1{P(a_i)}-log \frac1{P(a_i/b_j)} \] 如果信道没有干扰,信道的统计特性使 ai 以概率“1”传送到接收端。

    这时,收信者接到消息尚存在的不确定性就等于零,即: \[ P(a_i/b_j) = 1 \]

\[ log \frac1{P(a_i/b_j)} = 0 \]

​ 不确定性全部消除。此时互信息 \(I(a_i;b_j) = I(a_i)\)

有关自信息和互信息的概念即为香农关于信息的定义和度量,通常也称为概率信息。

信息论研究的对象,目的,内容

研究对象

前面介绍的统一的通信系统模型。人们通过系统中消息的传输和处理来研究信息传输和处理的共同规律。

研究目的

找到信息传输过程的共同规律,提高信息传输的可靠性、有效性、保密性和认证性,以达到信息传输系统的最优化。

  • 可靠性 使信源发出的消息经过信道传输以后,尽可能准确地、不失真地再现于接收端。
  • 有效性 经济性好,即用尽可能短的时间和尽可能少的设备来传送—定数量的信息。
  • 保密性 隐蔽和保护通信系统中传送的消息,使它只能被授权接收者获取,而不能被未授权者接收和理解。
  • 认证性 接收者能正确判断所接收的消息的正确性,验证消息的完整性,而不是伪造的和被窜改的。

有效性、可靠性、保密性和认证性四者构成现代通信系统对信息传输的全面要求。

研究内容

  • 狭义信息论(经典信息论):主要研究信息的测度、信道容量以及信源和信道编码理论等问题。这部分内容是信息论的基础理论,又称为香农信息论。
  • 一般信息论(通信理论):主要是研究信息传输和处理问题,除了香农理论外,还包括噪声理论、信号滤波和预测、统计检测和估计理论、调制理论以及信息处理理论等。
  • 广义信息论:广义信息论不仅包括上述两方面的内容,而且包括所有与信息有关的领域,如模式识别、计算机翻译、心理学、遗传学、语言学等等。

Comments

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×