香农定理
目录 |
香农定理是香农在信号处理和信息理论等相关领域的研究中．通过计算信号在经过一段距离如何衰减以及一个给定信号能加载多少数据之后．得到了一个公式：
这个公式就是著名的香农定理。
其中：B为信道带宽（Hz）；S为信号功率（W）；no为噪声功率谱密度（W/Hz）；N为噪声功率（W）。
由香农公式得到的重要结论：
（1）信道容量受三要素B、S、no的限制。
（3）若
，则
，表明无噪声信道的容量为无穷大。
（4）若
，则，表明当信号功率不受限制时，信道容量为无穷大。
（5）C随着B的适当增大而增大，但不能无限制的增大，即当
时，
。
（6）C一定时，B与
可以互换。
（7）若信源的信息速率
，则理论上可实现无误差传输。[1]
香农定理在传播学[2]
香农定理规定了有随机热噪声信道的最大传输速率与信道带宽、信号噪声功率比之间的关系。从自然科学的角度看，香农定理用数学公式计量了信息（比特）的流量，具备典型的工程学意义。由于香农的科学家身份和研究的对象区域，香农定理与相关理论关心的不是信息表达的含意，而是信息的有效传输和接收。
香农在论文中区别了信息传播的三个层次：A层：传播符号如何能够被准确地发射（技术问题）；B层：被发射的符号如何能够准确地传递意图中的意义（语义学问题）；C层：被接受的意义如何有效地以意图中的方式影响行为（效果或行为问题）。有趣的是：香农反复声明他所创立的信息理论只与A层打交道，并告诫学界不要过分广泛地把这种理论用于所有类型的信息传播理论的研究上。因为人与人之间的关系或人与社会之间的关系，远比人与机器之间的关系或机器与机器之间的关系更为复杂。香农不愿为之交道的B层和C层似乎更靠近以社会人文为基础的传播学理论。
后香农时代的英国传播学者斯图亚特·霍尔在1973年发表的《电视话语的编码和解码》一文中，对电视话语传播的状态和效果进行了解读。电视话语意义在编码过程中，电视话语的生产和流通分为三个阶段：第一阶段，媒介工作者对原材料进行加工，即进行电视话语“意义”的加工或创造，这个阶段被霍尔称为“编码”阶段。媒介工作者是受过专门训练和经过专项学习的，他在进行编码工作时，起作用的是他的世界观、知识结构和专项技术的水准。霍尔认为，原材料中蕴含着文化代码，这种代码是自然的、中立的、约定俗成的它早已融入人们生活的社会结构之中，而编码的过程就是媒介工作者在一定的文化视角下释放代码的意义。
第二个阶段叫“成品”阶段。电视作品完成后，代码在编码的过程中被注入了“意义”，这种意义构成了电视话语的主体，吸引受众接受电视话语的中心由代码（原材料）转移到了编码（解读及产生的“意义”）上面。这里面加入了人的因素。原材料（某种事物，某种生活现象或某种文化思想）散发出的一种存在价值是自然的、中立的，甚至是约定俗成的，但企图解读并诠释其中的“意义”时，就会产生各种视角和立场，但这些与接受电视话语意义的受众无关。因此，电视的“成品”是“多义”的，而不是“多”的。当电视图像话语将三维的世俗世界事物转换成二维平面的电子信息之后，它自然就不可能成为它所指的对象或概念，它只是图像符号。所以，电视话语只不过是对原材料的解读，这种解读不一定与事实相符，受众完全可以从自己的视角、立场和认知水平来作为另行解读的基础。
第三个阶段称为“解码”阶段。解码指电视受众对电视作品中释放出的话语意义的接受程度。接受则生成对电视作品的“消费”，产生认同感；不接受则没完成对电视作品的“消费”，产生对立感或一定程度的争议。从另一个角度观察，假设被发射的符号准确地传递了编码者意图中的意义，但该意义已经加入了编码者主观的判断和观点，即使机器和机器所发射的符号在技术上无懈可击，依然存在编码者意图中的意义，进入大众传播领域后，被拒绝和修正的可能。在解码过程中，即反映传播效果或行为的过程中，传播符号既然进入大众人群，传者与受者的互动便开始了。互动涉及到社会的各色人群，这些人群之间的关系、背景、素养等是需要分层的，分层决定了对符号传播的话语意义不同的认识立场。由此，最小化的对立码成了符号意义在传播运动中是否被消费的标准。
可以认为的是：从香农定理到编码与解码理论，已经建立起了现代传播学理论的框架和模型，并基本解决了信息在传播过程中的定量和定性问题。但时过境迁，数字技术背景下显现出来的信息传播问题，已经在信息传播的过程中极大地突破了现有传播学理论的边界，传播学理论急切地需要新的内容。然而，香农定理对于信道带宽的信息路径、对于信息流量的控制计量依然散发挥着物理技术的悠长魅力。
香农定理包括三大定理:可变长无失真信源编码定理，有噪信道编码定理，保真度准则下的信源编码定理。
可变长无失真信源编码定理[3]
1948年,美国工程师香农在贝尔实验室杂志上发表了长文《通讯的数学原理》。他用概率测度和数理统计的方法系统地讨论了通信的基本问题 ,得出了几个重要而带有普遍意义的结论 ,并由此奠定了现代信息论的基础。香农编码理论揭示了在通信系统中 ,采用适当的编码后能够实现高效率和高可靠地传输信息的规律 ,并给出了相应的信源编码定理和信道编码定理。 从数学观点看 ,这些定理是最优编码的存在定理。 它们给出了编码的性能极限 ,在理论上阐明了通信系统中各种因素的相互关系 ,为寻找最佳通信系统提供了重要的理论依据。
香农第一编码定理 (变长无失真信源编码定理 )是最优编码的存在性定理 ,该定理指出了要做到无失真信源编码 ,每个信源符号平均所需要的最少的码元数 ,同时 ,该定理指出了最优码的存在性。
有噪信道编码定理[4]
信道编码定理 (一般指信道正编码定理 )是信息论中的一个最重要的定理之一。它给出了信道无差错传输时码率的上界。
定理(信道编码的正编码定理)如果 C是一个离散无记忆信道 的信道容量 ,那么 C必是该离散无记忆信道序列的一个可达速率。
保真度准则下的信源编码定理[5]
而保真度准则下的信源编码定理，或称有损信源编码定理，只要码长足够长，总可以找到一种信源编码，使编码后的信息传输率略大于率失真函数，而码的平均失真度不大于给定的允许失真度。
无线通信的实现势必要解决两大问题,其一是对信源进行高效的压缩以充分利用有限的信道带宽,即信源编码问题；其二是对压缩后的信息进行错误保护以抵御信道或网络所带来的误码或数据丢失,即信道编码问题。信源编码和信道编码所要解决的问题在一定意义上是相互矛盾的：一方面,信源编码压缩率的提高将导致压缩后的码流抗误码能力的降低,另一方面,提高码流的抗误码性能又要以牺牲压缩效率为代价。
香农定理的意义[5]
香农在二十世纪四十年代初奠定了通信的数字理论基础。同时香农三大定律是信息论的基础，虽然没有提出具体的编码实现方法，但是为通信信息的研究指明了方向。他的“信道容量定理”指出，可以找到这样一种技术，当数据传输速率不大于某个最大传输的速率时，通过它可以以任意小的错误概率传输信号。同时香农也给出了有噪声信道的最大传输速率与宽带的关系。