信息理论的应用

数据压缩

香农的概念熵(最大可能的措施效率的编码模式)可以用来确定给定消息的最大理论压缩字母表。特别是,如果熵小于平均长度的编码,压缩是可能的。

表相对频率英语文本的字符显示的相对频率字母代表英语文本。表假设所有字母都大写并忽略所有其他字符,除了空格。注意字母的频率取决于特定的文本样本。一篇关于斑马在动物园里,例如,可能会有一个更大的频率z比表建议的。然而,频率分布对于任何会出现非常大的英语文本样本非常类似于此表。计算的熵分布给4.08位/字符。(记得香农公式熵)。因为通常8位/字符用于最常见的编码标准,香农的理论表明,存在一个编码这大约是两倍有效简化信息的正常的一个字母。然而,这些结果仅适用于大样本和假设的来源字符流传输字符以随机的方式基于概率表中。真正的文本并不完全符合这一模型;部分往往是高度非随机和重复。因此,理论结果不会立即转化为实践。

在1977 - 78年的以色列人雅各Ziv和亚伯拉罕Lempel发表了两篇论文,表明压缩可以动态地完成。基本思想是将存储在词典的文本块,一块文本重新出现时,记录哪块是重复而不是录音文本本身。虽然有技术问题与字典的大小和更新的条目,这个动态压缩的方法被证明是非常有用的,部分因为压缩算法适应优化编码基于特定的文本。许多计算机程序使用压缩技术基于这些想法。在实践中,大多数文本文件压缩约50比例,大约4位/字符。这是建议的熵计算数量。

纠错和错误检测码

香农的领域的工作离散,嘈杂的沟通指出构建纠错编码的可能性。纠错编码添加额外的比特来帮助纠正错误,因此在相反方向的压缩。错误检测码,另一方面,表明一个错误已经发生但不自动纠正这个错误。经常自动纠正错误的请求重新发送消息。因为纠错编码通常要求更多额外的比特错误检测码,在某些情况下更有效地使用一个错误检测代码只是为了表明什么是转播的。

决定纠错和错误检测码之间需要很好地理解本质的错误可能发生在这种情况下,消息被发送。传输从空间飞行器通常使用纠错编码,因为困难的重传。由于长距离和低功率传输从太空中可用车辆,很容易看到最大的技能和艺术建立通信系统必须采用在香农所强加的限制的结果。

一个常见的错误检测代码奇偶校验码增加一个位一块碎片,这样的块总是奇数或偶数。例如,一个奇校验代码可能取代低廉的码字00,01、10和11三位字001,010,100,111。任何单一的变换一个0到1或1 0会改变物体的奇偶校验和错误检测。在实践中,添加一个微不足道的校验位代码不是很有效,但对长码添加一个奇偶校验位是合理的。例如,电脑和传真调制解调器通常通过发送通信八位块,与一位校验位保留。因为奇偶校验码是简单实现,他们也经常用于检查完整性计算机设备。

正如前面提到的,设计实用的纠错编码并不容易,和香农的工作在这个领域没有提供直接的指导。然而,知道信道的物理特性,如带宽和信噪比比,提供了最大的有价值的知识数据传输功能。

密码学

密码学是科学的安全通信。它担心密码分析,研究如何加密信息时显示(或解密)秘密的关键是未知的,和密码学,信息隐藏和加密的研究放在首位。

香农的分析通信编码使他应用信息理论的数学工具密码学在“保密系统的通信理论”(1949)。特别是,他开始了他的分析,指出简单的换位ciphers-such交换得到的字母在alphabet-do不影响熵,因为他们只是重新贴标签于人物在他的公式不改变它们相关的概率。

密码系统采用特殊的信息称为密钥来加密和解密消息。有时不同的键是用于编码和解码,而在其他情况下,都使用相同的密钥的过程。香农提出以下一般观察:“不确定性的量我们可以引入到解决方案不能大于不确定性的关键。”这意味着,在其他方面,应该选择随机密钥加密更安全。香农的工作时没有导致新的实用的加密方案,他提供一个框架,理解任何此类系统的基本特征。