离散的、无声的沟通和熵的概念

从消息字母字母信号

如上所述,英语字母是一个离散沟通系统。它由一个有限的集的字符,比如大写和小写字母,数字,和各种标点符号。消息是由适当地将这些单个字符串在一起。(从今以后,信号组件在任何离散的通信系统称为字符。)

为无声的交流,译码器在接收端接收到编码器发送的字符。然而,这些传输字符通常不是原始消息的字母表。例如,在摩尔斯电码适当的间隔短,长的电脉冲,光闪烁,或声音用于传输信息。同样的今天,许多形式的数字通信使用信号字母组成的两个字符,有时被称为碎片。这些角色通常是表示0和1,但在实践中它们可能不同的电或光水平。

离散的关键问题,无声的交流是决定如何最有效地将消息转换为信号字母表。涉及的概念将如下简化示例所示。

字母将调用的消息米将包括四个字符,字母B, C, d信号将被称为年代并将由字符0和1。此外,它将假定信号通道可以发送10个字符年代每一秒。这种速率叫做通道能力。受到这些限制,我们的目标是最大化字符的传输速度米。

yabo亚博网站首页手机大英百科全书测验

数字和数学

第一个问题是如何将字符之间米和年代。一个简单的方法是显示在表中编码的第1米使用年代。使用这种转换,ABC将消息传播使用序列000110。的转换米来年代被称为编码。(这种类型的编码不是为了掩盖消息只是适应通信系统的性质。私人或秘密编码模式通常被称为加密;看到密码学)。因为每个字符米由两个字符表示的年代因为信道容量是10个字符年代每秒钟,这种通信方案可以发送5个字符米每一秒。然而,表中所示的计划忽视了一个事实:字符使用不同频率在大多数字母。

在典型的英语文本的信e经常发生大约200倍z。因此,改进的一种方法效率信号的传输是使用较短的编码设计中使用的更频繁的characters-an想法莫尔斯代码。例如,让它被认为一般一半的字符信息,我们希望把这封信,四分之一是字母B,八分之一是字母C,八分之一是字母d编码的第2米使用年代总结了这些信息,显示了替代编码的字母米。现在消息ABC将传播使用序列010110,这也是6个字符长。看到第二个编码更好,平均而言,比第一个需要更长的典型的消息。例如,假设120个字符米被传输的频率分布这个表所示。

结果表中进行了总结比较两个编码米来年代。这个表显示第二个编码使用30少的角色年代比第一个编码。记得第一个编码、信道容量有限的每秒10个字符,将发送5个字符米每秒,不管消息。在相同的限制下工作,第二个编码传输所有120个字符米在21秒(210个字符年代以每秒10个字符)——收益率平均5.7字符每秒的速率。注意,这个改进是一个典型的消息(包含a和B的期望频率)。对于一个非典型的信息在这种情况下,一个不同寻常的许多C和D的编码可能会需要更长的时间比第一个编码传输。

此时,一个自然的问题是上述方案是否真的最好的编码是否可以设计出更好的东西。香农使用数量能够回答这个问题,他称“熵”;他的理念是在后面一节中所讨论的,但是,在继续之前的讨论,简要回顾一些实际的问题解码和编码信息。