经典信息论
香农交流模型
作为他理论的基础，香农建立了一个非常简单、抽象的模型沟通，如图所示．由于他的模型是抽象的，适用于许多情况，这有助于其广泛的范围和力量。
模型的第一个组件，消息源，就是最初创建消息的实体。通常情况下，信息源是人类，但在香农的模型中，信息源也可能是动物、电脑或其他无生命的物体。编码器是将消息连接到正在发送的实际物理信号的对象。例如，有几种方法可以将此模型应用于两个人进行电话交谈。在一个层面上，实际的演讲由一个人产生的可以被认为是信息，电话话筒及其相关的电子设备可以被认为是编码器转换语音转换成电信号，沿着电话网络传播。或者，也可以把说话人的思想看作信息来源，把说话人的大脑、发声系统和电话话筒的组合看作编码器。然而，“心灵”的包含会给任何人带来复杂的语义问题分析除了信息论应用于生理学．
的通道是传递信息的媒介。信道可以是电线，在广播和电视传输的情况下，可以是空气或空间，也可以是光纤电缆。在敲击管道产生信号的情况下，通道可能是接收打击的管道。拥有抽象模型的好处在于它允许包含各种各样的通道。的通道施加的一些约束传播通过它们的信号将在后面讨论。
噪音是任何干扰信号传输的东西。在电话交谈中，干扰可能是由天线中的静电引起的行例如，来自另一条线路的相声或背景音。通过空气光学传输的信号可能会受到云层或过高湿度的干扰。显然，噪声源取决于特定的通信系统。一个系统可能有几个噪声源，但是，如果了解了所有这些独立的噪声源，有时就可以将它们视为一个噪声源。
解码器是将接收到的信号转换为消息接收者可以接受的形式的对象理解．以电话为例，解码器可以是耳机及其电子电路。根据不同的角度，解码器也可以包括听者的整个听觉系统。
消息接收者是获取消息的对象。它可以是人、动物、电脑或其他无生命的物体。
香农的理论主要涉及编码器、信道、噪声源和解码器。如上所述，该理论的重点是信号以及如何准确有效地传输信号;关于意义的问题被尽可能地回避。
四种沟通方式
有两种基本不同的传递信息的方式:通过离散信号和通过连续信号。离散信号只能表示有限数量的不同的可识别状态。例如，英语字母表中的字母通常被认为是离散的信号。连续信号，也称为模拟信号，通常用于传输可以在一个时间内变化的量无限集关于价值观——声音就是一个典型的例子。然而，这种连续的量可以用离散的信号来近似——例如，在数字上光盘或者通过数字电信系统-通过增加可用的不同离散值的数量，直到描述中的任何不准确性下降到感知或兴趣的水平以下。
通讯也可以在有或没有噪音的情况下进行。这些条件分别被称为有噪声通信或无噪声通信。
总的来说，有四种情况需要考虑:离散的、无噪声的通信;离散的、嘈杂的通信;连续的、无声的交流;以及持续的、嘈杂的交流。离散情况比连续情况更容易分析;同样，无噪声的情况比有噪声的情况更简单。因此，将首先详细地考虑离散的、无噪声的情况，然后指出其他情况的不同之处。