科学、数学、工程集于一身的全才！

01

香农等人

科学寻求自然的基本规律，数学在旧的基础上构建新的定理，工程构建系统来解决人类的需求。这三个学科相互依存，但又完全不同。同时在这三个领域做出核心贡献的人极为罕见，克劳德·香农就是这样。

香农是纪录片《比特玩家》的主角，他的研究工作和哲学深深地启发了作者的事业。尽管如此，香农在生前和 2001 年去世后都不像爱因斯坦那样家喻户晓。他没有费曼那么有名，也从未获得过诺贝尔奖。然而，香农 70 多年前的开创性论文为整个现代通信基础设施奠定了基础。 没有他，就不会有今天的信息时代。

纪录片《比特玩家》

Shannon 于 1916 年出生于密歇根州盖洛德，是当地商人和教师的儿子。他在密歇根大学获得电气工程和数学学位，后来在麻省理工学院写了一篇硕士论文，将布尔代数应用于开关电路的分析和综合。这项革命性的工作将电路设计从一门艺术转变为一门科学。 这现在被认为是数字电路设计的起点。

Claude Shannon 撰写的硕士论文开创了数字电路设计领域的先河。十年后，他写了一篇开创性的信息论论文《通信的数学理论》

接下来，Shannon 将目光投向了一个更大的目标：沟通。

02

前向沟通

沟通是人类最基本的需求之一。从烟雾信号到信鸽，再到电话和电视，人类一直在寻找更远、更快、更可靠的通信方式。然而，通信系统的工程问题始终无法摆脱各种传输源和传输介质。

香农问了一个以前没人问过的问题：“有没有一个伟大的统一理论来描述沟通？”1939年，香农写信给他的导师范尼瓦尔布什，概述了他的一些初步关于“通用信息传输系统的基本特征”的思考。经过十年的研究，香农终于在1948年出版了他的代表作：《传播的数学理论》。

香农理论的核心是一个简单但非常通用的通信模型：发送方将信息编码为信号，信号被噪声破坏，然后由接收方解码。该模型非常简单，但有两个关键见解：

1.信息源和噪声源独立于要设计的通信系统；

2.这两个来源的概率建模。他设想源产生许多可能的信息，每个信息都有一定的概率。概率噪声进一步增加了接收器解码的随机性。

在香农之前，通信问题主要被认为是确定性的信号重构问题：当信号传播后发生变形时，如何处理接收到的信号并尽可能准确地再现原始信号通过媒介？香农的天才在于他的认识：沟通的关键是不确定性。毕竟，如果你事先知道我想告诉你什么，我还能写些什么呢？

香农的通信模型示意图，摘自他的论文

正是这种洞察力将通信问题从实体转变为抽象，以便香农可以使用概率来模拟不确定性。这让当时的通信工程师大为震惊。

03

信息论到底在说什么

建立“不确定性和概率”的理论框架后，香农开始了他具有里程碑意义的论文，系统地确定了传播的基本界限。他的回答分为三个部分。在每一部分中，“位”的概念都扮演着重要的角色，香农将其作为不确定性的基本单位。 “位”是“二进制数”的复合词。 bit 可以是 1 或 0。Shannon 的论文首先使用了这个词（尽管他说数学家 John Tukey 在备忘录中首先使用了它）。

首先，Shannon 提出了一个公式来计算每秒传输一条信息至少需要多少比特，并将这个数字称为熵率 H。 熵率H代表发送者发送消息的不确定性。熵率越低，不确定性越小，因此更容易将消息压缩得更短 例如，以每分钟 100 个英文字母的速率发送一条短消息意味着每分钟发送一条可能的消息，并且每条消息都是 100 个字母的序列。使用 470 位，所有的可能性都可以被编码，因为 2470≈。如果每个序列都有相同的可能性，那么香农公式将表明熵率 H 确实是 470 比特/分钟。事实上，有些序列比其他序列更容易出现，熵率低得多，并且可以压缩到更大的程度。

其次，Shannon 提出了一个公式来计算系统在存在噪声的情况下的最大传输容量，他称之为系统容量，C。这是接收方可以对传输的信息进行解码的最大速率，也代表了通信速度的极限。

文章来源：《水科学与工程技术》 网址: http://www.skxygcjs.cn/zonghexinwen/2021/0707/1116.html