《信息论》

from 得到

吴军《信息论》

万维钢《精英日课2》一个基于信息论的人生观

---

信息是什么？

举例：

哪个句子信息量大？

1. 怎想再很，末第铎制释能锁其那策铜怎亚，狄幺濑互梯是日方通的。
2. 对这些村民来说，星期天是休息的日子，至少不需要到田地里干活。

---

什么是冗余？

星期是__休__的日

---

有“冗余”就“可压缩”

---

语言的意义和信息量是不同维度的。

---

一段消息所包含的信息，并不仅仅由这条消息的长短决定。

这就好像人生一样，活了同样岁数的两个人，他们的人生经历的丰富程度可能大不相同。

---

如何衡量信息？

一个东西的信息量的大小，在于它克服了多少不确定性。———— 克劳德·艾尔伍德·香农（Claude Elwood Shannon）

可供选择的范围越广，选择的信息量就越大。

如何用数学来描述度量信息？

“信息量”———— I = -log2(p)

“信息熵”————一段消息的“平均信息量”。

信息熵跟消息的长度没有必然关系，它描写的是这段消息中字符的“不可预测性”。

一段字符串中出现的各种字符越具有杂乱无章的特点，越具有多样性，它的信息熵就越高。

---

“从信息角度来看，最重要的不是你说了什么，而是你能说什么。”

“ it relates not so much to what you do say, as to what you could say.”

[http://highered.mheducation.com/sites/dl/free/0073523925/228359/information2.html]

---

信息，在于你从多大的不确定性中做出了选择。信息，在于你制造了多少意外。信息，在于你有多大的自由度。

我们每个人都希望能度过值得回忆的一生，最好还是“值得记录”的一生。那所谓值得记录，就是提供了有效的信息。从信息角度来讲，人生就是要活一个“选择权”。

信息论的价值观是要求选择权、多样性、不确定性和自由度。要在这个世界上留下自己的痕迹，留下一段“信息”。

---

怎样把信息量最大化？

减少冗余————压缩

---

为什么目前传输的信息都有一定的冗余？

因为存在噪声。

如何消除噪声？

直接扩大音量不能消除噪声，反而会让噪声更强。

克服噪声的正确办法是提高冗余度。

想要让别人充分理解你的意思，最好的办法不是用更大的声音对着他喊，而是多给他说几遍。

---

平时学习知识、积累经验，就是要减少世界给自己的不确定性。

而做事，则要给世界增加一点不确定性！

信息就是意外。从“信息论”这个维度出发，有两种事情是特别值得我们去做的：

• 出乎别人意料的事；
• 给自己增加选项的事。

---

启示：

自律与自由度的调和，道德爵士乐，实践智慧，原则基础上的灵活性，其实都是同一个意思。

“今天下午四点你给我等着！”和“今天下午你给我等着！”，后一句比前一句杀伤力更大，因为时间的不确定性大，信息量大。

教学最好能创造一些意外，这样更有信息量。喜欢=熟悉+意外，保留一定的可预测性，加上一定比例的意外，这样才能让人产生愉快的感觉。

教学过程中想要让学生听懂，学习一项技能想要学会，重要的方法是重复（冗余）。接受一段信息速度的快慢，取决于这段信息对我们来说，在多大程度上是可预测的。

重要的事情说三遍，三倍的冗余。表示强调。

读书，做题求精而不求多，精代表重复训练，这样才能深刻理解，才能举一反三。

段子手，铺垫（熟悉）+结局（意外）

书读得越多，给你的新鲜感越少，可预测性越高，速度自然就越快。好书是那种能带来不一样感受的书。

人生总共30000天，有人真的活了30000天，有人只活了一天，重复了30000次的一天。

斜杠青年，给自己多一些自由度。