随着社会越来越发达,大家都选择在网络上汲取相关知识内容,比如什么叫信息_信息的概念是什么 ,为了更好的解答大家的问题,小编也是翻阅整理了相应内容,下面就一起来看一下吧!
什么是信息(信息的概念是什么)?
(相关资料图)
牛顿的激光火焰剑理论
如果非要用一个词来形容我们的时代,那应该是:信息时代。
在此之前,瓦特的蒸汽机开启了蒸汽时代,有了电和磁的知识,人类进入了电时代。如今,由于人类对信息的探索,人类开始了信息时代。在信息时代,有伟大的发明家和科学家,如发明电报的莫尔斯,发明 *** 的贝尔,发明无线电技术的马可尼等等。
莫尔斯的自画像
但一直有一个问题困扰着科学家,那就是:如何测量信息?
比如我们常说:信息量这么大。什么样的信息是大量信息?其实谁也说不准。
如果我们梦想回到牛顿的时代,就会发现在牛顿的巨著《自然哲学的数学原理》中,前十几页只做了一件事,就是给它下定义。
现在我们熟悉了很多概念,比如密度、质量、力。都是由牛顿定义的。
牛顿的定义不同于一般的定义。他的定义使得这些物理量能够被测量和量化。
与伟大的牛顿力学相比,牛顿为物理学开拓的研究方法奠定了现代物理学的基础。数学家迈克·阿尔德曾总结提出:牛顿的火焰激光剑。
译文是牛顿的激光火焰剑理论,具体内容是:
一切不能实验和观察的东西都不值得争论。
所以对于科学来说,定义和观察非常重要,有七个国际单位。当然还有其他不在其中的,但是可以通过七个国际单位引进。
信息论
因此,信息论要成为一门科学,首先必须确立信息的定义,它是可以量化和测量的,它必须有一个可靠的单位。
其实科学家都知道这个道理,只是实施起来真的很难。很多科学家尝试过很多方法,比如通过比较信息的重要性来衡量信息,但都失败了。
直到1948年,一位天才发表了一篇名为《通信的数学原理》的文章,对信息给出了非常详细的定义,而这篇文章也彻底奠定了现代信息论的基础,一直沿用至今。这位才华横溢的作者名叫克劳德·埃尔伍德·香农。
信息的基本单位:比特
那么香农是如何解决这个问题的呢?
香农认为:
一个事物的信息量取决于它克服了多少不确定性。
比如我和你有一个很好的朋友。他通常早上10点到公司,晚上10点回家。有一天,我告诉你:他今晚11点会在家。这句话对你来说其实是一句废话,信息量为零。这是因为,如你所知,此刻他可能在家。因此,事故或不确定性就是信息。
因此,香农将信息的定量测量与不确定性联系起来,给出了信息的基本单位:比特。
我们可以这样理解比特。如果抛一枚理想的硬币,正面和反面的概率完全相同。为了找出它是正的还是负的,你需要1比特的信息。
如果这枚硬币不是理想硬币,但正面较重,则有较大的概率出现正面朝下、背面朝上的情况。此时,要找出正面朝上还是背面朝上,所需信息应小于1位。这是因为你猜中结果的概率更高。
如果稍微复杂一点,假设你在做选择题。有4个选项。如果你想确定这个问题的最终答案,你需要多少比特的信息?
可能很多人的之一反应是:4位。其实这是不对的。要知道,你不会傻到一次问对方一个选项(通过信息消除不确定性的过程)。
如果你聪明,你会采取二分法,
你可以先问:答案是在A和B之间吗?
如果对方回答:是的。
那么你只需要在A和B之间再问一次:答案是A吗?
如果对方回答:是的。
那么你已经确定了结果是A,整个过程你只用了2比特的信息。
同理,如果你先问:答案是在A和B之间吗?
如果对方回答:没有。
那实际上排除了A和B,答案在C和D,所以你只需要再问一遍:答案是C吗?
如果对方回答:没有。
那么你已经确定结果是D,整个过程仍然使用2比特的信息。
你甚至可以把比特想象成人民币,假设一个比特是一块钱,每做一次选择都要花一块钱。如果你想解决抛理想硬币的问题,你只需要一块钱就可以做到。而如果四选一,就需要两块钱。
所以,现在你应该明白了吧?其实信息是用来消除不确定性的。但是问题又来了。会消除哪些不确定性?
答案:信息来源。
这个信息源其实指的是抛硬币本身,是不确定的,可能是正面的,也可能是负面的。信息源的不确定性称为信息熵。所以,我们可以知道,
信息用于消除信息熵(不确定性)。如果抛硬币的正反概率都是50%,那么不确定性更高后信息熵更高。另一方面,如果面朝上的概率较高,系统的不确定性较小,信息熵也较小。
所以信息量本身其实就是信息源的信息熵。
信息熵
所以,只要能算出信息熵,就能算出多少信息量?
怎么算?事实上,香农从热力学中找到了灵感。在热力学中,熵用来表示:
系统的无序(不确定性)。
举个最常见的例子,如果你往水里滴一点墨水,墨水就会和水融合,整个杯子的无序状态数量就会增加(因为变得混乱)。在这里,我们可以把这个杯子里的水看成一个系统。
在物理学中,一个系统的混沌程度可以通过计算整个系统的状态数来衡量。
可能性越多,不确定性越大;在状态数不变的情况下,如果每个状态的可能性相同,那么不确定性就很大。
所以科学家给出了一个计算系统状态数的公式(不看也无所谓):
其实信息熵实际上代表了一个系统(信息源)的不确定性(信息熵)。
受热力学启发,香农也给出了计算信息熵(信息量)的类似公式:
具体怎么用?让我们回到刚才抛硬币的例子:
抛一枚理想硬币,信息熵为log2(2/1) = 1比特;
扔出两个理想硬币,信息熵为log2(4/1) = 2比特。
自从信息论提出以来,科学家们一直在思考一个问题。这是什么世道?我们都知道物质是由原子构成的,所以世界是原子的?
但我们也要知道,原子的排列构成了世界,排列本身就是信息。所以,原子是通过交换比特来有序排列的,这就意味着,在某种程度上,世界又是比特了。