信息是对某件事可供选择的多少的量度。
例如掷一枚骰子,它可以落在六个面中任意一个上,当我们看到它落在某个面上时,就有了信息量N=6,因为可能的选择总共有6个。如果我不知道你的生日是在一年中的哪一天,那么就有365种不同的可能。如果你告诉我日期,就有了信息N=365,依此类推。
关键点在于信息可以被大致确定下来。例如,想象你手里有一个球,可能是黑色的也可能是白色的,我手里也有一个球,可能是白色的也可能是黑色的。那么现在我这边有两种可能,你那边也有两种可能,一共会有四种可能(2×2):白—白,白—黑,黑—白,黑—黑。现在假定由于某种原因,我们能够确定两个球的颜色是相反的(比如,我把球从一个盒子里取了出来,而这里面只有一个白球和一个黑球),总共的可能就变成了两种(白—黑
或黑—白),即使我这边和你那边的可能性仍然分别有两种。请注意,在这种情况下,奇怪的事情出现了:如果你看到了你的球,就会知道我的球的颜色。在这种情况下,我们说两个球的颜色是关联的,即二者是联系在一起的。我们说我的球具有你的球的信息(反过来也一样)。
例如掷一枚骰子,它可以落在六个面中任意一个上,当我们看到它落在某个面上时,就有了信息量N=6,因为可能的选择总共有6个。如果我不知道你的生日是在一年中的哪一天,那么就有365种不同的可能。如果你告诉我日期,就有了信息N=365,依此类推。
关键点在于信息可以被大致确定下来。例如,想象你手里有一个球,可能是黑色的也可能是白色的,我手里也有一个球,可能是白色的也可能是黑色的。那么现在我这边有两种可能,你那边也有两种可能,一共会有四种可能(2×2):白—白,白—黑,黑—白,黑—黑。现在假定由于某种原因,我们能够确定两个球的颜色是相反的(比如,我把球从一个盒子里取了出来,而这里面只有一个白球和一个黑球),总共的可能就变成了两种(白—黑
或黑—白),即使我这边和你那边的可能性仍然分别有两种。请注意,在这种情况下,奇怪的事情出现了:如果你看到了你的球,就会知道我的球的颜色。在这种情况下,我们说两个球的颜色是关联的,即二者是联系在一起的。我们说我的球具有你的球的信息(反过来也一样)。