信息学入门

　　上一期我们讲到熵、信息和噪音，这期我们正式开始信息学的科普。
　　噪音是干扰某人获得信息的事物，而数据是噪音和信息的混合，需要用知识将其分离。
　　本篇文章最为重要的一点是，信息描述的是一个观察者确定一个宏观态是哪一个微观态是需要的物理量，单位是bit(s)。
　　同一个观察者，对同一件事情接受到的信息与用于传递信息的信号形式无关。比如，小黄将写有C的纸条传给小方，提供2bits信息；小黄直接告诉小方答案是C，提供的也是2bits信息；小黄蹬小方椅子3次，提供的也是2bits信息。
　　概率和熵的区别在于：概率是某件事情（宏观态）的某个可能情况（微观态）的确定性，而熵是某人对某件事情（宏观态）到底是哪个情况（微观态）的不确定性；概率的输入量是常量（宏观态），熵的输入量是变量（微观态）。
　　所以，信息是相对的，接受到的信息是相对于观察者已经对该件事情的了解程度而言的。小黄会做这道题，不管告不告诉小黄正确答案是C，小黄对这道题的熵都为0bit，因为观察者已经拥有这件事情的所有信息，不确定性从最初就不存在；小方不会这道题，熵为2bits，因为观察者没有关于这件事情的任何信息，他需要从4中等概率情况里确定实际情况，不确定性最大；小温知道D是错的，熵为1.58bits，因为观察者拥有关于这件事情的部分信息，不确定性略小，他需要从3种等概率情况里确定实际情况。
　　虽然信息是相对于观察者而言的，但信息是客观的物理量，不随观察者的主观意识改变。比如，小温认为C是错的，熵不会减少，因为这个“主观认为C是错的”并没有实际帮助小温消除事情的不确定性；“明天太阳从东边升起”这句话，对知道的人而言，提供了0bit信息，对知道太阳或东或西升起的人而言，提供了1bit信息，对觉得东南西北都有可能的人而言，提供了2bits信息。
　　同时，信息（熵）还是相对于某件事情而言的。比如，小方对“正确答案是ABCD哪个选项”的熵是2bits，但小方对于“正确答案属于AB还是属于CD”的熵是1bit；又比如小黄告诉小方“正确答案是C”为小方确定正确答案提供了2bits信息，而若想告诉别人“小黄对小方说了什么”这件事情的熵不再是2bits，观察者也不再是小黄或小方，而是除小黄或小方之外的观察者。
　　很多人在思考问题的时候，会不经意间切换所要思考的事情，或者根本不知道自己要思考什么事情，这会造成怎么想都想不明白，你可能会疑惑，做数学题明明消耗了很多能量，小明怎么只获得了2bits的信息呢，上面的信息到底是怎样量化的？下一篇文章将解释信息是怎么被定义出来的，以及你现在脑中存在的各种疑虑。，此后你会发现，信息并不是一个虚构的概念，而是一个实实在在存在的和质量、能量一样的物理量。