联合事件和条件概型

Information

需要表示四个结果需要2bit，需要表示n个结果需要log(2)nbit
假设一个班有32个人，30男，如果被告知选中的是男，则获得的信息是：
$\log_2 32 - \log_2 30 = \log_2 (\frac{1}{P})$
加权平均

Efficient Source Coding

例如：为了表示30名男，需$\log_2 30$位，