$\star$
how fast the information can be transferred to the output
there are model about source and channel.

Source Model

An important property of such codewords is that none can be the same as the first portion or anather loager codewords(to avoid ambiguity)

Kraft Inequality

克拉夫特不等式
$\sum\frac {1}{2^{L_i}} \leq 1$
实际上，是满足：概率和小于等于1，想达到1的最大值，需要bit保证能表达的符号空间都是useful
如若用11，10，01，00表示0，1，2三个数，则会出现小于1
如果用00：0，01:1，1：2，则会等于1，
先展开为max length codewords，再根据code space，进行取&

Source Entropy

在选定下一个符号时的不确定性是下一个符号选定时获得的信息量
H = $\sum_i p(A_i)log_2(\frac{1}{p(A_i)})$

Gibbs Inequality

证明关键：$lnx \leq x - 1$

Source Coding Theorem

存在目标函数：codewords total length:
$L = \sum_ip(A_i)L_i$
实际上，源编码需要满足以下定理：
$H \leq L$
证明这个不等式，使用Gibbs，假设为fixed-length code，q = 1/(2^L)，每一位bit的权均分
Gibbs是数学定理，独立的、不包含物理意义。

Channel Model

accept input and produce output

如果channel根据它的输入状态完全改变它的输出状态，则它是无噪声的。
在这种情况下，除了输出状态，没有任何其他因素影响输出。