以上我们讨论了离散信源的无条件熵、条件熵、联合熵和平均互信息量的概念，下面是它们之间的关系：
I(X; Y)=H(X) -H(X/Y)=H(Y) -H(Y/X)=H(X)+H(Y) -H(XY）
H(XY)=H(X)+H(Y/X)=H(Y)+H(X/Y）
H(Y/X)≤H(Y）
H(X/Y)≤H(X）
