信息学基础

1．绪论
信息的概念，通信系统模型介绍，仙农信息论的发展介绍。
2．信息的统计度量
自信息量、条件自信息量、互信息量、条件互信息量、离散集的平均自信息量、离散集的平均互信息量以及连续随机变量的互信息量和相对熵的概念及其性质与关系。
3．离散信源
信源的数学模型、离散无记忆信源、离散平稳信源和马尔可夫信源。
4．离散信道及其容量
信道的数学模型、离散无记忆信道、离散无记忆扩展信道、信道的组合、信道容量。
5．无失真信源编码。
编码的概念、分组码、定长码、变长码。
6．有噪信道编码
噪声信道的编码问题、错误概率与编码方法、有噪信道编码定理。
7．限失真信源编码
失真度测量、信息率失真函数、限失真信源编码定理和逆定理、信息率失真函数的计算。