信息论基础与应用 = Electronic information science and engineering

扉页 版权页 前言 目录 绪论 0.1 信息的概念 0.2 信息论的研究对象、目的和内容 扩展阅读:信息论的形成和发展 扩展阅读:量子通信与量子信息论 第1章 信息的度量 1.1 自信息和互信息 1.1.1 自信息 1.1.2 互信息 1.2 平均自信息 1.2.1 平均自信息(信息熵)的概念 1.2.2 熵函数的性质 1.2.3 联合熵与条件熵 1.3 平均互信息 1.3.1 平均互信息的概念 1.3.2 平均互信息的性质 1.3.3 数据处理定理 1.3.4 相对熵(KL散度) 扩展阅读:凸函数及詹森不等式 扩展阅读:信息增益与决策树 动手实践:图像的熵和平均互信息 习题1 第2章 信源及信源熵 2.1 信源的分类及其数学模型 2.2 离散单符号信源 2.3 离散多符号信源 2.3.1 离散平稳无记忆信源 2.3.2 离散平稳有记忆信源 2.3.3 马尔可夫信源 2.3.4 信源的相关性和剩余度 2.4 连续信源 2.4.1 连续信源的最大熵 2.4.2 连续信源的熵功率 扩展阅读:随机过程 扩展阅读:隐马尔可夫模型与赌场风云 习题2 第3章 信道及其信道容量 3.1 信道的分类 3.2 离散单符号信道 3.2.1 离散单符号信道的数学模型 3.2.2 信道容量的概念 3.2.3 几种特殊信道的信道容量 3.2.4 离散对称信道的信道容量 3.2.5 一般离散信道的信道容量 3.2.6 信道容量定理 3.2.7 信道容量的迭代算法* 3.3 离散多符号信道及其信道容量 3.4 组合信道及其信道容量 3.4.1 独立并联信道 3.4.2 级联信道 3.5 连续信道及其信道容量 3.5.1 连续随机变量的互信息 3.5.2 加性高斯信道的信道容量 3.5.3 多维高斯加性信道的信道容量 3.6 波形信道的信道容量 扩展阅读:信道容量定理引理 动手实践:信道容量的迭代算法 习题3 第4章 无失真信源编码 4.1 信源编码概述 4.1.1 编码器 4.1.2 码的分类 4.2 定长码及定长信源编码定理 4.3 变长码及变长信源编码定理 4.3.1 Kraft不等式和McMillan不等式 4.3.2 唯一可译码的判别准则 4.3.3 紧致码平均码长界限定理 4.3.4 无失真变长信源编码定理(香农第一定理) 4.4 变长码的编码方法 4.4.1 香农编码 4.4.2 香农-费诺-埃利斯编码 4.4.3 二元霍夫曼码 4.4.4 r元霍夫曼码 4.4.5 费诺码 4.5 实用的无失真信源编码方法 4.5.1 游程编码 4.5.2 算术编码 4.5.3 LZW编码 扩展阅读:渐进等分割性和典型序列 习题4 第5章 有噪信道编码 5.1 信道编码的相关概念 5.1.1 错误概率和译码规则 5.1.2 错误概率与编码方法 5.2 有噪信道编码定理 5.3 纠错编码 5.3.1 纠错编码分类 5.3.2 纠错编码的基本概念 5.3.3 线性分组码 5.3.4 几种重要的线性分组码 5.3.5 卷积码* 5.3.6 TCM码、级联码、Turbo码和LDPC码 动手实践5.1:Hamming(7,4)编译码器 动手实践5.2:通信系统仿真 习题5 第6章 限失真信源编码 6.1 失真测度 6.1.1 失真函数 6.1.2 平均失真 6.2 信息率失真函数 6.2.1 D失真许可信道 6.2.2 信息率失真函数的定义 6.2.3 信息率失真函数R(D)的性质 6.3 限失真信源编码定理 6.4 信息率失真函数的计算* 6.4.1 应用参量表示式计算R(D) 6.4.2 率失真函数的迭代算法 6.5 常用的限失真信源编码方法 6.5.1 量化编码 6.5.2 预测编码 6.5.3 变换编码 动手实践:图像的离散余弦变换 习题6 第7章 信息论的应用 7.1 最大熵谱估计 7.2 基于信息论的信息融合技术 7.2.1 聚类分析法 7.2.2 神经网络法 7.2.3 熵法 7.3 压缩感知与信息论 附录A 信息论学习要点 附录B 习题参考答案 参考文献