信息論基礎與應用

第1章 緒論

1.1什麼是信息

1.2什麼是信息論

1.2.1信息論的早期醞釀

1.2.2信息論的建立與發展

1.2.3信息論的近期發展

1.3通信系統的基本模型

1.4信息論的應用及成果

1.5信息論研究范疇

習題1

第2章 信源與信息熵

2.1預備知識

2.1.1概率

2.1.2古典概型

2.1.3概率性質

2.2信源的描述和分類

2.2.1離散單符號信源

2.2.2離散無記憶序列信源

2.2.3離散有記憶序列信源

2.2.4連續信源

2.3離散單符號信源的熵與互信息

2.3.1自信息量

2.3.2離散單符號信源熵

2.3.3信息熵的基本性質

2.3.4互信息量

2.3.5平均互信息量

2.3.6平均互信息量的性質

2.4離散序列信源的熵與互信息

2.4.1離散平穩信源的序列熵和熵率

2.4.2馬爾可夫信源及其極限熵

2.5信源的相關性和冗余度

2.6連續信源的熵與互信息

2.6.1連續信源的相對熵

2.6.2連續信源最大熵定理

2.6.3連續信源的互信息

2.7熵計算及熵應用

2.7.1熵計算

2.7.2熵信息應用

習題2

第3章 信道與信道容量

3.1信道分類和參數表示

3.2離散單符號信道及其容量

3.2.1信道容量定義

3.2.2離散單符號無噪信道及其容量

3.2.3離散單符號有噪信道及其容量

3.3離散序列信道及其容量

3.3.1並聯信道

3.3.2和信道

3.3.3擴展信道

3.4連續信道及其容量

3.4.1時間離散信道及其容量

3.4.2時間連續信道及其容量

3.5信道容量計算及MATLAB程序實現

3.5.1信道容量的MATLAB計算

3.5.2MIMO信道容量

習題3

第4章 無噪信道編碼理論

4.1信源編碼的基本概念

4.1.1編碼的定義

4.1.2碼的分類

4.1.3碼樹

4.2無失真信源編碼定理

4.2.1典型序列和ε典型序列

4.2.2無失真定長編碼定理

4.2.3無失真變長編碼定理

4.3限失真信源編碼定理

4.3.1失真測度

4.3.2信息率失真函數R(D)

4.3.3離散信源和連續信源的R(D)計算

4.3.4限失真信源編碼定理

4.4信源編碼方法

4.4.1無失真信源編碼方法

4.4.2限失真信源編碼方法

4.5無噪信道編碼MATLAB計算實現

4.5.1率失真函數的MATLAB計算實現

4.5.2編碼方法的MATLAB實現

習題4

第5章 含噪信道編碼理論

5.1最佳譯碼准則

5.2信道編碼基本概念

5.2.1錯誤圖樣

5.2.2矢量空間和碼矢量

5.2.3碼距與糾檢錯能力

5.3含噪離散信道編碼定理

5.3.1有噪信道編碼定理

5.3.2有噪信道編碼逆定理

5.4信道編碼方法

5.4.1線性分組碼

5.4.2循環碼

5.4.3卷積碼

5.5信道編碼MATLAB計算實現

5.5.1RS碼

5.5.2Turbo碼

5.5.3LDPC碼

習題5

第6章 網絡信息理論

6.1相關信源及可達速率區

6.2多址接入信道及其容量

6.2.1離散二址接入信道及其容量

6.2.2高斯加性二址接入信道及其容量區域

6.2.3離散多址接入信道及其容量區域

6.3廣播信道及其容量

6.3.1退化離散廣播信道的容量界限

6.3.2退化連續高斯廣播信道的容量界限

習題6

第7章 量子信息理論

7.1量子信息基本概念

7.1.1量子比特

7.1.2量子信息熵

7.2量子信源編碼理論

7.3量子信道編碼理論

7.3.1量子信道

7.3.2量子信道容量

7.3.3Holevo信息

7.3.4量子信道編碼理論

習題7

附錄習題參考答案

參考文獻