8.8 信道容量

信道容量（Channel Capacity）是信息论与现代数字通信系统设计的核心基础理论指标。它度量了物理信道在满足指定功率与频带约束下，能够实现无差错传输的最大理论信息速率极限。

---

8.8.1 信道容量的数学定义

设离散无记忆信道（DMC）的输入随机变量为 $X\in \mathcal{X}$，输出随机变量为 $Y\in \mathcal{Y}$，信道的统计转移概率分布为 $P(Y|X)$。

根据信息论定义，输入 $X$ 与输出 $Y$ 之间的**平均互信息（Mutual Information）**为：

I(X; Y) = H(X) - H(X|Y) = H(Y) - H(Y|X)$$I(X;Y)=H(X)-H(X|Y)=H(Y)-H(Y|X)$$

式中 $H(X)$ 为输入信源熵，$H(X|Y)$ 为接收到 $Y$ 后关于 $X$ 的疑义度（后验不确定性）。平均互信息 $I(X;Y)$ 表征了通过观测信道输出端 $Y$，能够获取关于输入端 $X$ 的平均信息量。

由于联合概率分布满足 $P(X,Y)=P(Y|X)P(X)$，在给定物理信道转移特性 $P(Y|X)$ 的前提下，互信息 $I(X;Y)$ 的取值完全取决于发射端的先验输入概率分布 $P(X)$。

信道容量定义

定义物理信道在所有可能的输入先验分布 $P(X)$ 下所能获取的互信息最大值为信道容量 $C$：

C = max_(P(X)) I(X; Y)$$C=\underset{P(X)}{\max }I(X;Y)$$

• 对于离散信道，单位为 $\text{bit/symbol}$（比特/符号）或 $\text{bit/channel use}$（比特/信道使用）；
• 对于连续时间信道，若单位时间内可进行 $N$ 次独立信道使用，则信道容量单位为 $\text{bit/s}$（比特/秒）。

根据香农第二信道编码定理（Shannon’s Channel Coding Theorem）：

1. 正定理（可靠传输可达性）：只要实际信息传输速率 $R<C$，就一定存在某种信道编码与译码方案，使得当码长 $n\to \infty$ 时，译码平均误比特率可以做到任意小（$P_e\to 0$）；
2. 逆定理（不可逾越性）：若传输速率 $R>C$，则无论采用何种复杂的编码体制，译码误比特率必有正下界，绝不可能实现可靠无差错通信。

---

8.8.2 二元对称信道（BSC）的容量

二元对称信道（Binary Symmetric Channel, BSC）是数字通信中最基础的离散信道模型。输入 $X\in \{0,1\}$，输出 $Y\in \{0,1\}$，输入输出代数关系可表示为：

Y = X oplus Z$$Y=X\oplus Z$$

式中 $\oplus$ 表示模 2 加法，$Z\in \{0,1\}$ 为与输入 $X$ 统计独立的信道噪声随机变量，其转移错误概率为 $P(Z=1)=p$，$P(Z=0)=1-p$（通常 $0\le p\le 0.5$）。

        1 - p
   0 ───────────► 0
      \       /
     p \     / p
        \   /
   1 ───────────► 1
        1 - p

1. 条件熵计算

当 $X=0$ 时，$Y=Z$，$H(Y|X=0)=H(Z)$；当 $X=1$ 时，$Y=1\oplus Z=\bar{Z}$。由于取反运算不改变随机变量的不确定度，故 $H(Y|X=1)=H(Z)$。因此：

H(Y|X) = H(Z) = -p log₂ p - (1 - p) log₂(1 - p) triangleq H_b(p)$$H(Y|X)=H(Z)=-p{\log }_{2}p-(1-p){\log }_2(1-p)\triangleq H_b(p)$$

式中 $H_b(p)$ 为二元熵函数。

2. 容量极值求解

互信息展开为：

I(X; Y) = H(Y) - H(Y|X) = H(Y) - H_b(p)$$I(X;Y)=H(Y)-H(Y|X)=H(Y)-H_b(p)$$

由于输出变量 $Y$ 为二元变量，其输出熵具有绝对上界 $H(Y)\le {\log }_{2}2=1\text{ bit}$，当且仅当输出符号等概出现（$P(Y=0)=P(Y=1)=1/2$）时取等号。

由于信道转移矩阵对称，要使输出等概，输入端必须等概发射：$P(X=0)=P(X=1)=1/2$。此时求得 BSC 的信道容量闭式解为：

C_(BSC) = 1 - H_b(p) = 1 + p log₂ p + (1 - p) log₂(1 - p) (bit/symbol)$$C_{\text{BSC}}=1-H_b(p)=1+p{\log }_{2}p+(1-p){\log }_2(1-p)(\text{bit/symbol})$$

• 当 $p=0$（无噪信道）时，$C=1\text{ bit/symbol}$；
• 当 $p=0.5$（纯噪信道）时，$H_b(0.5)=1$，$C=0\text{ bit/symbol}$（信道完全丧失通信能力）；
• 当 $p=1$（完全倒相信道）时，$C=1\text{ bit/symbol}$（接收端只需将输出比特全部反转即可实现可靠无差错通信）。

---

8.8.3 连续时间加性高斯白噪声（AWGN）信道容量与香农公式

1. 离散时间高斯信道容量

设连续幅度离散时间高斯信道的输入为实变量 $X$，平均发送功率受限为 $\mathbb{E}[X^2]\le S$。信道输出为：

Y = X + Z$$Y=X+Z$$

式中 $Z\sim \mathcal{N}(0,{\sigma }^2)$ 为零均值高斯白噪声。

利用微分熵性质，条件微分熵 $h(Y|X)=h(Z)=\frac{1}{2}{\log }_2(2\pi e{\sigma }^2)$。互信息为 $I(X;Y)=h(Y)-h(Z)$。在给定输出方差 ${\sigma }_Y^2=S+{\sigma }^2$ 条件下，使得微分熵 $h(Y)$ 达到最大的分布必为高斯分布。因此输入 $X$ 必须服从 $\mathcal{N}(0,S)$，此时离散高斯信道容量为：

C = 1/2 log₂( 1 + (S)/(σ²) ) (bit/symbol)$$C=\frac{1}{2}{\log }_2\left(1+\frac{S}{{\sigma }^2}\right)(\text{bit/symbol})$$

2. 连续时间限带高斯信道容量（香农公式）

考虑一个双边受限于带宽 $B$ 的连续时间物理加性高斯白噪声信道：

Y(t) = X(t) + n(t)$$Y(t)=X(t)+n(t)$$

式中发送信号 $X(t)$ 占用带宽为 $B$，平均功率为 $S$；加性高斯白噪声单边功率谱密度为 $N_0$（双边 $N_0/2$），在信道带宽 $B$ 内的噪声总平均功率为：

σ² = N = N₀ B$${\sigma }^2=N=N_{0}B$$

根据奈奎斯特采样定理，带宽为 $B$ 的带限连续信号在时间间隔 $T_0=1\text{ s}$ 内，由其在时域以 $f_s=2B$ 速率采样的 $2B$ 个独立实正交自由度（采样点）完全唯一确定。

将每个采样点视为一次独立的信道使用，每秒钟总共可进行 $2B$ 次连续信道传输。将离散容量相乘，立即得到著名的香农公式（Shannon-Hartley Theorem）：

C = 2B × 1/2 log₂( 1 + S/N ) = B log₂( 1 + (S)/(N₀ B) ) (bit/s)$$C=2B\times \frac{1}{2}{\log }_2\left(1+\frac{S}{N}\right)=B{\log }_2\left(1+\frac{S}{N_{0}B}\right)(\text{bit/s})$$

定理：香农公式及其达到条件

带宽为 $B$、信号平均功率为 $S$、加性高斯白噪声单边功率谱密度为 $N_0$ 的限带连续信道，其理论最大无差错传输容量为：

C = B log₂( 1 + (S)/(N₀ B) ) (bit/s)$$C=B{\log }_2\left(1+\frac{S}{N_{0}B}\right)(\text{bit/s})$$

容量达到的充要条件：发射信号 $X(t)$ 必须在频带 $B$ 内呈现出统计均匀分布的零均值平稳带限高斯随机过程。

---

8.8.4 香农公式的关键推论与物理极限

1. 带宽与信噪比的互换性（Bandwidth-SNR Trade-off）

香农公式清晰揭示了信道三大核心物理要素（容量 $C$、频带宽度 $B$、信噪比 $S/N$）之间的互换制约关系：

• 在保持信道容量 $C$ 不变的前提下，可以通过牺牲频带宽度 $B$ 来换取在极低信噪比下的可靠通信。例如直接序列扩频通信（DSSS）与超宽带技术（UWB），在信噪比 $S/N\ll 0\text{ dB}$（甚至完全淹没在高斯噪声底噪之下）时，依靠数十兆赫兹的扩展带宽仍能实现高保真度无差错数据传输；
• 反之，在频带极其受限的高价值信道（如铜绞线电话网、微波卫星频段），可以通过大幅提高发送功率与接收信噪比，采用超高阶正交幅度调制（如 1024-QAM、4096-QAM），在极其狭窄的物理通带内压榨出极高的比特传输速率。

2. 无限带宽下的信道极限容量（Infinite Bandwidth Limit）

当信道带宽 $B$ 趋于无穷大（$B\to \infty$）时，一方面信道每秒提供的正交采样自由度 $2B$ 无限增加；但另一方面，带内吸入的加性噪声总功率 $N=N_{0}B$ 亦趋于无穷大，导致瞬时信噪比降至无穷小。

利用经典极限公式 ${\lim }_{x\to 0}\frac{\ln (1+x)}{x}=1$ 对香农公式求极限：

lim_(B → ∞) C = lim_(B → ∞) B log₂( 1 + (S)/(N₀ B) ) = lim_(B → ∞) (S)/(N₀) (ln( 1 + (S)/(N₀ B) ))/((S)/(N₀ B)) log₂ e = (S)/(N₀) log₂ e ≈ 1.44 (S)/(N₀) (bit/s)$$\underset{B\to \infty }{\lim }C=\underset{B\to \infty }{\lim }B{\log }_2\left(1+\frac{S}{N_{0}B}\right)=\underset{B\to \infty }{\lim }\frac{S}{N_0}\frac{\ln \left(1+\frac{S}{N_{0}B}\right)}{\frac{S}{N_{0}B}}{\log }_{2}e=\frac{S}{N_0}{\log }_{2}e\approx 1.44\frac{S}{N_0}(\text{bit/s})$$

这表明：信道容量并不会随着带宽 $B$ 的无限扩展而增长到无穷大，其最终受限于有限的发信机发射功率 $S$ 与噪声底 $N_0$。

3. 香农功率极限与 $-1.59\text{ dB}$ 终极能量边界

设数字通信系统实际传输信息比特速率为 $R_b$（$\text{bit/s}$），每信息比特所需的平均发射能量为 $E_b$。根据能量与功率的守恒关系：

S = E_b R_b iff S/N = (E_b R_b)/(N₀ B)$$S=E_b{R}_b⟺\frac{S}{N}=\frac{E_b{R}_b}{N_{0}B}$$

代入香农公式并令传输速率达到信道容量临界点 $R_b\le C$：

R_b ≤ B log₂( 1 + (E_b R_b)/(N₀ B) )$$R_b\le B{\log }_2\left(1+\frac{E_b{R}_b}{N_{0}B}\right)$$

定义系统的**频带利用率（Spectral Efficiency）**为 $\eta =\frac{R_b}{B}$（单位 $\text{bit/(s}\cdot \text{Hz)}$）。上式两边同除以 $B$：

η ≤ log₂( 1 + η (E_b)/(N₀) ) implies 2^η - 1 ≤ η (E_b)/(N₀)$$\eta \le {\log }_2\left(1+\eta \frac{E_b}{N_0}\right)⟹2^{\eta }-1\le \eta \frac{E_b}{N_0}$$

由此解出实现可靠无差错传输所需的最低归一化信噪比（能量效率）：

(E_b)/(N₀) ≥ (2^η - 1)/(η)$$\frac{E_b}{N_0}\ge \frac{2^{\eta }-1}{\eta }$$

考察频带无限丰富、频带利用率趋于零的极端极值情况（$\eta \to 0$）：

( (E_b)/(N₀) )_(min) = lim_(η → 0) (2^η - 1)/(η) = . (d(2^η))/(dη) |_(η = 0) = ln 2 ≈ 0.693$${\left(\frac{E_b}{N_0}\right)}_{\min }=\underset{\eta \to 0}{\lim }\frac{2^{\eta }-1}{\eta }={\frac{\mathrm{d}(2^{\eta })}{\mathrm{d}\eta }|}_{\eta =0}=\ln 2\approx 0.693$$

将其转化为工程常用的分贝（dB）度量：

( (E_b)/(N₀) )_(min (dB)) = 10 lg(ln 2) = 10 lg(0.69315) ≈ -1.59 dB$${\left(\frac{E_b}{N_0}\right)}_{\min \text{ (dB)}}=10\lg (\ln 2)=10\lg (0.69315)\approx -1.59\text{ dB}$$

香农功率极限的物理启示

在任何加性高斯白噪声物理信道中，无论采用何种超长纠错码、无论采用多么复杂的译码算法，成功可靠地传输 1 比特信息所必须消耗的信噪比绝对下限为 $-1.59\text{ dB}$。

若系统的 $E_b/N_0<-1.59\text{ dB}$，实现无差错传输在物理定律与数学理论上是绝对不可能的！这一结论构成了从 1948 年至今全部信道编码技术（Turbo 码、LDPC 码、极化码 Polar）不断逼近的终极灯塔。

---

8.8 信道容量 思考题与自测