信道容量的计算.doc

§,我们介绍一般离散信道的信道容量计算方法,根据信道容量的定义,就是在固定信道的条件下,对所有可能的输入概率分布求平均互信息的极大值。前面已知是输入概率分布的上凸函数,所以极大值一定存在。而是个变量的多元函数。并且满足。所以可用拉格朗日乘子法来计算这个条件极值。引入一个函数:解方程组()可以先解出达到极值的概率分布和拉格朗日乘子的值,然后在解出信道容量。因为而,所以。解()式有(对都成立)又因为所以()式方程组可以转化为假设使得平均互信息达到极值的输入概率分布这样有从而上式左边即为信道容量,得现在令式中,是输出端接收到Y后获得关于的信息量,即是信源符号对输出端Y平均提供的互信息。一般来讲,值与有关。根据()式和()式,所以对于一般离散信道有如下定理。 一般离散信道的平均互信息达到极大值(即等于信道容量)的充要条件是输入概率分布满足对所有的对所有的这时C就是所求的信道容量。对于离散信道来说,其实信道容量还有一个解法:迭代解法。 设信道的向前转移概率矩阵为,是任给的输入字母的一个初始概率分布,其所有分量。按照下式不断地对概率分布进行迭代,更新:其中    由此所得的序列收敛于信道容量C。我们还可以将上述过程写成算法以便编制程序实现() 信道容量的迭代算法对于一些特殊的离散信道,我们有方便的方法计算其信道容量。 设X和Y分别表示输入信源与输出信源,则我们称为损失熵,为信道噪声熵。如果信道的损失熵,则次信道容量为(bit/符号)这里输入信源X的信源符号个数为。如果信道的噪声熵,则此信道容量为(bit/符号) 一个信道Q称为对称离散信道,如果它满足下面的性质:(1)信道Q矩阵中每一行是另一行的置换;(2)每一列式另一列的置换。例如,信道矩阵和满足对称性,所以对应信道是对称离散信道。 对称离散信道的信道容量为(bit/符号)上式只与対称信道矩阵中行矢量和输出符号集的个数s有关。证明 而  由于信道的对称性,所以与无关,为一常熟,即接着举一个例子加以说明。 某对称离散信倒的信道矩阵为用公式计算信道容量(bit/符号) 若信道矩阵Q的列可以划分成若干互不相交的子集矩阵,即且。由为列组成的矩阵是对称矩阵,则称信道矩阵Q所对应的信道为准对称信道。例如,信道矩阵都是准对称信道,在信道矩阵中,Y可以划分为三个子集,由子集的列组成的矩阵为,,它们满足对称性,所以对应的信道是准对称信道。同理可划分为,这两个矩阵也满足对称性。下面,我们给出准对称离散信道的信道容量计算公式其中,是输入符号集的个数,为准对称信道矩阵中的行矢量。设矩阵可划分为个互不相交的子集。是第个子矩阵中行元素之和,是第个子矩阵