信道容量的计算.doc

§ 信道容量的计算这里, 我们介绍一般离散信道的信道容量计算方法, 根据信道容量的定义, 就是在固定信道的条件下, 对所有可能的输入概率分布)(xP 求平均互信息的极大值。前面已知?? YXI; 是输入概率分布的上凸函数,所以极大值一定存在。而);(YXI 是r 个变量)}( ),( ),({ 21rxpxpxp?的多元函数。并且满足 1)( 1??? ri ixp 。所以可用拉格朗日乘子法来计算这个条件极值。引入一个函数: ??? i ixpYXI)();(??解方程组 0 )( ])();([)(???????xp xpYXIxp ??1)(?? i ixp ( ) 可以先解出达到极值的概率分布和拉格朗日乘子?的值,然后在解出信道容量 C 。因为)( )( log )()();( 11i iiii ri sj iyp xyQxyQxpYXI?????而)()()( 1 ii ri iixyQxpyp???,所以 eeypyp yp xyQixp ixp log log ))( ln()( log )( )()()(??????。解( )式有0 log )( )()()()( )( log )( 11 1??????????eyp xyQxyQxpyp xyQxyQ i iiii ri sj ii ii sj ii (对ri,,2,1??都成立) 又因为)()()( 1 jkk rk kypxyQxp???rixyQ sj ij,,2,1,1)( 1?????所以() 式方程组可以转化为),,2,1( log )( )( log )( 1rieyp xyQxyQ j ij sj ij???????1)( 1??? ri ixp 假设使得平均互信息);(YXI 达到极值的输入概率分布},,{ 21rppp?这样有 eyp xyQxyQxp j ijij ri sj i log )( )( log )()( 11???????从而上式左边即为信道容量,得 eC log ???现在令)( )( log )();( 1j ij sj ijiyp xyQxyQYxI???式中, );(YxI i 是输出端接收到 Y 后获得关于 ixX?的信息量,即是信源符号 ixX?对输出端 Y 平均提供的互信息。一般来讲, );(YxI i 值与 ix 有关。根据( )式和( )式, CYxI i?);(),,2,1(ri??所以对于一般离散信道有如下定理。定理 一般离散信道的平均互信息);(YXI 达到极大值(即等于信道容量)的充要条件是输入概率分布)}(, ),({ 1nxpxp?满足)(a CYxI?);( 1 对所有的 0)(,? iixpx)(b CYxI i?);( 对所有的 0)(,? iixpx 这时 C 就是所求的信道容量。对于离散信道来说,其实信道容量还有一个解法:迭代解法。定理 设信道的向前转移概率矩阵为 JKijxyQQ ??))(( ,0P 是任给的输入字母的一个初始概率分布, 其所有分量 0)( 0? kxP 。按照下式不断地对概率分布进行迭代, 更新:???? Ki rii r rkk rk rPxP PxPxP 1 1)()( )()()(??其中PP k rkYxXIP ???)];( exp[ )(?????????????????????????? Jj Ki ij r ijkjxyQP xyQxyQ 11 log exp 由此所得的?? QPI r, 序列收敛于信道容量 C。我们还可以将上述过程写成算法以便编制程序实现(如图 )})()( log{ 1??? Kk kkLPxPI?)}( log{ Px ma I kk U??})()( log{ 1??? Kk kkLPxPI?)}( log{ Px ma I kk U??图 信道容量的迭代算法对于一些特殊的离散信道,我们有方便的方法计算其信道容量。定义 设X和Y 分别表示输入信源与输出信源,则我们称?? YXH 为损失熵, ?? XYH 为信道噪声熵。如果信道的损失熵?? 0?YXH ,则次信道容量为开始 PP? 0)(P k?)(PI L)(PI U??? LUII LIC???? 1)()( )()()(PxP PxPxP???????? ogr XHYXHxHIC xP xxP1)( max )( max Y X; max )()(P)(??????( bit/ 符号)这里输入信源 X 的信源符号个数为 r 。如果信道的噪声熵?? 0?XYH ,则此信道容量为?? sYHYXIC xPxP log )( max ; max )