§2.1線性空間和希爾伯特空間一.符號及定義符號以后我們常用字母加低桿表示矢量和矩陣，并且用小寫字母表示矢量，大寫字母表示矩陣，如：

線性空間：關于線性空間和希爾伯特空間的嚴格定義，讀者可以參閱有關線性代數的教科書，這里僅給出其運用概念和結論。所謂線性空間是指滿足線性變換關系的矢量集合，這里“滿足線性變換關系”是指嚴格定義：線性空間首先應滿足“加法+”和“數乘”的封閉性。西安電子科技高校雷達信號處理試驗室

希爾伯特空間希爾伯特空間是指定義了內積的完備線性空間。式中“”表示共軛轉置，“*”表示取復共軛。我們定義兩個矢量的內積為：西安電子科技高校雷達信號處理試驗室二、獨立性、正交性、子空間分解在N維線性空間中，若，線性空間的一個子集V，若V對加法和數乘封閉，線性無關那么，矢量組是線性無關的，否則，若的非平凡組合為零，則稱是線性相關的。子空間西安電子科技高校雷達信號處理試驗室即則，V是

的一個子空間。設是上的一組矢量，則由的全部線性組合構成的集合是的一個子空間，常稱為張成的子空間，記為：若是線性無關的，且那么可由唯一地線性表示。西安電子科技高校雷達信號處理試驗室假如是線性無關，并且不是假如是最大線性無關組，那么，的任一線性無關組的真子集，那么，這個子集就是的一個最大線性無關1）2）3）稱

是

的一個基。組。西安電子科技高校雷達信號處理試驗室的零空間為:矩陣的秩定義為：矩陣的值域與零空間

給定一組向量，由這組向量張成的子空間簡潔由以上給出的定義寫出。另一種求子空間的方法是給定子空間中矢量的約束條件。如與矩陣有關的兩子空間值域與零空間。設，則的值域（或列空間）為

西安電子科技高校雷達信號處理試驗室1）

是非奇異的2）3）（滿秩）可以證明，即矩陣的秩等于最大無關行數或最大無關列數。，假如m=n,則如下關系等價：正交性

矢量的角

設，則這兩個矢量的夾角余弦定義為：西安電子科技高校雷達信號處理試驗室正交性：1）矢量正交是指其夾角余弦等于零，即2）矢量組是正交的，假如對全部，有正交。假如滿足，則稱之為標準正交的。3）子空間稱為相互正交的，假如子空間分解

假如是線性空間的子空間，那么它們的和也是一個子空間若每一個有唯一的表達式則被稱為一個直和，并寫為：西安電子科技高校雷達信號處理試驗室子空間的交集也是一個子空間，如。假如一個子空間的正交補為假如矢量是標準正交的并且張成子空間則為直和。一個重要特例：正交分解，則稱矢量組構成子空間的一個標準正交基。它總可以擴充為的一組完全的標準正交基，此時。西安電子科技高校雷達信號處理試驗室三、線性變換與投影算子線性空間上的一個變換稱為線性變換，假如它滿足：在確定基的意義上，一個線性變換可用一矩陣表示。用一組基表示它在線性變換下的象，其坐標所排成的矩陣就稱為在這組基下的矩陣。線性變換與矩陣一一對應。線性變換

西安電子科技高校雷達信號處理試驗室正交投影算子

一種重要的線性變換是投影算子，而且正交情形是最重要的。正交投影算子的定義：

設子空間，線性變換稱為正交投影，假如，西安電子科技高校雷達信號處理試驗室幾何意義：已知維線性空間中的一個點和子空間，求點，使到點的距離不超過到上各點的距離。如圖2.1所示。圖2.1向量表示由一系列的試驗和調查所給出的數據，由于這些試驗或調查包含不少的誤差，以致在給定的子空間中不行能找到這組數據，即，我們不行能把表示成子空間中的一個向量，因為我們所遇到的方程組是不相容的，因此，是無解的，這樣一來，最小二乘解法就是選擇點作為最佳選擇。西安電子科技高校雷達信號處理試驗室正交投影算子的表示，即點的求解。

若子空間由標準正交基張成，則任一矢量，在子空間上的正交投影矢量可表示為：此公式可用直角坐標系來說明。式中階方陣常稱為投影矩陣。西安電子科技高校雷達信號處理試驗室可見，由標準正交基來求正交投影算子是很便利的。若子空間由一組基（未必正交）張成，求由表示的空間上的正交投影算子。由正交投影的定義，到的投影矢量，即由由(2.12)式可知，上的正交投影矩陣為：線性表示，且與正交，即，則，得投影矢量西安電子科技高校雷達信號處理試驗室正交變換與正交矩陣

（2.13）式給出了到矩陣的列空間上的正交投影矩陣，當基矢量是標準正交基時，（2.13）式可簡化為（2.11）式形式。（2.13）式也稱為的偽逆。線性變換是正交變換，如果對線性空間中的任意矢量，有內積關系：，有時又稱為保角變換、酉變換。相應于正交變換的矩陣為正交矩陣或酉矩陣，如果滿足關系：西安電子科技高校雷達信號處理試驗室有限長序列有N個樣本，它的傅里葉變換在頻率區間的N個等間隔分布的點上也有N個取樣值。兩個重要例子：例1：離散傅氏變換DFT是正交變換西安電子科技高校雷達信號處理試驗室矩陣常稱為一種Bulter矩陣（線性狀況）。則DFT變換寫成矩陣形式并歸一化可得：西安電子科技高校雷達信號處理試驗室正交變換是可逆變換，變換后無信息損失。大家知道，在數字信號處理中，DFT變換是一種很重要的變換，我們常用它對數據變換到頻域，以便于分析信號頻譜，在陣列信號處理中，對陣列空間抽樣數據作DFT，相當于把數據變換到角頻域（波束空間beamspace），分析波達方向（DOA）。盡管用DFT技術作譜分析時其辨別率不高，但在高辨別譜估計和自適應濾波技術中，DFT變換仍是很重要的一種正交變換，在后面我們還要多次利用它對數據作DFT預變換，簡化問題，這里只簡潔提一下。西安電子科技高校雷達信號處理試驗室例2：K-L變換（卡-洛變換）（karhuen-loeve）取上述連續狀況的與的N個勻整時間取樣值，得：留意：DFT變換是一種不依靠數據的變換（data-independent），下面再介紹一種依靠于數據的正交變換（data-dependent），隨機矢量的線性變換。連續卡－洛綻開在區間的連續隨機信號可綻開為：

式中：綻開系數是隨機變量；為基函數，它滿足：西安電子科技高校雷達信號處理試驗室所以對于隨機序列，若其自相關函數為，則K-L變換為：令，則有西安電子科技高校雷達信號處理試驗室

的特點：

對任一維Hermite矩陣（），其特征矢量構成維空間的一組標準正交基。因此，存在一正交矩陣使得與一對角陣相像，即：物理意義：按隨機序列的能量大小逐次作N個正交方向分解。Y的各重量去相關且按能量從大到小排列。K-L變換有人叫最佳變換?！?.2矩陣的分解特征值分解

式中為的特征值。

西安電子科技高校雷達信號處理試驗室正定（半正定）性：若Hermite陣對任一非零矢量，有，則稱為正定（半正定）的。正定的Hermite矩陣的全部特征值為正數，即：

(2.21)式中為的特征值，為特征矢量。稱此分解為特征分解（EVD）.奇異值分解（SVD）

對，存在正交矩陣和，使得：式中,是的奇異值

簡潔驗證：矩陣QR分解

任一矩陣，總可以化為：其中是正交矩陣，是上三角矩陣，（2.22）式稱為的QR分解。西安電子科技高校雷達信號處理試驗室§2.3復變量實函數求導數探討實函數：，其中依據求導法則：西安電子科技高校雷達信號處理試驗室矩陣對標量求微分

設的元素是某一矢量的可微函數，則若矩陣的元素是某個自變量（標量）的函數，當每一個均為可微函數時，可構成一個與同階的