基于PCA和LDA融合算法的性別鑒別

如果使式(3)具有投影的意義，即z向量是y向量到x向量的方向上的投影，如圖4所示，那么必須使得|x|=1，即z=|y|cosθ。
現在考慮PCA變換矩陣W第一個向量


如果在條件|w1|=1使ξ1的方差達到最大，希望最大程度的保持樣本集x原有的差異(Variance)。也就是要的值最大。這成為了一個優化問題。目標函數是，條件是，使用拉格朗日乘數法

因此λ1是協方差矩陣M的一個特征值，w1是λ1對應的特征向量。要使其方差最大，就必須使的值最大，因為，所以，λ1應是M矩陣的最大特征值。
現在考慮PCA變換矩陣WT第2到第m個向量，這里的向量是互不相關的，代表著不同的投影方向，這樣可以提取出不同的主特征。要滿足這個條件，考慮協方差矩陣M，它是對稱的陣，有多個特征值λi，i∈(1，n)，因此，轉換矩陣中w1，w2，…，wm應該如下取值：首先求出M的特征向量和對應的特征值，然后依據特征值排序為λ1≥λ2≥…≥λn，它們對應的特征向量分別為w1，w2，…，wn，則取最前面的m個向量w1，w2，…，wm組成PCA變換矩陣。
出于數值計算方面的考慮，通常不使用M矩陣求特征值，和特征值對應的特征向量，而使用奇異值分解(SVD，Singular Value Decompo-sition)來計算前m個主方向。
1．3 SVD奇異值分解定理
SVD定理：設A是秩為r的nxr維的矩陣，則存在兩個正交矩陣：

由于M=AAT，其中，故構造矩陣，M為訓練樣本集中的樣本個數。容易求出其特征值λi及其相應的特征向量vi(i=O，1，…，M-1)。由推論式可知，M的特征向量ui

1．4 LDA方法算法說明
LDA(Linear Discriminant Analysis)方法也稱為線性判別分析方法。它選擇與類內散布的正交的矢量作為特征臉空間，從而能夠壓制圖像之間的與識別信息無關的差異，對光照及人臉表情變化都不太敏感。這種方法的最終目的就是找到一些特征使得類間離散度和類內離散度的比值最大。

式中，Pi是先驗概率，mi是Ci類的均值，m是所有樣本的均值。
如果Sw是非奇異矩陣，在投影以后，各類樣本之間盡可能的分開一些，即類間離散度越大越好，同時各類樣本的內部盡量密集起來，即類內離散度越小越好。因此可以定義Fisher準則函數如下：