基于 PCA 降維模型的造紙廢水處理過程軟測量建模

劉鴻斌^{1，2，3，*} 李祥宇¹ 楊 沖¹

( 1. 南京林業大學江蘇省制漿造紙科學與技術重點實驗室，江蘇南京，210037;2. 華南理工大學制漿造紙工程國家重點實驗室，廣東廣州，510640;3. 南京林業大學林業資源高效加工利用協同創新中心，江蘇南京，210037)

摘 要: 針對造紙廢水處理過程的復雜特性，本課題將主成分分析 ( PCA) 與人工神經網絡 ( ANN) 和支持向量回歸 ( SVR) 相結合，構建出兩種新的軟測量模型: 主成分分析-人工神經網絡 ( PCA-ANN) 和主成分分析-支持向量回歸 ( PCA-SVR) 。本課題將這兩種軟測量模型應用于造紙廢水處理過程中出水化學需氧量 ( COD) 和出水懸浮固形物 ( SS) 濃度的預測。計算結果表明，PCA-ANN 和 PCA-SVR 的預測效果均優于偏最小二乘、支持向量回歸和人工神經網絡 3 種常規軟測量模型，并且 PCA-ANN 的預測效果最優。對于出水 COD 濃度預測，PCA-ANN 的決定系數 ( R² ) 為 0.984，均方誤差 ( MSE) 為 1.892，較 ANN 分別優化了 9.7% 和 71.5% 。對于出水 SS 濃度預測，PCA-ANN 的 R² 為0.762，MSE 為 0.228，較 ANN 分別優化了 31.2% 和 58.7% 。

關鍵詞: 造紙廢水處理; 主成分分析; 支持向量回歸; 人工神經網絡; 偏最小二乘; 軟測量

中圖分類號: X793 文獻標識碼: A DOI: 10. 11981 / j. issn. 1000-6842. 2018. 04. 50

在造紙廢水處理過程中，由于一些工業參數的在線測量傳感器缺乏^[1]以及造紙廢水處理過程的非線性、時變性、不確定性、復雜性和滯后性等特點，導致某些與出水水質指標相關的關鍵參數無法實現在線測量，這直接影響到廢水處理過程的實時控制和優化操作^[2]。在造紙廢水處理過程中，通過建立出水水質的關鍵變量與進水水質關鍵變量之間的關系，從而得到出水水質關鍵參數的軟測量模型，可以更好地對廢水處理過程進行控制。

軟測量常規的建模方法有機理建模法、回歸分析法、支持向量機法和神經網絡法等^[3]。偏最小二乘( Partial Least Squares，PLS) 算法是一種新型的多統計回歸分析算法，該方法易受過程非線性特性和系統外部干擾等因素的影響而失效。針對這些問題，楊浩等^[4] 研究了遞歸偏最小二乘 ( Recursive PartialLeast Squares，RPLS) 算法的造紙廢水處理過程軟測量建模。支持向量機是基于結構最小化原則的人工智能技術，支持向量回歸 ( Support Vector Regression，SVR) 是支持向量機在回歸預測方面的一種算法，該算法可以克服回歸分析方法不適用于非線性過程問題。徐方舟等^[5] 通過 SVR 方法實現對化學需氧量( COD) 質量濃度的預測。水質預測模型需要多種水質指標作為輸入變量，但變量過多會造成一定的信息重疊，使模型的預測效果變差。吳慧英等^[6]在構建SVR 模型對池塘溶解氧預測時利用了理論較為完善的主成分分析 ( Principal Component Analysis，PCA)方法對輸入變量進行降維處理，這種將 PCA 和 SVR相結合的模型得到了很高的預測精度。劉博等^[3]利用 PCA 和最小二乘支持向量回歸 ( Least Square Support Vector Regression，LSSVR) 相結合的模型對厭氧消化過程中的揮發性脂肪酸進行預測，該模型也具有較好的預測能力。人工神經網絡( Artificial NeuralNetwork，ANN) 是通過模仿人類大腦神經處理信息方式從而形成的一種智能算法[7]，該方法的優點在于其擁有自學習、自適應和自處理功能，其缺點在于泛化能力不足。將 ANN 和其他方法相結合的軟測量建模方法可以克服單獨使用 ANN 方法的局限性。Lee 等^[8]通過多統計過程控制和基于虛擬傳感器的神經網絡技術相結合的方法開發了污水處理廠遠程控制系統。

針對造紙廢水處理過程的特點，筆者構建主成分分析-支 持 向 量 回 歸 ( Principal Component AnalysisSupport Vector Regression，PCA-SVR) 和主成分分析-人工神經網絡 ( Principal Component Analysis-Artificial Neural Network， PCA-ANN ) 對出水化學需 氧 量( COD) 和出水懸浮固形物 ( SS) 濃度進行預測，并與 PLS、SVR、ANN 模型進行對比。

1 方法原理

1. 1 PLS 建模原理

對于 p 個因變量 y^₁，…，y^_p 與 q 個自變量 x^₁，…，x^_q 的建模問題，偏最小二乘法的基本做法是首先在自變量中提出第一主成分 t^₁ ( t^₁ 是 x^₁，…，x^_q 的線性組合) ，同時在因變量中也提取第一主成分 u^₁，并要求 t^₁ 和 u^₁ 的相關程度達到最大，然后建立 y^₁，…，y^_p 與 t^₁ 的回歸，如果回歸方程達到滿意的精度，則算法中止，否則接著第二成分提取，直到能達到滿意精度，最終確定主成分的個數 k^[9]。該方法將 X 和 Y矩陣分解為式( 1) 和式( 2) 。

 

式中，t^_i、u_i 是得分向量，包含著不同樣本之間的信息關系; p_i、q_i 是加載向量，包含著不同變量之間的信息關系; p 和 q 是獨立變量個數; E 和 F 是剩余矩陣。

1. 2 SVR 建模原理

假設訓練集輸入矩陣和輸出矩陣分別為 X∈R^N×M，Y∈R^N×L 。SVR 算法是通過非線性映射將訓練數據映射到一個高維特征空間 F，然后在 F 中進行線性回歸，這種非線性映射通過定義適當的核函數k( x_i，x_j) =Φ ( x_i )Φ( x_j) 來實現，Φ( x) 為非線性函數。本次實驗采用徑向基核函數 ( Radial Basis Function，RBF) 來實現。RBF 核函數見式( 3)^[10]。

 

式中，σ 為核函數的寬度。則回歸函數如式 ( 4) 。

 

式中，ω 和 b 是模型中需要進行確認的參數。利用結構風險最小化原則，對式( 4) 中需要確認的參數進行優化，通過拉格朗日方法將其轉換為對偶問題，最終求得 SVR 回歸預測函數為式( 5) 。

 

式中，α_i 是支持向量所對應的參數值，x_i 是訓練集輸入數據向量，x_j 是測試集的輸入數據向量，y為輸出向量集合，式( 5) 經過運算會得到預測的參數α_i 和 b，從而得到預測模型。

SVR 的參數優化主要是針對懲罰參數 c 和核函數參數 σ 進行優化，c 是確定的特征子空間中調節學習機器的置信范圍和經驗風險比例，使學習的推廣能力最好。這兩個參數的取值直接影響 SVR預測的 效 果。本研究采用網格法進行參數優化。

在一定的范圍內取值 c 和 σ，對于 取 定 的 c 和 σ，把訓練集作為原始數據，采用交叉驗證法得到在此組 c 和 σ 數值下訓練集驗證回歸擬合度，把 驗證回歸擬合度最高的那 組 c 和 σ 作 為 最 佳 參 數。

若有多組 c 和 σ 對應于最高的回歸擬合度，選 取能夠達到最高回歸擬合度中最小的參數 c 和 σ 作為最佳參數; 若對應最小的 c 有多組 σ，則選擇第一組 c 和 σ 作為最佳參數[11]。參數優化很大程度上是靠經驗調參數。

1. 3 ANN 建模原理

ANN 的結構是由輸入層、隱含層和輸出層構成。它的工作原理是輸入信號的正向傳播和誤差信號的反向傳播，通過權重修正使得誤差函數 E 趨于最小，從而得到預測模型[12]。誤差函數 E 為式( 6) 。

 

式中，m 為學習樣本數，d_k 表示第 k 節點的期望值，y_k表示第 k 個輸出節點的值。

1. 4 基于 PCA 降維建模原理

PCA 的主要思想是降維，假設一組數據中有 n個樣本，p 個變量得到原始矩陣，見式( 7) 。

 

計算原始矩陣的協方差矩陣，如式( 8) 所示。

 

協方差矩陣特征值的大小反映了其對應的特征變量所包含的信息多少。將協方差矩陣的特征值降序排列，取前 k 個特征值對應的特征向量 ( k《 p ) ，這些特征向量稱為主成分，這個過程稱為降維^[13] 。根據特征值大于 1 的規則，以此來確定 k 的數值。PCA在分解矩陣時不單獨考慮輸出矩陣，因此用該方法提取主成分獲取的信息比 PLS 更充分。PCA 將原始矩陣 X 分解為式( 9) 。

 

式中，b_i 是得分向量，它包含著不同樣本之間的信息關系，p_i 是加載向量，它包含著不同變量之間的信息關系，p是獨立變量的個 數，G是剩余矩陣。

基于 PCA 降維建模方法的主要思想是首先用PCA 對廢水數據進行特征提取，將選取好的主成分所對應的得分向量作為 SVR 和 ANN 模型的輸入端，從而建立模型。該模型既具有 PCA 的數據壓縮和降維功能，簡化了工作量，又具有 SVR 和 ANN 的非線性建模能力^[14]?；?PCA 降維模型的算法流程圖如圖 1 所示。該流程圖包括了原始數據的獲取、數據預處 理、主成分分析降維、SVR 建 模 和 ANN建模。

圖 1 基于 PCA 降維模型的算法流程圖

2 仿真結果與討論

2. 1 廢水數據的收集與處理

廢水^[15-16]取自廣東東莞的一家造紙廠廢水處理車間，測量數據顯示了好氧段廢水的工況。如圖 2所示，數據包含 170 個樣本點，8 個廢水變量，其中左 邊 縱 坐 標 分 別 代 表 的 是 進 水 化 學 需 氧 量( COD_inf ) 、出水化學需氧量 ( COD_eff ) 、進水懸浮固形物 ( SS_inf ) 、出水懸浮固形物 ( SS_eff ) ; 右邊縱坐標表示 流 量 Q ( 10⁴ m³ /d) 、pH 值、溫 度 T ( ℃ )和 DO ( mg /L) 。其中，把 COD_eff和 SS_eff作為輸出變量。在 MATLAB 中分析處理 170 個樣本數據，將前140 個樣本數據作為訓練集，后 30 個樣本數據作為測試集。

2. 2 PLS 預測模型的構建

構建 PLS 模型的第一步是選取主成分，此處選取前 4 個主成分，然后對 CODeff和 SSeff兩個輸出變量進行預測，仿真結果如圖 3 ～ 圖 6 所示。

圖 2 造紙廢水處理過程數據

圖 3 COD_eff訓練集擬合圖 ( PLS)

圖 4 COD_eff測試集預測圖 ( PLS)

圖 5 SS_eff訓練集擬合圖 ( PLS)

圖 6 SS_eff測試集預測圖 ( PLS)

2. 3 SVR 預測模型的構建

SVR 模型的構建仍然是對 CODeff和 SSeff兩個輸出變量進行預測，SVR 模型的輸入端是由6 個輸入變量構成的。對于兩個輸出變量的預測網格法選擇 c 和 σ的參數范圍都為 [- 10，10]。仿真結果如圖 7 ～ 圖10 所示。

圖 7 COD_eff訓練集擬合圖 ( SVR)

圖 8 COD_eff測試集預測圖 ( SVR)

圖 9 SS_eff訓練集擬合圖 ( SVR)

圖 10 SS_eff測試集預測圖 ( SVR)

2. 4 ANN 預測模型的構建

ANN 模型對 CODeff和 SSeff兩個輸出變量的網絡總層數為 3 層，分別為 1 個輸入層、1 個隱含層和 1 個輸出層，其中輸入層節點數為 6 個，隱含層節點數為3 個，輸出層節點數為 1 個。仿真結果如圖 11 ～ 圖14 所示。

圖 11 COD_eff訓練集擬合圖 ( ANN)

圖 12 COD_eff測試集預測圖 ( ANN)

圖 13 SS_eff訓練集擬合圖 ( ANN)

圖 14 SS_eff測試集預測圖 ( ANN)

2. 5 PCA-SVR 預測模型的構建

對于 PCA-SVR 預測模型，為了充分減少 SVR 輸入端的干擾，將采集的 8 個變量數據都作為 PCA 模型的輸入端。將訓練集的 140 個樣本通過 PCA 降維，主成分的累計貢獻率如表 1 所示，將前 3 個主成分所對應的得分向量作為 SVR 的訓練集輸入端，訓練集輸出端仍然為 COD_eff和 SS_eff兩個變量。SVR 的測試集輸入端是由測試集 30 個樣本進行 PCA 降維，選取前3 個主成分所對應的得分向量構成，測試集輸出端仍然是 COD_eff和 SS_eff兩個變量。對于輸出變量 CODeff網格法選擇 c 和 σ 的參數范圍為 [- 15，15]。對于輸出 變 量 SS_eff 網 格 法 選 擇 c 和 σ 的 參 數 范 圍 為[- 10，10]。仿真結果如圖 15 ～ 圖 18 所示。根據圖16 所 示，相 較 于 圖 4、圖 8 和 圖 12 中 常 規 模 型，PCA-SVR 模型對 COD_eff 濃度的預測，誤差有明顯的減小。

表 1 主成分累計貢獻率

圖 15 COD_eff訓練集擬合圖 ( PCA-SVR)

圖 16 COD_eff測試集預測圖 ( PCA-SVR)

圖 17 SS_eff訓練集擬合圖 ( PCA-SVR)

圖 18 SS_eff測試集預測圖 ( PCA-SVR)

2. 6 PCA-ANN 預測模型的構建

PCA-ANN 模型對 CODeff和 SSeff兩個輸出變量的網絡結構仍然為 1 個輸入層、1 個隱含層和 1 個輸出層，其中隱含層節點數為 3，輸出層節點數為 1個。PCA-ANN 模型對輸入端提取主成分的方法和PCA-SVR 模型相同，選取前 3 個主成 分 作 為 ANN模型的輸入端，即輸入層節點數為 3 個。仿真結果如圖19 ～ 圖 22 所示。根據圖 20 所示，相比于 PCASVR 模型 PCA-ANN 模型對 COD_eff濃度的預測誤差，有進一步的減小。此外，圖 22 中 PCA-ANN 模型對于 SS_eff濃度 的 預 測 精 度 較 其 他 4 種模型有明顯的提升。

圖 19 COD_eff訓練集擬合圖 ( PCA-ANN)

圖 20 COD_eff測試集預測圖 ( PCA-ANN)

圖 21 SS_eff訓練集擬合圖 ( PCA-ANN)

圖 22 SS_eff測試集預測圖 ( PCA-ANN)

2. 7 計算結果比較分析

為了比較 5 種模型的具體預測精度，采用均方差( Mean Square Error，MSE) 和決定系數 ( Determination Coefficient，R²) 作為模型的評價指標。MSE 是預測數據和原始數據對應點誤差的平方和的均值，MSE越接近于 0，代表數據預測結果越精確。R² 是通過數據的變化來表示擬合結果的好壞，R² 越接近于 1，代表輸入變量對輸出變量的解釋能力越強，對數據擬合的效果也越好。

對兩個輸出變量預測的 5 種模型的性能指標對比如表 2 和表 3 所示。從這 2 個表中可以看出，基于PCA 降維模型的 R² 比無 PCA 降維模型有明顯的提高，MSE 有 明 顯 的 下 降。從 表 2 可 以 看 出，對 于COD_eff的預測模型，PCA-ANN 模型的 R² ( 0. 984) 最大，MSE ( 1. 892 ) 最 小。從 表 3 可 以 看 出，對 于SS_eff的預測模型，PCA-ANN 模型的 R² ( 0. 762) 最大，MSE 最小; PLS 模型的 R² ( 0. 228) 最小，MSE最大。對于出水兩種指標的預測，線性 PLS 方法的預測精度最低

表 2 對 COD_eff預測模型性能指標對

表 3 對出水 SS_eff預測模型性能指標對比

3 結 論

通過構建 偏 最 小 二 乘 ( PLS) 、支 持 向 量 回 歸( SVR) 、人工神經網絡 ( ANN) 、主成分分析-支持向量回 歸 ( PCA-SVR) 、主 成 分 分 析-人 工 神 經 網 絡( PCA-ANN) 5 種模型對造紙廢水處理過程中出水化學需氧量 ( COD) 和出水懸浮固形物 ( SS) 濃度進行預測。計算結果表明，非線性 SVR 和 ANN 建模方法的預測效果要優于線性 PLS 的預測效果; 在 5 種模型中，基于 PCA 降維模型的軟測量方法可以獲得更好的預測效果，且 PCA-ANN 的預測效果最優?？紤]到 PCA-ANN 與 PCA-SVR 2 種模型的預測精度受各自模型參數的影響較大，本課題組下一步將研究模型參數的選擇對模型預測精度的影響。

                                                                                                                                         來源：中國造紙學報