在線極限學習機及其在圖像識別中的應用

　　摘要：針對海量圖像數(shù)據(jù)的識別問題，本文提出了在線極限學習機(online optimized ELM，OP-ELM)。OP-ELM以單隱層前饋神經(jīng)網(wǎng)絡(single hidden layer feed forward networks，SLFNs)為基礎，固定了隱含節(jié)點數(shù)以及節(jié)點參數(shù)，在在線增量學習過程中綜合考慮歷史數(shù)據(jù)和新數(shù)據(jù)，產(chǎn)生全局唯一的最優(yōu)解，降低了計算資源的需求，繼承了極限學習機(Extreme Learning Machine，ELM)學習速度快泛化性能好的優(yōu)點。因此非常適合于海量圖像數(shù)據(jù)的在線學習問題。在公開圖像數(shù)據(jù)集Caltech4和Scene13上的實驗表明，本文提出的方法取得了與前沿離線識別方法性能相當?shù)淖R別效果，與基于SVM的在線學習方法LA-SVM相比，在參數(shù)規(guī)模、參數(shù)調(diào)節(jié)以及學習算法效率方面具有明顯優(yōu)勢。

　　引言

　　隨著科學技術(shù)尤其是多媒體技術(shù)的進步與發(fā)展，人們生活中觸手可及的圖像數(shù)據(jù)呈現(xiàn)出爆炸式的增長趨勢。然而，由于圖像底層特征和高層語義之間的語義鴻溝，目前圖像內(nèi)容分析和識別技術(shù)的發(fā)展遠遠落后于圖像數(shù)據(jù)的增長速度。面對如此海量的圖像數(shù)據(jù)，現(xiàn)有的圖像分類模型和方法在計算效率和泛化能力方面面臨嚴峻挑戰(zhàn)。

　　雖然神經(jīng)網(wǎng)絡、支持向量機、核學習等學習已在圖像分析領域取得了廣泛的應用，但這些方法的訓練算法復雜度較大，學習時間過長，并不適合于大型數(shù)據(jù)集。在單隱層前饋神經(jīng)網(wǎng)絡基礎上，我們提出了在線極限學習機(Online Optimized Extreme Learning Machine，OP-ELM)。OP-ELM以單隱層前饋神經(jīng)網(wǎng)絡SLFNs為基礎，繼承了極限學習機(Extreme Learning Machine，ELM)[3]不需要調(diào)整網(wǎng)絡的輸入權(quán)值以及隱元的偏置，學習速度快泛化性能好的優(yōu)點;另一方面，OP-ELM通過將歷史數(shù)據(jù)知識固化到隱含節(jié)點輸出矩陣中，降低了計算資源的要求，綜合考慮歷史數(shù)據(jù)和新數(shù)據(jù)，產(chǎn)生全局唯一的最優(yōu)解。

　　本文后續(xù)內(nèi)容的組織結(jié)構(gòu)如下：第一章介紹圖像分類問題中，極限學習機的模型及方法的背景知識;第二章給出本文提出的在線極限學習機模型及訓練方法;第三章是實驗設定及實驗結(jié)果分析;第四章對本文進行了小結(jié)。