熱紅外目標(biāo)識(shí)別與跟蹤

紅外熱成像技術(shù)隨著疫情的爆發(fā)，越來(lái)越多的走入我們?nèi)粘Ｉ睢Ｊ聦?shí)上紅外技術(shù)早已在電力、工業(yè)控制、遙感測(cè)繪等行業(yè)進(jìn)行應(yīng)用。而紅外+AI識(shí)別將是未來(lái)發(fā)展的大趨勢(shì)。

凡是溫度比絕對(duì)零度高的物體均對(duì)外有熱紅外輻射，不管晚上還是白天都可以在沒(méi)有自然光補(bǔ)光的情況下對(duì)物體進(jìn)行觀測(cè)。另一方面，熱紅外波段下的輻射強(qiáng)度同時(shí)也反映者物體的發(fā)熱程度。因此，熱紅外成像在夜視觀測(cè)與測(cè)溫領(lǐng)域中發(fā)揮著重要作用。在疫情期間，熱紅外測(cè)溫特性也被很好地利用，用于人體溫度測(cè)量中。

   本文章中主要介紹熱紅外目標(biāo)識(shí)別與跟蹤相關(guān)的內(nèi)容。

熱紅外目標(biāo)識(shí)別跟蹤設(shè)備

    熱紅外目前主流的分辨率有384×288與640×512兩種分辨率，不同于可見(jiàn)光高清、4K等大分辨率，熱紅外因成本與工藝問(wèn)題，還停留在低分辨率階段。我們通常在物體識(shí)別、跟蹤領(lǐng)域中采用640×512分辨率的熱紅外。熱紅外的目標(biāo)識(shí)別與跟蹤中我們采用以網(wǎng)絡(luò)為基本接口的設(shè)計(jì)方式，網(wǎng)絡(luò)接口有易于集成與管理的優(yōu)點(diǎn)。

    在機(jī)芯選擇上選用了帶有自動(dòng)聚焦控制與變焦功能的LIR型號(hào)熱紅外機(jī)芯。

其機(jī)芯帶有強(qiáng)光保護(hù)與圖像增強(qiáng)調(diào)節(jié)的功能。機(jī)芯輸出數(shù)字圖像后接入到識(shí)別跟蹤模塊。識(shí)別跟蹤模塊選用Tofu3模塊。Tofu3模塊可以直接對(duì)機(jī)芯與云臺(tái)進(jìn)行控制。

    機(jī)芯輸出到Tofu3識(shí)別跟蹤模塊后，在模塊中進(jìn)行基于深度學(xué)習(xí)算法的目標(biāo)識(shí)別。目標(biāo)識(shí)別算法是經(jīng)過(guò)對(duì)數(shù)十萬(wàn)張有效紅外數(shù)據(jù)進(jìn)行訓(xùn)練后得出的。經(jīng)過(guò)數(shù)據(jù)海量訓(xùn)練后模型的識(shí)別率才得以提高。

基于深度學(xué)習(xí)的目標(biāo)識(shí)別算法不同于傳統(tǒng)的基于模板特征、基于熱分割的算法，是通過(guò)實(shí)際物體樣本為輸入，進(jìn)行訓(xùn)練得出的，因此在識(shí)別率和誤報(bào)率指標(biāo)上遠(yuǎn)高于傳統(tǒng)算法，而且通過(guò)現(xiàn)場(chǎng)數(shù)據(jù)的采集后進(jìn)行二次訓(xùn)練成為可能，對(duì)實(shí)際場(chǎng)景的二次適應(yīng)匹配能力上更強(qiáng)。

以下是實(shí)際多個(gè)場(chǎng)景中對(duì)目標(biāo)識(shí)別的效果。其中包括人、車、船等目標(biāo)的識(shí)別。識(shí)別速度根據(jù)不同的需求，有從15幀/秒到50幀/秒不同速度的模型。

熱紅外行人識(shí)別

車載行人識(shí)別

熱紅外船識(shí)別

目標(biāo)識(shí)別過(guò)程完成后對(duì)目標(biāo)進(jìn)行二次確認(rèn)與篩選。即進(jìn)一步剔除偽目標(biāo)，選擇需要跟蹤的目標(biāo)。識(shí)別切換跟蹤存在兩種方式，一種是半自動(dòng)，“即點(diǎn)即跟蹤”，在多個(gè)識(shí)別到的目標(biāo)中點(diǎn)選需要跟蹤的目標(biāo)，另一種是全自動(dòng)跟蹤，從畫(huà)面中自動(dòng)選擇離中心位置點(diǎn)靠近的目標(biāo)進(jìn)行跟蹤。第一種“即點(diǎn)即跟蹤”模式更適合平板下有人監(jiān)控的環(huán)境下操作，如無(wú)人機(jī)對(duì)地識(shí)別應(yīng)用中。第二種方式是適合于安防場(chǎng)景下的自動(dòng)目標(biāo)跟蹤。不管是哪一種方式，算法過(guò)程均在識(shí)別跟蹤模塊中完成。

跟蹤過(guò)程中，識(shí)別跟蹤模塊實(shí)時(shí)控制云臺(tái)與鏡頭。云臺(tái)接口采用RS485接口，通信協(xié)議為pelco-d協(xié)議。變焦鏡頭為RS232接口，協(xié)議采用VISCA協(xié)議。通過(guò)對(duì)云臺(tái)與變焦鏡頭的實(shí)時(shí)控制，在跟蹤過(guò)程中，畫(huà)面始終可以保持以被跟蹤物體為中心移動(dòng)，同時(shí)，拉進(jìn)或拉遠(yuǎn)鏡頭，使得被跟蹤物體始終在畫(huà)面中保持一定大小的尺寸。

識(shí)別跟蹤模塊在識(shí)別與跟蹤過(guò)程中實(shí)時(shí)將視頻進(jìn)行編碼通過(guò)網(wǎng)絡(luò)接口對(duì)外傳輸視頻。同時(shí)將識(shí)別跟蹤后的目標(biāo)類別、目標(biāo)位置、跟蹤狀態(tài)信息也通過(guò)網(wǎng)絡(luò)消息傳遞。這樣可以實(shí)現(xiàn)全過(guò)程的可控與記錄。

客戶端方面Tofu模塊提供了SDK和兩種版本客戶端軟件。第一種客戶端軟件是可以登錄多臺(tái)設(shè)備進(jìn)行觀測(cè)與記錄的。第二種客戶端軟件是登錄一臺(tái)設(shè)備，同時(shí)支持觸摸屏操作的。

多設(shè)備連接客戶端

無(wú)人機(jī)應(yīng)用客戶端

    熱紅外擁有可見(jiàn)光所不具備的優(yōu)勢(shì)，而與目標(biāo)識(shí)別與跟蹤等AI功能相結(jié)合，會(huì)帶給我們更多智能化的便利。