基于云存儲視頻監(jiān)控系統(tǒng)的研究

摘要：視頻監(jiān)控系統(tǒng)對海量視頻數(shù)據(jù)存儲和智能視頻分析的需求日益突出。針對系統(tǒng)硬件計算能力有限，用戶需求的多樣性，系統(tǒng)擴展性復雜等問題，云存儲技術有很大突破。通過虛擬化技術構建資源池，使用Hadoop分布式文件系統(tǒng)存儲海量視頻數(shù)據(jù)，使用Map/Reduce編程模型實現(xiàn)大數(shù)據(jù)并行計算，為用戶提供實時視頻監(jiān)控和智能視頻分析服務。

關鍵詞：云計算;云存儲;視頻監(jiān)控;Hadoop分布式文件系統(tǒng)

互聯(lián)網(wǎng)的迅猛發(fā)展，不僅改變了我們的生活方式，也顛覆了各個領域的經(jīng)營與管理。隨著網(wǎng)絡信息化技術的日益完善，使得視頻資源的聯(lián)網(wǎng)共享成為視頻監(jiān)控、 IPTV等大數(shù)據(jù)領域的迫切需求，現(xiàn)有分散的視頻資源正在朝集中化的方向發(fā)展。隨著海量視頻數(shù)據(jù)的快速增長，傳統(tǒng)的視頻監(jiān)控難以滿足在大數(shù)據(jù)計算分析、存儲及數(shù)據(jù)共享等上的需要，或者說很難以更低的成本，更靈活的擴展性，更健壯、更可靠、更安全的系統(tǒng)架構來滿足行業(yè)需求。因此，云計算開始運用到大規(guī)模視頻監(jiān)控領域。

1 相關知識

“云計算”并非是一種新的計算技術，而是結合多種計算技術，以最優(yōu)性價比為目的的綜合型計算模式。通過云計算技術，將海量的資源通過網(wǎng)絡連接起來，用戶能夠共享數(shù)據(jù)、協(xié)同計算，網(wǎng)絡中的計算機、服務器共同對外提供服務，并使之透明化。

1.1 云計算

云計算是分布式計算、并行計算和網(wǎng)格汁算的發(fā)展，它將計算任務分布在大量計算機構成的資源池上，使各種應用系統(tǒng)能夠根據(jù)需要獲取計算能力、存儲空間和各種軟件服務。

云計算通過虛擬化技術，將大量異構的網(wǎng)絡服務器和不同廠家的網(wǎng)絡存儲設備構建成統(tǒng)一的資源池，通過互聯(lián)網(wǎng)連接起來，用戶不需要了解云存儲系統(tǒng)的細節(jié)，也不必掌握

專業(yè)的云技術知識，只需要關注自己需要什么樣的資源，以及如何通過互聯(lián)網(wǎng)來獲得相應的服務。云計算為大規(guī)視頻監(jiān)控系統(tǒng)提供超強計算的能力，靈活地為用戶提供各種服務，同時減少系統(tǒng)建設、升級及運維管理的成本，提高系統(tǒng)資源的利用率和系統(tǒng)運行的可靠性。

1. 2 云存儲

云存儲是在云計算的基礎上衍生和發(fā)展出來的一種技術。它通過網(wǎng)絡將各類存儲設備匯集起來，通過網(wǎng)絡集中管理，共享數(shù)據(jù)，其靈活的擴展性，可以對外提供數(shù)據(jù)存儲和業(yè)務服務以及與存儲相關的增值應用。

云存儲系統(tǒng)以網(wǎng)絡服務器和網(wǎng)絡存儲設備為基礎，構建成一個大規(guī)模的存儲集群，采用大規(guī)模分布式文件系統(tǒng)對存儲資源集中管理，可以提供上海量的存儲空間同時也可以為大量用戶提供服務，推動了大數(shù)據(jù)時代的發(fā)展。云存儲系統(tǒng)的成本遠遠低于傳統(tǒng)的存儲系統(tǒng)，并且具有良好的可擴充性和可靠性，推動著大規(guī)模視頻監(jiān)控系統(tǒng)的變革。

2 基于云存儲的監(jiān)控系統(tǒng)

目前，云存儲的實現(xiàn)并不存在技術上的障礙，它需要云設備、云軟件、云服務等有機地集合在一起，為用戶提供無障礙的云服務。將存儲設備和應用軟件相結合，通過分布式文件系統(tǒng)架構實現(xiàn)由存儲設備向存儲服務的轉變。

2.1 云存儲系統(tǒng)的結構模型

與傳統(tǒng)的存儲設備相比，云存儲不再是單純的存儲設備，通過虛擬化技術，將無數(shù)分散的服務器和存儲設備通過網(wǎng)絡組織起來，統(tǒng)一管理，協(xié)同工作，通過應用軟件對外提供存儲服務。云存儲系統(tǒng)結構模型由物理存儲層、基礎管理層、應用接口層和用戶訪問層組成，如圖1所示。

2.2 基于云存儲監(jiān)控系統(tǒng)的設計

基于云存儲的視頻監(jiān)控系統(tǒng)在邏輯上可分為前端視頻采集、云端數(shù)據(jù)管理中心、視頻業(yè)務服務和客戶端管理系統(tǒng)。如圖2所示。

前端視頻采集通過網(wǎng)絡連接到云存儲系統(tǒng)，云存儲系統(tǒng)為每一路高清IP攝像頭分配足夠的帶寬。高清IP攝像頭將采集的高清視頻流進行壓縮編碼，然后再將壓縮編碼后的視頻流封裝成能在網(wǎng)絡上傳輸?shù)腎P數(shù)據(jù)包，通過Internet上傳到云資源池中。

云端數(shù)據(jù)管理中心對云資源進行自動監(jiān)控、自動調度和集中管理等一體化運維操作，通過虛擬化存儲技術、Hadoop分布式文件系統(tǒng)、云計算等技術結合應用程序實現(xiàn)存儲設備內(nèi)容的分發(fā)、數(shù)據(jù)刪冗、數(shù)據(jù)壓縮、數(shù)據(jù)加密、數(shù)據(jù)備份與數(shù)據(jù)恢復等功能。

視頻業(yè)務服務運行在云端數(shù)據(jù)管理中心之上，是云資源的應用集合，根據(jù)用戶的不同需求，提供相關的業(yè)務服務。

客戶端管理系統(tǒng)通過公用API接口訪問視頻相應的業(yè)務服務?？蛻舳斯芾硐到y(tǒng)的每個操作對應著一個業(yè)務請求，通過網(wǎng)絡接入、用戶認證、權限管理等安全策略驗證后，方可訪問相應的業(yè)務。

3 關鍵技術及實現(xiàn)

隨著網(wǎng)絡技術的發(fā)展，人們對智能安防提出了新的要求，傳統(tǒng)視頻監(jiān)控系統(tǒng)的局限性越來越突出，視頻監(jiān)控系統(tǒng)的網(wǎng)絡化、智能化以及安全越來越受到人們的關注和重視?；谠拼鎯Φ囊曨l監(jiān)控系統(tǒng)在數(shù)據(jù)存儲與安全，實時轉碼，視頻智能分析等方面具有自身獨特的技術優(yōu)勢。

3.1 數(shù)據(jù)存儲與安全

Hadoop分布式文件系統(tǒng)是現(xiàn)在主流的分布式文件系統(tǒng)之一，具有高容錯性，可以運行在低成本的計算機硬件基礎上。Hadoop分布式文件系統(tǒng)為讀寫數(shù)據(jù)提供了大吞吐量，可運行需要大量數(shù)據(jù)計算的應用程序，非常適合大規(guī)模視頻監(jiān)控系統(tǒng)的應用。

Hadoop分布式文件系統(tǒng)也采用了主從架構，它的集群是由一個Namenode和多個Datanode組成。Namenode是一個中心服務器，其主要負責管理文件系統(tǒng)的命名空間以及客戶端對文件的訪問操作。Datanode負責管理文件塊的創(chuàng)建、存儲和刪除，并且在Namenode的統(tǒng)一調度下進行文件塊的復制操作。

Hadoop分布式文件系統(tǒng)將每個文件分成一系列固定大小的數(shù)據(jù)塊，除了最后一個，所有的數(shù)據(jù)塊大小都為64MB。為了容錯，提高系統(tǒng)的可用性，存儲在 Datanode中文件的數(shù)據(jù)塊都會有副本。一般情況下，用戶的文件有3個副本，系統(tǒng)會將第一個副本放在本地節(jié)點上，將第二個副本放到同一機架的另外一個本地節(jié)點上，而將第三個副本放到云存儲系統(tǒng)不同機架的一個節(jié)點上。當某一節(jié)點的數(shù)據(jù)被破壞后，可以讀取其它節(jié)點的副本，提高數(shù)據(jù)的安全性，同時保證了系統(tǒng)的可靠性。