一、傳統視頻質(zhì)量診斷系統定義
傳統視頻聯(lián)網(wǎng)行業(yè)中的視頻質(zhì)量診斷系統是一種圍繞視頻聯(lián)網(wǎng)系統，基于視頻圖像進(jìn)行故障分析與預警的系統（如圖1所示）。傳統視頻聯(lián)網(wǎng)系統中的攝像機都是采集視頻流，所以視頻聯(lián)網(wǎng)系統主要是圍繞視頻流（實(shí)況流和視頻錄像）進(jìn)行。隨著(zhù)人工智能技術(shù)在安防行業(yè)的廣泛應用，深度神經(jīng)網(wǎng)絡(luò )也逐漸應用于視頻質(zhì)量的診斷。
圖1 傳統視頻質(zhì)量診斷系統和視頻聯(lián)網(wǎng)系統的關(guān)系
隨著(zhù)卡口類(lèi)系統（人卡、車(chē)卡）的普及，攝像機可能不輸出視頻流或不僅僅輸出視頻流，還要輸出對象的結構化信息和圖片，然后在后端系統/平臺進(jìn)一步分析比對。由于前端攝像機智能算力和能力的不同，輸出的圖片質(zhì)量參差不齊，不一定能滿(mǎn)足后端系統/平臺的使用要求，所以視頻質(zhì)量診斷系統也需要滿(mǎn)足圖片質(zhì)量診斷的需求。如圖2所示，視頻質(zhì)量診斷系統逐步發(fā)展為現代視圖信息運維系統/平臺的一個(gè)子系統。從功能定位來(lái)看，視頻質(zhì)量診斷和預警確實(shí)是視圖信息運維系統/平臺的一個(gè)功能模塊，同時(shí)從視頻診斷的技術(shù)手段來(lái)看，對一個(gè)攝像機的視頻流進(jìn)行質(zhì)量診斷可能還需要用到設備信息和網(wǎng)絡(luò )狀態(tài)信息，從用戶(hù)應用角度來(lái)看，視頻診斷不僅只需要對實(shí)時(shí)視音頻流的質(zhì)量診斷，還需要對錄像設備（云存儲）、錄像質(zhì)量以及錄像的完整性進(jìn)行診斷和預警。圖2 集成于視圖信息運維系統/平臺之中的視頻質(zhì)量診斷系統
如圖1和圖2所示，傳統的視頻質(zhì)量診斷系統（包括集成于視圖信息運維系統/平臺中的視頻質(zhì)量診斷子系統）獨立于視頻聯(lián)網(wǎng)系統之外，所以視頻質(zhì)量診斷系統內部需要集成一個(gè)視頻聯(lián)網(wǎng)系統與被診斷視頻聯(lián)網(wǎng)系統使用GB/T 28181協(xié)議進(jìn)行互聯(lián)，以便對被診斷視頻聯(lián)網(wǎng)系統中的視頻流進(jìn)行診斷，同時(shí)又不能對被診斷視頻聯(lián)網(wǎng)系統的業(yè)務(wù)造成干擾?；谶@種互聯(lián)方式，傳統的視頻質(zhì)量診斷項目及其描述如表1所示。
表1 視頻診斷項目描述
診斷項目 | 描述 |
視頻丟失檢測 | 檢測因攝像機工作異常、損壞、人為惡意破壞或視頻傳輸異常而引起的間接性或持續性的視頻缺失現象。 |
畫(huà)面亮度異常檢測 | 檢測由于聚焦不當、鏡頭損壞、異物遮擋或人為蒙蔽引起的視野主體部分圖像亮度過(guò)亮、過(guò)暗或亮度不均勻。 |
畫(huà)面顏色異常檢測 | 檢測由于線(xiàn)路接觸不良、外部電磁干擾或攝像頭故障等原因造成的視頻畫(huà)面偏色。 |
畫(huà)面對比度異常檢測 | 檢測由于攝像機聚焦或圖像處理失調等原因導致視頻畫(huà)面對比度范圍過(guò)小等異常。 |
畫(huà)面凍結檢測 | 檢測由于攝像機工作異?；騻鬏斁€(xiàn)路異常等原因引起的視頻畫(huà)面不刷新而導致的視頻畫(huà)面長(cháng)時(shí)間停留于一幀畫(huà)面。 |
圖像模糊檢測 | 檢測攝像機鏡頭聚焦失調、攝像機畫(huà)面被樹(shù)葉等遮擋或攝像機朝向發(fā)生變動(dòng)等原因而導致的視頻畫(huà)面圖像細節模糊不清。 |
噪聲干擾檢測 | 檢測攝像機內部電路板受到損傷或者電磁干擾，或者模擬傳輸線(xiàn)纜接觸不良或者受到電磁干擾，或者攝像機內部圖像處理失當而產(chǎn)生的圖像噪聲。 |
強橫紋檢測 | 檢測攝像機內部電路受到損傷或干擾，或者模擬傳輸線(xiàn)路接觸不良，或者受到電磁干擾而導致的視頻畫(huà)面出現橫向的亮度或顏色異常條紋。 |
滾屏檢測 | 檢測攝像機內部電路受到損傷或電磁干擾，或者模擬傳輸線(xiàn)路線(xiàn)纜接觸不良或者受到電磁干擾而導致的視頻畫(huà)面出現的畫(huà)面上下滾動(dòng)現象。 |
場(chǎng)景變化檢測 | 檢測攝像機架設位置或朝向角度（水平朝向角度或豎直朝向角度）發(fā)生變化或者攝像機鏡頭被遮擋等原因而導致的采集整體畫(huà)面內容發(fā)生劇變。 |
畫(huà)面遮擋檢測 | 檢測攝像機鏡頭被樹(shù)葉等遮擋而導致的鏡頭聚焦失調畫(huà)面模糊現象。 |
實(shí)況調用失敗檢測 | 檢測對攝像機發(fā)起調用實(shí)況指令，但是并沒(méi)有建立起響應實(shí)況畫(huà)面。 |
云臺控制失效檢測 | 檢測攝像機接收云臺水平轉動(dòng)或垂直轉動(dòng)指令后，視頻畫(huà)面沒(méi)有跟隨發(fā)生響應變化，或者攝像機無(wú)法接收云臺控制指令等故障。 |
同理，若視圖信息運維系統/平臺中集成了卡口診斷子系統，需要對被診斷的卡口系統/視頻圖像信息應用系統使用GA/T 1400協(xié)議進(jìn)行級聯(lián)，同時(shí)為了支持必要的診斷功能，還需要進(jìn)行接口協(xié)議擴展。不管是卡口診斷還是視頻質(zhì)量診斷都需要獲得被診斷視頻聯(lián)網(wǎng)系統或被診斷卡口系統的設備資源列表及其設備目錄樹(shù)結構，這些信息都需要和被診斷系統互聯(lián)或級聯(lián)方式獲取得到。
同時(shí)為了運維視頻聯(lián)網(wǎng)錄像和圖片存儲系統（如云存儲），只能使用企業(yè)標準進(jìn)行互聯(lián)運維系統/平臺。若還需要進(jìn)一步獲取視圖應用系統的網(wǎng)絡(luò )拓撲結構、視頻聯(lián)網(wǎng)系統的連接拓撲結構以及視頻圖像信息應用系統的連接拓撲結構都需要對現有結構進(jìn)行擴展，然而這部分功能以及接口協(xié)議的擴展目前在視圖應用方面的國家標準和行業(yè)標準都還不支持，對行業(yè)內的系統間對接以及以視頻質(zhì)量診斷為代表的視圖運維系統/平臺的發(fā)展形成了制約。兩級視圖應用系統及其對應的視圖運維系統/平臺間的邏輯關(guān)系（如圖3所示）。傳統的視圖運維系統/平臺獨立于被運維的視圖應用系統（包括以視頻流互聯(lián)和應用為主的視頻聯(lián)網(wǎng)系統和以結構化信息和圖片互聯(lián)應用為主的視頻圖像信息應用系統）之外。視圖運維系統/平臺和被運維設備/系統/平臺之間的接口關(guān)系（如圖4所示）。使用現有的GB/T 28181接口、GA/T 1400的數據服務(wù)接口以及新定義的運維接口來(lái)收集運維信息。視圖運維系統/平臺為了對被運維的視頻聯(lián)網(wǎng)系統或視頻圖像信息應用系統進(jìn)行管理，其內部需要集成一個(gè)對應的視頻聯(lián)網(wǎng)系統或視頻圖像信息應用系統進(jìn)行互聯(lián)或級聯(lián)。注：（藍線(xiàn)表示支撐使用運維的GB/T 28181協(xié)議、GA/T 1400協(xié)議、及其擴展協(xié)議、企業(yè)級協(xié)議）
圖3 傳統視圖運維系統/平臺和被運維系統間邏輯關(guān)系圖圖4 傳統視圖運維系統/平臺與被運維設備/系統/平臺之間接口關(guān)系
下一代視圖運維系統/平臺和視圖應用系統之間的關(guān)系（如圖5所示）。在視頻聯(lián)網(wǎng)系統中增加視頻聯(lián)網(wǎng)運維管理模塊，在視頻圖像信息應用系統中增加視頻圖像信息運維管理模塊，其中視頻聯(lián)網(wǎng)運維管理模塊中包含視頻質(zhì)量診斷模塊，視頻圖像信息運維管理模塊中包含圖片質(zhì)量診斷模塊。注：藍線(xiàn)表示視頻聯(lián)網(wǎng)運維管理模塊和視頻圖像信息運維管理模塊提供的運維管理信息接口圖5 下一代視圖運維系統/平臺和視圖應用系統之間關(guān)系其核心思想是視頻聯(lián)網(wǎng)系統本身就可以了解視頻質(zhì)量等各種視頻聯(lián)網(wǎng)運維信息，視頻圖像信息應用系統本身也可以了解圖像質(zhì)量等各種視頻圖像信息運維信息。它們可以通過(guò)很少的算力資源收集得到這些信息，然后把這些信息通過(guò)GB/T 28181協(xié)議框架接口和GA/T 1400協(xié)議框架接口同步到視圖運維系統/平臺，同時(shí)同步到上級視圖應用系統。視圖應用系統之所以能實(shí)現運維管理功能，除了把運維管理信息同步給視圖運維系統/平臺之外，起始視圖應用系統本身為了維持其應用也需要收集這些運維管理信息，比如系統中的設備信息和設備目錄樹(shù)信息、視頻實(shí)況流的點(diǎn)播率、攝像機或采集設備在線(xiàn)率、視頻圖像質(zhì)量診斷情況以及統計情況、視頻錄像文件的完整性統計、抓拍人像圖片的姿態(tài)角度、圖片清晰度、抓拍目標ROI尺寸統計等，視圖應用系統本身也需要這些信息。如圖6所示，攝像機內部的ISP（Imaging Signal Processing）模塊中包含一系列的視頻圖像處理步驟。ISP的過(guò)程為Hot Pixel Correction->Demosaic->NoiseReduction->ShadingCorrection->GeomericCorrection->ColorCorrection->ToneCurveAdjustment->Edge Ehancement。圖6 攝像機內部ISP處理及相關(guān)流程示意圖比如只是ISP中的去噪處理模塊就可以對圖像中是否有噪聲、噪聲類(lèi)型以及噪聲程度進(jìn)行判斷和計算，而且現在的攝像機都是IPC，即輸出都是IP報文對視頻編碼碼流傳輸，即在傳輸環(huán)節排除網(wǎng)絡(luò )丟包的情況，不會(huì )對數字圖像質(zhì)量有任何影響，去噪處理模塊對視頻畫(huà)面中噪聲的判斷即為視頻質(zhì)量診斷系統對噪聲的判斷。再比如，ISP中的顏色校正模塊也是首先對視頻畫(huà)面中的整體顏色和各區域的顏色情況進(jìn)行統計計算，并根據白平衡情況進(jìn)行比較，分析得到整個(gè)畫(huà)面的顏色情況。該顏色判斷情況即通過(guò)視頻質(zhì)量診斷系統對顏色的判斷。視圖運維系統/平臺要實(shí)現如表1所列的各種視頻質(zhì)量情況的診斷，需要使用視頻圖像分析技術(shù)和深度神經(jīng)網(wǎng)絡(luò )推理技術(shù)對獲取的視頻流進(jìn)行解碼，需要耗費大量的算力資源。由于在整個(gè)視圖綜合應用體系中，視圖運維系統/平臺僅僅起到輔助作用，所以視圖應用系統才是核心應用。非核心運維系統的視頻質(zhì)量診斷算力消耗占據了整個(gè)視圖綜合應用體系的過(guò)多資源，所以整體的TCO比較低下。這種架構制約了行業(yè)的發(fā)展，行業(yè)急需一種TCO比較高的架構進(jìn)行革新，比如對視頻圖像質(zhì)量的判斷遷移到視圖應用系統的各個(gè)計算模塊中，甚至遷移到攝像機的ISP模塊。但這樣的革新需要對整個(gè)行業(yè)的架構慢慢調整，同時(shí)需要行業(yè)標準化機構的跟進(jìn)和規范化的推廣。
