1. <tr id="bhwsb"></tr>
    1. <tr id="bhwsb"></tr>
      <menuitem id="bhwsb"></menuitem>

      <output id="bhwsb"></output>

      一種基于視頻流的行人運動速度智能感知方法與流程

      文檔序號:24543658發布日期:2021-04-02 10:52
      一種基于視頻流的行人運動速度智能感知方法與流程

      本發明涉及機器視覺及深度學習技術領域,具體地涉及一種基于視頻流的行人運動速度智能感知方法。



      背景技術:

      針對監控攝像頭下的行人進行檢測、跟蹤、空間位置定位以及實時運動速度計算等智能感知,對于幫助建立智能安防、解放人力具有重要意義。

      傳統的依靠外置的傳感器或者穿戴在行人身上的外部物件來獲取目標行人運動信息的方法用戶體驗不佳,采用基于視覺的智能算法可以實現無接觸式的行人空間信息感知及運動速度計算,但在精度方面,受限于圖像坐標系到空間坐標系轉換模型精度,尤其容易受行人檢測框精度的影響。



      技術實現要素:

      針對現有技術的不足,本發明提供了一種基于視頻流的行人運動速度智能感知方法。

      本發明的目的是通過以下技術方案實現的:一種基于視頻流的行人運動速度智能感知方法,包括以下步驟:

      步驟一,采集攝像頭下的標定圖片并進行攝像頭標定,獲取監控攝像頭的內部參數和外部參數,建立圖像坐標系到世界坐標系的坐標轉換模型;

      步驟二,根據流媒體協議獲取監控攝像頭實時視頻流,采用行人檢測模型及多目標跟蹤模型進行行人檢測及跟蹤,輸出行人id及檢測框,得到圖像坐標系下的行人粗定位結果;

      步驟三,根據步驟二中的行人檢測框獲取行人圖片,輸入訓練好的人體部件分割模型進行行人部件分割,獲取圖像坐標系下的行人腳點精定位結果;

      步驟四,根據行人腳點在圖像坐標系下的像素信息,結合步驟一建立的坐標轉換模型進行坐標轉換計算,得到行人以地平面為二維平面xy軸且垂直于地面為z軸的空間坐標信息;將所述空間坐標信息結合行人跟蹤算法,獲取間隔幀下的目標行人空間位置移動距離,再結合間隔幀時間,計算行人運動速度。

      進一步地,所述攝像頭標定的方法包括獲取攝像頭內部參數和外部參數,內部參數由棋盤格標定法獲取,包括內參矩陣mc和畸變系數dist,外部參數采用arucomarker二維碼標定布結合所述監控攝像頭的內部參數利用pnp方法進行解算,包括旋轉矩陣r和平移矩陣t;

      進一步地,步驟三包括如下子步驟:

      (3.1)根據步驟二的行人粗定位結果,從監控攝像頭實時視頻流的原始圖像幀中切分出所有行人圖片進行批處理,然后輸入訓練好的人體部件分割模型進行行人分割,輸出行人部件分割結果;

      (3.2)根據行人分割結果判斷視頻幀圖像中是否包含行人腳點,如果不包含行人腳點,則不進行坐標轉換計算;若包含行人腳點,則通過尺度換算轉換到原始視頻圖像幀的像素坐標,再根據行人腳點像素的下邊界結果修正行人檢測框的下邊框,輸出修正后行人檢測框的左下角與右下角連線的中點,作為行人腳點精定位輸出值。

      進一步地,所述人體部件分割模型的訓練過程為:采用ppssdataset作為訓練集,輸入人體部件分割模型,采用隨機梯度下降方式進行訓練,設置初始學習率為0.03,并以線性衰減的學習策略來更新學習率,當訓練次數或者損失函數的達到閾值后,完成對人體部件分割模型的訓練。

      進一步地,所述行人運動速度計算過程為:

      其中,表示id為i的行人在第n-k幀時的地面二維坐標系下的橫坐標,表示id為i的行人在第n-k幀時的地面二維坐標系下的縱坐標,表示id為i的行人在第n幀時的地面二維坐標系下的橫坐標,表示id為i的行人在第n幀時的地面二維坐標系下的縱坐標,f為視頻流幀頻率,k為間隔幀數。

      與現有技術相比,本發明具有如下有益效果:采用無接觸式的智能感知方法,利用坐標轉換模型實現空間位置信息解算并結合視頻流幀間隔時間計算行人的運動速度;在圖像坐標系到空間坐標系轉換中,模型精度受限于行人腳點位置信息,而僅采用行人檢測模型的得到的檢測框比較粗糙,且在行人遮擋情況下,行人檢測框給出的行人下邊界并不是真實的行人的腳點位置的下邊界,容易造成較大誤差;在行人檢測輸出的檢測框的基礎上采用行人部件分割網絡進行人體部件分割,可以進行行人腳點判斷并獲得圖像坐標系下更精準的像素級的行人腳點位置;從而可以得到更精確的行人空間位置,后續的行人運動速度感知的計算精度也相應的有所提升,精度可以達到厘米級。

      附圖說明

      圖1為本發明基于視頻流的行人運動速度智能感知方法流程圖。

      具體實施方式

      如圖1為本發明基于視頻流的行人運動速度智能感知方法流程圖,所述行人運動速度智能感知方法包括如下步驟:

      步驟一,采集攝像頭下的標定圖片并進行攝像頭標定,獲取監控攝像頭的內部參數和外部參數,建立圖像坐標系到世界坐標系的坐標轉換模型;

      制作內角點為11*8的棋盤格標定板,并采集不同位置、不同角度、不同姿態下的約20張左右的棋盤格標定圖片;檢測棋盤格標定圖片的角點,并在此基礎上尋找亞像素角點,對于檢測出的角點數小于88的圖片進行剔除,根據張氏標定法進行攝像頭標定,獲取攝像頭內參矩陣mc和畸變系數dist,采用反向投影誤差進行精度判斷,并根據畸變系數進行畸變矯正,輸出矯正優化后的攝像頭的內部參數;

      采用aruco二維碼字典生成用于外參標定的二維碼marker并制作標定布,標定布上的二維碼marker數量為5*5,每個marker的長度為50cm,marker之間的間隔也是50cm,選取比較大的marker尺寸是為了滿足監控攝像頭能夠識別監控視域內較遠處的二維碼標志點。將二維碼標定布平整的放置于地面,采集圖片并檢測標定圖片中的二維碼標志點,當檢測出的二維碼標志點大于等于4個時,獲取標志點的像素坐標,結合攝像頭內部參數進行pnp解算,計算攝像頭旋轉矩陣r和平移矩陣t,獲取攝像頭的外部參數。

      根據室內監控場景下部署的監控攝像頭的視場范圍,建立以地平面為二維平面x軸和y軸、垂直于地面為z軸的三維世界坐標系,并選取適當的參考點作為坐標原點。結合攝像頭內部參數和外部參數,建立圖像坐標系和世界坐標系的轉換關系:由p-1·p=e可以得到:

      從而得到二維圖像坐標系到三維世界坐標系的轉換公式:

      其中,zc表示相機坐標,[u,v]表示圖像像素坐標,[xw,yw,zw]表示行人目標所在的世界坐標,r表示監控攝像頭旋轉矩陣,t表示監控攝像頭平移矩陣,mc表示監控攝像頭內參矩陣。對于未知參數zc求解如下:

      r-1·t=p2,由第三行為1可以得到:zc·p1[2]=zw·p2[2],由此得到zc=(zw+p2[2])/p1[2];

      上述二維圖像坐標系到三維世界坐標系的所有參數均已求出,并將求出的圖像坐標系下的行人腳點的坐標[u,v]帶入,且令三維世界坐標系中的垂直于地面坐標軸為zw=0,即可得到行人在空間坐標系下坐標輸出結果。

      步驟二,根據流媒體協議獲取監控攝像頭實時視頻流,幀率為25fps,分辨率為1920*1080;采用行人檢測模型及多目標跟蹤模型進行行人檢測及跟蹤,輸出行人id及檢測框,得到圖像坐標系下的行人粗定位結果;

      所述行人檢測模型采用yolov3算法,主干網絡為darknet53;預處理后的輸入圖片尺寸為416*416,網絡輸出的檢測框為[(13*13)+(26*26)+(52*52)]*3=10647個,然后采用非極大抑制nms算法對輸出的檢測框進行后處理,并根據設置的閾值及置信度進行邊框篩選,得到行人檢測的輸出;

      所述多目標跟蹤模型采用基于deepsort的多目標跟蹤算法進行行人持續跟蹤,首先采用卡爾曼濾波器對行人的運動狀態進行估計,并根據當前幀的檢出框位置與卡爾曼濾波器預測的位置的馬氏距離進行運動信息關聯;外觀信息關聯首先采用基于resnet50的行人reid特征提取網絡進行外觀特征提取,特征維數為512,然后采用歐氏距離進行相似度計算,并通過設置的閾值進行關聯成功與否的判斷,最終結合運動特征和外觀特征兩種關聯進行線性加權作為最終的關聯結果;當檢測框中沒有匹配到任何跟蹤器中的目標,則認為可能出現新目標,若連續3幀該新目標的卡爾曼預測結果都能與檢測結果匹配,將該目標的跟蹤器加入到跟蹤列表中,分配新的id,如果已跟蹤的目標連續超過3幀沒有匹配到檢測框,并且通過設置最大存活周期來判斷是否該目標進行刪除,從而實現連續幀視頻圖像下的多行人持續跟蹤,得到行人id。

      步驟三,根據步驟二中的行人檢測框獲取行人圖片,輸入訓練好的人體部件分割模型進行行人部件分割,獲取圖像坐標系下的行人腳點精定位結果;

      所述人體部件分割模型采用語義分割網絡deeplabv3+,主干網絡采用輕量級網絡mobilenetv2,所述分割模型包含編碼器模塊和解碼器模塊,編碼器模塊通過多層卷積層串聯進行特征提取,然后通過空洞空間金字塔池化模塊獲取多尺度特征;解碼器模塊采用雙線性差值進行兩次上采樣,其中第一次上采樣融合了解碼器模塊網絡中的具有相同分辨率特征的底層特征,通過兩次上采樣后分割網絡可以輸出恢復到原始輸入尺寸的特征像素。所述人體部件分割模型的訓練過程為:采用ppssdataset作為訓練集,輸入人體部件分割模型,采用隨機梯度下降方式進行訓練,設置初始學習率為0.03,并以線性衰減的學習策略來更新學習率,當訓練次數或者損失函數的達到閾值后,完成對人體部件分割模型的訓練,本領域技術人員可以采用softmaxloss損失函數作為人體部件分割模型的損失函數。

      步驟三具體包括如下子步驟:

      (3.1)根據步驟二的行人粗定位結果,從監控攝像頭實時視頻流的原始圖像幀中切分出所有行人圖片進行批處理,將n*c*h*w輸入訓練好的人體部件分割模型中進行行人分割,輸出行人部件分割結果,其中n為單幀圖像中的行人目標個數,c為輸入圖像的通道數:c=3,h為圖像高:h=160,w為圖像寬:w=80,經過特征編碼單元得到降維后的語義特征圖,然后經過特征解碼單元兩次上采樣后恢復到原圖輸入分辨率的特征,特征像素值的取值集合為{0,1,2,3,4,5,6,7},分別代表人體部件:頭發、臉、上身、手臂、下身、腿、腳以及背景;

      (3.2)經過訓練好的人體部件分割模型處理后可以在行人檢測框的基礎上進一步得到人體像素級別的細粒度語義分割結果,從而進一步對行人檢測框進行修正;根據行人分割結果判斷視頻幀圖像中是否包含行人腳點,如果不包含特征值6(6標志行人腳點像素值),說明當前行人不存在腳點行人腳點,則不進行坐標轉換計算;應當說明的是,對于不存在腳點的情形可能是因為行人之間的遮擋現象,當目標再次出現時我們可以根據行人跟蹤算法進行持續跟蹤,并根據記錄的時間間隔和移動距離進行后續的行人移動速度的計算。若包含行人腳點,則通過尺度換算轉換到原始視頻圖像幀的像素坐標,再根據行人腳點像素的下邊界結果修正行人檢測框的下邊框,輸出修正后行人檢測框的左下角與右下角連線的中點,作為行人腳點精定位輸出值。

      步驟四,根據行人腳點在圖像坐標系下的像素信息,結合步驟一建立的坐標轉換模型進行坐標轉換計算,得到行人以地平面為二維平面xy軸且垂直于地面為z軸的空間坐標信息;將所述空間坐標信息結合行人跟蹤算法,獲取間隔幀下的目標行人空間位置移動距離,再結合間隔幀時間,計算行人運動速度。

      (4.1)根據行人檢測框及行人部件分割網絡確定的行人腳點在圖像坐標系下的二維圖像坐標[u,v],結合步驟一建立的圖像坐標系到世界坐標系的轉換模型得到:帶入相應的參數,即可得到行人腳點在世界坐標系下的坐標[x,y,z];

      (4.2)結合行人跟蹤算法,可以得到連續間隔幀下的行人id及相應的行人空間坐標信息;理想情況下行人腳點在地面的高度為0,即z=0,所以可以得到行人腳點在以地平面為二維平面的xy軸坐標[x,y],假設對于持續跟蹤的行人其身份id為i,其在第n-k幀時的地面二維坐標下的坐標為在第n幀時的地面二維坐標系的坐標為視頻流幀率為f,k為間隔幀數;則當前幀第n幀的行人在二維平面的移動距離可以由歐式距離計算,結合間隔幀的時間,可以得到行人運動速度:通過消息中間件將行人目標id及行人運動速度發送給前端進行可視化顯示,從而完成基于視頻流的行人運動速度的智能感知。

      綜上所述,本申請利用部署在監控點的攝像頭獲取視頻流,采用無接觸式的視覺感知算法獲取目標行人的實時運動速度,對于靜止行人及行人運動速度過快等行為進行判斷,為監控場景下的行人智能感知系統提供有效的預警及定制化服務。通過攝像頭標定方法實現圖像坐標系到真實世界中的空間坐標系的坐標轉換,由于轉換精度受限于行人腳點在圖像坐標系下的定位結果,本發明在行人檢測框的基礎上采用人體部件分割模型進行進一步的腳點判斷及精定位,從而實現更精準基于攝像頭視頻流的行人運動速度智能感知。

      再多了解一些
      當前第1頁1 2 3 
      網友詢問留言 已有0條留言
      • 還沒有人留言評論。精彩留言會獲得點贊!
      1
      国产在线拍揄自揄视频不卡