基于深度學習技術的人員行為異常檢測系統(tǒng)設計

本科畢業(yè)論文（設計）專用本科畢業(yè)論文（設計）論 文 題 目：基于深度學習技術的人員行為異常檢測系統(tǒng)設計摘要隨著人工智能領域技術的不斷發(fā)展，人工智能與制造業(yè)的融合應用已具備一定的基礎。 現(xiàn)代工廠中人員基數(shù)較大，人員行為狀況復雜，發(fā)生突發(fā)意外事件的情況可能性較大，為 了方便企業(yè)對員工異常行為的判斷，提高工廠安防能力，本設計擬設計一款現(xiàn)代工廠作業(yè) 人員行為異常檢測系統(tǒng)。本設計利用深度學習技術，對數(shù)據(jù)進行訓練與驗證，依靠 open pose 框架對權重進行 設置，以達到視覺檢測的效果，使用 Open Pose 在做動作識別的時候可以有效的提高動作 識別度，增加視覺識別的準確性和數(shù)據(jù)交互能力。同時，利用 Open Pose 算法對目標進行 檢測與數(shù)據(jù)分析，并對所檢測的圖像中的人體骨架的關鍵信息點進行目標檢測和數(shù)據(jù)分析， 將算法檢測出的圖像中人體骨架進行信息關鍵點標注，將骨架關鍵點連接形成一個類似火 柴人的骨架，然后計算每一個關鍵點的夾角，以此來判斷人體動作的姿態(tài)顯示。本設計系統(tǒng)通過 Visual Studio Code 軟件搭載 python3.75 進行程序設計實現(xiàn)對人體姿態(tài) 識別，并進行了實驗驗證，通過實驗表明：本系統(tǒng)結(jié)構(gòu)簡單，設備需求量減小、數(shù)據(jù)集中， 系統(tǒng)穩(wěn)定性好，與傳統(tǒng)人體姿態(tài)識別方法相比，數(shù)據(jù)交互性強，使用成本較低，數(shù)據(jù)量較 小。關鍵詞：Open pose；姿態(tài)識別；人體姿態(tài)；目標檢測AbstractWith the continuous development of artificial intelligence technology, the fusion application of artificial intelligence and manufacturing industry has a certain basis. In modern factories, the personnel base is large, the personnel behavior is complex, and the possibility of accidents is large. In order to facilitate the enterprise to judge the abnormal behavior of employees and improve the factory security ability, this design intends to design a modern factory personnel behavior abnormal detection system.This design uses deep learning technology to train and verify data, and relies on open pose framework to set weights, so as to achieve the effect of visual detection. Open Pose can effectively improve the degree of motion recognition, increase the accuracy of visual recognition and the ability of data interaction when doing motion recognition. At the same time, the Open Pose algorithm was used for target detection and data analysis, and the key information points of human skeleton in the detected images were detected and data analysis. The key information points of human skeleton in the images detected by the algorithm were marked, and the skeleton key points were connected to form a skeleton similar to that of a match man, and then the included Angle of each key point was calculated. To judge the posture display of human movement.In this design system, the Visual Studio Code software is equipped with python3.75 for program design to realize the recognition of human posture, and the experimental verification is carried out. The experiment shows that: The system has the advantages of simple structure, reduced equipment demand, stable data, good system stability and strong data robustness. Compared with traditional human body posture recognition methods, the data interaction is strong, the use cost is low, and the data volume is small.Key words: Open pose；Gesture recognition；The body posture；Target detection目錄1 引論11.1 研究目的及意義11.2 國內(nèi)外研究現(xiàn)狀31.3 設計的主要內(nèi)容42 行為異常檢測系統(tǒng)總體方案52.1 系統(tǒng)需求與分析52.2 系統(tǒng)總體方案設計53 系統(tǒng)硬件設計63.1 硬件方案設計63.2 深度相機選型73.3 視覺板卡選型83.4 聲光報警裝置選型103.5 光源裝置選型114 行為異常檢測系統(tǒng)通訊設計134.1 通信協(xié)議的選擇134.2 深度相機與 JETSON NANO 板卡 TCP/IP 通訊134.3 深度相機與 JETSON NANO 板卡 CSI 通訊145 行為異常檢測系統(tǒng)軟件設計165.1 軟件方案設計165.2 數(shù)據(jù)采集185.3 數(shù)據(jù)集收集與圖片標注185.4 圖片預處理195.5 手部特征算法及程序設計225.6 身體特征算法及程序設計235.7 人體姿態(tài)識別算法及程序設計256 行為異常檢測276.1 識別權重準備276.2 檢測系統(tǒng)識別準備276.3 行為異常檢測系統(tǒng)297 結(jié)語33參考文獻34致謝35附錄36附錄一36附錄二421 引論1.1 研究目的及意義1.1.1 研究目的隨著經(jīng)濟發(fā)展，社會體系的逐步完善，社會治安的能力得到大幅度提升，在 2020 年11 月國家信息中心提出全觀智慧城市白皮書，首次提出全光智慧城市的發(fā)展理念。 隨著這一政策推出，各地方開始紛紛跟進“智慧城市”建設項目，由各大城市開始向鄉(xiāng)鎮(zhèn) 擴散。智慧城市是運用物聯(lián)網(wǎng)、云計算、大數(shù)據(jù)、空間地理信息集成等新一代信息技術， 促進城市規(guī)劃、建設、管理和服務智慧化的新理念和新模式。至 2010 起年我國安防行業(yè)總收入已達 2350 億元，并逐年快速增長態(tài)勢。2013 年我國安防行業(yè)總收入達到 3800 億元。到了 2016 年我國安防行業(yè)總收入達到了 5400 億元，截止至 2017 年底，我國安防企業(yè)數(shù)量大約有 2.1 萬家，行業(yè)總收入增長至突破 6000 億元， 年均增長 14.4%，全行業(yè)實現(xiàn)增加值 1960 億元，年均增長 12.7%。2018 年我國安防行業(yè) 總收入將達到 6678 億元左右。2020 年我國安防行業(yè)總收入將突破 8000 億元，達到了 8212億元左右，如圖 1.1 所示。圖 1.1 視覺市場分析智能安防市場空間廣闊，視頻監(jiān)控高增速。AI 技術賦予安防感知和認知能力，從人 臉識別、視頻行為分析到后端有效數(shù)據(jù)的提取及挖掘，協(xié)助解決安防場景中諸多復雜、動 態(tài)問題，推動安防行業(yè)智能化發(fā)展。據(jù)預測，全球智能視頻監(jiān)控市場 2020-2025 年復合增1速為 7.1%，2025 年市場規(guī)模將達到 318 億美元，如圖 1.2 所示。圖 1.2 視覺市場規(guī)模示意圖由于深度學習算法在在語音和圖像識別領域的重大突破，通過攝像頭識別人臉開始成 為現(xiàn)實。伴隨安防監(jiān)控系統(tǒng)的越發(fā)龐大，監(jiān)控數(shù)據(jù)也隨之而來，針對視頻監(jiān)控的中出現(xiàn)的 行為異常時間的檢測與事故發(fā)生的誘導因素，這需要安防人員時時刻刻的觀察各個監(jiān)控數(shù) 據(jù)，但是人的精力是有限的，無法時時刻刻保持高度集中的注意力進行觀察各監(jiān)控數(shù)據(jù)， 因此會產(chǎn)生各種因素導致漏檢與誤檢等情況，從而導致安防能力下降。如今，工廠人員密 集，人員活動范圍變大，在此過程中突發(fā)的異常行為事件就變得各式各樣，有的行為異常 很難去辨認，甚至難以察覺，如此以來，大大的增加了視頻監(jiān)控技術的技術難度。針對這 種情況本設計提出一種基于深度學習技術的現(xiàn)代工廠作業(yè)人員行為異常檢測系統(tǒng)設計，用 以輔助監(jiān)控人員的工作，以此減少監(jiān)控工作人員壓力提高安防能力。5G 帶來了網(wǎng)絡環(huán)境的全新變革，多項智慧城市的標準體系的落地、加上 AI 技術條 件的逐漸成熟，智慧城市建設有望將進入快車道。人工智能改變了機器視覺在物理世界朝 數(shù)字世界轉(zhuǎn)換的方式，這兩大技術在安防領域的融合應用，目前正在構(gòu)成“5G+AI+安防” 的全新的組合，助推視頻監(jiān)控行業(yè)邁向超高清、AI 智能的新階段。1.1.2 研究意義異常事件檢測技術（或者稱為行為異常檢測技術）的研究能不斷推進智能化技術的發(fā) 展，這對促進社會和諧意義重大。在社會治安方面;可以對視頻監(jiān)控地點進行實時監(jiān)控， 當檢測點發(fā)生打架，搶劫，斗毆等做出有違社會治安穩(wěn)定的異常行為時通過視覺檢測進行 判斷其異常行為模式并及時向相關部門進行數(shù)據(jù)交互提醒，以此可以大幅度提升該地區(qū)安 防效率，有效避免惡性事件的發(fā)生；在交通監(jiān)管方面，行人橫穿馬路，發(fā)生車禍，都可以 通過行為異常檢測技術進行監(jiān)控識別；在工廠生產(chǎn)方面，能檢測出檢測區(qū)的作業(yè)人員發(fā)生9跌倒，違規(guī)攀爬，碰撞和突發(fā)性的異常行為動作進行報警提示，使監(jiān)控人員第一時間注意 到，并給予解決，在關鍵時刻甚至可以挽救工作人員的生命；行為異常檢測技術也可以運 用于商場，小區(qū)，銀行，景點園區(qū)，博物館等場景，通過及時有效的檢測監(jiān)控中的異常行 為，降低突發(fā)事件造成的危害。將視頻識別與動作檢測，這種高效的行為異常檢測技術運 用在安防技術上，能減少人力物力 ，對群眾與社會治安提供一定量的保障。所以，對針 對這種行為異常檢測算法的研究顯得極為急迫和重要。1.2 國內(nèi)外研究現(xiàn)狀1.2.1 國外研究現(xiàn)狀 人工智能技術通過搭載著大數(shù)據(jù)時代的帆船得到了飛速的發(fā)展，監(jiān)控安防系統(tǒng)也越來越智能化普及化，如圖 1.3 所示。研究人員基于這個實驗，發(fā)現(xiàn)動作和骨骼關鍵點的關系， 于是開始針對骨骼關鍵點進行研究。2019 年曾經(jīng)開源 Open Pose 的卡內(nèi)基梅隆大學（CMU） 公布了 ICCV 2019 論文 Single-Network Whole-Body Pose Estimation，提出一種在單一網(wǎng) 絡實現(xiàn)全人體姿態(tài)估計的算法，相對 Open Pose 大幅提高了速度。在 Open Pose 只能達到 幀率 1.6 fps 的圖像上，該文提出的算法運行幀率可達到 13.2 fps，且精度還有改進。相對 與原來的人體姿態(tài)估計，即對人體軀干、人臉、手部都進行姿態(tài)估計，這可以通過先檢測 人體軀干關鍵點，然后再針對人臉和手部進行單獨的關鍵點定位實現(xiàn)，這種方法需要多個 姿態(tài)估計網(wǎng)絡，速度并不快。 卡內(nèi)基梅隆大學在 Open Pose 算法框架下，使用單一網(wǎng)絡 實現(xiàn)全人體的姿態(tài)估計并在論文 Open Pose: reatime multi-person 2D pose estimation using Part Affinity Fields 基礎上進行了改進，將原本人臉、手部 Part Affinity Fields 直接合并進 入人體的 Part Affinity Fields， 進行多任務學習，實現(xiàn)上述功能。圖 1.3 全球視覺市場規(guī)模分布圖1.2.2 國內(nèi)研究現(xiàn)狀2022 年由國內(nèi)蘇波，柴自強，王莉7等學者提出針對人體姿態(tài)估計模型 Open Pose 計 算量大、檢測速度慢等問題，提出了一種改進 Open Pose 模型，替換其主干網(wǎng)絡為八度卷 積與 Mobile Net 融合而成的 Oct - Mobile Net，并優(yōu)化縮減預測階段的重復分支。實驗表 明，改進模型的計算量降低為原來的 12%且檢測速度提升 300%。應用改進 Open Pose 模 型提取標準視頻與測試視頻的姿態(tài)向量時間序列，其中姿態(tài)向量由關鍵點坐標經(jīng)歸一化處 理后組合得到。采用姿態(tài)向量之間的余弦距離表征單幀動作相似度，通過動態(tài)時間規(guī)整算 法計算標準序列與測試序列之間的累積距離作為序列整體相似度。該評分方法計算復雜度 低且適用于視頻 時長不一致的情況，在八段錦健身動作評估中取得了較好應用效果，具 有一定的推廣應用價值，如圖 1.4 所示。1.3 設計的主要內(nèi)容圖 1.4 姿態(tài)估計本文提出了一種基于深度學習技術的人員行為異常檢測系統(tǒng)設計，通過了解深度學習 技術的人員行為異常檢測系統(tǒng)的組成單元，首先對深度學習技術的人員行為異常檢測系統(tǒng) 進行功能分析，根據(jù)功能進行設備選型，選擇適當?shù)囊曈X板卡和深度相機等硬件，合理構(gòu) 建空連接布局。通過運用 Open pose 算法對讀取的圖像進行關鍵點識別方法，該方法通過輕量化 Open pose 對視頻流進行骨骼圖像提取，中間通過對得到的圖像進行姿態(tài)數(shù)據(jù)集標注，最 后再通過 COCO 模型對標注圖像進行分類訓練，將訓練出來的權重文件進行分類。根據(jù) 所需要的識別狀態(tài)更換合適的權重文件，然后利用 Python3.75 結(jié)合 Visual Studio Code 編 寫深度學習系統(tǒng)程序，最后通過識別檢測驗證程序調(diào)試，使深度相機可以實現(xiàn)實時的姿態(tài) 獲取，以檢測人體姿態(tài)。2 行為異常檢測系統(tǒng)總體方案2.1 系統(tǒng)需求與分析由于現(xiàn)在人工智能技術的發(fā)展，企業(yè)與公司對安防意識的需求增大，參考海康威視和 百度對視覺安防的技術攻堅，視覺安防得到了一定量的普及，人工智能視覺識別作為安防 監(jiān)控的能力得到大幅度提升。針對這一發(fā)展需求與時代發(fā)展趨勢，提出一種基于深度學習 技術的現(xiàn)代工廠作業(yè)人員行為異常檢測系統(tǒng)設計來實時監(jiān)測定位人體，判斷特殊時段、核 心區(qū)域是否有人員入侵；基于人體關鍵點信息，進行二次開發(fā)，識別特定的異常行為，及 時預警管控。學習技術的人員行為異常檢測系統(tǒng)，技術通過相機作為視覺采集裝置，在特定的工作 區(qū)域或指定的安裝位置進行數(shù)據(jù)采集，根據(jù)分析數(shù)據(jù)自動檢測區(qū)域內(nèi)是否存在異常行為， 來提高安防效率，可以通過不同場景的實際需求更換不同的采集設備與視覺處理設備來實 現(xiàn)不同類型的異常行為識別。2.2 系統(tǒng)總體方案設計通過在各工作地點內(nèi)安裝高清視覺攝像頭，實時監(jiān)控工作人員的工作狀態(tài)。通過以太 網(wǎng)通信，將攝像頭的數(shù)據(jù)畫面實時傳播給 Jetson Nano 板卡進行視覺處理，通過算法的深度 學習將視頻中的人分為若干個點，在拼合運用模型將人體進行姿態(tài)估計，形成一個由多個 關鍵點合成的人體骨架并更具視頻傳輸回來的畫面進行實時更新用以檢測，當工作人員出 現(xiàn)異常行為，身體姿態(tài)發(fā)生變化，Jetson Nano 視覺處理檢測到行為異常的姿態(tài)輸出信號。 聲光報警器接收到信號后報警觸發(fā)，人體姿態(tài)示意實時在 PC 端顯示。方案如圖 2.1 所示圖 2.1 系統(tǒng)方案示意圖3 系統(tǒng)硬件設計3.1 硬件方案設計本設計主要由 4 個部分組成，分別是采集點，處理點，報警點，反饋點四個部分組成。 首先通過攝像頭進行目標進行圖像檢測，然后通過通訊進行數(shù)據(jù)交互，將數(shù)據(jù)給于視覺板 卡進行視覺處理。視覺板卡將得到的數(shù)據(jù)圖像通過 open pose 算法框架進行算法識別數(shù)據(jù) 通過對比已經(jīng)訓練好的權重進行數(shù)據(jù)驗證，然后通過顯示設備將圖像處理處理，圖片中每 一個都變成了一幅幅由多個關鍵目標數(shù)據(jù)信息點組成的一副火柴人形狀的人體骨架，然后 通過骨架去判斷人體姿態(tài)。當人體發(fā)生異常的時候算法會輸出一個信號，該信號經(jīng)過 Jetson Nano 內(nèi)置 I/O 口輸出信號，使報警裝置進行報警等工作提示，硬件方案如圖 3.13.2 所示。通過本方案的設計與需求的分析結(jié)合設計需求主要硬件產(chǎn)品表 3.1 所示；表3.1 硬件設計產(chǎn)品序列表產(chǎn)品名稱產(chǎn)品型號產(chǎn)品數(shù)量?？低曤p目行為分析攝像機DS-2CD8426F/B-I4英偉達視覺板卡Jetson Nano1聯(lián)想 TF 高速存儲卡專業(yè)版 128G1施耐 Schneider Electric 信號燈帶蜂鳴器Schneider XVR 多功能 LED 信號燈1圖 3.1 硬件設備整體連接示意圖3.2 深度相機選型圖 3.2 硬件設備控制連接示意圖傳統(tǒng)相機，僅支持普通監(jiān)控功能，脫離不了人員值守監(jiān)控范疇，不能減少人員疲勞， 松懈，短時間離開，無法支持照顧多點的常規(guī)缺陷。傳統(tǒng)監(jiān)控的圖像不能長時間顯示。攝 像機采集到的海量視頻圖像傳輸?shù)奖O(jiān)控中心后，值班人員很可能沒看到重要的異常情況。 因為缺乏智能因素，錄像數(shù)據(jù)無法被有效地分類存儲，數(shù)據(jù)工作非常耗時，人們很難獲得 全部信息。海康威視 DS-2CD8426F/B-I 200 萬深眸雙目行為分析攝像機，內(nèi)置高性能 GPU，內(nèi)嵌 專為視頻監(jiān)控場景設計、優(yōu)化的深度學習算法和雙目立體視覺算法，具備了比人腦更精準 的安防大數(shù)據(jù)歸納能力，可以實現(xiàn)穿越警戒線、徘徊、奔跑檢測、人數(shù)異常檢測、間距異 常檢測、劇烈運動檢測、離崗檢測、倒地檢測、滯留檢測等 9 項人工智能視覺檢測技術。 只需要將權重訓練好則無需二次配置，該設備采用人體仿生雙目式設計，可以像人眼由于 立體識別圖像而不是簡單的二維平面識別，如圖 3.3 所示。當設備供電開始工作時一對雙目鏡頭實時獲取同一目標檢測的場景并各自獨立生成 的兩幅圖像，通過自帶的數(shù)據(jù)計算，目標在同一個空間點時所生成的兩幅圖像的視覺差距”， 用以來定位該目標場景的深度，通過數(shù)據(jù)算法對圖片的目標檢測圖像進行生成一種立體結(jié) 構(gòu)的視圖,在雙目攝像頭在工作過程中識別到需要檢測的目標后，通過計算圖像對應點間位 置偏差，獲取目標的三維信息, 瞬間完成圖像獲取,大大提高了行為分析檢測的準確性。支 持手動標定、自動標定、智能標定三種標定方式 可滿足不同場景下的參數(shù)標定并且支持 單次報警或者定時循環(huán)報警功能和多種協(xié)議接入，方便和第三方系統(tǒng)集成。攝像機后端接口簡潔，包含 DC36V 電源接口、RJ45 10M/100M 自適應以太網(wǎng)口以及 1 路報警輸入/輸出、1 路音頻輸入/輸出，實測中功耗最大 27W，無需復雜的接線和配置， 安裝簡單便捷。通過傳統(tǒng)相機與深度相機進行對比，如表 3.2 所示。表3.2 傳統(tǒng)相機與深度相機傳統(tǒng)相機深度相機功能普通監(jiān)控功能視頻監(jiān)控，多傳感器協(xié)調(diào)應用脫離不了人員值守監(jiān)控范疇，不能減少帶有計算機人工智能分析功能，無需人人員疲勞，松懈，短時間離開員值守，所有值守均由計算機執(zhí)行報警只能監(jiān)控，出現(xiàn)警況只能事后回放，不實時預警，出現(xiàn)警況第一時間進行自動能及時預警報警回放回放視頻只能播放全部時刻錄像，費時可以根據(jù)多種條件線索智能檢索錄像，費力快速定位儲存錄像只能無差別存放，大量無效數(shù)據(jù)占報警數(shù)據(jù)和無效數(shù)據(jù)分類存放，可以根用空間，儲存服務器投資大據(jù)需要自動清理無效數(shù)據(jù)資料來源：辰啟智科所以本論文工業(yè)相機選型選擇?？低?DS-2CD8426F/B-I 的相機，其功能強，性價比 高，能實現(xiàn)本設計需求。3.3 視覺板卡選型圖 3.3 深度相機樹莓派 3B+是在 2018 年 pi 日（3 月 14 日）發(fā)售的目前為止樹莓派家族當中最新，性 能最強，也是功耗最高的一款產(chǎn)品=,Raspberry Pi 3 Model B +作為 Raspberry Pi 3 系列的最 終版本，擁有 1.4GHz 64 位 4 核 ARM Cortex-A53 CPU；1.4GHz 64 位 4 核 ARM Cortex-A53 CPU；千兆以太網(wǎng) over USB 2.0；1G LPDDR2；PoE 支持（Power-over-Ethernet，with PoE HAT）；改進 PXE 網(wǎng)絡與 USB 大容量存儲啟動，如圖 3.4 所示。圖 3.4 樹莓派 3B+板卡Jetson Nano 是一款功能強大的人工智能(AI)開發(fā)板，可助你快速入門學習 AI 技術， 并將其應用到各種智能設備。它搭載四核 Cortex-A57 處理器，128 核 Maxwell GPU 及 4GB LPDDR 內(nèi)存，擁有足夠的 AI 算力，可以并行運行多個神經(jīng)網(wǎng)絡，適用于需要圖像分類、 目標檢測、分割、語音處理等功能的 AI 應用。它支持 NVIDIA Jet Pack，其中包括用于深 度學習，計算機視覺，GPU 計算，多媒體處理，CUDA，CUDNN 和 TensorRT 等軟件庫， 以及其他一系列流行的 AI 框架和算法，比如 TensorFlow，PyTorch，Caffe / Caffe2，Keras， MXNet 等，如圖 3.5 所示。圖 3.5 Jetson Nano 視覺板卡1-SD 卡插槽；2-40 針膨脹針頭；3-MicroUSB 接口；4-以太網(wǎng)口；5-USB3.0 接口；6-HDMI 輸出 端口；7-視頻接口；8-供電口；9-攝像頭連接口；10-Poe 接口首先主板正中上面是一個很大的散熱片，1 是主存儲 SD 卡插槽；2 是 40 引腳的 CPIO；3 是個 5V2A 的 Micro USB 接口（可以使用電源供電，或者使用 PC 連接）；4 是一個 RJ45 千兆以太網(wǎng)接口；5 是 4 個 USB3.0 接口；6 是 1 個 HDMI 2.0 視頻接口；7 是顯示端口連 接器；8 是 5V 的 DC 供電口；9 是 MIPI CSI 攝像頭連接口；10 是 Poe 接口。一般看視頻 是推薦使用 5V4A 的 DC 供電方式（使用 DC 電源需要短接 J48 跳線帽），因為電源連接 這里可以開啟 15w 的高功率模式。據(jù)說 YoloV3 的應用，電流需要 2.9A 左右，如果連接右 下角的電源口，會讓 Nano 板不斷地發(fā)熱和重啟。通過市場常用的幾款板卡進行參數(shù)對比可知，如表 3.3 所示。表3.3 板卡參數(shù)對比表型號樹莓派 3B+Intel NCS2 神經(jīng)計算棒（僅模塊）Jetson Nano算力（INTB）-4TOPS7TOPS功耗1.4W2W10W算力/功耗-20.7重量42g77.8g249.47價格8509001500資料來源：芯板坊本論文設計的視覺系統(tǒng)核心在于深度學習算法，但是深度學習的訓練加速離不開算力 的支持，Jetson Nano 開發(fā)板是我目前主打深度學習方向的開發(fā)板。所以經(jīng)過對比分析我選 擇 Jetson Nano 開發(fā)板。3.4 聲光報警裝置選型Schneider XVR 多功能 LED 信號燈（內(nèi)置蜂鳴器），作為市場中暢銷的幾款信號燈， 他的功能不容置疑，尤其是 Harmony XVR 系列電動機旋轉(zhuǎn)信號燈及蜂鳴器是可視音頻信 號裝置，設計用于工廠應用、建筑車輛和公共區(qū)域。該 蜂鳴器信號燈提供 4 種不同的顏 色，并隨附可擴展照明區(qū)域的有小面的透鏡。 帶蜂鳴器的 XVR 信號燈獨特且美觀的設 計已獲得 2014 年 Red Dot 工業(yè)設計大獎。 由于靈活的電壓輸入、光模式選擇器和允許 直向和側(cè)面布線的集成橡膠基座，可以輕松安裝這些可視音頻信號裝置。且依托于電動機 LED 技術，使得使用壽命更長且免維護，可實現(xiàn)旋轉(zhuǎn)、閃光和閃爍 LED 等工作狀態(tài)。10 種照明模式使其易于使用且易于選擇寬電壓輸入，可滿足不同應用可以進行直向和側(cè)面布 線，如圖 3.6 所示。19圖 3.6 Schneider XVR 多功能 LED 信號燈簡單且易于安裝，無需使用任何工具。1m 時可調(diào)節(jié) 90 dB 蜂鳴器外部蜂鳴器音量在 70 dB 至 90 dB 范圍內(nèi)可調(diào)，提供綠色、紅色、橙色和藍色，獨特的美觀設計。有小面的 透鏡可擴展照明區(qū)域，集成橡膠基座可提高 IP 等級，高達 IP65 保護等級，取決于蜂鳴 器選項。7.1G 的高抗振性，CE 認證，且符合 ROHS 標準，通過 400 mm 飛線連接，截 面為 0.57 mm2。報警信號燈主要參數(shù)如表 3.4 所示。表 3.4 報警信號燈參數(shù)屬性數(shù)值電源電壓12 24 V 直流光效閃光，旋轉(zhuǎn)1m 距離外分貝90dB最小分貝70dB最大分貝90dB安裝樣式基座安裝透鏡顏色紅色資料來源：Schneider官網(wǎng)3.5 光源裝置選型光源從大類上可分為普通自然光和人造光源，由光照強度、色溫及光源的幾何形狀來 描述。在實際應用中，應優(yōu)先選擇明場照明方式，從而可以抑制自然光源及外界環(huán)境的干 擾。常用光源及相關特性如表 3.5 所示。表 3.5 主要光源類型及其特性類型光效(lm/W)平均壽命/(h)色溫/K特點鹵素燈1224100028003000發(fā)熱量大，價格便宜，形體小熒光燈501201500300030006000價格便宜，適用于大面積照射LED 燈110250100000全系列功耗低，發(fā)熱小，使用壽命長，價格便 宜，使用范圍廣氙燈1503301000550012000光照強度高，可連續(xù)快速點亮激光50000全系列具有良好的方向性、單色性與相干性其中熒光燈光源作為工廠中主要照明光源具有價格便宜，適用于大面積照射等優(yōu)點， 因此，常使用熒光燈作為照明光源。本課題將熒光燈作為檢測系統(tǒng)中識別作業(yè)人員的照明 光源。如圖 3.7 所示熒光燈。圖 3.7 大功率 LED 熒光燈 T5LED 熒光燈 T8LED 熒光燈4 行為異常檢測系統(tǒng)通訊設計4.1 通信協(xié)議的選擇根據(jù)實際設計需求，本設計針對相機類型自主選擇 TCP/IP 通訊協(xié)議或 MIPI CSI-2CSI (Camera Serial Interface)通訊協(xié)議。（1）CSI (Camera Serial Interface) 是 MIPI 定義的規(guī)范，用于連接攝像頭和 CPU，傳 輸攝像頭的視頻信號，最新的規(guī)范是 2012 發(fā)布的 CSI-3，使用的物理層為 M-PHY。而這 里要介紹的 CSI-2 規(guī)范在 2005 發(fā)布、使用 D -PHY 作為物理層。DSI(Display Serial Interface) 同樣基于 D- PHY，不同的是，它主要用于 host 將圖像傳輸給顯示設備。（2）TCP/IP 通訊協(xié)議 TCP/IP 是用于因特網(wǎng) (Internet) 的通信協(xié)議。 TCP/IP 通信協(xié) 議是對計算機必須遵守的規(guī)則的描述，只有遵守這些規(guī)則，計算機之間才能進行通信。互聯(lián)網(wǎng)進行通信時，需要相應的網(wǎng)絡協(xié)議，TCP/IP 原本就是為使用互聯(lián)網(wǎng)而開發(fā)制定 的協(xié)議族。因此，互聯(lián)網(wǎng)的協(xié)議就是 TCP/IP，TCP/IP 就是互聯(lián)網(wǎng)的協(xié)議。4.2 深度相機與 JETSON NANO 板卡 TCP/IP 通訊連接 nano 網(wǎng)卡槽進行以太網(wǎng)通訊，對以太網(wǎng)通過 IP 地址 mac 碼進行更改后進行連接 通信，當電腦與 nano 處于同一個網(wǎng)段時，即可實現(xiàn)通信。該通訊模式中，前面字節(jié)為 08，后面的字節(jié)為 00 或 06，表示 IP 包或 ARP 包，通過 網(wǎng)線進 IP 連接設置每個設備的 IP 與 mac 和 DNS 進行通信設置，因為以太網(wǎng)中所有的主機 共享一個通信信道，當局域網(wǎng)中的攝像頭任意一臺設備發(fā)出數(shù)據(jù)后，通過交換機該局域網(wǎng) 中的 nano 收到該數(shù)據(jù)。通過每一個設備對應的 IP 和 mac 去對應每一個相機傳輸?shù)臄?shù)據(jù)對 nano 進行數(shù)據(jù)交互，nano 讀取相機的內(nèi)容進行深度學習并通過網(wǎng)口反饋給顯示端口，如圖 4.1 所示。圖 4.1 TCP/IP 模型圖4.3 深度相機與 JETSON NANO 板卡 CSI 通訊深度相機是網(wǎng)絡設備，需要有通訊協(xié)議，原有的私有協(xié)議無法勝任產(chǎn)業(yè)合作模式，因 此行業(yè)標準化的接口由此而生。CSI 為單向傳輸，包括一個 clock lane 和一到四個的 data lane 組成，傳輸圖像數(shù)據(jù)。采 用 D -PHY 物理層協(xié)議。在物理層之上，即是 CSI 協(xié)議層，由三層構(gòu)成，每一層有著明確 的功能。這一層中，發(fā)送端接收來自應用層的像素數(shù)據(jù)，并打包成字節(jié)格式發(fā)送到下一層； 在接收端，解包來自 LLP 層的數(shù)據(jù)并傳輸?shù)綉脤?。該層的主要目的是將不同像素格?例如 YUYV, RGBA 等)都轉(zhuǎn)換成為 8bit 字節(jié)格式， 消除不同圖像格式差異，減少傳輸?shù)膹碗s度。例如，對于 RGB888 格式，一個 pixel 為 24 bit， 將轉(zhuǎn)換為三個字節(jié)；RGB565 格式，一個 pixel 為 16 bit，轉(zhuǎn)換為兩個字節(jié)。而對于 RGB444， 大小為 12 bit，需要通過 padding 變成 RGB565 格式，為兩個字節(jié)，如圖 4.2 所示。圖 4.2 CSI 協(xié)議層示意圖Low Level Protocol(LLP)層為 CSI 協(xié)議的主要功能層，不僅定義了包格式，還定義了 傳輸中使用的同步機制。在發(fā)送端，該層負責將上層傳輸過來的數(shù)據(jù)打包，添加校驗字段， 增加同步包，發(fā)送到下一層；在接收端首先校驗包的完整性，并解析各個字段，根據(jù)包類 型執(zhí)行對應操作，將圖像數(shù)據(jù)傳到上一層。LLP 處理的 play load 數(shù)據(jù)為經(jīng)過轉(zhuǎn)換后的純字 節(jié)數(shù)據(jù)，沒有像素概念。通過定義不同的的字段和包類型，實現(xiàn)一幀一幀圖像數(shù)據(jù)的傳輸。Jetson Nano 與?？狄曈X相機通訊代碼如下；import cv2import multiprocessing as mp num = 0def image_put(q, name, pwd, ip, channel):#cv2.namedWindow(ip, cv2.WINDOW_NORMAL) global urlurl="rtsp:/%s:%s%s:%s/Streaming/Channels/1" % (name, pwd, ip, channel)cap = cv2.VideoCapture(url)# 獲取視頻幀率fps = cap.get(cv2.CAP_PROP_FPS) print('fps: ', fps)#打印 fps 內(nèi)容if cap.isOpened(): print('HIKVISION1')print('camera ' + ip + " connected.") while cap.isOpened():ret, frame = cap.read()# 抓取圖片不成功再重新抓取if not ret:cap = cv2.VideoCapture("rtsp:/%s:%s%s:%s/Streaming/Channels/1" % (name, pwd, ip, channel) print('HIKVISION2')ret, frame = cap.read()frame = cv2.resize(frame, (800,600) cv2.imshow(ip,frame)# Press esc on keyboard toexit if cv2.waitKey(1) & 0xFF = 27:breakcap.release()# 解決進程問題def run_multi_camera():user_name, user_pwd = "admin", "a12345678" camera_ip_l = "10.16.14.151",ports = '556' mp.set_start_method(method='spawn')# initqueues = mp.Queue(maxsize=2) for _ in camera_ip_l processes = for queue, camera_ip,port in zip(queues, camera_ip_l,ports): processes.append(mp.Process(target=image_put,args=(queue,user_name, user_pwd, camera_ip,port)for process in processes: process.daemon = True process.start()for process in processes: process.join()if name = ' main ': run_multi_camera()5 行為異常檢測系統(tǒng)軟件設計本基于深度學習技術的現(xiàn)代工廠作業(yè)人員行為異常檢測系統(tǒng)設計通過 Visual Studio Code 軟件搭載 python3.75 進行程序設計，實現(xiàn)對人體姿態(tài)識別。5.1 軟件方案設計本軟件設計主要由編譯器，依賴包，庫環(huán)境，GPU 算力驅(qū)動組成。首先在 Github 上 下載 pytorch -open pose 壓縮包進行 open pose 學習框架搭建，然后安裝 Numpy，Matplotlib， Opencv -python，Scipy，Scikit -image，Tqdm 等依賴包文件對電腦庫環(huán)境進行配置，最后 搭載 python3.75 編譯器進行程序編譯與調(diào)試。通過在系統(tǒng)中安裝 VS 與 Visual Studio Code 作為程序設計軟件，配置軟件 pip 下載源地址使 Visual Studio Code 可以搜尋到所需要文件 因為程序中需要調(diào)用多種工具包和庫文件，所以需要針對 open pose 去安裝對應的工具包 與庫文件，使程序能正常運轉(zhuǎn)。當程序開始運前時需要根據(jù)處理器選擇 CUDA 版本與 CUDNN 版本。由于算力在計算 的時候需要很強的算力，所以需要安裝 CUDNN 來配置 torch 提高計算機算力，加快識別 進程。CUDNN 啟動后數(shù)據(jù)方式將會從 CPU 處理轉(zhuǎn)為 GPU 處理，理論上運行速度會提高 5 倍，如圖 5.1 所示。圖 5.1 CUDA 示意圖針對目前行為異常檢測這方面，常用的姿態(tài)估計算法 Alpha pose 與 open pose。首先 Alpha pose 是自上而下的算法，也就是先檢測倒人體，再得到關鍵點和骨架。因此他的準 確率、A p 值要比 open pose 高。但是缺點就是隨著圖片上的人數(shù)增加，他的計算量增大， 速度變慢。這一缺點注定他無法應用于多人的實時姿態(tài)識別，更適用于單人的精確識別， 從而不符合本設計需要滿足的工作條件。Open Pose 是基于卷積神經(jīng)網(wǎng)絡和監(jiān)督學習并以 caffe 為框架寫成的開源庫，可以實現(xiàn) 人的面部表情、軀干和四肢甚至手指的跟蹤，不僅適用于單人也適用于多人，同時具有較 好的魯棒性。最終結(jié)合兩則優(yōu)缺點選擇更貼合設計的 open pose 算法。軟件設計流程如圖 5.2 所示。圖 5.2 軟件設計流程圖5.2 數(shù)據(jù)采集由攝像頭對目標進行采集，將視頻進行取幀，圖片的清晰度將直接影響后期圖像識別 的精確度與識別速度。圖片的遮擋，目標點的缺失，關鍵信息點的重疊，圖像檢測的范圍 也將對后期的識別造成一定的影響。通過模擬人體姿態(tài)幾種情況進行識別測試，通過對采集的圖片進行判斷來判斷初期所 采集的圖片是否正常。以此來保障后期的權重訓練，提高精確度。舉例如圖 5.3 所示。圖 5.3 姿態(tài)動作舉例所識別的圖片的狀態(tài)與畫質(zhì)直接影響識別效果，圖片關鍵點缺失和圖片清晰度不夠?qū)?會導致位置關建點存在一定缺失，無法完全體現(xiàn)人體姿態(tài)情況，因此我在圖片采集的時候 需要避免這些問題。5.3 數(shù)據(jù)集收集與圖片標注打開標注精靈軟件，修改標注類別，如何開始標注，并保存在指定文件夾，如圖 5.4所示。由于標注完的輸出文件格式，還不是所需要的數(shù)據(jù)集格式，所以運行程序?qū)⑵滢D(zhuǎn)換成 所需的數(shù)據(jù)。主要實現(xiàn)代碼如下：import os,glob#調(diào)用庫，查找 glob 下的文件 LabelPaths = glob.glob('整合/*.json')#查找路徑文件 for LabelPath in LabelPaths:Print(LabelPath)#打印 LabelPath 的結(jié)果Name = os.path.basename(LabelPath).split('.')0cmd = 'labelme_json_to_dataset 0 -o 1'.format(LabelPath, Name) os.system(cmd)5.4 圖片預處理圖 5.4 標注精靈標注示意圖在相機進行采集處理的時候，相機必須穩(wěn)定，識別區(qū)域需要提前確定，環(huán)境不能相差 過大。不然識別效果會存在一定降低。識別圖像的特征的過程中，需要對采集圖片進行預 處理。由于剛處理的圖片還是一個空圖片，沒有進行特征提取，如圖 5.55.6 所示，所以 主要運行程序代碼如下；import cv2import numpy as np import mathimport timefrom scipy.ndimage.filters import gaussian_filter import matplotlib.pyplot as pltimport matplotlib import torchfrom torchvision import transforms#import utilfrom src import utilfrom src.model import bodypose_model class Body(object):def init (self, model_path): self.model = bodypose_model() if torch.cuda.is_available():self.model = self.model.cuda()model_dict = util.transfer(self.model, torch.load(model_path) self.model.load_state_dict(model_dict)self.model.eval()def call (self, oriImg):# scale_search = 0.5, 1.0, 1.5, 2.0scale_search = 0.5boxsize = 368stride = 8padValue = 128thre1 = 0.1thre2 = 0.05multiplier = x * boxsize / oriImg.shape0 for x in scale_search heatmap_avg = np.zeros(oriImg.shape0, oriImg.shape1, 19) paf_avg = np.zeros(oriImg.shape0, oriImg.shape1, 38)for part in range(18):map_ori = heatmap_avg:, :, partone_heatmap = gaussian_filter(map_ori, sigma=3) map_left = np.zeros(one_heatmap.shape) map_left1:, : = one_heatmap:-1, :map_right = np.zeros(one_heatmap.shape) map_right:-1, : = one_heatmap1:, : map_up = np.zeros(one_heatmap.shape) map_up:, 1: = one_heatmap:, :-1 map_down = np.zeros(one_heatmap.shape) map_down:, :-1 = one_heatmap:, 1: peaks_binary = np.logical_and.reduce(one_heatmap >= map_left, one_heatmap >= map_right, one_heatmap >= map_up, one_heatmap >= map_down, one_heatmap > thre1)peaks = list(zip(np.nonzero(peaks_binary)1, np.nonzero(peaks_binary)0)#29note reversepeaks_with_score = x + (map_orix1, x0,) for x in peaks peak_id = range(peak_counter, peak_counter + len(peaks)peaks_with_score_and_id = peaks_with_scorei + (peak_idi,) for i inrange(len(peak_id)all_peaks.append(peaks_with_score_and_id) peak_counter += len(peaks)# find connection in the specified sequence, center 29 is in the position 15# 按指定順序查找連接，中心 29 位于位置 15limbSeq = 2, 3, 2, 6, 3, 4, 4, 5, 6, 7, 7, 8, 2, 9, 9, 10, 10, 11, 2, 12, 12, 13, 13, 14, 2, 1, 1, 15, 15, 17, 1, 16, 16, 18, 3, 17, 6, 18# 中間關節(jié)熱圖相關性mapIdx = 31, 32, 39, 40, 33, 34, 35, 36, 41, 42, 43, 44, 19, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 47, 48, 49, 50, 53, 54, 51, 52, 55, 56, 37, 38, 45, 46圖 5.5 手部特征關鍵點圖 5.6 身體特征關鍵點5.5 手部特征算法及程序設計手部關鍵點檢測，旨在找出給定圖片中手指上的關節(jié)點及指尖關節(jié)點，一共 21 個關 鍵點，如圖 5.7 所示。其類似于面部關鍵點檢測(Facial Landmark Detection) 和人體關鍵點 檢測(Human Body Pose Estimation)。手部關鍵點檢測的應用場景包括：手勢識別、手語識 別與理解和手部的行為識別等。程序主要代碼如下；import cv2 import jsonimport numpy as np import mathimport timefrom scipy.ndimage.filters import gaussian_filter import matplotlib.pyplot as pltimport matplotlib import torchfrom skimage.measure import label from src.model import handpose_model from src import utilclass Hand(object):def init (self, model_path): self.model = handpose_model() if torch.cuda.is_available():self.model = self.model.cuda()model_dict = util.transfer(self.model, torch.load(model_path) self.model.load_state_dict(model_dict)self.model.eval()def call (self, oriImg): scale_search = 0.5, 1.0, 1.5, 2.0# scale_search = 0.5 boxsize = 368stride = 8padValue = 128thre = 0.05multiplier = x * box