本發(fā)明涉及車輛安全駕駛監(jiān)測，更具體的說是涉及一種輕量化多模態(tài)車輛行為的快速檢測方法。

背景技術(shù)：

1、近年來，隨著電子信息與通信技術(shù)的迅猛發(fā)展，駕駛輔助技術(shù)在不斷進(jìn)步。然而不同地區(qū)的道路和車輛智能化進(jìn)程不均，這給駕駛管理和車輛操作帶來了顯著的差異，也對人機共駕特征分析提出了新的挑戰(zhàn)。人機共駕是指在車輛部分自動化駕駛模式下，人類駕駛員與智能系統(tǒng)之間的協(xié)同操作，以完成特定區(qū)域內(nèi)的駕駛?cè)蝿?wù)。準(zhǔn)確分析和理解駕駛員的在途駕駛風(fēng)格，能夠提高智能系統(tǒng)對駕駛員狀態(tài)和操作的理解，進(jìn)而增強駕駛員與智能系統(tǒng)的實時匹配度，這不僅能提升駕駛效率，還有助于有效預(yù)防潛在的安全風(fēng)險。

2、車輛的駕駛過程需要駕駛員持續(xù)關(guān)注周圍車輛及道路狀況，但駕駛員可能會因廣播系統(tǒng)、道路標(biāo)識、乘客交流、車輛控制特性等因素分散注意力，智能車機和車輛智能控制系統(tǒng)的部署進(jìn)一步增加了駕駛操作的動態(tài)輔助與干擾，改變了駕駛員的注意力分配及道路交通事故的威脅因素。駕駛員注意力分配錯誤可能導(dǎo)致不當(dāng)?shù)鸟{駛行為，如不必要的急加速、急剎車或大幅轉(zhuǎn)向，這些錯誤可能導(dǎo)致傷害、事故甚至生命危險，同時也會造成經(jīng)濟(jì)損失。面對交通運輸需求的多樣性，包括通勤、休閑、運輸和緊急任務(wù)，事故風(fēng)險始終存在。在所有道路交通事故中，絕大多數(shù)是由于駕駛員、車輛或道路條件出現(xiàn)異常所致。此外，駕駛員的身體健康和精神狀態(tài)以及車輛操作性能，也會對駕駛行為產(chǎn)生影響。傳統(tǒng)的監(jiān)測系統(tǒng)依賴于車載自組織網(wǎng)絡(luò)（vanet）和類似的智能技術(shù)，通過復(fù)雜的車輛運動和操作規(guī)則評估駕駛員能力和車輛操作性。然而，這些方法依賴于嚴(yán)密的操作關(guān)聯(lián)設(shè)計和預(yù)設(shè)規(guī)則，當(dāng)遇到模擬數(shù)據(jù)不足或偶發(fā)事件時，可能無法準(zhǔn)確識別駕駛行為。因此，基于車載設(shè)備和路側(cè)設(shè)備，需要更強分析能力的綜合模型，以利用多模態(tài)數(shù)據(jù)，并減少對明確事件關(guān)聯(lián)規(guī)則設(shè)計的依賴，從而提高對不同類型駕駛行為和路況狀態(tài)的關(guān)聯(lián)分析能力。

3、目前，主流的駕駛風(fēng)格數(shù)據(jù)獲取方法主要包括兩種：一是基于主觀調(diào)查，通過預(yù)先設(shè)計的調(diào)查問卷獲取駕駛風(fēng)格數(shù)據(jù)，并從中提取所需的駕駛特征參數(shù)進(jìn)行分析；二是基于客觀檢測，通過駕駛模擬器或?qū)嶋H車輛路側(cè)檢測器獲取駕駛數(shù)據(jù)，并進(jìn)行后續(xù)處理進(jìn)行駕駛行為分析。主觀調(diào)查存在駕駛員對問卷理解程度和表達(dá)欲的不同，可能導(dǎo)致結(jié)果偏差，并且無法連續(xù)獲取詳細(xì)的駕駛數(shù)據(jù)；另一方面，客觀檢測方法雖然能夠更精確地量化駕駛行為，但仍然受到預(yù)設(shè)的測試條件和設(shè)備的限制。針對現(xiàn)代交通的復(fù)雜場景和多樣化的駕駛員需求，傳統(tǒng)方法難以滿足駕駛行為分析的任務(wù)需求。因此，如何提供一種輕量化多模態(tài)車輛行為的快速檢測方法是本領(lǐng)域技術(shù)人員亟需解決的問題。

技術(shù)實現(xiàn)思路

1、有鑒于此，本發(fā)明提供了一種輕量化多模態(tài)車輛行為的快速檢測方法，采用實時通信方法對多角度的同一目標(biāo)進(jìn)行信息收集，通過分析從多源方法收集到的實時車路檢測數(shù)據(jù)信息，建立多模態(tài)車輛行為檢測網(wǎng)絡(luò)，實現(xiàn)對每個車輛行駛行為的連續(xù)分析。

2、為了實現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：

3、一種輕量化多模態(tài)車輛行為的快速檢測方法，包括以下步驟：

4、s1、駕駛員按照自身偏好駕駛車輛在實驗場景中完成駕駛作業(yè)，實時并連續(xù)收集駕駛作業(yè)過程中的車路協(xié)同數(shù)據(jù)，得到車載狀態(tài)量信息和路側(cè)狀態(tài)量信息；

5、s2、對s1中采集的數(shù)據(jù)進(jìn)行預(yù)處理，包括一維信號數(shù)據(jù)的歸一化和二維圖像數(shù)據(jù)的窗口化；

6、s3、以原始resnet-152作為基準(zhǔn)模型，通過遷移學(xué)習(xí)建立多層神經(jīng)網(wǎng)絡(luò)，多層神經(jīng)網(wǎng)絡(luò)中每一個單層神經(jīng)網(wǎng)絡(luò)對應(yīng)檢測不同的行駛?cè)蝿?wù)，以全連接層和雙向長短期記憶分類網(wǎng)絡(luò)建立行駛行為分類網(wǎng)絡(luò)，聯(lián)合多層神經(jīng)網(wǎng)絡(luò)以及行駛行為分類網(wǎng)絡(luò)得到基準(zhǔn)多模態(tài)車輛行為檢測網(wǎng)絡(luò)；

7、s4、將預(yù)處理后的數(shù)據(jù)輸入基準(zhǔn)多模態(tài)車輛行為檢測網(wǎng)絡(luò)，將基準(zhǔn)多模態(tài)車輛行為檢測網(wǎng)絡(luò)中每一個單層神經(jīng)網(wǎng)絡(luò)的輸出與對應(yīng)行駛?cè)蝿?wù)的原始神經(jīng)網(wǎng)絡(luò)的輸出進(jìn)行對比，計算其三維間距，得到遷移學(xué)習(xí)性能評價結(jié)果；

8、s5、根據(jù)改進(jìn)規(guī)則對基準(zhǔn)多模態(tài)車輛行為檢測網(wǎng)絡(luò)中的單層神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化，計算單層神經(jīng)網(wǎng)絡(luò)的多個優(yōu)化結(jié)果，將多個優(yōu)化結(jié)果與遷移學(xué)習(xí)性能評價結(jié)果進(jìn)行交叉熵比較，選擇最優(yōu)的優(yōu)化結(jié)果作為對應(yīng)單層神經(jīng)網(wǎng)絡(luò)的調(diào)優(yōu)結(jié)果，對所有單層神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)優(yōu)，得到最終多模態(tài)車輛行為檢測網(wǎng)絡(luò)；

9、s6、基于最終多模態(tài)車輛行為檢測網(wǎng)絡(luò)檢測行駛行為。

10、可選的，車載狀態(tài)量信息包括駕駛員狀態(tài)、駕駛員操作、踏板行程、踏板行程變化率、方向盤轉(zhuǎn)動角度與力度、車輛位置、車輛行駛速度、車輛加速度和車輛行駛方向變化，路側(cè)狀態(tài)量信息包括車輛行駛速度、行駛速度變化、行駛方向變化、車輛位置、車輛姿態(tài)、車輛與行駛環(huán)境的關(guān)系。

11、可選的，對多元輸入信號整體進(jìn)行并行歸一處理，對原始輸入整體建立信號矩陣 std( σ)，對單個一維信號處理由數(shù)據(jù)的歸一化具體表示：

12、；

13、式中， a s為標(biāo)準(zhǔn)化值， s為步長時間，當(dāng)前信號的對應(yīng)實際輸入值為 t s，多維輸入整體均值為 mean( μ)， std.deviation( σ)為信號矩陣在當(dāng)前單個一維信號中的分量；

14、二維圖像數(shù)據(jù)的窗口化具體為：

15、；

16、通過對當(dāng)前圖像 x劃分為橫縱維度范圍均為1~x的窗口 t y與 n y，借助 t y與 n y對圖像 x的維度 d xy進(jìn)行窗格化處理最終得到窗格分割的圖像 d xy。

17、可選的，采用全連接網(wǎng)絡(luò)層搭建注意力模塊改進(jìn)傳統(tǒng)雙向長短期記憶分類網(wǎng)絡(luò)。

18、可選的，s4具體為：

19、s41、得到基準(zhǔn)多模態(tài)車輛行為檢測網(wǎng)絡(luò)中單層神經(jīng)網(wǎng)絡(luò)的輸出評價權(quán)重矩陣 w q；

20、s42、得到與單層神經(jīng)網(wǎng)絡(luò)對應(yīng)的原始神經(jīng)網(wǎng)絡(luò)的輸出 w k；

21、s43、計算 w q與 w k之間的三維間距：

22、；

23、式中， d mixed( w q, w k)為 w q與 w k之間的三維間距， m表示矩陣的寬度維度范圍， j∈[1, m]， n表示矩陣的長度維度范圍， k∈[1, n]， i表示矩陣的深度， l對應(yīng)前 i-1個深度為標(biāo)量信號處理結(jié)果，第 i個深度表示圖像輸入與對應(yīng)的輸出矩陣，為 l層矩陣的( j，k)位置對應(yīng)輸入量的元素，為 l層矩陣的( j，k)位置對應(yīng)輸出量的元素，為第 i層矩陣的( j， k)位置對應(yīng)輸入量的元素，為第 i層矩陣的( j，k)位置對應(yīng)輸出量的元素，對多維間距分別計算標(biāo)量輸入與圖像輸入，前 i-1個標(biāo)量信號各自輸入的間距通過計算對應(yīng)與的間距并求均方根得到，對于圖像輸入，單獨按照窗格化結(jié)果對窗格內(nèi)目標(biāo)信息差異進(jìn)行計算。

24、可選的，s5具體為：

25、s51、分別基于參數(shù)維度縮放、參數(shù)橫向調(diào)整、參數(shù)縱向調(diào)整與內(nèi)部參數(shù)調(diào)整四種改進(jìn)規(guī)則對基準(zhǔn)多模態(tài)車輛行為檢測網(wǎng)絡(luò)中的單層神經(jīng)網(wǎng)絡(luò)進(jìn)行優(yōu)化；

26、s52、計算所有優(yōu)化后的單層神經(jīng)網(wǎng)絡(luò)的輸出與 w k之間的三維間距；

27、s53、將所有三維間距與遷移學(xué)習(xí)性能評價結(jié)果進(jìn)行交叉熵比較；

28、s54、在最匹配的三個優(yōu)化結(jié)果之間選擇最優(yōu)的優(yōu)化結(jié)果，替換基準(zhǔn)多模態(tài)車輛行為檢測網(wǎng)絡(luò)中對應(yīng)單層神經(jīng)網(wǎng)絡(luò)，實現(xiàn)單層神經(jīng)網(wǎng)絡(luò)調(diào)優(yōu)；

29、s55、對所有單層神經(jīng)網(wǎng)絡(luò)進(jìn)行調(diào)優(yōu)，得到最終多模態(tài)車輛行為檢測網(wǎng)絡(luò)。

30、可選的，四種改進(jìn)規(guī)則均包括增廣與收縮兩個變化方向，其中參數(shù)維度縮放、參數(shù)橫向調(diào)整、參數(shù)縱向調(diào)整在增廣與收縮兩個變化方向都有三級變化量，內(nèi)部參數(shù)調(diào)整只進(jìn)行收縮驗證。

31、可選的，預(yù)處理后的數(shù)據(jù)被分為標(biāo)記數(shù)據(jù)集和未標(biāo)記數(shù)據(jù)集，未標(biāo)記數(shù)據(jù)集用于單層神經(jīng)網(wǎng)絡(luò)調(diào)優(yōu)，標(biāo)記數(shù)據(jù)集用于對調(diào)優(yōu)后的單層神經(jīng)網(wǎng)絡(luò)進(jìn)行驗證。

32、經(jīng)由上述的技術(shù)方案可知，與現(xiàn)有技術(shù)相比，本發(fā)明提供了一種輕量化多模態(tài)車輛行為的快速檢測方法，具有以下有益效果：

33、1.本發(fā)明針對多模態(tài)信息行駛場景，在缺乏高精度地圖與大量系統(tǒng)性數(shù)據(jù)的情況下，以任務(wù)為導(dǎo)向，利用典型動態(tài)因素作為分類條件，通過對相鄰層的二維連續(xù)執(zhí)行任務(wù)的關(guān)聯(lián)交互及單個操作任務(wù)的分類特征進(jìn)行反向融合，生成了多層整體的一系列豐富的模擬規(guī)則分類需求與數(shù)據(jù)需求特征，實現(xiàn)了對人操作車輛通過區(qū)域的整個行駛行為的細(xì)化分類，是一種新的多模態(tài)行駛行為分類方法；

34、2.不同于傳統(tǒng)的多級傳感器和多類神經(jīng)網(wǎng)絡(luò)的簡單疊加，本發(fā)明采用多個關(guān)聯(lián)模態(tài)的傳感器數(shù)據(jù)，通過交叉驗證提升多個傳感器的精度，利用關(guān)聯(lián)估計識別潛在的異常和數(shù)據(jù)缺失，借助多輸入的并行理解得到當(dāng)前條件下的真實檢測信息，并對個別偏差信息進(jìn)行校正，借助預(yù)測標(biāo)準(zhǔn)信息與真實檢測結(jié)果得到更接近真實情況的檢測結(jié)果分布情況，從而提升真實場景下目標(biāo)檢測與狀態(tài)檢測的精度和穩(wěn)定性；

35、3.本發(fā)明適用于少樣本模型訓(xùn)練，在數(shù)據(jù)獲取或標(biāo)注成本較高等大樣本數(shù)據(jù)利用受限的情況下，通過前向傳播生成仿真數(shù)據(jù)，并結(jié)合真實獲取數(shù)據(jù)的噪聲分布特性，生成更具泛化性的補充數(shù)據(jù)。同時，對多級關(guān)聯(lián)傳感器引入交叉限制，獲得符合真實情況的輸入信號補充。結(jié)合多個檢測的真實檢測結(jié)果分布特性，實現(xiàn)對所有相關(guān)數(shù)據(jù)的充分利用和擴(kuò)充，提升數(shù)據(jù)的可學(xué)習(xí)性；

36、4.本發(fā)明基于小樣本車端數(shù)據(jù)和路側(cè)標(biāo)注數(shù)據(jù)與大量的未標(biāo)注檢測數(shù)據(jù)，借助小樣本所包含的任務(wù)需求，對駕駛員操作、車輛反饋和道路行駛狀態(tài)的變化進(jìn)行深入的檢測特征融合分析，提出一種新的多模態(tài)數(shù)據(jù)分類網(wǎng)絡(luò)建立與動態(tài)參數(shù)調(diào)整方法。