本公開屬于智慧教育領(lǐng)域，具體涉及一種教師上下課狀態(tài)檢測方法、裝置和系統(tǒng)。

背景技術(shù)：

1、確保教師高效率的進(jìn)行教學(xué)活動是提升教育質(zhì)量的重要一環(huán)。傳統(tǒng)的教學(xué)監(jiān)督方法主要依賴人工簽到、巡查或點(diǎn)名，這些方法費(fèi)力耗時，無法自動進(jìn)行，效率極低。并且獲得的主要是考勤數(shù)據(jù)，很難針對教學(xué)質(zhì)量提升目標(biāo)進(jìn)行智能化分析，給出針對性改進(jìn)意見。

2、基于視覺檢測的方法可以通過講臺區(qū)域是否有人判斷教師是否上課從而可以自動化的獲取教師上下課狀態(tài)數(shù)據(jù)。但是該方法當(dāng)教師離開講臺區(qū)域授課或講臺區(qū)域出現(xiàn)非授課老師等異常情況時準(zhǔn)確率很低。

技術(shù)實(shí)現(xiàn)思路

1、本公開實(shí)施例提出了一種教師上下課狀態(tài)檢測方案，避免了現(xiàn)有教師上下課監(jiān)督方案無法自動進(jìn)行，對獲取的數(shù)據(jù)難以進(jìn)行智能分析或準(zhǔn)確率不高的問題。

2、本公開實(shí)施例的第一方面提供了一種教師上下課狀態(tài)檢測方法，包括：

3、獲取教學(xué)區(qū)域的視頻圖像數(shù)據(jù)，確定提示詞集合和教師上下課狀態(tài)檢測大模型；

4、將所述視頻圖像數(shù)據(jù)輸入所述教師上下課狀態(tài)檢測大模型，從所述提示詞集合中基于第一預(yù)設(shè)規(guī)則選擇提示詞，基于所述提示詞獲取所述教師上下課狀態(tài)檢測大模型輸出的教師上下課狀態(tài)數(shù)據(jù)，其中，所述教師上下課狀態(tài)檢測大模型由用于圖像理解的多模態(tài)大模型優(yōu)化而成；

5、基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)，并按第二預(yù)設(shè)規(guī)則執(zhí)行對應(yīng)措施。

6、在一些實(shí)施例中，所述確定提示詞集合和教師上下課狀態(tài)檢測大模型包括：

7、獲取教師授課質(zhì)量的目標(biāo)評估模式，基于所述目標(biāo)評估模式確定預(yù)設(shè)的提示詞集合和對應(yīng)的教師上下課狀態(tài)檢測大模型。

8、在一些實(shí)施例中，所述從所述提示詞集合中基于第一預(yù)設(shè)規(guī)則選擇提示詞之前，還包括：

9、確定用于幫助所述多模態(tài)大模型進(jìn)行圖像理解以生成所述教師上下課狀態(tài)數(shù)據(jù)的提示詞，所述提示詞組成所述提示詞集合。

10、在一些實(shí)施例中，所述教師上下課狀態(tài)檢測大模型由用于圖像理解的多模態(tài)大模型優(yōu)化而成包括：

11、選擇符合所述目標(biāo)評估模式的教學(xué)視頻數(shù)據(jù)，對教師上下課狀態(tài)檢測大模型進(jìn)行微調(diào)，生成適用于所述目標(biāo)評估模式的教師上下課狀態(tài)檢測大模型；和/或

12、基于所述教學(xué)區(qū)域的教學(xué)視頻數(shù)據(jù)對用于圖像理解的預(yù)訓(xùn)練多模態(tài)大模型進(jìn)行訓(xùn)練，生成所述教師上下課狀態(tài)檢測大模型。

13、在一些實(shí)施例中，所述基于所述教學(xué)區(qū)域的教學(xué)視頻數(shù)據(jù)對用于圖像理解的預(yù)訓(xùn)練多模態(tài)大模型進(jìn)行訓(xùn)練包括：

14、獲取不同教師在不同教室上課的視頻圖像數(shù)據(jù)并進(jìn)行人工標(biāo)注，其中，所述標(biāo)注至少包括與所述提示詞對應(yīng)的文本描述；

15、基于標(biāo)注后的視頻圖像數(shù)據(jù)對用于圖像理解的預(yù)訓(xùn)練多模態(tài)大模型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，生成所述教師上下課狀態(tài)檢測大模型。

16、在一些實(shí)施例中，所述基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)并按第二預(yù)設(shè)規(guī)則執(zhí)行對應(yīng)措施包括：

17、獲取所述教師的課程信息；

18、基于所述教師上下課狀態(tài)數(shù)據(jù)和所述課程信息確定所述教師與所述目標(biāo)評估模式對應(yīng)的評估指標(biāo)的評估指標(biāo)值；

19、匯總并分析所述評估指標(biāo)值，并對預(yù)設(shè)評估指標(biāo)未達(dá)到設(shè)定標(biāo)準(zhǔn)的所述教師根據(jù)第二預(yù)設(shè)規(guī)則提出改進(jìn)措施。

20、在一些實(shí)施例中，所述評估指標(biāo)值包括教學(xué)互動率數(shù)據(jù)，其中，所述教學(xué)互動率數(shù)據(jù)由所述教師上下課狀態(tài)檢測大模型基于所述教師在所述視頻圖像數(shù)據(jù)中活動軌跡的變化確定。

21、在一些實(shí)施例中，所述教學(xué)互動率數(shù)據(jù)由所述教師上下課狀態(tài)檢測大模型基于所述教師在所述視頻圖像數(shù)據(jù)中活動軌跡的變化確定包括：

22、從預(yù)設(shè)提示詞集合中選擇與確定教師位置檢測框相關(guān)的提示詞，所述教師上下課狀態(tài)檢測大模型基于所述提示詞提取所述教師在每個視頻幀圖像中的坐標(biāo)數(shù)據(jù)；

23、基于所述坐標(biāo)數(shù)據(jù)，按第三預(yù)設(shè)規(guī)則確定所述教師在課堂上的活動區(qū)域，并在連續(xù)的所述視頻幀圖像中基于所述活動區(qū)域確定所述教師的活動軌跡；

24、分析所述活動軌跡的變化，基于第四預(yù)設(shè)規(guī)則給出相應(yīng)的教學(xué)互動率分值。

25、本公開實(shí)施例的第二方面提供了一種教師上下課狀態(tài)檢測裝置，包括：

26、數(shù)據(jù)獲取模塊，用于獲取教學(xué)區(qū)域的視頻圖像數(shù)據(jù)，確定提示詞集合和教師上下課狀態(tài)檢測大模型；

27、狀態(tài)評估模塊，用于將所述視頻圖像數(shù)據(jù)輸入所述教師上下課狀態(tài)檢測大模型，從所述提示詞集合中基于第一預(yù)設(shè)規(guī)則選擇提示詞，基于所述提示詞獲取所述教師上下課狀態(tài)檢測大模型輸出的教師上下課狀態(tài)數(shù)據(jù)，其中，所述教師上下課狀態(tài)檢測大模型由用于圖像理解的多模態(tài)大模型優(yōu)化而成；

28、數(shù)據(jù)分析模塊，用于基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)，并按第二預(yù)設(shè)規(guī)則執(zhí)行對應(yīng)措施。

29、本公開實(shí)施例的第三方面提供了一種教師上下課狀態(tài)檢測系統(tǒng)，包括與圖像獲取設(shè)備和教務(wù)系統(tǒng)數(shù)據(jù)連接的教師上下課狀態(tài)檢測設(shè)備，

30、所述圖像獲取設(shè)備用于獲取教學(xué)區(qū)域的視頻圖像數(shù)據(jù)；

31、所述教師上下課狀態(tài)檢測設(shè)備包含教師上下課狀態(tài)檢測大模型，所述教師上下課狀態(tài)檢測大模型獲取所述視頻圖像數(shù)據(jù)并基于提示詞生成教師上下課狀態(tài)數(shù)據(jù)；

32、所述教師上下課狀態(tài)檢測設(shè)備還用于基于從所述教務(wù)系統(tǒng)獲取的課程信息以及所述教師上下課狀態(tài)數(shù)據(jù)確定與目標(biāo)評估模式對應(yīng)的教師上下課評估指標(biāo)值。

33、綜上所述，本公開各實(shí)施例提供的教師上下課狀態(tài)檢測方法、裝置和系統(tǒng)，通過定制的教師上下課狀態(tài)檢測大模型對教室上課視頻基于提示詞進(jìn)行教師上下課狀態(tài)評估，可以自動獲取并搜集教師上下課狀態(tài)評估指標(biāo)值并且可以與教務(wù)系統(tǒng)對接，自動匯總，針對教學(xué)活動薄弱項(xiàng)智進(jìn)行能化分析，提出改進(jìn)措施。同時所述教師上下課狀態(tài)檢測大模型是對用于圖像理解的多模態(tài)大模型針對特定目標(biāo)評估模式微調(diào)優(yōu)化而成，因此針對特定目標(biāo)評估模式比單純的基于視覺檢測的方法可以獲得更準(zhǔn)確的評估結(jié)果。

技術(shù)特征：

1.一種教師上下課狀態(tài)檢測方法，其特征在于，包括：

2.根據(jù)權(quán)利要求1所述方法，其特征在于，所述確定提示詞集合和教師上下課狀態(tài)檢測大模型包括：

3.根據(jù)權(quán)利要求2所述方法，其特征在于，所述從所述提示詞集合中基于第一預(yù)設(shè)規(guī)則選擇提示詞之前，還包括：

4.根據(jù)權(quán)利要求2所述方法，其特征在于，所述教師上下課狀態(tài)檢測大模型由用于圖像理解的多模態(tài)大模型優(yōu)化而成包括：

5.根據(jù)權(quán)利要求4所述方法，其特征在于，所述基于所述教學(xué)區(qū)域的教學(xué)視頻數(shù)據(jù)對用于圖像理解的預(yù)訓(xùn)練多模態(tài)大模型進(jìn)行訓(xùn)練包括：

6.根據(jù)權(quán)利要求2所述方法，其特征在于，所述基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)并按第二預(yù)設(shè)規(guī)則執(zhí)行對應(yīng)措施包括：

7.根據(jù)權(quán)利要求6所述方法，其特征在于：

8.根據(jù)權(quán)利要求7所述方法，其特征在于，所述教學(xué)互動率數(shù)據(jù)由所述教師上下課狀態(tài)檢測大模型基于所述教師在所述視頻圖像數(shù)據(jù)中活動軌跡的變化確定包括：

9.一種教師上下課狀態(tài)檢測裝置，其特征在于，包括：

10.一種教師上下課狀態(tài)檢測系統(tǒng)，包括與圖像獲取設(shè)備和教務(wù)系統(tǒng)數(shù)據(jù)連接的教師上下課狀態(tài)檢測設(shè)備，其特征在于：

技術(shù)總結(jié)
本公開屬于智慧教育領(lǐng)域，具體涉及一種教師上下課狀態(tài)檢測方法、裝置和系統(tǒng)。其中所述方法包括：獲取教學(xué)區(qū)域的視頻圖像數(shù)據(jù)，確定提示詞集合和教師上下課狀態(tài)檢測大模型；將所述視頻圖像數(shù)據(jù)輸入所述教師上下課狀態(tài)檢測大模型，從所述提示詞集合中基于第一預(yù)設(shè)規(guī)則選擇提示詞，基于所述提示詞獲取所述教師上下課狀態(tài)檢測大模型輸出的教師上下課狀態(tài)數(shù)據(jù)；基于所述教師上下課狀態(tài)數(shù)據(jù)分析所述教師的上下課狀態(tài)，并按第二預(yù)設(shè)規(guī)則執(zhí)行對應(yīng)措施。本公開提供了一種高度自動化、智能化、準(zhǔn)確地教師授課質(zhì)量評價方法。

技術(shù)研發(fā)人員：李瑋,李強(qiáng),張姝
受保護(hù)的技術(shù)使用者：德清瀚海智能科技有限公司
技術(shù)研發(fā)日：
技術(shù)公布日：2024/10/21