课堂行为检测模型训练方法、课堂行为检测方法及系统

1.本发明涉及人工智能技术领域，特别是涉及课堂行为检测模型训练方法、课堂行为检测方法及系统。


背景技术：

2.本部分的陈述仅仅是提到了与本发明相关的背景技术，并不必然构成现有技术。
3.课堂行为是指在课堂上学生反应自身状态的动作和行为，学生上课时的专注度会随着课堂和自身状态改变，专注度较低时便会出现分神、睡觉等行为。传统的课堂上教师在教学过程中需要抽出时间和精力关注学生的学习状态以保证课堂秩序和学习效率，在自习室更加需要老师来查看和监督来保证学生的自习的效率。
4.中国发明专利cn110837795a基于课堂监控视频的教学情况智能监测方法、装置及设备，其虽然也能够实现教学情况的监测，但是该专利使用的是yolov3框架，其检测精度相对较低。


技术实现要素：

5.为了解决现有技术的不足，本发明提供了课堂行为检测模型训练方法、课堂行为检测方法及系统；本发明可以实时检测课堂行为并对监控人员提供预警，精准辨识学生听课、睡觉和举手行为，并对学生上课睡觉行为发出预警。
6.第一方面，本发明提供了课堂行为检测模型训练方法；
7.课堂行为检测模型训练方法，包括：
8.获取学生课堂行为样本数据，所述课堂行为样本数据为课堂行为图像；对课堂行为样本数据进行课堂行为标记；
9.对标记后的课堂行为样本数据进行预处理；
10.对预处理后的课堂行为样本数据按照比例划分为为训练集和测试集，将训练集输入到yolov7-cl模型中，对模型进行训练，得到初步训练模型；
11.将测试集输入到初步训练模型中，对模型进行测试，得到对测试结果进行评估，将评估符合设定要求的模型作为训练后的课堂行为检测模型。
12.第二方面，本发明提供了课堂行为检测模型训练系统；
13.课堂行为检测模型训练系统，包括：
14.第一获取模块，其被配置为：获取学生课堂行为样本数据，所述课堂行为样本数据为课堂行为图像；对课堂行为样本数据进行课堂行为标记；
15.预处理模块，其被配置为：对标记后的课堂行为样本数据进行预处理；
16.训练模块，其被配置为：对预处理后的课堂行为样本数据按照比例划分为为训练集和测试集，将训练集输入到yolov7-cl模型中，对模型进行训练，得到初步训练模型；
17.测试模块，其被配置为：将测试集输入到初步训练模型中，对模型进行测试，得到对测试结果进行评估，将评估符合设定要求的模型作为训练后的课堂行为检测模型。
18.第三方面，本发明提供了课堂行为检测方法；
19.课堂行为检测方法，包括：
20.获取待检测的学生课堂行为图像；
21.将待检测的学生课堂行为图像，输入到训练后的课堂行为检测模型中，输出学生课堂行为的识别结果。
22.第四方面，本发明提供了课堂行为检测系统；
23.课堂行为检测系统，包括：
24.第二获取模块，其被配置为：获取待检测的学生课堂行为图像；
25.识别模块，其被配置为：将待检测的学生课堂行为图像，输入到训练后的课堂行为检测模型中，输出学生课堂行为的识别结果。
26.第五方面，本发明还提供了一种电子设备，包括：
27.存储器，用于非暂时性存储计算机可读指令；以及
28.处理器，用于运行所述计算机可读指令，
29.其中，所述计算机可读指令被所述处理器运行时，执行上述第一方面所述的方法。
30.第六方面，本发明还提供了一种存储介质，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行第一方面所述方法的指令。
31.第七方面，本发明还提供了一种计算机程序产品，包括计算机程序，所述计算机程序当在一个或多个处理器上运行的时候用于实现上述第一方面所述的方法。
32.与现有技术相比，本发明的有益效果是：
33.本发明可以实时检测课堂行为并对监控人员提供预警，精准辨识学生听课、睡觉和举手行为，并对学生上课睡觉行为发出预警。本发明在教室环境精准捕获和识别课堂行为的动作，解决了因遮挡导致的漏检和因密集导致的错检或无法识别的技术问题。随着本发明对算法的优化更新，其辨识精度更一步提升。
34.在本发明中，yolov7-cl是指改进的yolov7，以与现有技术中的yolov7相区别。
35.本发明的yolov7-cl框架在保持速度优势的同时，相对于yolov3可以获得更高的检测精度，特别是在小目标检测方面表现更加优异。yolov7-cl在硬件加速的情况下，相对于yolov3可以获得更快的推理速度，其加速比可以达到2-3倍左右。
36.本发明使用的yolov7-cl可以通过使用自适应目标检测的方式，自动调整检测器的感受野大小，从而更好地适应不同大小的目标。yolov7-cl可以同时进行多个任务的训练，如目标检测和目标跟踪等，从而实现多个任务的联合学习。
37.本发明的yolov7-cl框架采用的是基于cspdarknet53的网络结构，可以自由调整网络深度和宽度，从而更好地适应不同的检测场景和硬件平台。yolov7-cl在网络结构上进行了优化，通过使用空间金字塔池化和特征级联等技术，可以更加有效地利用计算资源，提高计算效率。yolov7-cl提供了更加完善的训练和部署工具，可以更加方便地进行模型训练和部署，同时也提供了更加友好的api接口，方便用户进行二次开发和应用。
附图说明
38.构成本发明的一部分的说明书附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。
39.图1为实施例一yolo课堂行为系统的基本框架；
40.图2为实施例一标注后的课堂行为图像；
41.图3为实施例一yolov7-cl流程框图；
42.图4(a)为实施例一yolov7-cl网络结构图；
43.图4(b)为实施例一elan模块内部结构图；
44.图4(c)为实施例一mp-1模块内部结构图；
45.图4(d)为实施例一的第一cbm模块内部结构图；
46.图4(e)为实施例一的第一elan-w模块内部结构图；
47.图4(f)为实施例一的第一mp-2模块内部结构图；
48.图4(g)为实施例一的sppcspc模块内部结构图；
49.图5为实施例一最佳比例的map结果；
50.图6为实施例一最佳比例的iou结果；
51.图7为实施例一最佳比例的loss结果；
52.图8为实施例一最优的yolov7-cl模型实验结果。
具体实施方式
53.应该指出，以下详细说明都是示例性的，旨在对本发明提供进一步的说明。除非另有指明，本文使用的所有技术和科学术语具有与本发明所属技术领域的普通技术人员通常理解的相同含义。
54.需要注意的是，这里所使用的术语仅是为了描述具体实施方式，而非意图限制根据本发明的示例性实施方式。如在这里所使用的，除非上下文另外明确指出，否则单数形式也意图包括复数形式，此外，还应当理解的是，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
55.在不冲突的情况下，本发明中的实施例及实施例中的特征可以相互组合。
56.本实施例所有数据的获取都在符合法律法规和用户同意的基础上，对数据的合法应用。
57.实施例一
58.本实施例提供了课堂行为检测模型训练方法；
59.课堂行为检测模型训练方法，包括：
60.s101：获取学生课堂行为样本数据，所述课堂行为样本数据为课堂行为图像；对课堂行为样本数据进行课堂行为标记；
61.s102：对标记后的课堂行为样本数据进行预处理；
62.s103：对预处理后的课堂行为样本数据按照比例划分为训练集和测试集，将训练集输入到yolov7-cl模型中，对模型进行训练，得到初步训练模型；
63.s104：将测试集输入到初步训练模型中，对模型进行测试，得到对测试结果进行评估，将评估符合设定要求的模型作为训练后的课堂行为检测模型。
64.进一步地，所述s101，对课堂行为样本数据进行课堂行为标记，其中课堂行为包
括：听课、睡觉、手臂平放、手臂托腮、头部下垂、头部抬头、躯干弯曲和躯干挺直。
65.进一步地，所述s102，对标记后的课堂行为样本数据进行预处理，其中预处理，包括：对图像进行翻转、对图像的对比度进行调整和对图像加入高斯噪声。
66.进一步地，所述s103，对预处理后的课堂行为样本数据按照比例划分为为训练集和测试集，将训练集输入到yolov7-cl模型中，对模型进行训练，得到初步训练模型，其中，训练过程中，每一次迭代均保存对应的识别结果。
67.进一步地，所述s103，对预处理后的课堂行为样本数据按照比例划分为训练集和测试集，将训练集输入到yolov7-cl模型中，其中，yolov7-cl模型，包括：
68.依次连接的输入层、骨干层backbone和预测器head；
69.所述输入层，用于输入到检测的课堂行为图像；
70.所述骨干层backbone，用于对输入层的图像进行特征提取；
71.所述预测器head，用于对骨干层提取的特征进行分类。
72.进一步地，所述骨干层backbone，包括：依次连接的cbs1模块、cbs2模块、cbs3模块、第一elan模块、第一mp-1模块、第二elan模块、第二mp-1模块、第三elan模块、第三mp-1模块和第四elan模块。
73.进一步地，如图4(b)所示，所述第一elan模块、第二elan模块、第三elan模块的内部结构是一致的，其中，第一elan模块，包括：依次连接的cbs4模块、cbs5模块、cbs6模块、cbs7模块、cbs8模块、连接器l101、cbs9模块；cbs4模块的输入端还通过cbs10模块与连接器l101的输入端连接；cbs4模块的输出端还与连接器l101的输入端连接；cbs6模块的输出端还与连接器l101的输入端连接。
74.进一步地，如图4(c)所示，所述第一mp-1模块、第二mp-1模块、第三mp-1模块的内部结构是一致的，其中，第一mp-1模块，包括：并列的两个分支，第一分支和第二分支；所述第一分支，包括：依次连接的最大池化层和cbs11模块；所述第二分支，包括依次连接的cbs12模块和cbs13模块，cbs11模块的输出端和cbs13模块的输出端均与连接器l102的输入端连接，连接器l102的输出端与第一mp-1模块的输出端连接，第一分支的输入端和第二分支的输入端均与第一mp-1模块的输入端连接。
75.进一步地，如图4(a)所示，所述预测器，包括：
76.依次连接的sppcspc模块、cbs14模块、cbs15模块、第一上采样模块、连接器l103、第一elan-w模块、cbs16模块、cbs17模块、第二上采样模块、连接器l104和第二elan-w模块；
77.其中，sppcspc模块通过注意力模块cbam1与第四elan模块连接；连接器l103依次通过cbam2和cbs18模块与第三elan模块连接；连接器l104依次通过cbam3和cbs19模块与第二elan模块连接。
78.所述预测器head，还包括：依次连接的第一mp-2模块、连接器l105、第三elan-w模块、第二mp-2模块和连接器l106；所述第一mp-2模块与第二elan-w模块连接；连接器l105还与第一elan-w模块连接；连接器l106还与sppcspc模块连接；所述第二elan-w模块，还通过第一rep模块与第一cbm模块连接；
79.所述第三elan-w模块，还通过第二rep模块与第二cbm模块连接；所述连接器l106还通过第四elan-w模块与第三rep模块连接，第三rep模块与第三cbm模块连接。
80.进一步地，如图4(d)所示，所述第一cbm模块、第二cbm模块和第三cbm模块内部网
络结构是一致的，所述第一cbm模块，包括：依次连接的卷积层、批量归一化层和激活函数层。
81.进一步地，连接器l101、连接器l102、连接器l103、连接器l104和连接器l105均用于实现特征的串联拼接。
82.进一步地，如图4(e)所示，所述第一elan-w模块、第二elan-w模块、第三elan-w模块的内部结构一致，所述第一elan-w模块，包括：依次连接的cbs14模块、cbs15模块、cbs16模块、cbs17模块、cbs18模块、连接器l106和cbs19模块；所述cbs14模块的输入端还通过cbs20模块与连接器l106连接；所述cbs14模块的输出端与连接器l106连接；cbs15模块的输出端、cbs16模块的输出端、cbs17模块的输出端与连接器l106连接。
83.进一步地，所述第一rep模块、第二rep模块和第三rep模块的内部结构一致，所述第一rep模块，包括：依次连接的卷积层和批量归一化层。
84.进一步地，如图4(f)所示，所述第一mp-2模块与第二mp-2模块内部结构是一致的，所述第一mp-2模块，包括：依次连接的cbs20模块、cbs21模块和连接器l107；cbs20模块的输入端还通过最大池化层和cbs22模块与连接器l107连接。
85.进一步地，如图4(g)所示，所述sppcspc模块，包括：依次连接的cbs23模块、cbs24模块、cbs25模块、最大池化层m1、连接器l108、cbs26模块、cbs27模块、连接器l109和cbs28模块；所述cbs23模块的输入端通过cbs29模块与连接器l109连接，最大池化层m1还与最大池化层m2并联，最大池化层m1还与最大池化层m3并联。
86.进一步地，所述cbs1模块、cbs2模块、cbs3模块到cbs29模块的内部结构是一致的，其中，cbs1模块，包括：依次连接的卷积层、批量归一化层和激活函数层。
87.yolov7的网络架构分为backbone和head，backbone用于提取特征，head用于预测。而课堂环境下后排学生目标较小难以识别，网络模型的上层特征图拥有更宽阔的感受野，可以获取更多的信息，下层特征图具有较小的感受野和分辨率。因此增加额外通道数更小的卷积模块的小目标检测层。小目标检测层cbs15模块和cbs17模块对较浅特征图与深特征图拼接后进行检测。课堂环境下还有遮挡等情况，传统的nms算法，iou索引通常用于抑制冗余的检测框，其中iou会根据框的重叠区域进行抑制，而diou nms在进行抑制时不仅仅考虑重叠区域还考虑了两个检测框的中心点距离，根据检测框之间的中心距离判断是否为一个目标的检测框而不是重叠区域过多后像传统nms一样直接删除。
88.在加入了小目标检测层后，获取的特征信息变多，很多不必要的特征也被用于训练，本发明设计了一种基于cbam(convolutional block attention module)模块，调整通道数和空间数使其专注于重要特征，抑制不必要的特征，在给定特征图的情况下，注意力模块沿着通道和空间两个不同的维度顺序地推断关注图，然后将关注图与输入特征图相乘以进行自适应特征细化。
89.yolov7使用的backbone作为主干网络，在获取特征时有三个不同大小的卷积核，上层的网络层有着更广的感受野获取更多的信息，下层的网络层更深可以获得更多细节，所以加深网络层可以获得更小的目标的特征。课堂环境下还有遮挡等情况，传统的nms算法，iou索引通常用于抑制冗余的检测框，其中iou会根据框的重叠区域进行抑制，而diou nms在进行抑制时不仅仅考虑重叠区域还考虑了两个检测框的中心点距离，根据检测框之间的中心距离判断是否为一个目标的检测框而不是重叠区域过多后像传统nms一样直接删
除。注意力机制主要是用来完成信息筛选，从输入的大量特征信息中获取更有价值的特征信息，减少甚至消除对其他无用信息的关注度，并且传递给卷积堆栈。
90.进一步地，所述s103：对预处理后的课堂行为样本数据按照比例划分为为训练集和测试集，将训练集输入到yolov7-cl模型中，对模型进行训练，得到初步训练模型，训练过程中所使用的损失函数为同时考虑检测框和检测框中心距离的损失函数diou_nms：
[0091][0092]
其中，b表示预测框，b
gt
目标的中心点，ρ2表示计算真实框的中心点和预测框的中心点的欧氏距离，c表示包含真实框和预测框的并集区域对角线的距离。
[0093]
应理解地，在课堂行为数据集中，很多目标比较密集，存在检测对象间遮挡的问题，默认的非极大值抑制算法会删去相近的两个检测框，这会导致在密集目标的情况下的漏检，修改损失函数，使用同时考虑检测框和检测框中心距离的diou_nms损失函数来替代原有的损失函数可以减少密集带来的漏检使模型在检测密集目标的情况下检测准确度更高。diou_nms就不仅仅考虑iou，还考虑两个框中心点之间的距离。如果两个框之间iou比较大，但是两个框的距离比较大时，可能会认为这是两个物体的框而不会被过滤掉。
[0094]
进一步地，所述s104：将测试集输入到初步训练模型中，对模型进行测试，得到对测试结果进行评估，将评估符合设定要求的模型作为训练后的课堂行为检测模型，其中，设定要求，包括：模型的交并比、模型的准确率、模型的召回率、模型的精确度以及模型的f-1指标；其中，模型的准确率和模型的召回率，用于评估模型的假阴性指标；模型的精确度，用于评估模型的假阳性指标；模型的f-1指标用于评估模型的召回率和精确度。
[0095]
进一步地，所述模型iou的计算：
[0096][0097]
进一步地，所述模型准确率计算：
[0098][0099]
进一步地，所述模型召回率计算：
[0100][0101]
进一步地，所述模型精确度计算：
[0102][0103]
进一步地，所述模型f-1计算：
[0104][0105]
其中，groundtruth代表标签给出的目标区detecttionresult表示模型识别出来的目标区域；tp代表真正例，模型判断和实际均为正确；tn代表真反例，被模型预测为负类的负样本；fp代表假正例，被模型预测为正的负样本；fn代表假反例，被模型预测为负的正样本；使用不同比例的测试集进行验证，图像准确率和召回率的综合数值由ap来表示，ap是
precision-recall curve，针对自变量recall，对曲线precision做积分。
[0106]
对所述的yolov7模型进行一定的改进后，得到yolov7-cl模型，在此基础上对课堂行为数据集随机划分训练集和测试集进行10组检测分别得到的准确率。
[0107]
目前在目标识别和检测领域，yolo系列一直是典型的卷积神经网络模型算法，yolov7算法作为yolo系列的新作，在用于教室场景下的检测时存在误检、漏检和混检等情况，因此本发明设计了一种基于yolov7改进算法构建的一种课堂行为检测系统。
[0108]
本发明的系统架构基本模块如图1所示，首先对课堂行为图像进行标注处理，然后对标注完的数据集进行预处理；然后搭建yolov7-cl模型进行训练和测试；然后根据训练和测试的结果去调整yolov7-cl的网络结构，
[0109]
本发明的数据集为人工现场采集的视频和图像，经过人工标记后，一共获得了5000张课堂行为样本图像以及每张图像中课堂行为的种类及其位置。如图2所示。
[0110]
在数据预处理阶段，首先对数据进行手动筛选，筛选出符合检测行为的数据，然后再对筛选后的图像进行翻转和对比度调整，加入高斯噪点。
[0111]
然后，手动对样本图像中的标签数据进行分类，主要分为两类不同的课堂行为。每类样本又被三个特征所描述，如表1所示。
[0112]
表1课堂行为表
[0113]
行为类型手臂头部躯干sleep托腮下垂弯曲listen平放抬头挺直
[0114]
本发明采用的如图3所示的程序框图，对处理后的数据集划分比例作为训练集和测试集，并直接采用如图4(a)所示的yolov7-cl模型进行训练，并保存每一次迭代的训练结果。
[0115]
划分不同比例的训练集和测试集会得到不同的训练结果，a的比例为8:2；在训练轮次为100，batchsize为16的情况下精确度为83.46％，b的比例为9:1；在训练轮次为100，batchsize为16的情况下精确度为92.83％，c的比例为19:1；在训练轮次为100，batch size为16的情况下精确度为89.56％。如表2所示
[0116]
表2：不同比例划分的训练集和测试集的训练结果
[0117]
数据集参数比例轮次batchsize精确度a8:21001683.46％b9:11001692.83％c19:11001689.56％
[0118]
根据实验结果分析得到，当训练集比例为9:1时检测的算法的准确度最佳，当比例变为8:2时准确度相较之9:1的比例时有所下降。对于最优参数下的map(如图5所示)、iou(如图6所示)、丢失率(如图7所示)的测试结果进行分析，可以得到同样的结论。
[0119]
更进一步的对实验结果进行分析可以发现，由于目标比较小，yolov7的网络比较深，下采样倍数比较大，很难学习到小目标的特征信息。所以对yolov7的网络结构进行调整，首先在head中新增输出通道为64，卷积核尺度为1，卷积步长为1的层，经过上采样和卷积后再新增输出通道为32，卷积尺度为3，步长为1的层数。经过concat之后传入下一层，使其可以获得更小的目标的特征，改进对于小目标的检测效果。
[0120]
经过上述改进得到了yolov7-cl模型、权重文件，在训练集测试集比例为9:1，batchsize设置为16，训练轮次设置为100轮得到准确率为96.1％，相较之前又有了提升。
[0121]
之后用改进后的模型对100张未训练的图像分为十组进行检测，如图8所示，分别得到，93.1％、94.6％、97.3％、96.2％、92.2％、96.6％、90.9％、91.6％、95.6％、97.1％的准确率，将准确率取平均值得到94.5％，该结果与训练结果96.1％很接近
[0122]
在性能方面，yolov7-cl模型属于一阶段检测模型，在对目标位置做识别的同时进行了分类任务，速度相较二阶段算法快很多，适用于实时检测，优化后的yolov7-cl模型减少了对冗余信息的关注度，优化了对小目标和密集目标的检测，在提高了准确度的同时节约了时间。
[0123]
在实用方面，yolov7-cl模型可以做到实时检测且可视化输出，在实际的应用中极大了节省了老师的精力和时间，提高了课堂效率，为学生管理带来便捷。
[0124]
实施例二
[0125]
本实施例提供了课堂行为检测模型训练系统；
[0126]
课堂行为检测模型训练系统，包括：
[0127]
第一获取模块，其被配置为：获取学生课堂行为样本数据，所述课堂行为样本数据为课堂行为图像；对课堂行为样本数据进行课堂行为标记；
[0128]
预处理模块，其被配置为：对标记后的课堂行为样本数据进行预处理；
[0129]
训练模块，其被配置为：对预处理后的课堂行为样本数据按照比例划分为为训练集和测试集，将训练集输入到yolov7-cl模型中，对模型进行训练，得到初步训练模型；
[0130]
测试模块，其被配置为：将测试集输入到初步训练模型中，对模型进行测试，得到对测试结果进行评估，将评估符合设定要求的模型作为训练后的课堂行为检测模型。
[0131]
此处需要说明的是，上述第一获取模块、预处理模块、训练模块和测试模块对应于实施例一中的步骤s101至s104，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0132]
实施例三
[0133]
本实施例提供了课堂行为检测方法；
[0134]
课堂行为检测方法，包括：
[0135]
s301：获取待检测的学生课堂行为图像；
[0136]
s302：将待检测的学生课堂行为图像，输入到训练后的课堂行为检测模型中，输出学生课堂行为的识别结果。
[0137]
实施例四
[0138]
本实施例提供了课堂行为检测系统；
[0139]
课堂行为检测系统，包括：
[0140]
第二获取模块，其被配置为：获取待检测的学生课堂行为图像；
[0141]
识别模块，其被配置为：将待检测的学生课堂行为图像，输入到训练后的课堂行为检测模型中，输出学生课堂行为的识别结果。
[0142]
此处需要说明的是，上述第二获取模块和识别模块对应于实施例一中的步骤s301至s302，上述模块与对应的步骤所实现的示例和应用场景相同，但不限于上述实施例一所
公开的内容。需要说明的是，上述模块作为系统的一部分可以在诸如一组计算机可执行指令的计算机系统中执行。
[0143]
实施例五
[0144]
本实施例还提供了一种电子设备，包括：一个或多个处理器、一个或多个存储器、以及一个或多个计算机程序；其中，处理器与存储器连接，上述一个或多个计算机程序被存储在存储器中，当电子设备运行时，该处理器执行该存储器存储的一个或多个计算机程序，以使电子设备执行上述实施例一所述的方法。
[0145]
应理解，本实施例中，处理器可以是中央处理单元cpu，处理器还可以是其他通用处理器、数字信号处理器dsp、专用集成电路asic，现成可编程门阵列fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0146]
存储器可以包括只读存储器和随机存取存储器，并向处理器提供指令和数据、存储器的一部分还可以包括非易失性随机存储器。例如，存储器还可以存储设备类型的信息。
[0147]
在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。
[0148]
实施例一中的方法可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器、闪存、只读存储器、可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。为避免重复，这里不再详细描述。
[0149]
本领域普通技术人员可以意识到，结合本实施例描述的各示例的单元及算法步骤，能够以电子硬件或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。
[0150]
实施例六
[0151]
本实施例还提供了一种计算机可读存储介质，用于存储计算机指令，所述计算机指令被处理器执行时，完成实施例一所述的方法。
[0152]
以上所述仅为本发明的优选实施例而已，并不用于限制本发明，对于本领域的技术人员来说，本发明可以有各种更改和变化。凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

技术特征：
1.课堂行为检测模型训练方法，其特征是，包括：获取学生课堂行为样本数据，所述课堂行为样本数据为课堂行为图像；对课堂行为样本数据进行课堂行为标记；对标记后的课堂行为样本数据进行预处理；对预处理后的课堂行为样本数据按照比例划分为为训练集和测试集，将训练集输入到yolov7-cl模型中，对模型进行训练，得到初步训练模型；将测试集输入到初步训练模型中，对模型进行测试，得到对测试结果进行评估，将评估符合设定要求的模型作为训练后的课堂行为检测模型。2.如权利要求1所述的课堂行为检测模型训练方法，其特征是，对预处理后的课堂行为样本数据按照比例划分为为训练集和测试集，将训练集输入到yolov7-cl模型中，其中，所述yolov7-cl模型，包括：依次连接的输入层、骨干层backbone和预测器head；所述输入层，用于输入到检测的课堂行为图像；所述骨干层backbone，用于对输入层的图像进行特征提取；所述预测器head，用于对骨干层提取的特征进行分类；所述骨干层backbone，包括：依次连接的cbs1模块、cbs2模块、cbs3模块、第一elan模块、第一mp-1模块、第二elan模块、第二mp-1模块、第三elan模块、第三mp-1模块和第四elan模块；所述预测器，包括：依次连接的sppcspc模块、cbs14模块、cbs15模块、第一上采样模块、连接器l103、第一elan-w模块、cbs16模块、cbs17模块、第二上采样模块、连接器l104和第二elan-w模块；其中，sppcspc模块通过注意力模块cbam1与第四elan模块连接；连接器l103依次通过cbam2和cbs18模块与第三elan模块连接；连接器l104依次通过cbam3和cbs19模块与第二elan模块连接。3.如权利要求2所述的课堂行为检测模型训练方法，其特征是，所述预测器head，还包括：依次连接的第一mp-2模块、连接器l105、第三elan-w模块、第二mp-2模块和连接器l106；所述第一mp-2模块与第二elan-w模块连接；连接器l105还与第一elan-w模块连接；连接器l106还与sppcspc模块连接；所述第二elan-w模块，还通过第一rep模块与第一cbm模块连接；所述第三elan-w模块，还通过第二rep模块与第二cbm模块连接；所述连接器l106还通过第四elan-w模块与第三rep模块连接，第三rep模块与第三cbm模块连接。4.如权利要求1所述的课堂行为检测模型训练方法，其特征是，对预处理后的课堂行为样本数据按照比例划分为为训练集和测试集，将训练集输入到yolov7-cl模型中，对模型进行训练，得到初步训练模型，训练过程中所使用的损失函数为同时考虑检测框和检测框中心距离的损失函数diou_nms：其中，b表示预测框，b
gt
目标的中心点，ρ2表示计算真实框的中心点和预测框的中心点
的欧氏距离，c表示包含真实框和预测框的并集区域对角线的距离。5.如权利要求1所述的课堂行为检测模型训练方法，其特征是，将测试集输入到初步训练模型中，对模型进行测试，得到对测试结果进行评估，将评估符合设定要求的模型作为训练后的课堂行为检测模型，其中，设定要求，包括：模型的交并比、模型的准确率、模型的召回率、模型的精确度以及模型的f-1指标；其中，模型的准确率和模型的召回率，用于评估模型的假阴性指标；模型的精确度，用于评估模型的假阳性指标；模型的f-1指标用于评估模型的召回率和精确度。6.课堂行为检测模型训练系统，其特征是，包括：第一获取模块，其被配置为：获取学生课堂行为样本数据，所述课堂行为样本数据为课堂行为图像；对课堂行为样本数据进行课堂行为标记；预处理模块，其被配置为：对标记后的课堂行为样本数据进行预处理；训练模块，其被配置为：对预处理后的课堂行为样本数据按照比例划分为为训练集和测试集，将训练集输入到yolov7-cl模型中，对模型进行训练，得到初步训练模型；测试模块，其被配置为：将测试集输入到初步训练模型中，对模型进行测试，得到对测试结果进行评估，将评估符合设定要求的模型作为训练后的课堂行为检测模型。7.课堂行为检测方法，其特征是，包括：获取待检测的学生课堂行为图像；将待检测的学生课堂行为图像，输入到训练后的课堂行为检测模型中，输出学生课堂行为的识别结果。8.课堂行为检测系统，其特征是，包括：第二获取模块，其被配置为：获取待检测的学生课堂行为图像；识别模块，其被配置为：将待检测的学生课堂行为图像，输入到训练后的课堂行为检测模型中，输出学生课堂行为的识别结果。9.一种电子设备，其特征是，包括：存储器，用于非暂时性存储计算机可读指令；以及处理器，用于运行所述计算机可读指令，其中，所述计算机可读指令被所述处理器运行时，执行上述权利要求1-5任一项或权利要求7所述的方法。10.一种存储介质，非暂时性地存储计算机可读指令，其中，当非暂时性计算机可读指令由计算机执行时，执行权利要求1-5任一项或权利要求7所述方法的指令。

技术总结
本发明公开了课堂行为检测模型训练方法、课堂行为检测方法及系统，所述方法包括：获取学生课堂行为样本数据，所述课堂行为样本数据为课堂行为图像；对课堂行为样本数据进行课堂行为标记；对标记后的课堂行为样本数据进行预处理；对预处理后的课堂行为样本数据按照比例划分为为训练集和测试集，将训练集输入到yolov7-cl模型中，对模型进行训练，得到初步训练模型；将测试集输入到初步训练模型中，对模型进行测试，得到对测试结果进行评估，将评估符合设定要求的模型作为训练后的课堂行为检测模型。测模型。测模型。


技术研发人员：刘祥志 邱文科 吴晓明 尹训嘉 裴加彬
受保护的技术使用者：齐鲁工业大学（山东省科学院） 山东山科智能科技有限公司
技术研发日：2023.05.06
技术公布日：2023/10/6