一种智能化教学的智慧操场系统的制作方法

1.本发明涉及智慧教育领域，更具体地说，它涉及一种智能化教学的智慧操场系统。


背景技术：

2.跳水运动与跳远、跳绳等运动不同，跳远和跳绳等运动能够通过简单的量化计数或测量距离的方式判定成绩，跳水运动需要评分员对整个跳水运动过程进行综合性的评分来判定最终的成绩，难以通过图像识别的方式准确的进行评分。


技术实现要素：

3.本发明提供一种智能化教学的智慧操场系统，解决相关技术中跳水运动需要评分员对整个跳水运动过程进行综合性的评分来判定最终的成绩，难以通过图像识别的方式准确的进行评分的技术问题。
4.本发明提供了一种智能化教学的智慧操场系统，包括：
5.运动数据采集模块，其用于采集使用者的跳水运动视频数据；
6.运动数据采集模块还包括关键图像处理模块，其用于从采集的视频数据中提取运动图像，然后从提取的运动图像中提取关键运动图像生成关键运动图像集合；
7.人体关键点生成模块，其基于关键运动图像生成人体关键点坐标；
8.数据预处理模块其用于将人体关键点坐标从图像坐标系转换到相对坐标系，得到人体关键点信息；
9.数据处理模块，其用于生成跳水运动特征，跳水运动特征表示为其中表示第n个关键运动图像的第i个肢体的局部运动特征；
10.局部运动特征表示为其中sn为第n个关键运动图像的第i个肢体的人体关键点坐标值、关键点与原点之间的距离值、关键点与原点之间的连线与主轴线的夹角值展开向量化后的第n个向量维度；
11.模型生成模块，其用于建立跳水运动评分模型；将跳水运动特征输入跳水运动评分模型；
12.跳水运动评分模型包括n个隐藏层，每个隐藏层包括12个lstm单元；
13.第n个隐藏层的第t个lstm单元输入第n个关键运动图像的第t个肢体的局部运动特征；
14.跳水运动评分模型的第n个隐藏层的第12个lstm单元的输出连接一个分类器，分类器的输出分类集合为q＝{q1、q2、q3...qn}，将分值值域(1，n)进行均值离散化，分类集合q的一个分类对应于均值离散化后的一个分值。
15.提取关键运动图像的方法包括：
16.建立简构神经网络，简构神经网络的输入为运动图像，输出为运动图像的类型，输出的结果为二分类，分别对应于关键和非关键；
17.生成训练集对简构神经网络进行训练；
18.将运动图像输入简构神经网络对其类型进行判断，删除被分类为非关键的运动图像。
19.简构神经网络为cnn神经网络；
20.通过openpose模型获取关键运动图像中的人体关键点坐标。
21.12个肢体依次对应的局部运动特征是左上臂、左下臂、左肩、左躯干、左大腿、左小腿、右上臂、右下臂、右肩、右躯干、右大腿、右小腿。
22.第n个隐藏层的第t个lstm单元的运算过程如下：
23.遗忘门f
t
的计算公式如下：
[0024][0025]
其中h
t-1
表示前置状态，表示第n-1个隐藏层的第t个lstm单元的输出，表示第n个隐藏层的第t-1个lstm单元的输出；表示第n个关键运动图像的第t个肢体的局部运动特征；w
fx
表示传递到f
t
对应的权重矩阵，表示前置状态h
t-1
传递到f
t
对应的权重矩阵，bf表示偏置项。
[0026]
第n个隐藏层的第t个lstm单元的输入门i
t
的计算公式如下：
[0027][0028]ht-1
表示前置状态，表示第n-1个隐藏层的第t个lstm单元的输出，表示第n个隐藏层的第t-1个lstm单元的输出；表示第n个关键运动图像的第t个肢体的局部运动特征；
[0029]
其中w
xi
表示输入传递到i
t
对应的权重矩阵，表示上层状态h
t-1
传递到i
t
对应的权重矩阵，bi表示偏置项。
[0030]
第n个隐藏层的第t个lstm单元的中间状态可表示为下式：
[0031][0032]
其中h
t-1
表示前置状态，表示第n-1个隐藏层的第t个lstm单元的输出，表示第n个隐藏层的第t-1个lstm单元的输出；表示第n个关键运动图像的第t个肢体的局部运动特征；w
xc
表示输入传递到对应的权重矩阵，表示上层状态h
t-1
传递到对应的权重矩阵，bc表示偏置项。
[0033]
第n个隐藏层的第t个lstm单元的输出状态表示为下式：
[0034][0035]
其中是第n层的第t-1个lstm传递过来的输出状态，f
t
、i
t
、是遗忘门、输入
门、中间状态的计算结果。
[0036]
第n个隐藏层的第t个lstm单元的输出门表示为下式：
[0037][0038]
其中h
t-1
表示前置状态，表示第n-1个隐藏层的第t个lstm单元的输出，表示第n个隐藏层的第t-1个lstm单元的输出；表示第n个关键运动图像的第t个肢体的局部运动特征；其中w
xo
表示输入传递到o
t
对应的权重矩阵，表示前置状态h
t-1
传递到o
t
对应的权重矩阵，bo表示偏置项；
[0039]
第n个隐藏层的第t个lstm单元的输出可表示为下式：
[0040][0041]
将输出门o
t
与tanh(c
t
)逐点相乘，得到当前lstm单元的输出
[0042]
进一步地，还包括可视化模块，其用于将跳水运动评分模型的输出结果与输入的跳水运动特征对应的学生的id映射之后进行展示。
[0043]
本发明的有益效果在于：本发明综合考虑了使用者运动的肢体动作的关联性以及跳水动作的时间连续性，建立的跳水运动评分模型能够模拟人工进行较为准确的评分。
附图说明
[0044]
图1是本发明的智慧操作系统的模块示意图；
[0045]
图2是本发明的人体关键点坐标示意图。
[0046]
图中：运动数据采集模块101，人体关键点生成模块102，数据预处理模块103，数据处理模块104，模型生成模块105，可视化模块106。
具体实施方式
[0047]
现在将参考示例实施方式讨论本文描述的主题。应该理解，讨论这些实施方式只是为了使得本领域技术人员能够更好地理解从而实现本文描述的主题，可以在不脱离本说明书内容的保护范围的情况下，对所讨论的元素的功能和排列进行改变。各个示例可以根据需要，省略、替代或者添加各种过程或组件。另外，相对一些示例所描述的特征在其他例子中也可以进行组合。
[0048]
实施例一
[0049]
如图1-图2所示，一种智能化教学的智慧操场系统，如图1所示，包括：
[0050]
运动数据采集模块101，其用于采集使用者的跳水运动视频数据；
[0051]
运动数据采集模块101还包括关键图像处理模块，其用于从采集的视频数据中提取运动图像，然后从提取的运动图像中提取关键运动图像生成关键运动图像集合；
[0052]
提取关键运动图像的方法包括：
[0053]
建立简构神经网络，简构神经网络的输入为运动图像，输出为运动图像的类型，输出的结果为二分类，分别对应于关键和非关键。
[0054]
需要说明的是，运动图像按照其在运动视频中的时间节点进行排序。
[0055]
生成训练集对简构神经网络进行训练；
[0056]
将运动图像输入简构神经网络对其类型进行判断，删除被分类为非关键的运动图像。
[0057]
在本发明的一个实施例中，简构神经网络为cnn神经网络。
[0058]
人体关键点生成模块102，其用于生成人体关键点坐标；
[0059]
通过openpose模型获取关键运动图像中的人体关键点坐标；
[0060]
人体关键点坐标，如图2所示，包括：
[0061]
鼻0，首1，右肩2，右肘3，右手首4，左肩5，左肘6，左手首7，右腰8，右膝9，右足首10，左腰11，左膝12，左足首13，右目14，左目15，右耳16，左耳17；
[0062]
数据预处理模块103，其用于将人体关键点坐标从图像坐标系转换到相对坐标系，得到人体关键点信息；可以消除不同摄像机、不同拍摄距离等因素造成尺度变化的影响，执行以下步骤：
[0063]
步骤101，确定身体主轴线和原点：在openpose输出的矩阵中，通常选择人体关键点首1作为身体主轴线，选择左腰11和右腰8的中间点作为原点；
[0064]
步骤102，计算单位距离：以主轴线和原点的距离作为单位距离；单位距离度量公式如下：
[0065][0066]
其中，x1、y1表示原点坐标，x2、y2表示首1的坐标，p为两点之间的距离；
[0067]
步骤103，使用上述计算公式计算所有关键点到原点和首1的距离；
[0068]
步骤104，距离归一化：将所有距离除以单位距离；
[0069]
步骤105，坐标平移：将所有关键点坐标分别减去原点的坐标，使得原点成为相对坐标系的原点；
[0070]
步骤106，坐标旋转：将其余关键点围绕首1进行旋转，使首1成为相对尺度坐标系的y轴正方向；作为约定，正角表示逆时针旋转，则将关键点逆时针旋转β角度计算公式如下：
[0071][0072]
其中x，y表示首1的坐标值，x'，y'表示逆时针旋转β角度后的坐标值；
[0073]
数据处理模块104，其用于生成跳水运动特征，跳水运动特征表示为其中表示第n个关键运动图像的第i个肢体的局部运动特征；1～n的排序与关键运动图像的顺序相同。
[0074]
12个肢体依次对应的局部运动特征是左上臂、左下臂、左肩、左躯干、左大腿、左小腿、右上臂、右下臂、右肩、右躯干、右大腿、右小腿；
[0075]
局部运动特征表示为其中sn为第n个关键运动图像的第i个肢体的人体关键点坐标值、关键点与原点之间的距离值、关键点与原点之间的连线与主轴
线的夹角值展开向量化后的第n个向量维度。
[0076]
一个肢体由对应的两个人体关键点坐标连线构成，在本发明的一个实施例中，左上臂由左肩5和左肘6连线构成；左下臂由左肘6和左手首7连线构成；左肩由首1和左肩5连线构成；左躯干由首1和左腰11连线构成；左大腿由左腰11和左膝12连线构成；左小腿由左膝12和左足首13连线构成；右上臂由右肩2和右肘3连线构成；右下臂由右肘3和右手首4连线构成；右肩由首1和右肩2连线构成；右躯干由首1和右腰8连线构成；右大腿由右腰8和右膝9连线构成；右小腿由右膝9和右足首10连线构成；
[0077]
模型生成模块105，其用于建立跳水运动评分模型；将跳水运动特征输入跳水运动评分模型；
[0078]
跳水运动评分模型包括n个隐藏层，每个隐藏层包括12个lstm单元；
[0079]
第n个隐藏层的第t个lstm单元输入第n个关键运动图像的第t个肢体的局部运动特征；
[0080]
第n个隐藏层的第t个lstm单元的运算过程如下：
[0081]
遗忘门f
t
的计算公式如下：
[0082][0083]
其中h
t-1
表示前置状态，表示第n-1个隐藏层的第t个lstm单元的输出，表示第n个隐藏层的第t-1个lstm单元的输出；表示第n个关键运动图像的第t个肢体的局部运动特征；w
fx
表示传递到f
t
对应的权重矩阵，表示前置状态h
t-1
传递到f
t
对应的权重矩阵，bf表示偏置项。通过激活函数σ(sigmoid函数)将f
t
的计算结果限定在(0,1)之间。
[0084]
输入门i
t
的计算公式如下：
[0085][0086]ht-1
表示前置状态，表示第n-1个隐藏层的第t个lstm单元的输出，表示第n个隐藏层的第t-1个lstm单元的输出；表示第n个关键运动图像的第t个肢体的局部运动特征；
[0087]
其中w
xi
表示输入传递到i
t
对应的权重矩阵，表示上层状态h
t-1
传递到i
t
对应的权重矩阵，bi表示偏置项。通过激活函数σ将i
t
的计算结果限定在(0,1)之间。
[0088]
中间状态可表示为下式：
[0089][0090]
其中h
t-1
表示前置状态，表示第n-1个隐藏层的第t个lstm单元的输出，表示第n个隐藏层的第t-1个lstm单元的输出；表示第n个关键运动图像的第t个肢体的局部运动特征；w
xc
表示输入传递到对应的权重矩阵，表示上层状态h
t-1
传递到对应的权重矩阵，bc表示偏置项。通过激活函数tanh将的计算结果限定在(-1,1)之间；
[0091]
输出状态表示为下式：
[0092][0093]
其中是第n层的第t-1个lstm传递过来的输出状态，f
t
、i
t
、是遗忘门、输入门、中间状态的计算结果。
[0094]
表示遗忘门f
t
和第n层的第t-1个lstm的输出状态做逐点相乘，f
t
∈(0,1)。
[0095]
表示输出入门i
t
和中间状态进行逐点相乘，得到新的候选记忆，也即需要记忆的新特征。i
t
∈(0,1)。
[0096]
输出门表示为下式：
[0097][0098]
其中h
t-1
表示前置状态，表示第n-1个隐藏层的第t个lstm单元的输出，表示第n个隐藏层的第t-1个lstm单元的输出；表示第n个关键运动图像的第t个肢体的局部运动特征；其中w
xo
表示输入传递到o
t
对应的权重矩阵，表示前置状态h
t-1
传递到o
t
对应的权重矩阵，bo表示偏置项。通过激活函数σ将的计算结果限定在(0,1)之间。
[0099]
输出可表示为下式：
[0100][0101]
将输出门o
t
与tanh(c
t
)逐点相乘，得到当前lstm单元的输出
[0102]
跳水运动评分模型的第n个隐藏层的第12个lstm单元的输出连接一个分类器，分类器的输出分类集合为q＝{q1、q2、q3...qn}，将分值值域(1，n)进行均值离散化，分类集合q的一个分类对应于均值离散化后的一个分值。
[0103]
跳水运动评分模型的训练为常规技术手段，在此不做赘述。
[0104]
需要说明的是跳水运动特征的大小应该是一致的，如果处理获得的关键运动图像的数量大于n，则需要人工删除部分关键运动图像或者通过神经网络模型再次进行筛选。
[0105]
可视化模块106，其用于将跳水运动评分模型的输出结果与输入的跳水运动特征对应的学生的id映射之后进行展示。
[0106]
本发明综合考虑了使用者运动的肢体动作的关联性以及跳水动作的时间连续性，建立的跳水运动评分模型能够模拟人工进行较为准确的评分。
[0107]
上面对本实施例的实施例进行了描述，但是本实施例并不局限于上述的具体实施方式，上述的具体实施方式仅仅是示意性的，而不是限制性的，本领域的普通技术人员在本实施例的启示下，还可做出很多形式，均属于本实施例的保护之内。

技术特征：
1.一种智能化教学的智慧操场系统，其特征在于，包括：运动数据采集模块，其用于采集使用者的跳水运动视频数据；运动数据采集模块还包括关键图像处理模块，其用于从采集的视频数据中提取运动图像，然后从提取的运动图像中提取关键运动图像生成关键运动图像集合；人体关键点生成模块，其基于关键运动图像生成人体关键点坐标；数据预处理模块其用于将人体关键点坐标从图像坐标系转换到相对坐标系，得到人体关键点信息；数据处理模块，其用于生成跳水运动特征，跳水运动特征表示为a＝其中表示第n个关键运动图像的第i个肢体的局部运动特征；局部运动特征表示为其中s
n
为第n个关键运动图像的第i个肢体的人体关键点坐标值、关键点与原点之间的距离值、关键点与原点之间的连线与主轴线的夹角值展开向量化后的第n个向量维度；模型生成模块，其用于建立跳水运动评分模型；将跳水运动特征输入跳水运动评分模型；跳水运动评分模型包括n个隐藏层，每个隐藏层包括12个lstm单元；第n个隐藏层的第t个lstm单元输入第n个关键运动图像的第t个肢体的局部运动特征；跳水运动评分模型的第n个隐藏层的第12个lstm单元的输出连接一个分类器，分类器的输出分类集合为q＝{q1、q2、q3...q
n
}，将分值值域(1，n)进行均值离散化，分类集合q的一个分类对应于均值离散化后的一个分值。2.根据权利要求1所述的一种基于深度学习的ai运动视觉分析方法，其特征在于，提取关键运动图像的方法包括：建立简构神经网络，简构神经网络的输入为运动图像，输出为运动图像的类型，输出的结果为二分类，分别对应于关键和非关键；生成训练集对简构神经网络进行训练；将运动图像输入简构神经网络对其类型进行判断，删除被分类为非关键的运动图像。3.根据权利要求2所述的一种基于深度学习的ai运动视觉分析方法，其特征在于，简构神经网络为cnn神经网络；通过openpose模型获取关键运动图像中的人体关键点坐标。4.根据权利要求1所述的一种基于深度学习的ai运动视觉分析方法，其特征在于，12个肢体依次对应的局部运动特征是左上臂、左下臂、左肩、左躯干、左大腿、左小腿、右上臂、右下臂、右肩、右躯干、右大腿、右小腿。5.根据权利要求1所述的一种基于深度学习的ai运动视觉分析方法，其特征在于，第n个隐藏层的第t个lstm单元的运算过程如下：遗忘门f
t
的计算公式如下：
其中h
t-1
表示前置状态，表示前置状态，表示第n-1个隐藏层的第t个lstm单元的输出，表示第n个隐藏层的第t-1个lstm单元的输出；x
tn
表示第n个关键运动图像的第t个肢体的局部运动特征；w
fx
表示传递到f
t
对应的权重矩阵，表示前置状态h
t-1
传递到f
t
对应的权重矩阵，b
f
表示偏置项。6.根据权利要求5所述的一种基于深度学习的ai运动视觉分析方法，其特征在于，第n个隐藏层的第t个lstm单元的输入门i
t
的计算公式如下：h
t-1
表示前置状态，表示前置状态，表示第n-1个隐藏层的第t个lstm单元的输出，表示第n个隐藏层的第t-1个lstm单元的输出；表示第n个关键运动图像的第t个肢体的局部运动特征；其中w
xi
表示输入传递到i
t
对应的权重矩阵，表示上层状态h
t-1
传递到i
t
对应的权重矩阵，b
i
表示偏置项。7.根据权利要求6所述的一种基于深度学习的ai运动视觉分析方法，其特征在于，第n个隐藏层的第t个lstm单元的中间状态可表示为下式：其中h
t-1
表示前置状态，表示前置状态，表示第n-1个隐藏层的第t个lstm单元的输出，表示第n个隐藏层的第t-1个lstm单元的输出；表示第n个关键运动图像的第t个肢体的局部运动特征；w
xc
表示输入传递到对应的权重矩阵，表示上层状态h
t-1
传递到对应的权重矩阵，b
c
表示偏置项。8.根据权利要求7所述的一种基于深度学习的ai运动视觉分析方法，其特征在于，第n个隐藏层的第t个lstm单元的输出状态表示为下式：其中是第n层的第t-1个lstm传递过来的输出状态，f
t
、i
t
、是遗忘门、输入门、中间状态的计算结果。9.根据权利要求8所述的一种基于深度学习的ai运动视觉分析方法，其特征在于，第n个隐藏层的第t个lstm单元的输出门表示为下式：其中h
t-1
表示前置状态，表示前置状态，表示第n-1个隐藏层的第t个lstm单元的输出，表示第n个隐藏层的第t-1个lstm单元的输出；表示第n个关键运动图像的第t个肢体的局部运动特征；其中w
xo
表示输入传递到o
t
对应的权重矩阵，表示前置状态h
t-1
传递到o
t
对应的权重矩阵，b
o
表示偏置项；
第n个隐藏层的第t个lstm单元的输出可表示为下式：将输出门o
t
与tanh(c
t
)逐点相乘，得到当前lstm单元的输出h
tn
。10.根据权利要求1所述的一种基于深度学习的ai运动视觉分析方法，其特征在于，还包括可视化模块，其用于将跳水运动评分模型的输出结果与输入的跳水运动特征对应的学生的id映射之后进行展示。

技术总结
本发明涉及智慧教育技术领域，公开了一种智能化教学的智慧操场系统，包括以下模块：运动数据采集模块，其用于采集操场上使用者运动视频数据；人体关键点生成模块，其用于生成人体关键点坐标；数据预处理模块，其用于将人体关键点坐标从图像坐标系转换到相对坐标系，得到人体关键点信息；数据处理模块，其用于将人体关键点信息转换为序列数据；模型生成模块，其用于建立跳水运动评分模型；本发明基于深度学习来训练获得神经网络模型，综合考虑了使用者运动的肢体动作以及动作的时间连续性，建立的预测模型综合上述的因素来输出使用者运动的肢体偏差角度，对纠正使用者运动姿势做出合理化建议。理化建议。理化建议。


技术研发人员：唐义平 祖慈 刘兵 关俊宏
受保护的技术使用者：安徽一视科技有限公司
技术研发日：2023.04.12
技术公布日：2023/8/22