基于增强现实和机器视觉的实验教学系统

1.本发明涉及一种计算机视觉技术，特别涉及一种基于增强现实和机器视觉的实验教学系统。


背景技术：

2.中学真实实验面临不安全、不开放、可见性低等问题，一些有毒、高腐蚀性、易燃易爆等危险物品易造成实验室事故，同时也缺乏对实验步骤的在线指导、错误操作的预警提示；难以形成开放式、多人互动、易探究的教学模式。
3.随着人工智能时代的到来，智慧教育应运而出，运用增强现实显示技术打造智能教学平台在智慧教育领域应用越来越广泛。hololens2是微软于2019年发布的一款增强现实头戴式设备，hololens2的主要目标是为用户提供沉浸式的增强现实体验和强大的人机交互功能，这为虚拟实验提供了良好的硬件平台。
4.虚拟实验作为智慧教育的一类典型的突破传统时空限制的数字化教学形式，有助于帮助学生开展一些具有一定危险性的实验，对于培养新时代人才，建立智慧教育课堂具有重要意义。然而，目前的虚拟实验方法，通常是采用二维的方式在多媒体显示屏上实现虚实融合，使得用户的沉浸感较差，无法切身投入到实验中，导致虚实交互效率低，教学效果差。


技术实现要素：

5.针对虚拟实验教学存在的问题，提出了一种基于增强现实和机器视觉的实验教学系统，增强现实技术能够将虚拟对象叠加到真实环境中，实现沉浸式的实验场景；机器视觉技术可以实时获取和分析图像信息，实现对实验过程的监控和反馈，结合增强现实和机器视觉技术实现智能实验教学。
6.本发明的技术方案为：一种基于增强现实和机器视觉的实验教学系统，包括开发端、服务器端和客户端；
7.所述开发端：负责实验器材的建模、增强现实的三维注册、模型材质的渲染、实验反应动画制作、实验过程的在线指导、流体仿真以及交互脚本开发，开发端开发后导入客户端；
8.所述服务器端：负责接收客户端传来的数据，并启动深度学习算法对接收的帧画面进行处理，得到检测对象的分类信息、类别以及实验步骤的实时评分，最后传送回客户端；
9.所述客户端：为hololens2眼镜，负责信息的采集并将采集到的数据传送给服务器端进行处理，然后接收服务器端处理后的数据，同时负责环境理解、空间感知、手势以及语音识别任务；其中，服务器端和客户端通过tcp/ip协议连接，使服务器端和客户端处于同一网络中，在撰写的脚本中添加服务器端的ip地址实现连接。
10.一种基于增强现实和机器视觉的实验教学系统中开发端建立方法，由建模软件负
责实验器材的建模，由unity负责实验场景的搭建，使用了微软提供的mrtk工具包来实现实验器材的交互，脚本采用c++/c#语言开发，实现实验器材的抓取、旋转、缩放交互功能；使用粒子系统及流体仿真插件来实现流体以及火焰的仿真，使用贴图、灯光、材质方式来对实验器材进行渲染；根据实验步骤特点制作实验反应动画；对于实验操作的在线指导，采用mrtk提供的凝视脚本及3d text显示实验指引文本，结合机器视觉技术，实现实验操作的在线指导以及错误预警。
11.进一步，所述实验器材的建模首先分析实验步骤和实验特征，确定需要虚拟化的实验器材，虚拟化的实验器材包括具有危险性的实验用品，然后使用建模软件对实验所需器材建模。
12.一种基于增强现实和机器视觉的实验教学系统中服务器端建立方法，搭建好虚拟环境和深度学习框架，然后使用自己构建好的数据集训练深度学习模型，最后将训练好得到的模型转换为onnx中间格式，在unity中创建hololens2应用程序，将onnx模型导入应用程序中，开发脚本调用onnx模型来进行目标识别，之后将应用程序部署到客户端，通过tcp/ip协议与服务器连接；系统运行时服务器负责信息帧画面的接收，图像识别分类、数据信息传达工作。
13.进一步，所述训练深度学习模型之前，将拍摄到的数据集采用数据增强的方法，即对数据集图片进行平移、翻转、随机裁剪、噪声扰动和尺度变换，来使得实时监测过程中精度更高，更适应光照遮挡环境变化，具体使用imgaug来实现，然后放在深度学习网络中进行训练；模型训练过程中采用k-means算法对数据集重新聚类锚框尺寸，对于anchor进行了改进，激活函数设置为：leaky relu，损失采用交叉熵损失，并且加上必要的参数，学习率调整采用epoch-decay策略，随迭代周期下降；所述实验检测过程，针对数据集尺度变化范围较大，对模型的检测输出层增加一个小尺度特征检测通道。
14.进一步，所述深度学习框架中机器视觉方面以yolov5模型为基础，针对实验过程的小目标实验器材检测，使用transformer encoder块替换了yolov5中的一些卷积块和csp bottleneck blocks；每个transformer encoder block包含两个子层，第1子层为mult-head attention layer，第2子层为全连接层，每个子层之间使用残差连接。
15.一种基于增强现实和机器视觉的实验教学系统中客户端实验教学方法，使用开发端中的增强现实技术将虚拟实验器材注册到真实实验环境中，使用服务器端的机器视觉技术实时对hololens2捕捉的画面进行处理，客户端根据当前画面智能判断出当前实验类别和实验步骤，给出当前实验步骤的指导提示，当前步骤操作正确的时候，通过开发端部署到客户端上的实验反应动画模块以及三维注册模块给出当前步骤应有的实验反应，如果当前步骤操作错误，再次给出当前步骤的操作指导，并给出错误反馈；所有步骤结束后，给出本次实验的综合评分和失分原因。
16.本发明的有益效果在于：本发明基于增强现实和机器视觉的实验教学系统，能够通过hololens2将虚拟的实验器材三维立体的呈现在眼前，并且可以实现对虚拟实验器材的交互，从而模拟中学实验操作过程，在实验过程中，可以实现实验步骤的实时评分、实验步骤的在线指导、错误操作的预警提示，进而减少人工评判的影响，能够提高评判的客观性以及公平性，减少了人力资源的浪费，保证了实验的安全性，对于构建智慧型实验室、保障实验安全、强化实验类学科的动手实践能力，具有重要意义。
附图说明
17.图1为本发明实施例一基于增强现实和机器视觉的实验教学系统架构图；
18.图2为本发明实施例二基于增强现实和机器视觉的实验教学系统软硬件结构图；
19.图3为本发明实施例三基于增强现实和机器视觉的实验教学系统流程图；
20.图4为本发明实施例四基于增强现实和机器视觉的实验教学系统的实验智能指导流程图；
21.图5为本发明系统的实验评分展示图；
22.图6为本发明系统的实验实例展示图。
具体实施方式
23.下面结合附图和具体实施例对本发明进行详细说明。本实施例以本发明技术方案为前提进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
24.本发明要解决的技术问题是：真实实验面临安全、开放、可见等问题，一些有毒、易腐蚀、易燃易爆物品等危险用品容易造成实验室事故，同时缺乏实验过程的实时指导与错误预警，一些抽象、细微的实验反应也难以直观的理解；现有的混合现实教学平台大多采用二维的方式在多媒体显示屏上呈现，沉浸感较差，为最大程度的模拟真实实验操作，因此开发了一种三维交互方式的实验教学系统。
25.为了实现上述发明目的，本发明提供了一种增强现实与机器视觉的实验教学系统，包括：
26.开发端：由建模软件负责实验器材的建模，由unity(用户界面)负责实验场景的搭建，使用了微软提供的mrtk工具包来实现实验器材的交互，脚本采用c++/c#语言开发，实现实验器材的抓取、旋转、缩放等交互功能；使用粒子系统及流体仿真插件来实现流体以及火焰的仿真，使用贴图、灯光、材质等方式来对实验器材进行渲染，使实验器材更加逼真；根据实验步骤特点制作实验反应动画。对于实验操作的在线指导，采用mrtk(开源工具包)提供的凝视脚本及3d text(3d文本插件)显示实验指引文本，结合机器视觉技术，实现实验操作的在线指导以及错误预警。
27.服务器端：在服务器端主要是搭建好虚拟环境和深度学习框架，然后使用自己构建好的数据集训练深度学习模型，最后将训练好得到的模型转换为onnx(开放式神经网络交换，用于表示深度学习模型的标准，可使模型在不同框架之间转移)中间格式，在unity中创建hololens2应用程序，将onnx模型导入应用程序中，开发脚本调用onnx模型来进行目标识别，之后将应用程序部署到客户端，通过tcp/ip协议与服务器连接。系统运行时服务器负责信息帧画面的接收，图像识别分类、数据信息传达等工作；
28.客户端：在客户端即hololens2眼镜中，负责采集信息发送给服务器端，由服务器端处理后接收并显示在画面中，同时负责语音识别、手势识别、空间映射、访问虚拟实验器材并进行交互等功能。
29.客户端中，使用开发端中的增强现实技术将虚拟实验器材注册到真实实验环境中，使用服务器端的机器视觉技术实时对hololens2捕捉的画面进行处理，客户端根据当前画面智能判断出当前实验类别和实验步骤，给出当前实验步骤的指导提示，当前步骤操作
正确的时候，通过开发端部署到客户端上的实验反应动画模块以及三维注册模块给出当前步骤应有的实验反应，如果当前步骤操作错误，再次给出当前步骤的操作指导，并给出错误反馈；所有步骤结束后，给出本次实验的综合评分和失分原因。
30.服务器端中，机器视觉方面以yolov5模型为基础，为了解决实验过程的小目标实验器材难以检测问题，使用transformer encoder块替换了yolov5中的一些卷积块和csp bottleneck blocks；每个transformer encoder block包含两个子层，第1子层为mult-head attention layer，第2子层为全连接层，每个子层之间使用残差连接。
31.开发端中，分析具体实验的步骤和实验特征，确定需要虚拟化的实验器材，一般为一些具有危险性的实验用品，如酒精灯，易燃易爆物品等。然后使用建模软件对实验所需器材建模，导入unity实验场景中。
32.开发端中，实验器材的三维注册是建立在直接法slam(同步定位与建图)基础上，结合客户端自带的slam系统，将直接法与slam特征融合，同时使用微软混合现实工具包中的空间锚点技术，使虚拟物体与现实环境对准。
33.开发端中，在unity中对实验器材绑定相应脚本，实现凝视交互、手动交互，如物体操作脚本，近距离抓取脚本，刚性模拟脚本等。
34.开发端中，为了使实验模型更加逼真，仿真实验更加具有沉浸式体验，对实验器材使用mrtk着色器以及渲染管线进行渲染，对如酒精灯火焰、水槽中的液体等其他效果使用粒子系统、流体仿真插件以及动画特效。
35.服务器端中，训练深度学习网络之前，将拍摄到的数据集采用数据增强的方法，即对数据集图片进行平移、翻转、随机裁剪、噪声扰动和尺度变换等，来使得实时监测过程中精度更高，更适应光照遮挡等环境变化，具体使用imgaug来实现，然后放在深度学习网络中进行训练。
36.服务器端中，针对不同的实验，完成实验的评分逻辑设计和评分函数撰写，简单易检测的评分点使用图像数据标注结合深度学习的方法来实现，复杂的评分点根据实验器材交互的位置和具体实验逻辑来实现；在实验步骤中，实验器材间的位置差值超过一定的阈值时，自动显示错误预警，并给出正确的操作指导。
37.服务器端中，模型训练过程中采用k-means算法对数据集重新聚类锚框尺寸，对于anchor进行了改进，激活函数设置为：leaky relu，损失采用交叉熵损失，并且加上必要的参数，学习率调整采用epoch-decay策略，随迭代周期下降。
38.服务器端中，所述实验检测过程，针对数据集尺度变化范围较大，对模型的检测输出层增加一个小尺度特征检测通道。
39.如图1所示基于增强现实和机器视觉的实验教学系统架构图，系统包括：
40.开发端负责实验器材的建模、增强现实的三维注册、模型材质的渲染、实验反应动画制作、实验过程的在线指导、流体仿真以及交互脚本开发等，开发端开发后导入客户端；
41.服务器端负责接收客户端传来的数据，并启动深度学习算法对接收的帧画面进行处理，得到检测对象的分类信息、类别以及实验步骤的实时评分，最后传送回客户端。
42.客户端负责信息的采集并将采集到的数据传送给服务器端进行处理，然后接收服务器端处理后的数据，同时还负责环境理解、空间感知、手势以及语音识别等任务；其中，服务器端和客户端通过tcp/ip协议连接，使服务器端和客户端处于同一网络中，在撰写的脚
本中添加服务器端的ip地址实现连接。
43.如图2所示，对于基于增强现实和机器视觉的智能实验教学系统，软硬件系统结构如下：
44.开发端：采用microsoft visual studio 2019来编写模型交互脚本以及部署应用到hololens2上，采用solidworks2021版本来对实验所需器材进行建模，采用2018.3.7f1版本的unity来搭建实验场景，导入solidworks建模好的实验模型，导入微软官方提供的mrtkv2.8.8版本混合现实工具包，并给模型绑定相应脚本。
45.服务器端：用于和hololens2连接的windows 10sdk使用10.0.10941.0版本，darknet使用yolo library，使用yolov5版本的深度学习算法，gpu使用nvidia gtx 1660s，采用nvidia tookit v11.6版本的cuda进行推理加速，负责处理图像的计算机视觉库采用opencv 3.4.5版本。
46.客户端：使用微软的hololens2代眼镜，其自带的slam系统可以实现对陌生场景的建模，空间感知，在智能实验教学系统中，负责动态加载、画面传输、手势识别和语音识别等。
47.如图3所示，本发明实施例给出了基于增强现实和机器视觉的实验教学系统的系统处理流程，具体如下：
48.首先在开发端用unity和vs开发实验场景，增强现实方面，识别真实实验器材，将虚拟实验器材注册到真实实验环境中；机器视觉方面，首先将项目部署到hololens2中，然后使hololens2和服务器处于同一个网络下，通信使用tcp/ip协议，通过ip地址连接，客户端通过自带的摄像头获取真实实验器材图像并传送给服务器端，服务器端接收来自客户端传来的帧画面，启动深度学习算法和gpu进行处理，并将处理好的照片以及实验器材的二维坐标传回给客户端，客户端根据传来的二维坐标计算实验器材的三维坐标，进行对象检测和真实可视化。
49.如图4所示，本发明实施例给出了为基于增强现实和机器视觉的实验教学系统的实验智能指导流程，具体如下：
50.首先获取到hololens2主相机拍摄到的画面，服务器启动机器视觉算法判断所属的实验类别，以3d文本的形式显示出实验注意事项和实验步骤，接着将虚拟实验器材准确的注册到真实实验环境中，对每一实验步骤，判断实验步骤的正确性，如果正确则显示当前实验步骤的分数以及实验反应的数据，否则给出错误反馈、错误原因分析以及当前步骤的实验注意事项，实验结束后，给出综合评分以及失分原因。
51.如图5所示，本发明实施例给出了基于增强现实和机器视觉的智能实验教学系统的实验评分图，具体如下：
52.在最后的总评分界面中，给出实验步骤以及得分详情，可以清楚的了解哪些步骤得分，哪些步骤失分以及最后的总分数。
53.如图6所示，本发明实施例给出了基于增强现实和机器视觉的智能实验教学系统具体实验展示图，以高锰酸钾制取氧气实验为例，具体如下：
54.具体分析高锰酸钾制取氧气实验步骤的特点，确定虚拟化学器材，使用建模软件建模。在此实验实例中，酒精灯集气瓶、烧杯确定为虚拟器材，可以使用双手近距离交互，也可以使用远程射线进行远距离选中交互，可实现对于虚拟实验器材的放大、缩小、移动、旋
转等交互方式，且酒精灯、烧杯中的液体会像现实中随着容器的移动、振荡而振荡，实现了沉浸式实验教学。
55.本发明提出的一种基于增强现实和机器视觉的智能实验教学系统，利用改进的深度学习神经网络模型和微软的hololens2眼镜，实现了机器视觉与增强现实的结合，从而实现了中学智能实验教学系统的开发。使得学生能够更加沉浸式的体验各种实验过程，理解实验步骤的知识点和注意事项，对于构建智慧型实验室，引领创新，培养人才，具有重要意义。
56.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
head attention layer，第2子层为全连接层，每个子层之间使用残差连接。7.一种基于增强现实和机器视觉的实验教学系统中客户端实验教学方法，其特征在于，使用开发端中的增强现实技术将虚拟实验器材注册到真实实验环境中，使用服务器端的机器视觉技术实时对hololens2捕捉的画面进行处理，客户端根据当前画面智能判断出当前实验类别和实验步骤，给出当前实验步骤的指导提示，当前步骤操作正确的时候，通过开发端部署到客户端上的实验反应动画模块以及三维注册模块给出当前步骤应有的实验反应，如果当前步骤操作错误，再次给出当前步骤的操作指导，并给出错误反馈；所有步骤结束后，给出本次实验的综合评分和失分原因。

技术总结
本发明涉及一种基于增强现实和机器视觉的实验教学系统，以微软Hololens2眼镜为硬件基础，包括开发端、客户端、服务器端三部分，具体为虚拟实验器材库、三维注册模块、材质渲染模块、智能指导模块、信息传输模块、目标识别模块和人机交互模块，本发明可用于中学实验的智能教学。具体分析不同实验的特点，对实验器材进行建模，以深度学习算法为基础，结合机器视觉算法识别出实验器材，对实验过程进行实时监测和分析，对学生的实验操作进行实时反馈和指导，本发明解决了现有虚拟实验沉浸感差、无法提供实验智能指导问题，并且可扩展为多人协同实验。实验。实验。


技术研发人员：徐子琪 张朋 张洁 丁鹏飞 孙可芯
受保护的技术使用者：东华大学
技术研发日：2023.05.31
技术公布日：2023/9/6