一种基于全景图的增强现实工业作业考试系统与方法

1.本发明涉及工业作业考试系统技术领域，特别是涉及一种基于全景图的增强现实工业作业考试系统与方法。


背景技术：

2.复杂工业作业日常大量繁重的工作均由基层员工来完成，基层员工的业务技能和职业水平直接决定了复杂工业作业系统能否实现安全优质的运作，目前对员工技能掌握程度的考核方式以理论知识考核为主，缺乏实际操作能力考核，且理论知识考核通过闭卷纸质答题或相关软件作答完成，员工考试成绩大都很好，对考核内容记忆深刻，但较难与实际工作环境与操作过程建立一定的联系。因此建立一套更加系统、科学、完善的考试体系，对员工技能掌握程度的考核非常重要，也为企业的考核提供有效的人力资源保障。
3.目前，以增强现实为代表的增强智能技术正在蓬勃发展，ar技术作为人工智能技术计算机视觉领域主要应用方向，以其实时感知、虚实融合、可穿戴等特点非常适合在复杂工业环境中进行应用，因此得到了诸多复杂装备制造企业的普遍关注和积极应用，已经在智能制造体系中表现出了良好的应用前景。增强现实具有更直观、沉浸感更好等特点，集成动作捕捉则有更好的作业适应性，且考试与作业能够“无缝衔接”，过渡更为顺畅，但增强现实考核需要提供真实环境，导致物料成本较高，此外，复杂工业作业多数情况下无法在真实情况下进行考核。
4.全景图是指通过全景相机对图像进行获取、拼接而生成的全视角图像，场景是从真实世界的工作现场收集的，真实感强，而且视角广，更有利于提升人员的参与感和真实感。将全景图与增强现实技术相结合进行考试能够克服增强现实技术在考核中存在的缺点，充分发挥全景图与增强现实技术的优势。


技术实现要素：

5.本发明的目的是提供一种基于全景图的增强现实工业作业考试系统与方法，充分发挥全景图与增强现实技术的优势，将理论知识考核与实际操作能力考核相结合，丰富现有考核方式，提升考核与实际工作环境之间的联系，充分、有效的对员工的知识掌握情况进行考核。
6.为实现上述目的，本发明提供了如下方案：
7.一种基于全景图的增强现实工业作业考试系统，包括：设计单元和考试单元，所述设计单元包括考试题型模块、答题方式模块、考题设计模块；
8.所述考试题型模块用于提供基于全景图的增强现实类视觉题和基于全景图的增强现实类操作题的题型；
9.所述答题方式模块用于提供键鼠交互答题方式、语音交互答题方式、视觉交互答题方式和手部交互答题方式；
10.所述考题设计模块用于设计普通选择判断考题、视觉交互考题、图表类考题以及
操作题考题；
11.所述考试单元包括考题获取模块以及考题作答模块，所述考题作答模块包括普通选择判断题答题模块、视觉交互考题答题模块、图表类考题答题模块以及操作题考题答题模块。
12.进一步地，所述键鼠交互答题方式可完成pc端选择题和判断题的作答，若在手机端则通过触屏完成选择题和判断题的作答，视觉交互答题方式可完成视觉交互考题的作答，语音交互答题方式可完成语音交互选择题和判断题的作答，手部交互答题方式是指通过外接输入设备leapmotion(体感控制器)完成操作技能的考核。
13.进一步地，所述考题设计模块包括全景上传模块、题型定义模块、选项定义模块以及区域定义模块；
14.所述全景上传模块用于准备以及上传与对应考题相关的背景图、全景图或普通二维图片；
15.所述题型定义模块用于选择考题类型以及答题方式，并设置考题题目内容；
16.所述选项定义模块用于设置多个选项，并选择其中一个为正确选项，或者，将考试相关模型导入系统，为导入的模型调整合适的视角，设置合适的大小，并将其移动至合适的位置，设计操作的正确结果；
17.所述区域定义模块用于通过区域定义功能在图表中框选出对应考题需要考核的图纸内容，框选部分与对应考题的识别图关联。
18.进一步地，所述考题设计模块还包括定义点位模块，用于选择一个选项，通过定义点位功能在上传好的全景图中进行漫游查看，选取合适的角度位置并在全景图中截图确定当前位置，然后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据，最后在该识别图中设置一个中心点，作为后续增强信息显示的中心点。
19.进一步地，所述考题设计模块还包括图表上传模块，用于准备以及上传对应考题需要考核的图表内容。
20.本发明还提供一种基于全景图的增强现实工业作业考试方法，应用于上述的基于全景图的增强现实工业作业考试系统，包括以下步骤：
21.考题设计，分别针对普通选择判断考题、视觉交互考题、图表类考题以及操作题考题不同题型进行设计；
22.获取试题，终端设备通过网络与考试系统服务器连接，进而获取考题；
23.考题作答，根据不同的考题采用对应的答题方式进行作答。
24.进一步地，所述考题设计，具体包括：
25.全景上传，准备以及上传与对应考题相关的全景图，用来代替真实环境，同时用于识别注册；
26.图表上传，准备以及上传对应考题需要考核的图表内容；
27.题型定义，选择考题类型以及答题方式，并设置考题题目内容；
28.区域定义，通过区域定义功能在图表中框选出对应考题需要考核的图纸内容，框选部分与对应考题的识别图关联；
29.选项定义，设置多个选项，并选择其中一个为正确选项；
30.定义点位，选择一个选项，通过定义点位功能在上传好的全景图中进行漫游查看，选取合适的角度位置并在全景图中截图确定当前位置，然后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据，最后在该识别图中设置一个中心点，作为后续增强信息显示的中心点。
31.进一步地，所述考题作答，具体包括：
32.若当前考题为普通选择判断题，系统自动记录考生选择的答案，同时在界面上的选项旁显示已作答图标提示考生；
33.若当前考题为视觉交互考题或图表类考题，在考生控制相机移动过程中，系统实时采集全景图并提取图像特征，然后通过基于特征点匹配的识别方法，将提取的全景图的特征与设计过程生成的识别图的离线特征进行匹配，若匹配成功，则采用基于单应性的位姿估计方法进行位姿估计，在识别图中设置的中心点所对应的全景图中的位置叠加增强现实引导信息，将全景图代替的真实世界信息和虚拟引导信息融合显示在系统终端设备的屏幕上，完成基于全景图的增强现实注册，提示考生该位置是一个考核选项，采用该种方式，考生实现全场景漫游，全选项预览，考生将手势图标移动至某一增强信息上，系统记录考生选择的答案，同时界面上的增强信息旁显示已选择该选项图标提示考生；
34.若当前考题为操作题，考试相关模型会根据设计的姿态显示在系统终端设备的屏幕上，考生根据考题要求，通过变换手势进行模型操作，leapmotion读取对应手部操作后，与标准答案进行比较，判断操作是否正确；
35.待考试提交后，系统将作答过程中记录的考生选择的答案与标准答案进行比较，给出评分。
36.根据本发明提供的具体实施例，本发明提供的基于全景图的增强现实工业作业考试系统与方法，主要针对现阶段工业作业考试方式的不足，进行针对性改进，公开了以下技术效果：
37.(1)创新现有工业作业考核方式，以全景图为设计素材作为考核场景，考题设计简单方便，节省人力物力，且考核沉浸感较强，更接近实际作业；
38.(2)能够用于基于全景图的增强现实工业作业视觉类考核，通过在工业作业场景中的全景图漫游、工业作业考核要素关联认知与增强现实注册结合，能够将全景图场景、工程图表与考核内容有效结合，达到对培训人员场景培训的考核，帮助考生更好的认知工业作业场景，提高考核效率和质量；
39.(3)能够用于基于全景图的增强现实工业作业操作技能类考核，考核人员在作业场景全景图漫游，找到待操作模型，通过动捕设备进行实际操作模拟，将全景图场景、操作对象与操作考核有效结合，考核学员在作业场景中特定位置的操作技能水平，提高实操考核效率和质量。
附图说明
40.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
41.图1为本发明基于全景图的增强现实工业作业考试系统的结构框图；
42.图2为本发明实施例设计单元的结构框图；
43.图3为本发明实施例视觉交互考题设计过程图；
44.图4为本发明实施例图表类考题设计过程图；
45.图5为本发明实施例操作题考题设计过程图；
46.图6为本发明实施例考试单元的考题作答过程图；
47.图7为本发明实施例视觉交互考题考试过程图；
48.图8为本发明实施例操作题考题考试过程图；
49.图9为本发明基于全景图的增强现实工业作业考试方法的流程图。
具体实施方式
50.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
51.本发明的目的是提供一种基于全景图的增强现实工业作业考试系统与方法，充分发挥全景图与增强现实技术的优势，将理论知识考核与实际操作能力考核相结合，丰富现有考核方式，提升考核与实际工作环境之间的联系，充分、有效的对员工的知识掌握情况进行考核。
52.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
53.如图1所示，本发明提供的基于全景图的增强现实工业作业考试系统，包括：设计单元和考试单元，如图2所示，所述设计单元通过网页端将考核内容进行组织，完成考题设计，生成指令配置文件，设计过程中可选择合适的考试题型和答题方式。所述设计单元包括考试题型模块、答题方式模块、考题设计模块。
54.所述考试题型模块用于提供基于全景图的增强现实类视觉题和基于全景图的增强现实类操作题的题型；考试题型包括选择题、判断题和操作题，选择题和判断题都支持文字或者图片类型，操作题可对操作技能进行考核；
55.所述答题方式模块用于提供键鼠交互答题方式、语音交互答题方式、视觉交互答题方式和手部交互答题方式；所述键鼠交互答题方式可完成pc端选择题和判断题的作答，若在手机端则通过触屏完成选择题和判断题的作答，视觉交互答题方式可完成视觉交互考题的作答，其中，视觉交互可完成选择题中的基于全景图的增强现实类考题的作答，语音交互答题方式可完成语音交互选择题和判断题的作答，手部交互答题方式是指通过外接输入设备leapmotion完成操作技能的考核；
56.所述考题设计模块用于设计普通选择判断考题、视觉交互考题、图表类考题以及操作题考题。所述考题设计模块包括全景上传模块、题型定义模块、选项定义模块以及区域定义模块；
57.所述全景上传模块用于准备以及上传与对应考题相关的背景图、全景图或普通二维图片；
58.所述题型定义模块用于选择考题类型以及答题方式，并设置考题题目内容；
59.所述选项定义模块用于设置多个选项，并选择其中一个为正确选项，或者，将考试相关模型导入系统，为导入的模型调整合适的视角，设置合适的大小，并将其移动至合适的位置，设计操作的正确结果；
60.所述区域定义模块用于通过区域定义功能在图表中框选出对应考题需要考核的图纸内容，框选部分与对应考题的识别图关联。
61.所述考题设计模块还包括定义点位模块，用于选择一个选项，通过定义点位功能在上传好的全景图中进行漫游查看，选取合适的角度位置并在全景图中截图确定当前位置，然后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据，最后在该识别图中设置一个中心点，作为后续增强信息显示的中心点。
62.所述考题设计模块还包括图表上传模块，用于准备以及上传对应考题需要考核的图表内容。
63.所述考试单元包括考题获取模块以及考题作答模块，所述考题作答模块包括普通选择判断题答题模块、视觉交互考题答题模块、图表类考题答题模块以及操作题考题答题模块。
64.如图9所示，本发明还提供一种基于全景图的增强现实工业作业考试方法，应用于上述的基于全景图的增强现实工业作业考试系统，包括以下步骤：
65.s1，考题设计，分别针对普通选择判断考题、视觉交互考题、图表类考题以及操作题考题不同题型进行设计；具体包括：
66.全景上传，准备以及上传与对应考题相关的全景图，用来代替真实环境，同时用于识别注册；
67.图表上传，准备以及上传对应考题需要考核的图表内容；
68.题型定义，选择考题类型以及答题方式，并设置考题题目内容；
69.区域定义，通过区域定义功能在图表中框选出对应考题需要考核的图纸内容，框选部分与对应考题的识别图关联；
70.选项定义，设置多个选项，并选择其中一个为正确选项；
71.定义点位，选择一个选项，通过定义点位功能在上传好的全景图中进行漫游查看，选取合适的角度位置并在全景图中截图确定当前位置，然后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据，最后在该识别图中设置一个中心点，作为后续增强信息显示的中心点；
72.s2，获取试题，终端设备通过网络与考试系统服务器连接，进而获取考题；
73.s3，考题作答，根据不同的考题采用对应的答题方式进行作答；如图6所示，所述考题作答，具体包括：
74.若当前考题为普通选择判断题，系统自动记录考生选择的答案，同时在界面上的选项旁显示已作答图标提示考生；
75.若当前考题为视觉交互考题或图表类考题，在考生控制相机移动过程中，系统实时采集全景图并提取图像特征，然后通过基于特征点匹配的识别方法，将提取的全景图的特征与设计过程生成的识别图的离线特征进行匹配，若匹配成功，则采用基于单应性的位姿估计方法进行位姿估计，在识别图中设置的中心点所对应的全景图中的位置叠加增强现
实引导信息，将全景图代替的真实世界信息和虚拟引导信息融合显示在系统终端设备的屏幕上，完成基于全景图的增强现实注册，提示考生该位置是一个考核选项，采用该种方式，考生实现全场景漫游，全选项预览，考生将手势图标移动至某一增强信息上，系统记录考生选择的答案，同时界面上的增强信息旁显示已选择该选项图标提示考生；
76.若当前考题为操作题，考试相关模型会根据设计的姿态显示在系统终端设备的屏幕上，考生根据考题要求，通过变换手势进行模型操作，leapmotion读取对应手部操作后，与标准答案进行比较，判断操作是否正确；
77.待考试提交后，系统将作答过程中记录的考生选择的答案与标准答案进行比较，给出评分。
78.示例地，所述s1中，将对普通选择判断题、视觉交互考题、图表类考题以及操作题的设计方法进行详细说明：
79.(1)普通选择判断考题设计方法
80.a.全景上传：准备以及上传与该考题相关的背景图，全景图或普通二维图片；
81.b.题目定义：选择考题类型为选择题或判断题，答题方式为键鼠交互或语音交互，设置题目内容；
82.c.选项定义：设置多个选项，并选择其中一个为正确选项，根据具体考核内容，选择文字或者图片考核方式，按照考核方式设置选项具体内容。
83.(2)视觉交互考题设计方法，如图3所示：
84.a.全景上传：准备以及上传与该考题相关的全景图，用来代替真实环境，同时用于识别注册；
85.b.题目定义：选择考题类型为选择题，答题方式为视觉交互，设置题目内容；
86.c.选项定义：设置多个选项，并选择其中一个为正确选项；
87.d.定义点位：选择一个选项，通过定义点位功能在上传好的全景图中进行漫游查看，选取合适的角度位置并在全景图中截图确定当前位置，然后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据，最后在该识别图中设置一个中心点，作为后续增强信息显示的中心点。
88.(3)图表类考题设计方法，如图4所示：
89.a.全景上传：准备以及上传与该考题相关的全景图，用来代替真实环境，同时用于识别注册；
90.b.图表上传：准备以及上传该考题需要考核的图表内容；
91.c.题目定义：选择考题类型为选择题，答题方式为视觉交互，设置题目内容；
92.d.区域定义：通过区域定义功能在图表中框选出该考题需要考核的图纸内容，该框选部分与当前考题的识别图关联；
93.e.选项定义：设置多个选项，并选择其中一个为正确选项；
94.f.定义点位：选择一个选项，通过定义点位功能在上传好的全景图中进行漫游查看，选取合适的角度位置并在全景图中截图确定当前位置，然后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据，最后在该识别图中设置一个中心点，作为后续增强信息显示的中心点。
95.(4)操作题考题设计方法，如图5所示：
96.a.全景上传：准备以及上传与该考题相关的背景图，全景图或普通二维图片；
97.b.题目定义：选择考题类型为操作题，答题方式为手部交互，设置题目内容；
98.c.选项定义：首先将考试相关模型导入系统；其次为导入的模型调整合适的视角，设置合适的大小，并将其移动至合适的位置；设计操作的正确结果。
99.示例地，所述步骤s3中，考生根据相应的题型采取对应的答题方式，下面对每种题型的答题方式进行说明：
100.(1)普通选择判断题答题方式
101.针对该类题型，考生可通过键鼠交互或语音交互作答，该题作答后，系统会记录考生选择的答案，同时界面上的选项旁显示已作答图标提示考生，待考试提交后，系统将作答过程中记录的考生选择的答案与标准答案进行比较，给出评分。
102.(2)视觉交互考题和图表类考题答题方式
103.如图7所示，针对该类题型，考生可通过视觉交互作答，视觉交互是采用基于全景图的增强现实方式作答，考生首先通过键鼠交互触发相机的上下、左右、前后运动函数，控制相机移动，进而实现人视角的全景漫游，在相机移动过程中，系统实时采集全景图并提取图像特征，然后通过基于特征点匹配的识别方法，将提取的全景图的特征与设计单元生成的识别图的离线特征进行匹配，若匹配成功，则采用基于单应性的位姿估计方法进行位姿估计，在识别图中设置的中心点所对应的全景图中的位置叠加增强现实引导信息，将全景图代替的真实世界信息和虚拟引导信息融合显示在系统终端设备的屏幕上，完成基于全景图的增强现实注册，提示考生该位置是一个考核选项，采用该种方式，考生实现全场景漫游，全选项预览，考生将手势图标移动至某一增强信息上，则代表选择该选项，系统会记录考生选择的答案，同时界面上的增强信息旁显示已选择该选项图标提示考生，待考试提交后，系统将作答过程中记录的考生选择的答案与标准答案进行比较，给出评分。
104.(3)操作题答题方式
105.如图8所示，针对该类题型，考生可通过手部交互作答，通过外接输入设备leapmotion完成操作技能的考核，leapmotion能够精确捕捉并反映考生手指变化，将手部姿态实时同步到虚拟场景中的虚拟手部模型，保证虚拟手部模型和考生手部姿态相同，考生通过虚拟手部模型的抓取、放开、移动等动作，控制模型的拆卸、移动等操作，实现模型的正确装配，装配完成后，考生控制虚拟手部模型点击确认按键提交操作答案，系统对手部信息进行采集处理，并记录考生的装配操作流程，待考生提交后，将作答过程中记录的考生操作流程与标准操作流程进行比较，给出评分。
106.本发明提供的基于全景图的增强现实工业作业考试系统及方法，创新现有考核方式，解决理论考核与实际工作环境缺乏互动关联、理论学习与操作练习分离的问题，借助先进的计算机视觉技术和全景图增强现实方式的优越性，增加人机交互，加强考试人员的沉浸感和参与度，更好地将理论考核、操作技能考核与现实结合，有效提高考核效率与质量。
107.本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种基于全景图的增强现实工业作业考试系统，其特征在于，包括：设计单元和考试单元，所述设计单元包括考试题型模块、答题方式模块、考题设计模块；所述考试题型模块用于提供基于全景图的增强现实类视觉题和基于全景图的增强现实类操作题的题型；所述答题方式模块用于提供键鼠交互答题方式、语音交互答题方式、视觉交互答题方式和手部交互答题方式；所述考题设计模块用于设计普通选择判断考题、视觉交互考题、图表类考题以及操作题考题；所述考试单元包括考题获取模块以及考题作答模块，所述考题作答模块包括普通选择判断题答题模块、视觉交互考题答题模块、图表类考题答题模块以及操作题考题答题模块。2.根据权利要求1所述的基于全景图的增强现实工业作业考试系统，其特征在于，所述键鼠交互答题方式可完成pc端选择题和判断题的作答，若在手机端则通过触屏完成选择题和判断题的作答，视觉交互答题方式可完成视觉交互考题的作答，语音交互答题方式可完成语音交互选择题和判断题的作答，手部交互答题方式是指通过外接输入设备leapmotion完成操作技能的考核。3.根据权利要求1所述的基于全景图的增强现实工业作业考试系统，其特征在于，所述考题设计模块包括全景上传模块、题型定义模块、选项定义模块以及区域定义模块；所述全景上传模块用于准备以及上传与对应考题相关的背景图、全景图或普通二维图片；所述题型定义模块用于选择考题类型以及答题方式，并设置考题题目内容；所述选项定义模块用于设置多个选项，并选择其中一个为正确选项，或者，将考试相关模型导入系统，为导入的模型调整合适的视角，设置合适的大小，并将其移动至合适的位置，设计操作的正确结果；所述区域定义模块用于通过区域定义功能在图表中框选出对应考题需要考核的图纸内容，框选部分与对应考题的识别图关联。4.根据权利要求3所述的基于全景图的增强现实工业作业考试系统，其特征在于，所述考题设计模块还包括定义点位模块，用于选择一个选项，通过定义点位功能在上传好的全景图中进行漫游查看，选取合适的角度位置并在全景图中截图确定当前位置，然后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据，最后在该识别图中设置一个中心点，作为后续增强信息显示的中心点。5.根据权利要求3所述的基于全景图的增强现实工业作业考试系统，其特征在于，所述考题设计模块还包括图表上传模块，用于准备以及上传对应考题需要考核的图表内容。6.一种基于全景图的增强现实工业作业考试方法，应用于权利要求1-5任一所述的基于全景图的增强现实工业作业考试系统，其特征在于，包括以下步骤：考题设计，分别针对普通选择判断考题、视觉交互考题、图表类考题以及操作题考题不同题型进行设计；获取试题，终端设备通过网络与考试系统服务器连接，进而获取考题；考题作答，根据不同的考题采用对应的答题方式进行作答。7.根据权利要求6所述的基于全景图的增强现实工业作业考试方法，其特征在于，所述
考题设计，具体包括：全景上传，准备以及上传与对应考题相关的全景图，用来代替真实环境，同时用于识别注册；图表上传，准备以及上传对应考题需要考核的图表内容；题型定义，选择考题类型以及答题方式，并设置考题题目内容；区域定义，通过区域定义功能在图表中框选出对应考题需要考核的图纸内容，框选部分与对应考题的识别图关联；选项定义，设置多个选项，并选择其中一个为正确选项；定义点位，选择一个选项，通过定义点位功能在上传好的全景图中进行漫游查看，选取合适的角度位置并在全景图中截图确定当前位置，然后框选局部需要识别的区域生成满足要求的识别图，作为基于全景图的增强现实识别注册的依据，最后在该识别图中设置一个中心点，作为后续增强信息显示的中心点。8.根据权利要求6所述的基于全景图的增强现实工业作业考试方法，其特征在于，所述考题作答，具体包括：若当前考题为普通选择判断题，系统自动记录考生选择的答案，同时在界面上的选项旁显示已作答图标提示考生；若当前考题为视觉交互考题或图表类考题，在考生控制相机移动过程中，系统实时采集全景图并提取图像特征，然后通过基于特征点匹配的识别方法，将提取的全景图的特征与设计过程生成的识别图的离线特征进行匹配，若匹配成功，则采用基于单应性的位姿估计方法进行位姿估计，在识别图中设置的中心点所对应的全景图中的位置叠加增强现实引导信息，将全景图代替的真实世界信息和虚拟引导信息融合显示在系统终端设备的屏幕上，完成基于全景图的增强现实注册，提示考生该位置是一个考核选项，采用该种方式，考生实现全场景漫游，全选项预览，考生将手势图标移动至某一增强信息上，系统记录考生选择的答案，同时界面上的增强信息旁显示已选择该选项图标提示考生；若当前考题为操作题，考试相关模型会根据设计的姿态显示在系统终端设备的屏幕上，考生根据考题要求，通过变换手势进行模型操作，leapmotion读取对应手部操作后，与标准答案进行比较，判断操作是否正确；待考试提交后，系统将作答过程中记录的考生选择的答案与标准答案进行比较，给出评分。

技术总结
本发明公开了一种基于全景图的增强现实工业作业考试系统与方法，该系统包括：设计单元和考试单元，设计单元包括考试题型模块、答题方式模块、考题设计模块；考试题型模块用于提供考试题型；答题方式模块用于提供键鼠交互、语音交互、视觉交互和手部交互等答题方式；考题设计模块用于设计普通选择判断考题、视觉交互考题、图表类考题以及操作题考题；考试单元包括考题获取模块以及考题作答模块，考题作答模块包括普通选择判断题答题模块、视觉交互考题答题模块、图表类考题答题模块以及操作题考题答题模块。本发明充分发挥全景图与增强现实技术的优势，将理论知识考核与实际操作能力考核相结合，极大的丰富现有工业作业考核方式。式。式。


技术研发人员：耿俊浩 徐瀛鹏
受保护的技术使用者：西北工业大学
技术研发日：2023.05.19
技术公布日：2023/8/24