一种基于在线教育大数据的深度学习样本标注方法及系统与流程

未命名 10-08 阅读:100 评论:0


1.本发明属于样本标注技术领域,尤其涉及一种基于在线教育大数据的深度学习样本标注方法及系统。


背景技术:

2.目前,对于在线教育文件(视频、音频、图片等)的标注方法主要有:第一种,通过单个人对文件进行甄别以实现标注,是一个纯体力劳动,而且单个人的主观性太强,导致标注不准确;第二种,基于自动化的标注,目前还处在研究阶段,对于图片的标注都还不能应用,更遑论提视频和音频。现有样本标注方法需要反复观看音频、视频或者图片进行筛选,耗费大量的人力物力,且主观性较强,容易导致深度学习的输出结果不准确。因此,亟需一种新的深度学习样本标注方法。
3.通过上述分析,现有技术存在的问题及缺陷为:现有样本标注方法需要反复观看音频、视频或者图片进行筛选,耗费大量的人力物力,且主观性较强,容易导致深度学习的输出结果不准确。


技术实现要素:

4.针对现有技术存在的问题,本发明提供了一种基于在线教育大数据的深度学习样本标注方法及系统。
5.本发明是这样实现的,一种基于在线教育大数据的深度学习样本标注方法,所述基于在线教育大数据的深度学习样本标注方法包括以下步骤:
6.步骤一,通过样本获取模块获取待标注的在线教育数据样本;通过分类处理模块对获取的待标注的在线教育数据样本进行分类处理,使得待标注的在线教育数据样本为同一种类别,得到不同的待标注的在线教育数据集;
7.步骤二,通过中央控制模块协调控制所述基于在线教育大数据的深度学习样本标注系统各个模块的正常运行;
8.步骤三,通过标注模型构建模块构建深度学习样本标注模型;通过模型训练模块利用获取的待标注的在线教育数据集对构建的深度学习样本标注模型进行训练;
9.步骤四,通过模型测试模块对训练好的深度学习样本标注模型进行测试,并根据测试结果对深度学习样本标注模型进行调整;
10.步骤五,通过样本标注模块利用深度学习样本标注模型对待标注的在线教育数据样本进行标注;通过样本标注审核模块对已标注的在线教育数据样本进行审核;
11.步骤六,通过数据存储模块存储获取的待标注的在线教育数据样本、样本分类处理结果、深度学习样本标注模型、样本标注结果以及样本标注审核结果;
12.步骤七,通过更新显示模块对获取的待标注的在线教育数据样本、样本分类处理结果、深度学习样本标注模型、样本标注结果以及样本标注审核结果的实时数据进行更新显示。
13.进一步,所述通过样本获取模块获取待标注的在线教育数据样本,包括:
14.在子应用中集成数据采集工具集,并且在子应用的生命周期函数中植入数据采集工具集的初始化方法;
15.通过子应用的上下文数据采集渠道数据;
16.通过重写子应用框架的生命周期函数采集用户访问数据;
17.通过子应用框架的系统接口采集智能终端设备的底层环境数据;
18.将包括渠道数据、用户访问数据和底层环境数据中的至少一部分的已采集数据上报到样本获取设备;
19.样本获取设备对获取的样本进行存储。
20.进一步,所述通过模型测试模块对训练好的深度学习样本标注模型进行测试,包括:
21.接收模型测试请求;
22.根据所述模型文件确定所述待测模型的的深度学习框架为第一框架;
23.根据所述第一框架、模型文件和待测模型的参数搭建测试模型;
24.通过所述测试模型进行测试,并输出对所述待测模型的测试结果。
25.进一步,所述模型测试请求携带待测模型的测试信息,所述测试信息包括模型文件、测试数据集和待测模型的参数。
26.进一步,所述第一框架为模型测试服务中包括的多种深度学习框架;
27.所述多种深度学习框架用于搭建不同的测试模型;所述不同的测试模型用于测试不同的深度学习模型。
28.进一步,步骤五中,所述通过样本标注模块利用深度学习样本标注模型对待标注的在线教育数据样本进行标注,包括:
29.(1)获取待标注的在线教育数据样本;
30.(2)通过样本标注模块识别所述待标注样本的至少一个区域,对所述至少一个区域进行切割形成至少一个样本区域;
31.(3)根据接收到的样本标注指令,利用深度学习样本标注模型对每个样本区域进行标注处理。
32.进一步,所述根据接收到的样本标注指令,利用深度学习样本标注模型对每个样本区域进行标注处理,包括:
33.1)通过样本标注模块向所述中央处理器发送样本标注请求;
34.2)中央处理器根据样本标注请求发出样本标注指令;
35.3)根据样本标注指令将每个样本区域均通过至少两个预设深度学习样本标注模型分别进行识别及标注处理。
36.进一步,步骤五中,所述通过样本标注审核模块对已标注的在线教育数据样本进行审核,包括:
37.(1)获取已标注的在线教育数据样本;
38.(2)将经过标注处理的样本发送给样本标注审核模块,通过所述样本标注审核模块对样本的标注结果进行审核,如果审核出所述标注结果为错误则对所述预标注结果进行修改,并同时对样本标注信息进行校验处理。
39.进一步,所述对样本标注信息进行校验处理,包括:
40.针对每个已标注的在线教育数据样本,样本标注审核模块检验样本标注信息是否准确,若不准确,则对所述已标注的在线教育数据样本进行重新识别。
41.本发明另一目的在于提供一种应用所述基于在线教育大数据的深度学习样本标注方法的基于在线教育大数据的深度学习样本标注系统,所述基于在线教育大数据的深度学习样本标注系统包括:
42.数据样本获取模块、分类处理模块、中央控制模块、标注模型构建模块、模型训练模块、模型测试模块、样本标注模块、样本标注审核模块、数据存储模块、更新显示模块;
43.数据样本获取模块、分类处理模块、中央控制模块、标注模型构建模块、模型训练模块、模型测试模块、样本标注模块、样本标注审核模块、数据存储模块、更新显示模块;
44.所述样本获取模块,与中央控制模块连接,用于获取待标注的在线教育数据样本,使用垂直搜索引擎根据关键字对在线教育数据样本进行搜索,搜索到的在线教育数据样本以数字信号的形式传输至样本获取模块,样本获取模块对样本进行序号标注;
45.所述分类处理模块,与中央控制模块连接,用于对获取的待标注的在线教育数据样本进行分类处理,使得待标注的在线教育数据样本为同一种类别,得到不同的待标注的在线教育数据集,首先对待标注的在线教育数据样本进行关键字提取,并将同一样本的不同关键字进行打包,将打包好的关键字逐一对比,相似度高于80%时判定为同一类别的样本,将分类好的样本再次进行打包;
46.所述中央控制模块,与数据样本获取模块、分类处理模块、标注模型构建模块、模型训练模块、模型测试模块、样本标注模块、样本标注审核模块、数据存储模块、更新显示模块连接,用于通过中央处理器协调控制所述基于在线教育大数据的深度学习样本标注系统各个模块的正常运行,主控机对各模块传输的数据以及请求进行采集,通过分析处理后输出给输出通道;当外部需要模拟量输出时,系统经过d/a转换器转换成标准电信号进行输出用于控制各个模块正常工作;
47.所述标注模型构建模块,与中央控制模块连接,用于构建深度学习样本标注模型,利用深度学习标注构建程序构建深度学习样本标注模型,将需要标注的样本特征输入至深度学习标注构建程序中,构建程序使用主成分分析pca对样本特征进行特征降维,得到最关键的样本特征,作为深度学习样本标注模型的标注依据;
48.所述模型训练模块,与中央控制模块连接,用于利用获取的待标注的在线教育数据集对构建的深度学习样本标注模型进行训练,将待标注的在线教育数据集输入深度学习样本标注模型,深度学习样本标注模型对数据集中的每一个样本进行逐一标注训练,根据前一张的训练结果调整模型参数继续训练,直至模型趋于稳定;
49.所述模型测试模块,与中央控制模块连接,用于对训练好的深度学习样本标注模型进行测试,并根据测试结果对深度学习样本标注模型进行调整,使用训练样本中没有的样本对模型进行测试,将测试样本输入训练好的模型中,得到标注结果,根据结果的准确性对模型进行针对性的调整;
50.所述样本标注模块,与中央控制模块连接,用于利用深度学习样本标注模型对待标注的在线教育数据样本进行标注,将待标注的在线教育数据样本输入测试过的深度学习样本标注模型,模型按照顺序依次对样本进行标注,得到标注好的样本;
51.所述样本标注审核模块,与中央控制模块连接,用于对已标注的在线教育数据样本进行审核,建立审核程序,将标注好的样本依次输入到审核程序中,审核程序按照全局比对算法对标注好的样本进行审核,若审核不通过,则通过人工标注;
52.所述数据存储模块,与中央控制模块连接,用于存储获取的待标注的在线教育数据样本、样本分类处理结果、深度学习样本标注模型、样本标注结果以及样本标注审核结果,采用sql服务数据库进行数据的存储,要存储数据的模块将转换好的数字信号打包发送至中央控制模块,经由中央控制模块进行标签操作传送至后台数据库sql中;
53.所述更新显示模块,与中央控制模块连接,用于对获取的待标注的在线教育数据样本、样本分类处理结果、深度学习样本标注模型、样本标注结果以及样本标注审核结果的实时数据进行更新显示,中央控制模块将信息以数字信号的形式实时传送至更新展示模块,更新展示模块将数字信号传入显示屏,以供显示。
54.结合上述的所有技术方案,本发明所具备的优点及积极效果为:本发明提供的基于在线教育大数据的深度学习样本标注系统,通过对在线教育大数据样本进行标注,为深度学习模型提供了不依赖于个人的数据入口,提高了对于在线教育数据的识别准确率,避免了个人的主观性,释放了单个重复劳动的枯燥性,也极大的方便了所有标注的用户,能够实现对用户体验感的提升,用户的使用操作更方便。
附图说明
55.为了更清楚地说明本发明实施例的技术方案,下面将对本发明实施例中所需要使用的附图做简单的介绍,显而易见地,下面所描述的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
56.图1是本发明实施例提供的基于在线教育大数据的深度学习样本标注方法流程图。
57.图2是本发明实施例提供的通过样本标注模块利用深度学习样本标注模型对待标注的在线教育数据样本进行标注的方法流程图。
58.图3是本发明实施例提供的通过样本标注审核模块利用标注审核程序对已标注的在线教育数据样本进行审核的方法流程图。
59.图4是本发明实施例提供的基于在线教育大数据的深度学习样本标注系统结构框图。
60.图5是本发明实施例提供的基于在线教育大数据的深度学习样本标注系统数据传输图。
61.图中:1、数据样本获取模块;2、分类处理模块;3、中央控制模块;4、标注模型构建模块;5、模型训练模块;6、模型测试模块;7、样本标注模块;8、样本标注审核模块;9、数据存储模块;10、更新显示模块。
具体实施方式
62.为了使本发明的目的、技术方案及优点更加清楚明白,以下结合实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅仅用以解释本发明,并不用于
限定本发明。
63.针对现有技术存在的问题,本发明提供了一种基于在线教育大数据的深度学习样本标注方法及系统,下面结合附图对本发明作详细的描述。
64.如图1所示,本发明实施例提供的基于在线教育大数据的深度学习样本标注方法包括以下步骤:
65.s101,通过样本获取模块获取待标注的在线教育数据样本;通过分类处理模块对获取的待标注的在线教育数据样本进行分类处理,使得待标注的在线教育数据样本为同一种类别,得到不同的待标注的在线教育数据集;
66.s102,通过中央控制模块协调控制所述基于在线教育大数据的深度学习样本标注系统各个模块的正常运行;
67.s103,通过标注模型构建模块构建深度学习样本标注模型;通过模型训练模块利用获取的待标注的在线教育数据集对构建的深度学习样本标注模型进行训练;
68.s104,通过模型测试模块对训练好的深度学习样本标注模型进行测试,并根据测试结果对深度学习样本标注模型进行调整;
69.s105,通过样本标注模块利用深度学习样本标注模型对待标注的在线教育数据样本进行标注;通过样本标注审核模块对已标注的在线教育数据样本进行审核;
70.s106,通过数据存储模块存储获取的待标注的在线教育数据样本、样本分类处理结果、深度学习样本标注模型、样本标注结果以及样本标注审核结果;
71.s107,通过更新显示模块对获取的待标注的在线教育数据样本、样本分类处理结果、深度学习样本标注模型、样本标注结果以及样本标注审核结果的实时数据进行更新显示。
72.所述通过样本获取模块获取待标注的在线教育数据样本,包括:
73.在子应用中集成数据采集工具集,并且在子应用的生命周期函数中植入数据采集工具集的初始化方法;
74.通过子应用的上下文数据采集渠道数据;
75.通过重写子应用框架的生命周期函数采集用户访问数据;
76.通过子应用框架的系统接口采集智能终端设备的底层环境数据;
77.将包括渠道数据、用户访问数据和底层环境数据中的至少一部分的已采集数据上报到样本获取设备;
78.样本获取设备对获取的样本进行存储。
79.所述通过模型测试模块对训练好的深度学习样本标注模型进行测试,包括:
80.接收模型测试请求;
81.根据所述模型文件确定所述待测模型的的深度学习框架为第一框架;
82.根据所述第一框架、模型文件和待测模型的参数搭建测试模型;
83.通过所述测试模型进行测试,并输出对所述待测模型的测试结果。
84.所述模型测试请求携带待测模型的测试信息,所述测试信息包括模型文件、测试数据集和待测模型的参数。
85.所述第一框架为模型测试服务中包括的多种深度学习框架;
86.所述多种深度学习框架用于搭建不同的测试模型;所述不同的测试模型用于测试
不同的深度学习模型。
87.如图2所示,步骤五中,所述通过样本标注模块利用深度学习样本标注模型对待标注的在线教育数据样本进行标注,包括:
88.s201,获取待标注的在线教育数据样本;
89.s202,通过样本标注模块识别所述待标注样本的至少一个区域,对所述至少一个区域进行切割形成至少一个样本区域;
90.s203,根据接收到的样本标注指令,利用深度学习样本标注模型对每个样本区域进行标注处理。
91.所述根据接收到的样本标注指令,利用深度学习样本标注模型对每个样本区域进行标注处理,包括:
92.通过样本标注模块向所述中央处理器发送样本标注请求;中央处理器根据样本标注请求发出样本标注指令;根据样本标注指令将每个样本区域均通过至少两个预设深度学习样本标注模型分别进行识别及标注处理。
93.如图3所示,步骤五中,所述通过样本标注审核模块对已标注的在线教育数据样本进行审核,包括:
94.s301,获取已标注的在线教育数据样本;
95.s302,将经过标注处理的样本发送给样本标注审核模块,通过所述样本标注审核模块对样本的标注结果进行审核,如果审核出所述标注结果为错误则对所述预标注结果进行修改,并同时对样本标注信息进行校验处理。
96.所述对样本标注信息进行校验处理,包括:
97.针对每个已标注的在线教育数据样本,样本标注审核模块检验样本标注信息是否准确,若不准确,则对所述已标注的在线教育数据样本进行重新识别。
98.如图4所示,本发明实施例提供的基于在线教育大数据的深度学习样本标注系统包括:数据样本获取模块1、分类处理模块2、中央控制模块3、标注模型构建模块4、模型训练模块5、模型测试模块6、样本标注模块7、样本标注审核模块8、数据存储模块9、更新显示模块10。
99.如图5所示,样本获取模块1,与中央控制模块3连接,用于通过样本获取设备获取待标注的在线教育数据样本,使用垂直搜索引擎根据关键字对在线教育数据样本进行搜索,搜索到的在线教育数据样本以数字信号的形式传输至样本获取模块,样本获取模块对样本进行序号标注;
100.分类处理模块2,与中央控制模块3连接,用于通过分类处理程序对获取的待标注的在线教育数据样本进行分类处理,使得待标注的在线教育数据样本为同一种类别,得到不同的待标注的在线教育数据集,首先对待标注的在线教育数据样本进行关键字提取,并将同一样本的不同关键字进行打包,将打包好的关键字逐一对比,相似度高于80%时判定为同一类别的样本,将分类好的样本再次进行打包;
101.中央控制模块3,与数据样本获取模块1、分类处理模块2、标注模型构建模块4、模型训练模块5、模型测试模块6、样本标注模块7、样本标注审核模块8、数据存储模块9、更新显示模块10连接,用于通过中央处理器协调控制所述基于在线教育大数据的深度学习样本标注系统各个模块的正常运行,主控机对各模块传输的数据以及请求进行采集,通过分析
处理后输出给输出通道;当外部需要模拟量输出时,系统经过d/a转换器转换成标准电信号进行输出用于控制各个模块正常工作;
102.标注模型构建模块4,与中央控制模块3连接,用于通过模型构建程序构建深度学习样本标注模型,利用深度学习标注构建程序构建深度学习样本标注模型,将需要标注的样本特征输入至深度学习标注构建程序中,构建程序使用主成分分析pca对样本特征进行特征降维,得到最关键的样本特征,作为深度学习样本标注模型的标注依据;
103.模型训练模块5,与中央控制模块3连接,用于通过模型训练程序利用获取的待标注的在线教育数据集对构建的深度学习样本标注模型进行训练,将待标注的在线教育数据集输入深度学习样本标注模型,深度学习样本标注模型对数据集中的每一个样本进行逐一标注训练,根据前一张的训练结果调整模型参数继续训练,直至模型趋于稳定;
104.模型测试模块6,与中央控制模块3连接,用于通过模型测试程序对训练好的深度学习样本标注模型进行测试,并根据测试结果对深度学习样本标注模型进行调整,使用训练样本中没有的样本对模型进行测试,将测试样本输入训练好的模型中,得到标注结果,根据结果的准确性对模型进行针对性的调整;
105.样本标注模块7,与中央控制模块3连接,用于通过样本标注程序利用深度学习样本标注模型对待标注的在线教育数据样本进行标注,将待标注的在线教育数据样本输入测试过的深度学习样本标注模型,模型按照顺序依次对样本进行标注,得到标注好的样本;
106.样本标注审核模块8,与中央控制模块3连接,用于通过标注审核程序对已标注的在线教育数据样本进行审核,建立审核程序,将标注好的样本依次输入到审核程序中,审核程序按照全局比对算法对标注好的样本进行审核,若审核不通过,则通过人工标注;
107.数据存储模块9,与中央控制模块3连接,用于通过存储器存储获取的待标注的在线教育数据样本、样本分类处理结果、深度学习样本标注模型、样本标注结果以及样本标注审核结果,采用sql服务数据库进行数据的存储,要存储数据的模块将转换好的数字信号打包发送至中央控制模块,经由中央控制模块进行标签操作传送至后台数据库sql中;
108.更新显示模块10,与中央控制模块3连接,用于通过显示器对获取的待标注的在线教育数据样本、样本分类处理结果、深度学习样本标注模型、样本标注结果以及样本标注审核结果的实时数据进行更新显示,中央控制模块将信息以数字信号的形式实时传送至更新展示模块,更新展示模块将数字信号传入显示屏,以供显示。
109.工作原理:使用数据样本获取模块1获取待使用的数据集,通过分类处理模块2对数据集进行分类,通过标注模型构建模块4构建深度学习标注模型,通过模型训练模块5对构建好的模型进行训练,并调整模型参数,对训练好的模型使用模型测试模块6进行测试,并再次根据结果进行相应调整,使用调整好的模型通过样本标注模块7对样本进行标注,对标注后的样本通过样本标注审核模块8进行审核,不合格的通过人工再次标注,使用数据存储模块9对系统中产生的数据进行存储,在更新显示模块10上显示系统数据信息。
110.在上述实施例中,可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用全部或部分地以计算机程序产品的形式实现,所述计算机程序产品包括一个或多个计算机指令。在计算机上加载或执行所述计算机程序指令时,全部或部分地产生按照本发明实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中,或者从一个
计算机可读存储介质向另一个计算机可读存储介质传输,例如,所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(dsl)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输)。所述计算机可读取存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质,(例如,软盘、硬盘、磁带)、光介质(例如,dvd)、或者半导体介质(例如固态硬盘solid state disk(ssd))等。
111.以上所述,仅为本发明的具体实施方式,但本发明的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本发明揭露的技术范围内,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,都应涵盖在本发明的保护范围之内。

技术特征:
1.一种基于在线教育大数据的深度学习样本标注方法,其特征在于,所述基于在线教育大数据的深度学习样本标注方法包括以下步骤:步骤一,通过样本获取模块获取待标注的在线教育数据样本;通过分类处理模块对获取的待标注的在线教育数据样本进行分类处理,使得待标注的在线教育数据样本为同一种类别,得到不同的待标注的在线教育数据集;步骤二,通过中央控制模块协调控制所述基于在线教育大数据的深度学习样本标注系统各个模块的正常运行;步骤三,通过标注模型构建模块构建深度学习样本标注模型;通过模型训练模块利用获取的待标注的在线教育数据集对构建的深度学习样本标注模型进行训练;步骤四,通过模型测试模块对训练好的深度学习样本标注模型进行测试,并根据测试结果对深度学习样本标注模型进行调整;步骤五,通过样本标注模块利用深度学习样本标注模型对待标注的在线教育数据样本进行标注;通过样本标注审核模块对已标注的在线教育数据样本进行审核;步骤六,通过数据存储模块存储获取的待标注的在线教育数据样本、样本分类处理结果、深度学习样本标注模型、样本标注结果以及样本标注审核结果;步骤七,通过更新显示模块对获取的待标注的在线教育数据样本、样本分类处理结果、深度学习样本标注模型、样本标注结果以及样本标注审核结果的实时数据进行更新显示。2.如权利要求1所述的基于在线教育大数据的深度学习样本标注方法,其特征在于,所述通过样本获取模块获取待标注的在线教育数据样本,包括:在子应用中集成数据采集工具集,并且在子应用的生命周期函数中植入数据采集工具集的初始化方法;通过子应用的上下文数据采集渠道数据;通过重写子应用框架的生命周期函数采集用户访问数据;通过子应用框架的系统接口采集智能终端设备的底层环境数据;将包括渠道数据、用户访问数据和底层环境数据中的至少一部分的已采集数据上报到样本获取设备;样本获取设备对获取的样本进行存储。3.如权利要求1所述的基于在线教育大数据的深度学习样本标注方法,其特征在于,所述通过模型测试模块对训练好的深度学习样本标注模型进行测试,包括:接收模型测试请求;根据所述模型文件确定所述待测模型的的深度学习框架为第一框架;根据所述第一框架、模型文件和待测模型的参数搭建测试模型;通过所述测试模型进行测试,并输出对所述待测模型的测试结果。4.如权利要求3所述的基于在线教育大数据的深度学习样本标注方法,其特征在于,所述模型测试请求携带待测模型的测试信息,所述测试信息包括模型文件、测试数据集和待测模型的参数。5.如权利要求3所述的基于在线教育大数据的深度学习样本标注方法,其特征在于,所述第一框架为模型测试服务中包括的多种深度学习框架;所述多种深度学习框架用于搭建不同的测试模型;所述不同的测试模型用于测试不同
的深度学习模型。6.如权利要求1所述的基于在线教育大数据的深度学习样本标注方法,其特征在于,步骤五中,所述通过样本标注模块利用深度学习样本标注模型对待标注的在线教育数据样本进行标注,包括:(1)获取待标注的在线教育数据样本;(2)通过样本标注模块识别所述待标注样本的至少一个区域,对所述至少一个区域进行切割形成至少一个样本区域;(3)根据接收到的样本标注指令,利用深度学习样本标注模型对每个样本区域进行标注处理。7.如权利要求6所述的基于在线教育大数据的深度学习样本标注方法,其特征在于,所述根据接收到的样本标注指令,利用深度学习样本标注模型对每个样本区域进行标注处理,包括:1)通过样本标注模块向所述中央处理器发送样本标注请求;2)中央处理器根据样本标注请求发出样本标注指令;3)根据样本标注指令将每个样本区域均通过至少两个预设深度学习样本标注模型分别进行识别及标注处理。8.如权利要求1所述的基于在线教育大数据的深度学习样本标注方法,其特征在于,步骤五中,所述通过样本标注审核模块对已标注的在线教育数据样本进行审核,包括:(1)获取已标注的在线教育数据样本;(2)将经过标注处理的样本发送给样本标注审核模块,通过所述样本标注审核模块对样本的标注结果进行审核,如果审核出所述标注结果为错误则对所述预标注结果进行修改,并同时对样本标注信息进行校验处理。9.如权利要求8所述的基于在线教育大数据的深度学习样本标注方法,其特征在于,所述对样本标注信息进行校验处理,包括:针对每个已标注的在线教育数据样本,样本标注审核模块检验样本标注信息是否准确,若不准确,则对所述已标注的在线教育数据样本进行重新识别。10.一种应用如权利要求1-9所述基于在线教育大数据的深度学习样本标注方法的基于在线教育大数据的深度学习样本标注系统,其特征在于,所述基于在线教育大数据的深度学习样本标注系统包括:数据样本获取模块、分类处理模块、中央控制模块、标注模型构建模块、模型训练模块、模型测试模块、样本标注模块、样本标注审核模块、数据存储模块、更新显示模块;所述样本获取模块,与中央控制模块连接,用于获取待标注的在线教育数据样本,使用垂直搜索引擎根据关键字对在线教育数据样本进行搜索,搜索到的在线教育数据样本以数字信号的形式传输至样本获取模块,样本获取模块对样本进行序号标注;所述分类处理模块,与中央控制模块连接,用于对获取的待标注的在线教育数据样本进行分类处理,使得待标注的在线教育数据样本为同一种类别,得到不同的待标注的在线教育数据集,首先对待标注的在线教育数据样本进行关键字提取,并将同一样本的不同关键字进行打包,将打包好的关键字逐一对比,相似度高于80%时判定为同一类别的样本,将分类好的样本再次进行打包;
所述中央控制模块,与数据样本获取模块、分类处理模块、标注模型构建模块、模型训练模块、模型测试模块、样本标注模块、样本标注审核模块、数据存储模块、更新显示模块连接,用于通过中央处理器协调控制所述基于在线教育大数据的深度学习样本标注系统各个模块的正常运行,主控机对各模块传输的数据以及请求进行采集,通过分析处理后输出给输出通道;当外部需要模拟量输出时,系统经过d/a转换器转换成标准电信号进行输出用于控制各个模块正常工作;所述标注模型构建模块,与中央控制模块连接,用于构建深度学习样本标注模型,利用深度学习标注构建程序构建深度学习样本标注模型,将需要标注的样本特征输入至深度学习标注构建程序中,构建程序使用主成分分析pca对样本特征进行特征降维,得到最关键的样本特征,作为深度学习样本标注模型的标注依据;所述模型训练模块,与中央控制模块连接,用于利用获取的待标注的在线教育数据集对构建的深度学习样本标注模型进行训练,将待标注的在线教育数据集输入深度学习样本标注模型,深度学习样本标注模型对数据集中的每一个样本进行逐一标注训练,根据前一张的训练结果调整模型参数继续训练,直至模型趋于稳定;所述模型测试模块,与中央控制模块连接,用于对训练好的深度学习样本标注模型进行测试,并根据测试结果对深度学习样本标注模型进行调整,使用训练样本中没有的样本对模型进行测试,将测试样本输入训练好的模型中,得到标注结果,根据结果的准确性对模型进行针对性的调整;所述样本标注模块,与中央控制模块连接,用于利用深度学习样本标注模型对待标注的在线教育数据样本进行标注,将待标注的在线教育数据样本输入测试过的深度学习样本标注模型,模型按照顺序依次对样本进行标注,得到标注好的样本;所述样本标注审核模块,与中央控制模块连接,用于对已标注的在线教育数据样本进行审核,建立审核程序,将标注好的样本依次输入到审核程序中,审核程序按照全局比对算法对标注好的样本进行审核,若审核不通过,则通过人工标注;所述数据存储模块,与中央控制模块连接,用于存储获取的待标注的在线教育数据样本、样本分类处理结果、深度学习样本标注模型、样本标注结果以及样本标注审核结果,采用sql服务数据库进行数据的存储,要存储数据的模块将转换好的数字信号打包发送至中央控制模块,经由中央控制模块进行标签操作传送至后台数据库sql中;所述更新显示模块,与中央控制模块连接,用于对获取的待标注的在线教育数据样本、样本分类处理结果、深度学习样本标注模型、样本标注结果以及样本标注审核结果的实时数据进行更新显示,中央控制模块将信息以数字信号的形式实时传送至更新展示模块,更新展示模块将数字信号传入显示屏,以供显示。

技术总结
本发明属于样本标注技术领域,公开了一种基于在线教育大数据的深度学习样本标注方法及系统,所述基于在线教育大数据的深度学习样本标注系统包括:数据样本获取模块、分类处理模块、中央控制模块、标注模型构建模块、模型训练模块、模型测试模块、样本标注模块、样本标注审核模块、数据存储模块、更新显示模块。本发明提供的基于在线教育大数据的深度学习样本标注系统,通过对在线教育大数据样本进行标注,为深度学习模型提供了不依赖于个人的数据入口,提高了对于在线教育数据的识别准确率,避免了个人的主观性,释放了单个重复劳动的枯燥性,也极大的方便了所有标注的用户,能够实现对用户体验感的提升,用户的使用操作更方便。用户的使用操作更方便。用户的使用操作更方便。


技术研发人员:杨柳
受保护的技术使用者:杨柳
技术研发日:2023.07.31
技术公布日:2023/10/6
版权声明

本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)

航空之家 https://www.aerohome.com.cn/

飞机超市 https://mall.aerohome.com.cn/

航空资讯 https://news.aerohome.com.cn/

分享:

扫一扫在手机阅读、分享本文

相关推荐