一种基于学习行为的视频定位装置及方法与流程
未命名
10-08
阅读:141
评论:0
1.本技术涉及人工智能技术领域:
:,尤其涉及一种基于学习行为的视频定位装置及方法。
背景技术:
::2.在课堂学习的过程中,授课教师会按照课程安排依次对知识点进行实时讲解,使学生可以通过讲解内容掌握各个知识点。但是,在课堂学习的过程中,学生还可能会由于讲解进度快、走神等问题导致无法及时掌握知识点的情况。3.因此,为了使学生可以对课堂内容进行巩固,授课教师还可以对课堂进行常态化录播,将讲解内容录制为课堂视频的形式,一节课堂则对应一段课堂视频。这样,学生则可以通过回放课堂视频的方式,对知识点的讲解内容进行回顾。4.但是,一段课堂视频会对应有多个知识点内容,学生则需要在课堂视频中对未掌握的知识点进行手动检索。而反复进行手动检索会消耗较长的时间,不易于对特定的知识点进行定位,导致课堂视频的知识点定位效率降低。技术实现要素:5.本技术提供一种基于学习行为的视频定位装置及方法,以解决课堂视频中知识点定位效率低的问题。6.第一方面,本技术一些实施例提供一种基于学习行为的视频定位装置,包括特征笔、手写本与处理器。其中,所述特征笔被配置为输入笔迹数据;所述手写本被配置为接收所述笔迹数据,且所述手写本包括目标区域;所述处理器被配置为:获取所述目标区域的笔迹数据,所述笔迹数据包括所述特征笔输入的驱动轨迹以及所述驱动轨迹的发生时间;对所述驱动轨迹执行特征识别;在所述驱动轨迹为模板轨迹时,将所述发生时间与目标视频关联,以及按照所述发生时间检测所述目标视频的子数据流;提取所述子数据流的目标文本;根据所述发生时间及所述目标文本对所述目标视频执行切片处理,以生成目标切片视频;向用户终端推送所述目标切片视频。7.可选的,所述手写本包括非目标区域;所述处理器执行获取目标区域的笔迹数据,被配置为:解析所述笔迹数据对应的点码文件,所述点码文件包括页码标识、区域标识及点阵图案;如果所述区域标识为目标区域标识,则标记所述笔迹数据为目标区域的笔迹数据,以及提取所述目标区域的笔迹数据;如果所述区域标识为非目标区域标识,则标记所述笔迹数据为非目标区域的笔迹数据。8.可选的,所述处理器执行对所述驱动轨迹执行特征识别,被配置为:提取所述驱动轨迹的特征向量;通过识别模型计算所述驱动轨迹与所述模板轨迹的相似度;如果所述相似度大于或等于相似度阈值,标记所述驱动轨迹为模板轨迹;如果所述相似度小于所述相似度阈值,标记所述驱动轨迹为非模板轨迹,以及删除所述非模板轨迹对应的笔迹数据。9.可选的,所述处理器执行提取所述子数据流的目标文本,被配置为:提取所述子数据流的音频数据;将所述音频数据转换为语言文本;基于自然语言处理算法提取所述语言文本的关键词;将所述关键词与预设的模板关键词匹配,以生成所述目标文本;所述目标文本包括与所述模板关键词内容相同的所述关键词。10.可选的,所述处理器执行根据所述发生时间及所述目标文本对所述目标视频执行切片处理,被配置为:检测切片时间阈值;计算切片时间点,所述切片时间点为比所述发生时间早所述切片时间阈值的时间点;按照所述切片时间点与所述发生时间分割所述目标视频,以生成所述目标切片视频;所述目标切片视频的起始时间为所述切片时间点,所述目标切片视频的结束时间为所述发生时间;建立所述目标文本与所述目标切片视频的关联关系。11.可选的,所述处理器执行根据所述发生时间及所述目标文本对所述目标视频执行切片处理,被配置为:获取所述目标视频的目标数据流;提取所述目标数据流中的音频数据与视频数据;将所述音频数据转换为语言文本;提取所述视频数据的画面帧,以及识别所述画面帧中的语言文本;将所述语言文本包括所述目标文本的音频数据,和/或,所述语言文本包括所述目标文本的视频数据分隔为所述目标切片视频;建立所述目标文本与所述目标切片视频的关联关系。12.可选的,所述处理器还被配置为:根据所述目标文本查询关联视频,所述关联视频为包括所述目标文本标签的视频;在推送所述目标切片视频时,向所述用户终端推送所述关联视频。13.可选的,所述处理器还被配置为:检测所述目标视频及所述关联视频的播放频次;根据所述播放频次设置所述目标切片视频与所述关联视频的排列优先级,所述排列优先级与所述播放频次呈正比例关系;按照所述排列优先级的顺序向所述用户终端推送所述目标切片视频与所述关联视频。14.可选的,所述装置还包括摄像头,所述摄像头被配置为采集目标人物的目标图像;所述处理器被配置为:控制所述摄像头捕捉所述目标图像的人脸特征;基于所述人脸特征识别所述目标人物的身份信息;根据所述身份信息查询所述目标视频的类别标签;建立所述类别标签与所述目标视频的关联关系。15.第二方面,本技术一些实施例还提供一种基于学习行为的视频定位方法,包括:获取目标区域的笔迹数据,所述笔迹数据包括特征笔输入的驱动轨迹以及所述驱动轨迹的发生时间;对所述驱动轨迹执行特征识别;在所述驱动轨迹为模板轨迹时,将所述发生时间与目标视频关联,以及按照所述发生时间检测所述目标视频的子数据流;提取所述子数据流的目标文本;根据所述发生时间及所述目标文本对所述目标视频执行切片处理,以生成目标切片视频;向用户终端推送所述目标切片视频。16.由以上技术方案可知,本技术一些实施例提供的基于学习行为的视频定位装置及方法,所述方法可以获取目标区域的笔迹数据。其中,笔迹数据包括特征笔输入的驱动轨迹以及驱动轨迹的发生时间。再对驱动轨迹执行特征识别,并在驱动轨迹为模板轨迹时,将发生时间与目标视频关联,以及按照发生时间检测目标视频的子数据流。提取子数据流的目标文本,并根据发生时间及目标文本对目标视频执行切片处理,以生成目标切片视频。再向用户终端推送目标切片视频。所述方法通过在目标区域中输入特定的驱动轨迹,可实现目标视频的自动定位及切片过程,进而提高目标视频的定位效率。附图说明17.为了更清楚地说明本技术实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本技术的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他的附图。18.图1为本技术一些实施例提供的特征笔的内部结构剖视图;图2为本技术一些实施例提供的基于学习行为的视频定位装置的架构图;图3为本技术一些实施例提供的基于学习行为的视频定位方法的流程示意图;图4为本技术一些实施例提供的一种手写本的效果示意图;图5为本技术一些实施例提供的对驱动轨迹执行特征识别的流程示意图;图6为本技术一些实施例提供的具有摄像头的频定位装置的结构示意图;图7为本技术一些实施例提供的基于切片时间阈值执行切片处理的流程示意图;图8为本技术一些实施例提供的基于语言文本执行切片处理的流程示意图。具体实施方式19.为使本技术的目的和实施方式更加清楚,下面将结合本技术示例性实施例中的附图,对本技术示例性实施方式进行清楚、完整地描述,显然,描述的示例性实施例仅是本技术一部分实施例,而不是全部的实施例。20.并且,术语“包括”和“具有”以及他们的任何变形,意图在于覆盖但不排他的包含,例如,包含了一系列组件的产品或设备不必限于清楚地列出的那些组件,而是可包括没有清楚地列出的或对于这些产品或设备固有的其它组件。21.在课堂学习的过程中,授课教师会按照课程安排依次对知识点进行实时讲解,使学生可以通过讲解内容掌握各个知识点。并且,学生可以对知识点的讲解内容进行笔记记录,以便于对知识点进行复习、总结。22.因此,在一些实施例中,通过特征笔100对知识点内容进行笔记记录。其中,特征笔100可以为电磁笔或点阵笔。电磁笔及点阵笔可对笔记中任意笔迹的发生时间点进行记录,并且还可以对笔记中的任意笔迹实时地进行电子化还原,进而提高笔记记录的便利性。23.如图1所示,在一些实施例中,特征笔100包括高速摄像机110、笔芯120、主控制器130、压力传感器140、电池150、蓝牙通信板160与充电器170。其中,高速摄像机110设置于特征笔100的前端,用于捕捉特征笔100笔尖的运动轨迹。压力传感器140用于检测特征笔100使用时产生的压力数据,以判断特征笔100的落笔状态。在使用过程中,压力传感器140将产生的压力数据传回至主控制器130。主控制器130通过驱动轨迹及压力数据,生成特征笔100的笔迹数据。其中,笔迹数据中记录有特征笔100落笔时的驱动轨迹,以及驱动轨迹对应的发生时间。在生成笔迹数据后,特征笔100再通过蓝牙通信板160与其他终端设备建立无线通信连接,实现笔迹数据的传输交互。24.在一些实施例中,特征笔100的笔芯120采用墨水笔芯,例如d1标准笔芯等。通过墨水笔芯可使特征笔100在纸张中保留书写笔迹,进而改善无纸化书写时需要实时注视电子屏幕的问题,可提高用户的使用体验。25.在一些实施例中,特征笔100的充电器170采用磁吸式充电器。磁吸式充电器采用磁吸充电的充电方式,即通过磁铁公母对吸方式达到接通充电效果。通过磁吸式充电器可提高充电时的传输效率及便利性。26.在一些实施例中,特征笔100还包括传输接口,传输接口可通过数据线与其他终端设备建立有线通信连接,实现笔迹数据的传输交互。27.在一些实施例中,特征笔100还包括存储器。笔迹数据存储在存储器中,主控制器130与存储器通信连接。在特征笔100生成笔迹数据后,存储器可以将笔迹数据上传至云端存储,实现特征笔100中笔迹数据的离线备份与离线存储功能。28.由于学生可能会讲解进度快、走神等因素,无法及时掌握知识点内容。因此,在一些实施例中,课堂教学时还采用线上直播课堂或线下录播课堂的形式,生成对应的课堂视频。这样,用户则可以在课后对课堂视频进行回放,回顾知识点的讲解内容。29.但是,一段课堂视频会对应有多个知识点内容,用户则需要在课堂视频中对特定的知识点讲解片段进行手动检索。而手动检索的方式难以准确地找到相应的片段,且会消耗较长的时间,进而导致课堂视频的知识点定位效率降低。30.本技术中,以课堂学习为例,目标视频为线下录播或线上线上直播方式生成的录播视频,用户终端为用户观看目标视频所使用的终端设备,可以为手机、平板电脑、笔记本电脑等其他智能显示设备。31.基于上述应用场景,为了改善课堂视频中知识点定位效率低的问题,本技术一些实施例提供一种基于学习行为的视频定位装置,如图2所示,包括特征笔100、手写本200与处理器300。其中,所述特征笔100被配置为输入笔迹数据;所述手写本200被配置为接收笔迹数据,且手写本200包括目标区域;如图3所示,所述处理器300被配置为执行以下程序步骤:s1:获取目标区域的笔迹数据。32.其中,笔迹数据包括特征笔输入的驱动轨迹以及驱动轨迹的发生时间。在手写本200中划分出目标区域,该目标区域用于监测用户特定的笔迹,以通过特定的模板笔迹对当前讲解的知识点进行标记。比如,模板笔迹可以采用特定字符“?”、“!”或“*”等,且模板笔迹可以为一种或一种以上的特定字符。33.例如,用户正在观看学习某节数学课堂的直播,当授课教师讲解到“三角函数”的知识点内容时,用户未理解掌握。此时,用户则可以通过特征笔100在手写本200的目标区域画出特定字符“?”,以标记当前知识点的位置。34.可以理解的是,模板轨迹采用也可以采用中文字符、英文字符或其他无具体定义的形状等。对此,本技术不作限制。35.在一些实施例中,当特征笔100为电磁笔时,手写本200采用电磁笔的手写板(handwritingtablet)。其中,电磁笔的手写板是基于电磁技术的输入装置,可与其他终端设备建立通信连接。电磁笔在使用时可发出特定频率的电磁信号,手写板的内部具有微控制器及二维的天线阵列,微控制器依序扫描天线板的x轴和y轴,再根据信号的大小计算出电磁笔的绝对坐标,并将坐标信息传送到与之连接的终端设备进行处理。36.为了增强用户的使用体验,在一些实施例中,电磁笔的手写板上铺设有书写纸,用户在通过特征笔100进行笔记记录时,可直接通过观察书写纸上呈现的笔迹,实时掌握笔记记录的情况。37.在一些实施例中,当特征笔100为点阵笔时,手写本200采用点阵本。点阵本为印刷或打印有一层不可见点阵图案的纸张。点阵图案是由像素级的点码组成,多个点码可以构成一个位码单元,一个位码单元可以表示一组(x,y)坐标值。换言之,点阵图案包括至少一个位码单元,其可以通过坐标范围值进行表示。38.也就是说,点阵图案可以将一页纸分割成一个个的位码单元,每一个位码单元都包含有相同的像素点个数。为了区分位码单元,在每一个位码单元中的特定像素点上进行标记,通过对标记像素点的不同的排列组合使得每一个位码单元的特征都不同,即可以通过标记像素点解码出唯一的位码单元,将位码单元与坐标进行一一对应。39.在一些实施例中,手写本200包括目标区域与非目标区域。目标区域用于输入特定的模板轨迹,非目标区域用于记录其他的笔记内容。为了提高书写板的利用率,非目标区域的面积大于目标区域,且目标区域设置于手写本200的边缘位置。40.例如,参见图4,图4为一种手写本的效果示意图。如图4所示,非目标区域位于手写本的右侧,为笔记区;目标区域位于手写本的左侧,为疑问区;且目标区域的面积远大于非目标区域的面积。在用户产生疑问时,则可以通过特征笔100在疑问区输入模板轨迹。41.为了便于区分手写本200中不同的页码及区域,在一些实施例中,笔迹数据对应的点码文件包括页码标识、区域标识与点阵图案。页面标识用于区分手写本200的页面;区域标识用于区分笔迹数据所处的区域。通过对上述标识及点阵图案进行识别,则可以判断出当前笔迹数据是手写本200哪一页、哪个区域的笔迹数据。42.因此,在一些实施例中,手写本200包括非目标区域与目标区域。处理器300在执行获取目标区域的笔迹数据时,解析笔迹数据对应的点码文件。其中,点码文件包括页码标识、区域标识及点阵图案。如果区域标识为目标区域标识,则标记笔迹数据为目标区域的笔迹数据,以及提取目标区域的笔迹数据。如果区域标识为非目标区域标识,则标记笔迹数据为非目标区域的笔迹数据。这样,则可以根据点码文件的区域标识对目标区域及非目标区域进行判别,从而确定笔迹数据在手写本200的输入区域。43.s2:对驱动轨迹执行特征识别。44.在获取到目标区域的笔迹数据后,对目标区域的笔迹数据进行特征识别。由于用户可能会在目标区域发生笔误的情况,所以在监测到目标区域产生笔迹数据后,还需要对该笔迹数据进行特征识别,进而确定用户当前的学习行为是否为存在疑问。即需要检测笔迹数据的驱动轨迹是否为预设的模板轨迹,如果笔迹数据为模板轨迹,则可以判断当前笔迹数据是用于表征存在疑问的学习行为;如果笔迹数据不是模板轨迹,则可以判断当前笔迹数据为用户误输入的笔迹数据。45.在一些实施例中,处理器300还基于模板轨迹执行样本训练。通过获取各种书写形式的模板轨迹作为输入样本,并对输入样本进行训练,以生成识别模型。例如,当模板轨迹为字符“?”时,获取各种不同大小、不同走笔弧度等书写格式的“?”作为输入样本,并通过上述输入样本训练识别模型,以便于对不规范的模板轨迹进行识别。在视频定位装置的使用过程中,通过训练好的识别模型对目标区域的笔迹数据进行检测,以判断当前笔迹数据是否为模板轨迹。46.显然,目标区域与非目标区域采用不同的交互逻辑,非目标区域的笔迹数据无需进行特征识别,视频定位装置仅对目标区域的笔迹数据进行识别。这样,既可以节省特征识别的处理时间,又可以提高模板轨迹的识别准确率。47.因此,如图5所示,在一些实施例中,对驱动轨迹执行特征识别时,提取驱动轨迹的特征向量,并通过识别模型计算驱动轨迹与模板轨迹的相似度。如果相似度大于或等于相似度阈值,标记驱动轨迹为模板轨迹;如果相似度小于相似度阈值,标记驱动轨迹为非模板轨迹,以及删除非模板轨迹对应的笔迹数据。48.由于视频定位装置仅对目标区域的笔迹数据进行特征识别,所以如果笔迹数据不为模板轨迹,则说明当前目标区域的笔迹数据为用户笔误。因此,为了减少笔迹数据的资源占用,在目标区域的驱动轨迹为非模板轨迹时,将其对应的笔迹数据删除。49.s3:在驱动轨迹为模板轨迹时,将发生时间与目标视频关联,以及按照发生时间检测目标视频的子数据流。50.对目标区域的笔迹数据进行特征识别后,即可以判断出当前笔迹数据的驱动轨迹是否为模板轨迹。如果判断出笔迹数据的驱动轨迹为模板轨迹,则将笔迹数据的发生时间与目标视频关联,并检测目标视频中靠近该发生时间的子数据流,以便于对疑问的知识点进行定位。其中,目标视频为授课教师的录播课程,授课教师在开始上课时则可以开始对课程进行视频录播。51.为了便于对目标视频进行分类,如图6所示,在一些实施例中,视频定位装置还包括摄像头400,摄像头400被配置为采集目标人物的目标图像,可通过摄像头400实现目标视频的录制过程。处理器300还被配置为控制摄像头400捕捉目标图像的人脸特征,并基于人脸特征识别目标人物的身份信息。其中,身份信息为预存于云端或本地的信息数据,可通过摄像头400对捕获目标人物的人脸,进行人脸识别,以确定当前目标人物的身份信息。再根据身份信息查询目标视频的类别标签,并建立类别标签与目标视频的关联关系。52.例如,目标人物a为数学老师,其预存的身份信息包括目标人物的id、姓名及授课学科。在a开始录播后,摄像头则可以对a的人脸进行捕获,并匹配a对应的身份信息。通过识别出的身份信息,可以确定a的授课学科为数学,则建立“数学”类别标签与目标视频的关联关系。53.在一些实施例中,目标视频还包括用于介绍视频内容的子标签。例如,教材版本、课程章节、课程章节所涵盖的知识点等,上述标签可以通过手动选择、教室信息匹配或教务系统等方式进行关联匹配。54.为了便于检测出子数据流,在一些实施例中,还获取分析时间阈值。在检测出笔迹数据的驱动轨迹为模板轨迹时,获取笔迹数据的发生时间,并计算分析时间点。其中,分析时间点为早于发生时间分析时间阈值的时间点。以分析时间点为起始时间、发生时间为结束时间,获取该段时间对应的子数据流。通过对子数据流进行分析,则可以确定用户所疑问的知识点内容。55.例如,模板轨迹为“?”,分析时间阈值为30s,目标视频第13分15秒至第33分18秒的时间段为知识点“三角函数”的讲解。用户在实时观看直播课程的过程中,在第30分17秒时通过特征笔100在目标区域输入“?”的驱动轨迹。视频定位装置则对“?”的笔迹数据执行特征识别,并在识别成功后,获取第29分47秒至第30分17秒的子数据流,并对子数据流进行智能分析。56.s4:提取子数据流的目标文本。57.在检测出子数据流后,提取子数据流的目标文本,以通过目标文本确定当前子数据流判断对应的知识点内容。目标文本为该段子数据流片段中出现的、与知识点词语相匹配的关键词。58.因此,在一些实施例中,提取子数据流的音频数据,并将音频数据转换为语言文本。再问基于自然语言处理(naturallanguageprocessing,nlp)算法提取语言文本的关键词,并将关键词与预设的模板关键词匹配,以生成目标文本。其中,目标文本包括与模板关键词内容相同的关键词。59.例如,模板关键词为基于教材版本及课程章节预置的知识点,包括“三角函数”、“象限角”、“轴线角”、“任意角”等。根据模板轨迹的发生时间,检测目标视频中对应的子数据流。提取子数据流的音频,并将音频转换为文本语言。通过nlp算法在转换出的文本语言中提取关键词,提取的关键词为“三角函数”、“内角”、“初等函数”、“自变量”等。将提取出的关键词与模板关键词进行比对匹配,则可以确定出子数据流对应的目标文本为“三角函数”。60.s5:根据发生时间及目标文本对目标视频执行切片处理,以生成目标切片视频。61.为了节省用户回放目标视频时的检索时间,提取出目标文本后,通过模板轨迹的发生时间及目标文本的内容对目标视频进行切片,将用户存在疑问的知识点精准地分割为切片视频片段。这样,用户在进行回放时,则不需要反复地在目标视频中对知识点的讲解频段进行检索,可提高知识点的定位效率。62.为了便于对目标视频执行切片处理,在一些实施例中,如图7所示,检测切片时间阈值,并计算切片时间点。其中,切片时间点为比发生时间早切片时间阈值的时间点;切片时间阈值为自定义的时间阈值,可根据应用场景进行适应性调整。按照切片时间点与发生时间分割目标视频,以生成目标切片视频。其中,目标切片视频的起始时间为切片时间点,目标切片视频的结束时间为发生时间。在生成出目标切片视频后,建立目标文本与目标切片视频的关联关系,以便于对目标切片视频进行分类管理。63.或者,在一些实施例中,如图8所示,获取目标视频的目标数据流,并提取目标数据流中的音频数据与视频数据。将音频数据转换为语言文本,并提取视频数据的画面帧,以及识别画面帧中的语言文本。将语言文本包括目标文本的音频数据,和/或,语言文本包括目标文本的视频数据分隔为目标切片视频。再建立目标文本与目标切片视频的关联关系。64.也就是说,本技术实施例可以通过切片时间阈值对目标视频进行切片;或者,还可以根据视频流中授课教师的声音及屏幕课件上的关键字,对知识点进行提取,并根据知识点进行智能切片。65.s6:向用户终端推送目标切片视频。66.在对目标视频执行切片处理后,则可以将生成的目标切片视频推送给用户终端,以供用户进行回放观看。这样,用户在进行课堂学习的过程中,可以在未理解某个知识点时,通过特征笔100在目标区域输入与模板轨迹相似的驱动轨迹。此时,视频定位装置则可以对当前驱动轨迹发生时间对应的知识点内容进行切片,生成精确地知识点讲解视频片段,并及时地向用户推送。这样,用户则无需在整个目标视频中进行检索,可提高知识点的定位效率。67.在一些实施例中,用户终端为登录有用户账号的终端设备,用户账号可以在特定的网站或应用软件中登录。这样,用户通过在不同设备中,等于唯一表征用户身份的用户账号,对视频进行回放观看,可提高目标切片视频观看的便利性。68.在一些实施例中,用户账号包括学生账号、教师账号与家长账号。教师账号与家长账号为学生账号的管理员账号,管理员账号可以观看学生账号中的目标切片视频以及笔迹数据,以便于对用户的学习情况进行了解。69.由于相同的知识点也存在不同形式的讲解方式,为了便于用户对知识点进行巩固,在一些实施例中,还根据目标文本查询关联视频。其中,关联视频为包括目标文本标签的视频。在推送目标切片视频时,向用户终端推送关联视频。通过确定出的知识点,查询更多与该知识点相关的关联视频,可加强用户对知识点的理解。70.并且,在一些实施例中,还检测目标视频及关联视频的播放频次,并根据播放频次设置目标切片视频与关联视频的排列优先级。其中,排列优先级与播放频次呈正比例关系,播放批次越多其对应的排列优先级则越高。再按照排列优先级的顺序向用户终端推送目标切片视频与关联视频,进而可以优先向用户推荐质量更高的知识点视频。71.基于上述基于学习行为的视频定位装置,本技术的部分实施例还提供一种基于学习行为的视频定位方法,如图3所示,包括以下程序步骤:s1:获取目标区域的笔迹数据,所述笔迹数据包括特征笔输入的驱动轨迹以及所述驱动轨迹的发生时间;s2:对所述驱动轨迹执行特征识别;s3:在所述驱动轨迹为模板轨迹时,将所述发生时间与目标视频关联,以及按照所述发生时间检测所述目标视频的子数据流;s4:提取所述子数据流的目标文本;s5:根据所述发生时间及所述目标文本对所述目标视频执行切片处理,以生成目标切片视频;s6:向用户终端推送所述目标切片视频。72.可以理解的是,本技术实施例提供的基于学习行为的视频定位装置及方法,以应用于课堂学习的视频定位应用场景为例。显然,本技术提供的基于学习行为的视频定位装置及方法,也可以应用与其他视频定位的应用场景中。对此,本技术不作限制。73.由以上技术方案可知,本技术一些实施例提供的基于学习行为的视频定位装置及方法,所述方法可以获取目标区域的笔迹数据。其中,笔迹数据包括特征笔输入的驱动轨迹以及驱动轨迹的发生时间。再对驱动轨迹执行特征识别,并在驱动轨迹为模板轨迹时,将发生时间与目标视频关联,以及按照发生时间检测目标视频的子数据流。提取子数据流的目标文本,并根据发生时间及目标文本对目标视频执行切片处理,以生成目标切片视频。再向用户终端推送目标切片视频。所述方法通过在目标区域中输入特定的驱动轨迹,可实现目标视频的自动定位及切片过程,进而提高目标视频的定位效率。74.为了方便解释,已经结合具体的实施方式进行了上述说明。但是,上述示例性的讨论不是意图穷尽或者将实施方式限定到上述公开的具体形式。根据上述的教导,可以得到多种修改和变形。上述实施方式的选择和描述是为了更好地解释原理以及实际的应用,从而使得本领域技术人员更好的使用实施方式以及适于具体使用考虑的各种不同的变形的实施方式。当前第1页12当前第1页12
技术特征:
1.一种基于学习行为的视频定位装置,其特征在于,包括:特征笔,被配置为输入笔迹数据;手写本,所述手写本被配置为接收所述笔迹数据,且所述手写本包括目标区域;处理器,被配置为:获取所述目标区域的笔迹数据,所述笔迹数据包括所述特征笔输入的驱动轨迹以及所述驱动轨迹的发生时间;对所述驱动轨迹执行特征识别;在所述驱动轨迹为模板轨迹时,将所述发生时间与目标视频关联,以及按照所述发生时间检测所述目标视频的子数据流;提取所述子数据流的目标文本;根据所述发生时间及所述目标文本对所述目标视频执行切片处理,以生成目标切片视频;向用户终端推送所述目标切片视频。2.根据权利要求1所述的基于学习行为的视频定位装置,其特征在于,所述手写本包括非目标区域;所述处理器执行获取目标区域的笔迹数据,被配置为:解析所述笔迹数据对应的点码文件,所述点码文件包括页码标识、区域标识及点阵图案;如果所述区域标识为目标区域标识,则标记所述笔迹数据为目标区域的笔迹数据,以及提取所述目标区域的笔迹数据;如果所述区域标识为非目标区域标识,则标记所述笔迹数据为非目标区域的笔迹数据。3.根据权利要求1所述的基于学习行为的视频定位装置,其特征在于,所述处理器执行对所述驱动轨迹执行特征识别,被配置为:提取所述驱动轨迹的特征向量;通过识别模型计算所述驱动轨迹与所述模板轨迹的相似度;如果所述相似度大于或等于相似度阈值,标记所述驱动轨迹为模板轨迹;如果所述相似度小于所述相似度阈值,标记所述驱动轨迹为非模板轨迹,以及删除所述非模板轨迹对应的笔迹数据。4.根据权利要求1所述的基于学习行为的视频定位装置,其特征在于,所述处理器执行提取所述子数据流的目标文本,被配置为:提取所述子数据流的音频数据;将所述音频数据转换为语言文本;基于自然语言处理算法提取所述语言文本的关键词;将所述关键词与预设的模板关键词匹配,以生成所述目标文本;所述目标文本包括与所述模板关键词内容相同的所述关键词。5.根据权利要求1所述的基于学习行为的视频定位装置,其特征在于,所述处理器执行根据所述发生时间及所述目标文本对所述目标视频执行切片处理,被配置为:检测切片时间阈值;计算切片时间点,所述切片时间点为比所述发生时间早所述切片时间阈值的时间点;
按照所述切片时间点与所述发生时间分割所述目标视频,以生成所述目标切片视频;所述目标切片视频的起始时间为所述切片时间点,所述目标切片视频的结束时间为所述发生时间;建立所述目标文本与所述目标切片视频的关联关系。6.根据权利要求1所述的基于学习行为的视频定位装置,其特征在于,所述处理器执行根据所述发生时间及所述目标文本对所述目标视频执行切片处理,被配置为:获取所述目标视频的目标数据流;提取所述目标数据流中的音频数据与视频数据;将所述音频数据转换为语言文本;提取所述视频数据的画面帧,以及识别所述画面帧中的语言文本;将所述语言文本包括所述目标文本的音频数据,和/或,所述语言文本包括所述目标文本的视频数据分隔为所述目标切片视频;建立所述目标文本与所述目标切片视频的关联关系。7.根据权利要求1所述的基于学习行为的视频定位装置,其特征在于,所述处理器还被配置为:根据所述目标文本查询关联视频,所述关联视频为包括所述目标文本标签的视频;在推送所述目标切片视频时,向所述用户终端推送所述关联视频。8.根据权利要求7所述的基于学习行为的视频定位装置,其特征在于,所述处理器还被配置为:检测所述目标视频及所述关联视频的播放频次;根据所述播放频次设置所述目标切片视频与所述关联视频的排列优先级,所述排列优先级与所述播放频次呈正比例关系;按照所述排列优先级的顺序向所述用户终端推送所述目标切片视频与所述关联视频。9.根据权利要求1所述的基于学习行为的视频定位装置,其特征在于,还包括摄像头,所述摄像头被配置为采集目标人物的目标图像;所述处理器被配置为:控制所述摄像头捕捉所述目标图像的人脸特征;基于所述人脸特征识别所述目标人物的身份信息;根据所述身份信息查询所述目标视频的类别标签;建立所述类别标签与所述目标视频的关联关系。10.一种基于学习行为的视频定位方法,其特征在于,包括:获取目标区域的笔迹数据,所述笔迹数据包括特征笔输入的驱动轨迹以及所述驱动轨迹的发生时间;对所述驱动轨迹执行特征识别;在所述驱动轨迹为模板轨迹时,将所述发生时间与目标视频关联,以及按照所述发生时间检测所述目标视频的子数据流;提取所述子数据流的目标文本;根据所述发生时间及所述目标文本对所述目标视频执行切片处理,以生成目标切片视频;向用户终端推送所述目标切片视频。
技术总结
本申请一些实施例提供一种基于学习行为的视频定位装置及方法,涉及人工智能技术领域,所述方法可以获取目标区域的笔迹数据。其中,笔迹数据包括特征笔输入的驱动轨迹以及驱动轨迹的发生时间。再对驱动轨迹执行特征识别,并在驱动轨迹为模板轨迹时,将发生时间与目标视频关联,以及按照发生时间检测目标视频的子数据流。提取子数据流的目标文本,并根据发生时间及目标文本对目标视频执行切片处理,以生成目标切片视频。再向用户终端推送目标切片视频。所述方法通过在目标区域中输入特定的驱动轨迹,可实现目标视频的自动定位及切片过程,进而提高目标视频的定位效率。进而提高目标视频的定位效率。进而提高目标视频的定位效率。
技术研发人员:周印伟 殷述军
受保护的技术使用者:青岛罗博数码科技有限公司
技术研发日:2023.08.24
技术公布日:2023/10/6
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/
