幻灯片的标题识别方法、装置及存储介质与流程

1.本技术实施例涉及计算机技术领域，特别涉及一种幻灯片的标题识别方法、装置及存储介质。


背景技术：

2.当前，线上课程、线下录播课程等已经成为学生等各界人员的重要学习资源，这些课程大多以ppt(powerpoint，幻灯片)的形式呈现。在录播这些课程并形成录播视频文件后，计算机设备可以识别录播视频文件中的ppt标题，基于所识别到的ppt标题来自动命名录播视频文件，或者自动生成所录播课程的大纲。如何准确识别录播视频文件中的ppt标题是业界研究热点。


技术实现要素：

3.本技术实施例提供了一种幻灯片的标题识别方法、装置及存储介质，能够精准识别视频流中ppt的标题。所述技术方案如下：
4.一方面，提供了一种ppt的标题识别方法，所述方法包括：
5.获取视频流中的第一图像，所述视频流为采集的所述ppt的放映过程的视频流，所述第一图像是所述ppt中第一页面的图像，所述第一页面为所述ppt中的任意一个页面；
6.通过文本检测网络确定所述第一图像中的一个或多个第一文本区域；
7.基于所述一个或多个第一文本区域，通过文本识别网络确定所述第一页面的标题。
8.可选地，所述通过文本检测网络确定所述第一图像中的一个或多个第一文本区域，包括：
9.截取所述第一图像中的检测区域，所述检测区域为所述第一图像中存在文本的区域；
10.将所述检测区域输入所述文本检测网络，以得到所述文本检测网络输出的所述一个或多个第一文本区域。
11.可选地，所述文本检测网络包括特征提取层、转置卷积层、二值化层和文本判别层；
12.所述将所述检测区域输入所述文本检测网络，以得到所述文本检测网络输出的所述一个或多个第一文本区域，包括：
13.将所述检测区域输入所述特征提取层，以得到所述特征提取层输出的第一特征图；
14.将所述第一特征图输入所述转置卷积层，以得到所述转置卷积层输出的第一概率图和第一阈值图，所述第一概率图和所述第一阈值图的大小与所述检测区域的大小相同，所述第一概率图表征所述检测区域内的各个像素点属于文本的概率，所述第一阈值图指示所述二值化层对所述第一概率图进行二值化的阈值；
15.将所述第一概率图和所述第一阈值图输入所述二值化层，以得到所述二值化层输出的第一二值图；
16.将所述第一二值图输入所述文本判别层，以得到所述文本判别层输出的所述一个或多个第一文本区域。
17.可选地，所述基于所述一个或多个第一文本区域，通过文本识别网络确定所述第一页面的标题，包括：
18.对所述一个或多个第一文本区域进行过滤，得到一个或多个第二文本区域；
19.将所述一个或多个第二文本区域输入所述文本识别网络，以得到所述文本识别网络输出的所述第一页面的标题。
20.可选地，所述对所述一个或多个第一文本区域进行过滤，包括：
21.将所述一个或多个第一文本区域中未位于过滤区域的第一文本区域过滤掉，所述过滤区域位于所述检测区域的内部。
22.可选地，所述对所述一个或多个第一文本区域进行过滤，包括：
23.将所述一个或多个第一文本区域中除最靠近所述第一图像上边界的第一文本区域过滤掉。
24.可选地，所述文本识别网络包括卷积层、循环层和转录层；
25.所述将所述一个或多个第二文本区域输入所述文本识别网络，以得到所述文本识别网络输出的所述第一页面的标题，包括：
26.将所述一个或多个第二文本区域输入所述卷积层，以得到所述卷积层输出的一个或多个第一特征序列；
27.将所述一个或多个第一特征序列输入所述循环层，以得到所述循环层输出的一个或多个序列预测第一标签；
28.将所述一个或多个第一序列预测标签输入所述转录层，以得到所述转录层输出的所述第一页面的标题。
29.可选地，所述获取视频流中的第一图像，包括：
30.在播放所述视频流的过程中，如果检测到所述视频流的播放画面发生变化，则获取当前播放画面作为所述第一图像。
31.另一方面，提供了一种ppt的标题识别装置，所述装置包括：
32.获取模块，用于获取视频流中的第一图像，所述视频流为采集的所述ppt的放映过程的视频流，所述第一图像是所述ppt中第一页面的图像，所述第一页面为所述ppt中的任意一个页面；
33.第一确定模块，用于通过文本检测网络确定所述第一图像中的一个或多个第一文本区域；
34.第二确定模块，用于基于所述一个或多个第一文本区域，通过文本识别网络确定所述第一页面的标题。
35.可选地，所述第一确定模块包括：
36.截取子模块，用于截取所述第一图像中的检测区域，所述检测区域为所述第一图像中存在文本的区域；
37.文本检测子模块，用于将所述检测区域输入所述文本检测网络，以得到所述文本
检测网络输出的所述一个或多个第一文本区域。
38.可选地，所述文本检测网络包括特征提取层、转置卷积层、二值化层和文本判别层；
39.所述文本检测子模块具体用于：
40.将所述检测区域输入所述特征提取层，以得到所述特征提取层输出的第一特征图；
41.将所述第一特征图输入所述转置卷积层，以得到所述转置卷积层输出的第一概率图和第一阈值图，所述第一概率图和所述第一阈值图的大小与所述检测区域的大小相同，所述第一概率图表征所述检测区域内的各个像素点属于文本的概率，所述第一阈值图指示所述二值化层对所述第一概率图进行二值化的阈值；
42.将所述第一概率图和所述第一阈值图输入所述二值化层，以得到所述二值化层输出的第一二值图；
43.将所述第一二值图输入所述文本判别层，以得到所述文本判别层输出的所述一个或多个第一文本区域。
44.可选地，所述第二确定模块包括：
45.过滤子模块，用于对所述一个或多个第一文本区域进行过滤，得到一个或多个第二文本区域；
46.文本识别子模块，用于将所述一个或多个第二文本区域输入所述文本识别网络，以得到所述文本识别网络输出的所述第一页面的标题。
47.可选地，所述过滤子模块具体用于：
48.将所述一个或多个第一文本区域中未位于过滤区域的第一文本区域过滤掉，所述过滤区域位于所述检测区域的内部。
49.可选地，所述过滤子模块具体用于：
50.将所述一个或多个第一文本区域中除最靠近所述第一图像上边界的第一文本区域过滤掉。
51.可选地，所述文本识别网络包括卷积层、循环层和转录层；
52.所述文本识别子模块具体用于：
53.将所述一个或多个第二文本区域输入所述卷积层，以得到所述卷积层输出的一个或多个第一特征序列；
54.将所述一个或多个第一特征序列输入所述循环层，以得到所述循环层输出的一个或多个第一序列预测标签；
55.将所述一个或多个第一序列预测标签输入所述转录层，以得到所述转录层输出的所述第一页面的标题。
56.可选地，所述获取模块包括：
57.获取子模块，用于在播放所述视频流的过程中，如果检测到所述视频流的播放画面发生变化，则获取当前播放画面作为所述第一图像。
58.另一方面，提供了一种计算机设备，所述计算机设备包括处理器、通信接口、存储器和通信总线，所述处理器、所述通信接口和所述存储器通过所述通信总线完成相互间的通信，所述存储器用于存放计算机程序，所述处理器用于执行所述存储器上所存放的程序，
以实现上述所述ppt的标题识别方法的步骤。
59.另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述所述ppt的标题识别方法的步骤。
60.另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的ppt的标题识别方法的步骤。
61.本技术实施例提供的技术方案至少可以带来以下有益效果：
62.通过神经网络对ppt的放映视频流中的图像进行文本检测和文本识别，保证了ppt标题识别的精度和准确度。在ppt页面中存在多个标题的情况下，本方案也能够准确识别到。
附图说明
63.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
64.图1是本技术实施例提供的一种ppt的标题识别方法的流程图；
65.图2是本技术实施例提供的一个识别到的ppt标题的示意图；
66.图3是本技术实施例提供的另一种ppt的标题识别方法的流程图；
67.图4是本技术实施例提供的一种ppt的标题识别装置的结构示意图；
68.图5是本技术实施例提供的一种计算设备的结构示意图。
具体实施方式
69.为使本技术实施例的目的、技术方案和优点更加清楚，下面将结合附图对本技术实施方式作进一步地详细描述。
70.当前，线上课程、线下录播课程等已经成为学生等各界人员的重要学习资源，这些课程大多以ppt的形式呈现。在录播这些课程并形成录播视频文件后，计算机设备可以识别录播视频文件中的ppt标题，基于所识别到的ppt标题来自动命名录播视频文件，或者自动生成所录播课程的大纲。然而，目前业界对视频中的ppt标题进行识别的研究甚少，本技术实施例提供了一种ppt标题识别方法，能够精准识别视频流中ppt的标题，包括识别一个标题或多个标题。在实际使用中，本方案也能够在播放视频流的过程中，实时识别ppt标题，即，本方案也能够满足实时性的要求。
71.需要说明的是，本技术实施例描述的系统架构以及业务场景是为了更加清楚的说明本技术实施例的技术方案，并不构成对于本技术实施例提供的技术方案的限定，本领域普通技术人员可知，随着系统架构的演变和新业务场景的出现，本技术实施例提供的技术方案对于类似的技术问题，同样适用。
72.接下来对本技术实施例提供的ppt标题识别方法进行详细的解释说明。该方法可以应用于计算设备。该计算设备可以是指播放有该ppt的视频流的设备，这样该计算设备能够边播放视频流，边识别ppt的标题。例如，该计算设备为播放该视频流的一台笔记本电脑，该笔记本电脑在播放该视频流的过程中，识别ppt的标题。当然，该计算设备也可以是未播
放该ppt的视频流的设备，该计算设备与播放该ppt的视频流的设备可以通信。例如，播放该视频流的设备为一台投影仪(或者电视或者其他播放设备)，该投影仪通过无线或者有线方式连接有一台笔记本电脑。该笔记本电脑作为计算设备，能够获取投影仪所播放的视频流，进而识别所获取的视频流中ppt的标题。
73.图1是本技术实施例提供的一种ppt的标题识别方法的流程图。以该方法应用于计算设备为例，请参考图1，该方法包括如下步骤。
74.步骤101：获取视频流中的第一图像，该视频流为采集的ppt的放映过程的视频流，第一图像是该ppt中第一页面的图像。
75.其中，第一页面为该ppt中的任意一个页面。
76.在本技术实施例中，计算设备存储有包含该ppt的放映过程的视频流，计算设备可以从存储的数据中获取该视频流中的各个图像。计算设备也可以在播放该视频流的过程中获取该视频流中的各个图像。或者，该视频流存储在其他设备上，或在其他设备上播放，计算设备能够通过有线或无线的方式从其他设备获取该视频流中的各个图像。
77.以该视频流包括第一图像，该ppt包括第一页面为例，第一图像为第一页面的图像，计算设备能够获取该视频流中的第一图像。其中，第一页面为该ppt中的任意一个页面。
78.为了满足实时识别ppt标题的需求，在一种实现方式中，在播放视频流的过程中，如果检测到视频流的播放画面发生变化，则计算设备获取当前播放画面作为第一图像。
79.其中，播放该视频流的设备可以是该计算设备，也可以是其他设备。检测该视频流的播放画面是否发生变化的设备可以是该计算设备，也可以是该视频流的播放设备，也可以是能够与该播放设备和该计算设备进行通信的其他设备。
80.以该计算设备检测该视频流的播放画面是否发生变化为例，该计算设备可以通过将当前播放画面与上一播放画面进行图像对比的方式，来判断该视频流的播放画面是否发生变化。其中，图像对比的方式可以是基于图像的非深度信息进行对比的方式，非深度信息如纹理信息和/或颜色信息等。图像对比的方式也可以是基于图像的深度信息进行对比的方式，深度信息是指通过某种神经网络对图像进行特征提取所得到的高维特征信息。
81.ppt通常包含主体区域、备注区域和批注框等，ppt放映时可选择隐藏备注区域和/或批注框等非主体区域，也可选择显示备注区域和/或批注框等非主体区域。在未显示非主体区域的情况下，上述第一图像也不包含非主体区域。在显示非主体区域的情况下，上述第一图像包含非主体区域。而ppt的标题位于主体区域，非主体区域的文本信息会对计算设备进行ppt标题识别有所影响。
82.基于此，为了提高标题识别的准确性，若该计算设备具备自动识别视频流中ppt主体区域的功能，例如，该计算设备可通过深度学习技术自动识别该主体区域，则该ppt可以全屏幕播放，也可以不全屏幕播放。若该计算设备不具备自动识别该主体区域的功能，且人工不辅助计算设备识别主体区域，则该ppt需要全屏幕播放。或者在人工辅助计算设备识别主体区域的情况下，该ppt可以不全屏幕播放，当然也可以全屏幕播放。其中，人工可以通过框选视频画面中的主体区域来辅助计算设备识别该主体区域，或者，人工通过标注出视频画面中的主体区域的坐标来辅助计算设备识别该主体区域。
83.在一示例中，该计算设备为一台笔记本电脑，该笔记本电脑通过hdmi(high definition multimedia interface，高清多媒体接口)连接投影仪，该笔记本电脑存储有
该ppt文件，该笔记本电脑在打开ppt文件后，通过win+p按键选择
‘
仅电脑屏幕’或
‘
扩展’模式来放映该ppt，放映的同时形成该ppt的视频流。其中，
‘
仅电脑屏幕’模式能够实现该ppt在该笔记本电脑上的全屏幕播放。
‘
扩展’模式能够实现在该笔记本电脑以及该投影仪上均全屏幕播放。应当理解的是，该笔记本电脑通过采集该ppt在自身屏幕上的放映过程形成该ppt的视频流。
84.可选地，计算设备可按照上述方法获取该视频流中的第二图像，第二图像是该ppt的第二页面的图像，第二页面为该ppt中与第一页面不同的另一个页面。
85.步骤102：通过文本检测网络确定第一图像中的一个或多个第一文本区域。
86.在本技术实施例中，该计算设备通过文本检测网络确定第一图像中的一个或多个第一文本区域的实现方式有很多。比如，该计算设备将第一图像输入该文本检测网络，以得到该文本检测网络输出的一个或多个第一文本区域。又比如，该计算设备截取第一图像中的检测区域，将该检测区域输入该文本检测网络，以得到该文本检测网络输出的一个或多个第一文本区域。
87.其中，该检测区域为第一图像中存在文本的区域。应当理解的是，检测区域通常小于第一图像的整个区域，即，检测区域包括第一图像的局部区域。例如，检测区域可以包括第一图像的左上部分，或者居中部分，或者中上部分，或者右上部分。简单来讲，检测区域为第一图像中大概率存在标题的区域。示例性地，该ppt中的标题大概率在页面的左上角，那么，该检测区域可以包括第一图像的左上3/4区域。
88.在本技术实施例中，该检测区域是一个矩形区域。该检测区域根据第一参考坐标、检测宽度和检测高度确定。其中，检测宽度和检测高度分别为检测区域的宽度和高度。
89.在一种实现方式中，第一参考坐标是指该检测区域的某一顶点的坐标，即，第一参考坐标包含该检测区域的某一顶点的横坐标和纵坐标。该顶点可根据需求设置为该检测区域的左上角顶点或左下角顶点或右上角顶点或右下角顶点。
90.示例性地，第一参考坐标是指该检测区域的左上角顶点的坐标。第一参考坐标记为(x
01
,y
01
)，检测宽度和检测高度分别记为w
01
和h
01
。以第一图像的宽度和高度分别为1280和720，第一图像的左上角坐标为(0,0)为例，(x
01
,y
01
)可设置为(0,0)，w
01
和h
01
可分别设置为960和540。那么，在该示例中，(x
01
,y
01
)为(0,0)表示该检测区域的左上角顶点与第一图像的左上角顶点重合，960和540表示该检测区域的宽度和高度分别为第一图像的宽度和高度的3/4。
91.在另一种实现方式，第一参考坐标是指该检测区域的中心坐标。应当理解的是，在这种实现方式中，ppt的标题大概率在页面的居中位置。仍以第一图像的宽度和高度分别为1280和720为例，第一参考坐标(x
01
,y
01
)可设置为(640,360)，检测宽度和检测高度可分别设置为960和540，也可以设置为其他数值。
92.在其他一些可能的实施例中，该检测区域也可以是圆角矩形区域或圆形区域或椭圆形区域，本技术实施例对此不作限定。
93.在本技术实施例中，计算设备获取第一设置请求，第一设置请求指示该检测区域。
94.例如，用户在计算设备的配置界面上输入(0,0,960,540)，并点击提交，以在该计算设备上生成第一设置请求，第一设置请求指示该检测区域的第一参考坐标为(0,0)，检测宽度和检测高度分别为(960和540)。又如，用户在该ppt的视频画面中框选出一个区域，并
点击提交，以在该计算设备上生成第一设置请求，用户所框选的区域作为该检测区域。
95.接下来对计算设备将该检测区域输入该文本检测网络，以得到该文本检测网络输出的一个或多个第一文本区域的一种实现方式进行介绍。
96.在一种实现方式中，该文本检测网络包括特征提取层、转置卷积层、二值化层和文本判别层。计算设备将该检测区域输入特征提取层，以得到特征提取层输出的第一特征图，将第一特征图输入转置卷积层，以得到转置卷积层输出的第一概率图和第一阈值图。其中，第一概率图和第一阈值图的大小与该检测区域的大小相同，第一概率图表征该检测区域内的各个像素点属于文本的概率，第一阈值图指示二值化层对第一概率图进行二值化的阈值。计算设备将第一概率图和第一阈值图输入二值化层，以得到二值化层输出的第一二值图，将第一二值图输入文本判别层，以得到文本判别层输出的一个或多个第一文本区域。其中，第一二值图的大小与该检测区域的大小也相同。
97.示例性地，上述特征提取层是fpn(feature pyramid networks，特征金字塔网络)的结构，或者是其他形式的卷积层结构。
98.以上述特征提取层是fpn的结构为例，该检测区域经fpn处理后输出的第一特征图的大小可以是该检测区域的1/4，即计算设备通过fpn得到该检测区域的1/4大小的第一特征图。1/4大小的第一特征图经转置卷积层内部的一系列转置和卷积操作后，输出与该检测区域大小相同的第一概率图p和第一阈值图t。第一概率图p和第一阈值图t输入二值化层后，二值化层按照公式(1)得到第一二值图公式(1)中的
‘
i,j’表示第一概率图和第一阈值图中的各个点。第一二值图是一种近似二值图(approximate binary map)。第一二值图中各个点的值近似为0或1。第一二值图输入文本判别层后，文本判别层对第一二值图中的数值进行分析，得到一个或多个第一文本区域。
[0099][0100]
在未设置检测区域的实施例中，该计算设备将第一图像输入该文本检测网络，以得到该文本检测网络输出的一个或多个第一文本区域。示例性地，计算设备将第一图像输入特征提取层，以得到特征提取层输出的第二特征图，将第二特征图输入转置卷积层，以得到转置卷积层输出的第二概率图和第二阈值图。其中，第二概率图和第二阈值图的大小与第一图像的大小相同，第二概率图表征第一图像内的各个像素点属于文本的概率，第二阈值图指示二值化层对第二概率图进行二值化的阈值。计算设备将第二概率图和第二阈值图输入二值化层，以得到二值化层输出的第二二值图，将第二二值图输入文本判别层，以得到文本判别层输出的一个或多个第一文本区域。
[0101]
在其他一些实施例中，文本检测网络也可以是其他形式的网络，本技术实施例对此不作限定。
[0102]
上述一个或多个第一文本区域可由第一顶点坐标、第一文本宽度和第一文本高度表示。其中，第一顶点坐标可以是指相应第一文本区域的左上角顶点坐标。比如，某一第一文本区域由(x1,y1,w1,h1)表示，另一第一文本区域由(x2,y2,w2,h2)表示。
[0103]
如图2所示，检测区域和第一文本区域是一个矩形区域。在具体实现中，检测区域可由黑色的矩形框来表示，第一文本区域可由绿色的矩形框来表示。或者，检测区域可如图2所示的加粗实线框表示，第一文本区域可如图2所示的虚线框表示。
[0104]
在本技术实施例中，对于除第一图像之外的其他图像(例如第二图像)，计算设备均按照处理第一图像相同的方法，对其他图像或其他图像中的检测区域进行文本检测，以得到一个或多个第一文本区域。
[0105]
步骤103：基于该一个或多个第一文本区域，通过文本识别网络确定第一页面的标题。
[0106]
在本技术实施例中，计算设备可以将该一个或多个第一文本区域输入文本识别网络，以得到该文本识别网络输出的第一页面的标题。或者，为了将检测区域内的非标题区域过滤掉，计算设备先对该一个或多个第一文本区域进行过滤，得到一个或多个第二文本区域，再将该一个或多个第二文本区域输入文本识别网络，以得到文本识别网络输出的第一页面的标题。
[0107]
其中，计算设备过滤第一文本区域的实现方式有很多，这些实现方式可以单独使用，也可以结合起来使用。
[0108]
在一种实现方式中，计算设备将该一个或多个第一文本区域中未位于过滤区域的第一文本区域过滤掉。其中，该过滤区域位于检测区域的内部。过滤区域的设置方式与检测区域的设置方式类似，这里不过多介绍过滤区域的设置方式。这里未位于过滤区域是指全部未位于该过滤区域和/或部分未位于该过滤区域。
[0109]
示例性地，过滤区域由用户设置的(x
02
,y
02
,w
02
,h
02
)表示，计算设备检测到了两个第一文本区域，一个由(x1,y1,w1,h1)表示，另一个由(x2,y2,w2,h2)表示。如果x1大于x
02
，则计算设备将(x1,y1,w1,h1)所表示的第一文本区域过滤掉。如果x2+w2大于x
02
+w
02
，则计算设备将(x2,y2,w2,h2)所表示的第一文本区域过滤掉。
[0110]
在另一种实现方式中，计算设备将该一个或多个第一文本区域中除最靠近第一图像上边界的第一文本区域过滤掉。也即是，计算设备保留该一个或多个文本区域中最靠近第一图像上边界的第一文本区域。应当理解的是，最靠近第一图像上边界的第一文本区域可能是一个，也可能是多个。
[0111]
在设置过滤区域的实现方式中，计算设备大概率能够将非标题区域过滤掉，非标题区域比如右上角的logo或ppt日期等。
[0112]
接下来对计算设备将该一个或多个第二文本区域输入文本识别网络，以得到文本识别网络输出的第一页面的标题的一种实现方式进行介绍。
[0113]
在一种实现方式中，该文本识别网络包括卷积层、循环层和转录层。计算设备将该一个或多个第二文本区域输入该卷积层，以得到该卷积层输出的一个或多个第一特征序列。计算设备将该一个或多个第一特征序列输入该循环层，以得到该循环层输出的一个或多个第一序列预测标签。计算设备将该一个或多个第一序列预测标签输入该转录层，以得到该转录层输出的第一页面的标题。
[0114]
示例性地，上述文本识别网络为crnn(convolutional recurrent neural network，卷积循环神经网络)。crnn包括cl(convolutional layer，卷积层)、rl(recurrent layer，循环层)和tl(transcription layer，转录层)。其中，cl用于提取第二文本区域的特征序列。rl用于对提取的特征序列进行标签预测。tl用于对预测的特征序列的标签进行去重整合等操作后得到文本识别结果。
[0115]
在未对该一个或多个第一文本区域进行过滤的实施例中，计算设备将该一个或多
个第一文本区域输入该卷积层，以得到该卷积层输出的一个或多个第二特征序列。计算设备将该一个或多个第二特征序列输入该循环层，以得到该循环层输出的一个或多个第二序列预测标签。计算设备将该一个或多个第二序列预测标签输入该转录层，以得到该转录层输出的第一页面的标题。
[0116]
上述文本识别网络也可以是其他形式的网络，本技术实施例对此不作限定。
[0117]
在本技术实施例中，对于除第一图像之外的其他图像(例如第二图像)，计算设备均按照处理第第一图像中的第一文本区域相同的方法，对其他图像中的第一文本区域或过滤得到的第二文本区域进行文本识别。
[0118]
图3是本技术实施例提供的另一种ppt的标题识别方法的流程图。这里以图3所示流程图对本方案的主要步骤进行简单介绍。如图3所示，该方案包括如下步骤301至步骤306。
[0119]
步骤301：放映ppt。例如，计算设备全屏幕放映ppt，以形成一个视频流。
[0120]
步骤302：获取ppt放映图像。即，计算设备获取该视频流中的图像，该图像是该ppt中某个页面的图像。
[0121]
步骤303：ppt标题文本检测。即，计算设备通过文本检测网络确定所获取的图像中的一个或多个文本区域。
[0122]
步骤304：ppt标题文本识别。即，计算设备基于检测到的文本区域，通过文本识别网络得到一个或多个文本序列。
[0123]
步骤305：非标题内容过滤。计算设备对得到的一个或多个文本序列进行过滤，以得到该页面的标题。例如，计算设备将该一个或多个文本序列中位于过滤区域之外的文本序列过滤掉，和/后，计算设备保留该一个或多个文本序列中最靠近图像上边界的文本序列。
[0124]
步骤306：输出一个或多个标题。例如，计算设备按照标题的坐标，从上到下、从左到右依次排列该一个或多个标题，输出排列后的标题序列。
[0125]
本技术实施例不限定上述步骤304和步骤305的顺序。例如，计算设备可以先对检测到的所有文本区域进行文本识别，再对识别到的文本序列继续过滤。计算设备也可以先对检测到的文本区域进行过滤，再对过滤后的文本区域进行文本识别。
[0126]
计算设备按照上述方法得到ppt中所有页面的标题之后，可基于ppt中所有页面的标题，生成ppt大纲。计算设备还可基于ppt中第一个页面的标题，生成该视频流的文件名。本技术实施例对此处的具体实现方式不作限定。
[0127]
综上所述，本技术实施例通过神经网络对ppt的放映视频流中的图像进行文本检测和文本识别，保证了ppt标题识别的精度和准确度。在ppt页面中存在多个标题的情况下，本方案也能够准确识别到。此外，本方案还能够实时识别正在放映的ppt中的标题，即本方案可满足ppt标题识别的实时性需求。
[0128]
上述所有可选技术方案，均可按照任意结合形成本技术的可选实施例，本技术实施例对此不再一一赘述。
[0129]
图4是本技术实施例提供的一种ppt的标题识别装置400的结构示意图，该标题识别装置400可以由软件、硬件或者两者的结合实现成为计算机设备的部分或者全部。请参考图4，该标题识别装置400包括：获取模块401、第一确定模块402和第二确定模块403。
[0130]
获取模块401，用于获取视频流中的第一图像，该视频流为采集的ppt的放映过程的视频流，第一图像是该ppt中第一页面的图像，第一页面为该ppt中的任意一个页面；
[0131]
第一确定模块402，用于通过文本检测网络确定第一图像中的一个或多个第一文本区域；
[0132]
第二确定模块403，用于基于该一个或多个第一文本区域，通过文本识别网络确定第一页面的标题。
[0133]
可选地，第一确定模块402包括：
[0134]
截取子模块，用于截取第一图像中的检测区域，该检测区域为第一图像中存在文本的区域；
[0135]
文本检测子模块，用于将该检测区域输入文本检测网络，以得到文本检测网络输出的一个或多个第一文本区域。
[0136]
可选地，文本检测网络包括特征提取层、转置卷积层、二值化层和文本判别层；
[0137]
文本检测子模块具体用于：
[0138]
将该检测区域输入特征提取层，以得到该特征提取层输出的第一特征图；
[0139]
将第一特征图输入转置卷积层，以得到该转置卷积层输出的第一概率图和第一阈值图，第一概率图和第一阈值图的大小与该检测区域的大小相同，第一概率图表征该检测区域内的各个像素点属于文本的概率，第一阈值图指示该二值化层对第一概率图进行二值化的阈值；
[0140]
将第一概率图和第一阈值图输入二值化层，以得到该二值化层输出的第一二值图；
[0141]
将第一二值图输入文本判别层，以得到该文本判别层输出的一个或多个第一文本区域。
[0142]
可选地，第二确定模块403包括：
[0143]
过滤子模块，用于对该一个或多个第一文本区域进行过滤，得到一个或多个第二文本区域；
[0144]
文本识别子模块，用于将该一个或多个第二文本区域输入文本识别网络，以得到该文本识别网络输出的第一页面的标题。
[0145]
可选地，过滤子模块具体用于：
[0146]
将该一个或多个第一文本区域中未位于过滤区域的第一文本区域过滤掉，该过滤区域位于检测区域的内部。
[0147]
可选地，过滤子模块具体用于：
[0148]
将该一个或多个第一文本区域中除最靠近第一图像上边界的第一文本区域过滤掉。
[0149]
可选地，文本识别网络包括卷积层、循环层和转录层；
[0150]
文本识别子模块具体用于：
[0151]
将一个或多个第二文本区域输入卷积层，以得到该卷积层输出的一个或多个第一特征序列；
[0152]
将该一个或多个第一特征序列输入循环层，以得到该循环层输出的一个或多个第一序列预测标签；
[0153]
将该一个或多个第一序列预测标签输入转录层，以得到该转录层输出的第一页面的标题。
[0154]
可选地，获取模块401包括：
[0155]
获取子模块，用于在播放视频流的过程中，如果检测到视频流的播放画面发生变化，则获取当前播放画面作为第一图像。
[0156]
在本技术实施例中，通过神经网络对ppt的放映视频流中的图像进行文本检测和文本识别，保证了ppt标题识别的精度和准确度。在ppt页面中存在多个标题的情况下，本方案也能够准确识别到多个标题。
[0157]
需要说明的是：上述实施例提供的ppt的标题识别装置在识别ppt中页面的标题时，仅以上述各功能模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能模块完成，即将装置的内部结构划分成不同的功能模块，以完成以上描述的全部或者部分功能。另外，上述实施例提供的ppt的标题识别装置与ppt的标题识别方法实施例属于同一构思，其具体实现过程详见方法实施例，这里不再赘述。
[0158]
图5示出了本技术一个示例性实施例提供的计算设备500的结构框图。该计算设备500可以是：智能手机、平板电脑、笔记本电脑、平板电脑、台式电脑、投影仪或服务器等。
[0159]
通常，计算设备500包括有：处理器501和存储器502。
[0160]
处理器501可以包括一个或多个处理核心，比如4核心处理器、8核心处理器等。处理器501可以采用dsp(digital signal processing，数字信号处理)、fpga(field－programmable gate array，现场可编程门阵列)、pla(programmable logic array，可编程逻辑阵列)中的至少一种硬件形式来实现。处理器501也可以包括主处理器和协处理器，主处理器是用于对在唤醒状态下的数据进行处理的处理器，也称cpu(central processing unit，中央处理器)；协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中，处理器501可以集成有gpu(graphics processing unit，图像处理器)，gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中，处理器501还可以包括ai(artificial intelligence，人工智能)处理器，该ai处理器用于处理有关机器学习的计算操作。例如，该ai处理器用于处理本技术实施例中有关文本检测和文本识别的计算操作。
[0161]
存储器502可以包括一个或多个计算机可读存储介质，该计算机可读存储介质可以是非暂态的。存储器502还可包括高速随机存取存储器，以及非易失性存储器，比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中，存储器502中的非暂态的计算机可读存储介质用于存储至少一个指令，该至少一个指令用于被处理器501所执行以实现本技术中方法实施例提供的ppt的标题识别方法。
[0162]
在一些实施例中，计算设备500还可选包括有：外围设备接口503和至少一个外围设备。处理器501、存储器502和外围设备接口503之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口503相连。具体地，外围设备包括：射频电路504、显示屏505、摄像头组件506、音频电路507、定位组件508和电源509中的至少一种。
[0163]
外围设备接口503可被用于将i/o(input/output，输入/输出)相关的至少一个外围设备连接到处理器501和存储器502。在一些实施例中，处理器501、存储器502和外围设备接口503被集成在同一芯片或电路板上；在一些其他实施例中，处理器501、存储器502和外
positioning system，全球定位系统)、中国的北斗系统、俄罗斯的格雷纳斯系统或欧盟的伽利略系统的定位组件。
[0169]
电源509用于为计算设备500中的各个组件进行供电。电源509可以是交流电、直流电、一次性电池或可充电电池。当电源509包括可充电电池时，该可充电电池可以支持有线充电或无线充电。该可充电电池还可以用于支持快充技术。
[0170]
在一些实施例中，计算设备500还包括有一个或多个传感器510。该一个或多个传感器510包括但不限于：加速度传感器511、陀螺仪传感器512、压力传感器513、指纹传感器514、光学传感器515以及接近传感器516。
[0171]
加速度传感器511可以检测以计算设备500建立的坐标系的三个坐标轴上的加速度大小。比如，加速度传感器511可以用于检测重力加速度在三个坐标轴上的分量。处理器501可以根据加速度传感器511采集的重力加速度信号，控制显示屏505以横向视图或纵向视图进行用户界面的显示。加速度传感器511还可以用于游戏或者用户的运动数据的采集。
[0172]
陀螺仪传感器512可以检测计算设备500的机体方向及转动角度，陀螺仪传感器512可以与加速度传感器511协同采集用户对计算设备500的3d动作。处理器501根据陀螺仪传感器512采集的数据，可以实现如下功能：动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。
[0173]
压力传感器513可以设置在计算设备500的侧边框和/或显示屏505的下层。当压力传感器513设置在计算设备500的侧边框时，可以检测用户对计算设备500的握持信号，由处理器501根据压力传感器513采集的握持信号进行左右手识别或快捷操作。当压力传感器513设置在显示屏505的下层时，由处理器501根据用户对显示屏505的压力操作，实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。
[0174]
指纹传感器514用于采集用户的指纹，由处理器501根据指纹传感器514采集到的指纹识别用户的身份，或者，由指纹传感器514根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时，由处理器501授权该用户执行相关的敏感操作，该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器514可以被设置在计算设备500的正面、背面或侧面。当计算设备500上设置有物理按键或厂商logo时，指纹传感器514可以与物理按键或厂商logo集成在一起。
[0175]
光学传感器515用于采集环境光强度。在一个实施例中，处理器501可以根据光学传感器515采集的环境光强度，控制显示屏505的显示亮度。具体地，当环境光强度较高时，调高显示屏505的显示亮度；当环境光强度较低时，调低显示屏505的显示亮度。在另一个实施例中，处理器501还可以根据光学传感器515采集的环境光强度，动态调整摄像头组件506的拍摄参数。
[0176]
接近传感器516，也称距离传感器，通常设置在计算设备500的前面板。接近传感器516用于采集用户与计算设备500的正面之间的距离。在一个实施例中，当接近传感器516检测到用户与计算设备500的正面之间的距离逐渐变小时，由处理器501控制显示屏505从亮屏状态切换为息屏状态；当接近传感器516检测到用户与计算设备500的正面之间的距离逐渐变大时，由处理器501控制显示屏505从息屏状态切换为亮屏状态。
[0177]
本领域技术人员可以理解，图5中示出的结构并不构成对计算设备500的限定，可
以包括比图示更多或更少的组件，或者组合某些组件，或者采用不同的组件布置。
[0178]
在一些实施例中，还提供了一种计算机可读存储介质，该存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现上述实施例中ppt的标题识别方法的步骤。例如，所述计算机可读存储介质可以是rom、ram、cd-rom、磁带、软盘和光数据存储设备等。
[0179]
值得注意的是，本技术实施例提到的计算机可读存储介质可以为非易失性存储介质，换句话说，可以是非瞬时性存储介质。
[0180]
应当理解的是，实现上述实施例的全部或部分步骤可以通过软件、硬件、固件或者其任意结合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。所述计算机指令可以存储在上述计算机可读存储介质中。
[0181]
也即是，在一些实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述所述的ppt的标题识别方法的步骤。
[0182]
应当理解的是，本文提及的“至少一个”是指一个或多个，“多个”是指两个或两个以上。在本技术实施例的描述中，除非另有说明，“/”表示或的意思，例如，a/b可以表示a或b；本文中的“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，为了便于清楚描述本技术实施例的技术方案，在本技术的实施例中，采用了“第一”、“第二”等字样对功能和作用基本相同的相同项或相似项进行区分。本领域技术人员可以理解“第一”、“第二”等字样并不对数量和执行次序进行限定，并且“第一”、“第二”等字样也并不限定一定不同。
[0183]
需要说明的是，本技术实施例所涉及的信息(包括但不限于用户设备信息、用户个人信息等)、数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)以及信号，均为经用户授权或者经过各方充分授权的，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。例如，本技术实施例中涉及到的ppt都是在充分授权的情况下获取的。
[0184]
以上所述为本技术提供的实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种幻灯片ppt的标题识别方法，其特征在于，所述方法包括：获取视频流中的第一图像，所述视频流为采集的所述ppt的放映过程的视频流，所述第一图像是所述ppt中第一页面的图像，所述第一页面为所述ppt中的任意一个页面；通过文本检测网络确定所述第一图像中的一个或多个第一文本区域；基于所述一个或多个第一文本区域，通过文本识别网络确定所述第一页面的标题。2.根据权利要求1所述的方法，其特征在于，所述通过文本检测网络确定所述第一图像中的一个或多个第一文本区域，包括：截取所述第一图像中的检测区域，所述检测区域为所述第一图像中存在文本的区域；将所述检测区域输入所述文本检测网络，以得到所述文本检测网络输出的所述一个或多个第一文本区域。3.根据权利要求2所述的方法，其特征在于，所述文本检测网络包括特征提取层、转置卷积层、二值化层和文本判别层；所述将所述检测区域输入所述文本检测网络，以得到所述文本检测网络输出的所述一个或多个第一文本区域，包括：将所述检测区域输入所述特征提取层，以得到所述特征提取层输出的第一特征图；将所述第一特征图输入所述转置卷积层，以得到所述转置卷积层输出的第一概率图和第一阈值图，所述第一概率图和所述第一阈值图的大小与所述检测区域的大小相同，所述第一概率图表征所述检测区域内的各个像素点属于文本的概率，所述第一阈值图指示所述二值化层对所述第一概率图进行二值化的阈值；将所述第一概率图和所述第一阈值图输入所述二值化层，以得到所述二值化层输出的第一二值图；将所述第一二值图输入所述文本判别层，以得到所述文本判别层输出的所述一个或多个第一文本区域。4.根据权利要求1-3任一项所述的方法，其特征在于，所述基于所述一个或多个第一文本区域，通过文本识别网络确定所述第一页面的标题，包括：对所述一个或多个第一文本区域进行过滤，得到一个或多个第二文本区域；将所述一个或多个第二文本区域输入所述文本识别网络，以得到所述文本识别网络输出的所述第一页面的标题。5.根据权利要求4所述的方法，其特征在于，所述对所述一个或多个第一文本区域进行过滤，包括：将所述一个或多个第一文本区域中未位于过滤区域的第一文本区域过滤掉，所述过滤区域位于所述检测区域的内部。6.根据权利要求4所述的方法，其特征在于，所述对所述一个或多个第一文本区域进行过滤，包括：将所述一个或多个第一文本区域中除最靠近所述第一图像上边界的第一文本区域过滤掉。7.根据权利要求4所述的方法，其特征在于，所述文本识别网络包括卷积层、循环层和转录层；所述将所述一个或多个第二文本区域输入所述文本识别网络，以得到所述文本识别网
络输出的所述第一页面的标题，包括：将所述一个或多个第二文本区域输入所述卷积层，以得到所述卷积层输出的一个或多个第一特征序列；将所述一个或多个第一特征序列输入所述循环层，以得到所述循环层输出的一个或多个第一序列预测标签；将所述一个或多个第一序列预测标签输入所述转录层，以得到所述转录层输出的所述第一页面的标题。8.根据权利要求1-3任一项所述的方法，其特征在于，所述获取视频流中的第一图像，包括：在播放所述视频流的过程中，如果检测到所述视频流的播放画面发生变化，则获取当前播放画面作为所述第一图像。9.一种幻灯片ppt的标题识别装置，其特征在于，所述装置包括：获取模块，用于获取视频流中的第一图像，所述视频流为采集的所述ppt的放映过程的视频流，所述第一图像是所述ppt中第一页面的图像，所述第一页面为所述ppt中的任意一个页面；第一确定模块，用于通过文本检测网络确定所述第一图像中的一个或多个第一文本区域；第二确定模块，用于基于所述一个或多个第一文本区域，通过文本识别网络确定所述第一页面的标题。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-8任一所述方法的步骤。

技术总结
本申请公开了一种幻灯片的标题识别方法、装置及存储介质，属于计算机技术领域。该方法通过神经网络对PPT的放映视频流中的图像进行文本检测和文本识别，保证了PPT标题识别的精度和准确度。在PPT页面中存在多个标题的情况下，本方案也能够准确识别到。本方案也能够准确识别到。本方案也能够准确识别到。


技术研发人员：荆楠 黄远东
受保护的技术使用者：北京奕斯伟计算技术股份有限公司
技术研发日：2023.04.12
技术公布日：2023/7/25