一种视频帧延时检测方法与流程

1.本发明涉及视频分析技术领域，尤其是一种视频帧延时检测方法。


背景技术：

2.随着现代科技发展，视频数据有着大量的交互式传输，通信的发展使得网络传输的速度越来越快，对于市场和用户来说，网络的视频传输延时问题急需解决；在这种情况下，视频帧的延时检测方法变得十分重要。
3.现有技术主要是通过视频截取图片，人工进行图片筛选，再对比图片里的时间戳与计次帧数，计算图片中的延迟时差、帧差得到视频帧的延时结果。人工筛选速度慢，筛选合适图片需要每张观察；人工处理图片效率低，处理图片中的数据需要人为进行计算，无法短时间内快速批量处理更多的图片；人工处理数据的错误率高。


技术实现要素：

4.有鉴于此，本发明实施例提供一种速度快且正确率高的视频帧延时检测方法。
5.一方面，本发明实施例提供了一种视频帧延时检测方法，包括：
6.预处理目标视频得到目标图片；
7.提取所述目标图片中的文字，将所述文字转换为文本形式输出得到第一文本；
8.将所述第一文本通过第一处理得到目标列表；
9.将所述目标列表通过第二处理得到帧差与时间差；
10.将所述帧差与所述时间差进行第三处理得到视频帧延时检测结果。
11.可选地，所述预处理目标视频得到目标图片，包括：
12.将所述目标视频分解成帧得到初始图片；
13.对所述初始图片进行分段截取得到所述目标图片。
14.可选地，所述将所述第一文本通过第一处理得到目标列表，包括：
15.对所述第一文本进行识别得到第一列表；
16.对所述第一列表进行正则提取得到第二列表；
17.整合所述第二列表中的时间戳和帧数，生成第三列表；
18.将所述第三列表进行第一数据清洗得到所述目标列表。
19.可选地，所述将所述目标列表通过第二处理得到帧差与时间差，包括：
20.将所述目标列表进行文本输出得到第二文本；
21.保留所述第二文本中的数字得到目标数据；
22.通过所述目标数据判断发送端与接收端；
23.将所述发送端的目标数据和所述接收端的目标数据进行计算得出所述帧差与所述时间差。
24.可选地，所述将所述帧差与所述时间差进行第三处理得到视频帧延时检测结果，包括：
25.将所述帧差与所述时间差进行第二数据清洗得到差数列表；
26.对所述差数列表进行均值计算得到视频帧延时检测结果。
27.可选地，所述方法还包括：
28.由所述视频帧延时检测过程生成数据报表和数据日志。
29.另一方面，本发明实施例还提供了一种视频帧延时检测系统，包括：
30.第一模块，用于预处理目标视频得到目标图片；
31.第二模块，用于提取所述目标图片中的文字，将所述文字转换为文本形式输出得到第一文本；
32.第三模块，用于将所述第一文本通过第一处理得到目标列表；
33.第四模块，用于将所述目标列表通过第二处理得到帧差与时间差；
34.第五模块，用于将所述帧差与所述时间差进行第三处理得到视频帧延时检测结果。
35.可选地，所述系统还包括：
36.第六模块，用于由所述视频帧延时检测过程生成数据报表和数据日志。
37.另一方面，本发明实施例还提供了一种电子设备，包括处理器以及存储器；
38.所述存储器用于存储程序；
39.所述处理器执行所述程序实现上述视频帧延时检测方法。
40.另一方面，本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所述程序被处理器执行实现如上述视频帧延时检测方法。
41.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行前面的方法。
42.本发明的实施例至少包括以下有益成果：本发明实施例通过对目标视频进行预处理得到目标图片，然后提取图片中的文字，可以进行批量图片数据处理，提高视频帧延时分析速度；本发明实施例为基于python的视频帧延时检测方法，相较于人工检测，速度更快，正确率更高。
附图说明
43.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
44.图1是本发明实施例提供的一种视频帧延时检测方法的步骤图；
45.图2是本发明实施例提供的一种视频帧延时检测系统的模块图。
具体实施方式
46.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本技术，并
不用于限定本技术。
47.针对现有技术存在的问题，本发明实施例提供了一种视频帧延时检测方法，如图1所示，该方法包括步骤100至步骤600。
48.步骤100：预处理目标视频得到目标图片。
49.具体地，在发送端发送视频时给每一帧都插入当前发送时间的时间戳，记为发送时间戳，在接收端接收到视频时也在每一帧都插入当前接收时间的时间戳，记为接收时间戳，接收到的插入了发送时间戳和接收时间戳的视频为目标视频，时间戳的插入位置可在插入时自行设置。
50.将所述目标视频分解成帧得到初始图片；对所述初始图片进行分段截取得到所述目标图片；首先配置视频处理相关模块，然后确定目标视频，将目标视频分解成帧得到初始图片，最后对提取出的初始图片进行分段截取。例如可以采用多媒体视频处理工具ffmpeg进行目标视频的预处理，ffmpeg是视频处理最常用的开源软件，具有视频采集、视频格式转换、视频抓图、给视频加水印等多种功能，首先在python中配置与ffmpeg相关的模块参数，然后使用ffmpeg将视频分解成帧提取出初始图片，最后对提取出的初始图片进行分段截取，截取包括时间戳的图片片段，得到目标图片，其中，时间戳包括发送时间戳和接收时间戳，目标图片大小的截取可根据实际情况在ffmpeg中自行设置参数。
51.步骤200：提取所述目标图片中的文字，将所述文字转换为文本形式输出得到第一文本。
52.具体地，通过软件将提取出目标图片中的文字，再将所述文字转换为文本形式输出得到第一文本。例如采用umi-ocr软件提取图片中的文字，umi-ocr是一款免费、离线的文字识别工具，支持批量导入、读取剪切板、读取水印等多种功能；将批量图片导入umi-ocr后开始任务，然后获得图片的文字提取结果，将提取的文字以文本形式输出得到第一文本，第一文本中包含目标图片中的时间戳以及图片中的其他文字内容，其他文字内容可能包括数字、汉字、字母或者其他字符。
53.步骤300：将所述第一文本通过第一处理得到目标列表。
54.上述将所述第一文本通过第一处理得到目标列表这一步骤，具体包括：
55.步骤310：对所述第一文本进行识别得到第一列表。
56.具体地，识别目标文本中的时间戳以及图片中的其他文字内容，将目标文本中的内容转换成第一列表，第一列表中包括第一文本中由图片中提取的时间戳和其他文字内容。例如使用python语言将“.txt”格式的文本转换为excel表格，第一列表的分类按照字符类型进行分类。
57.步骤320：对所述第一列表进行正则提取得到第二列表。
58.具体地，正则提取即使用正则表达式进行提取，基于python脚本对第一列表的表格内容进行正则提取，提取出第一列表中的时间戳数据，每张目标图片都有两个时间戳，即发送时间戳和接收时间戳，得到第二列表。
59.步骤330：整合所述第二列表中的时间戳和帧数，生成第三列表。
60.具体地，采用第二列表中的时间戳数据，再整合时间戳所对应目标图片的帧数，生成第三列表。
61.步骤340：将所述第三列表进行第一数据清洗得到所述目标列表。
62.具体地，判断第三列表中的数据是否存在异常数据，存在异常数据则进行第一数据清洗。例如，时间戳的时间不在目标视频的时间范围内为异常数据，其中，发送视频戳的时间范围为发送第一帧图片的时间至发送最后一帧图片的时间，接收视频戳的时间范围为接收第一帧图片的时间至接收最后一帧图片的时间；提取出的多个时间戳一样则可判断这些时间戳数据为异常数据，将判断为异常数据的数据进行清除，将剩下正常范围内的数据整合生成目标列表，目标列表包括帧数和该帧数图片上插入的时间戳。
63.步骤400：将所述目标列表通过第二处理得到帧差与时间差。
64.上述将所述目标列表通过第二处理得到帧差与时间差这一步骤，具体包括：
65.步骤410：将所述目标列表进行文本输出得到第二文本。
66.具体地，将目标列表进行文本输出得到第二文本，同时也将第二列表的全部数据进行文本输出得到全数据文本作为数据参考。
67.步骤420：保留所述第二文本中的数字得到目标数据。
68.具体地，基于python脚本，再次判断第二文本中是否还存在除时间戳和帧数以外的内容，如果存在则去除第二文本中除时间戳和帧数以外的的汉字、字母和特殊字符等文字内容，保留时间戳和帧数。
69.步骤430：通过所述目标数据判断发送端与接收端。
70.具体地，将目标数据中同一帧数对应的两个时间戳相比较，时间相较较大，即时间更迟的为接收端的接收时间戳，时间相较较小，即时间更早的为发送端的发送时间戳。
71.步骤440：将所述发送端与所述接收端的所述目标数据进行计算得出所述帧差与所述时间差。
72.具体地，由目标数据可得：在同一帧数的图片上，将接收端的接收时间戳减去发送端的发送时间戳，得到时间差；在接收时间戳和发送时间戳上时间相同的情况下，将接收时间戳所在的图片帧数减去发送时间戳所在的图片帧数，得到帧差。
73.步骤500：将所述帧差与所述时间差进行第三处理得到视频帧延时检测结果。
74.具体地，将所述帧差与所述时间差进行第二数据清洗得到差数列表；对所述差数列表进行均值计算得到视频帧延时检测结果。
75.首先将所述帧差与所述时间差进行第二数据清洗得到差数列表，第二数据清洗即保留正常范围内的帧差和时间差，保留帧差的范围为大于0帧且小于20帧，保留时间差的范围为大于0毫秒且小于800毫秒，去除不在范围内的帧差和时间差得到差数列表；然后对所述差数列表进行均值计算，求得剩下在范围内的帧差和时间差的均值，得到时间差均值和帧差均值，即为视频帧延时检测结果；所述时间差越大，则视频延时越高；所述帧差越大，则视频的延时越高。
76.步骤600：由所述视频帧延时检测过程生成数据报表和数据日志。
77.具体地，数据报表包括将范围内帧差和时间差进行数据可视化，生成直筒图、折线图、饼状图等图标进行数据可视化；数据日志为基于python的一种视频帧延时检测方法的实现过程中由系统自动生成，每一张目标图片都生成对应的数据日志，包括视频帧延时检测过程中的系统初始化参数、方法执行过程中的错误、方法执行过程中的警告、过程中数据提取前和提取后的数据、一些重要的状态变化等数据日志内容，异常的数据使用error取代。
78.下面举例说明一种视频帧延时检测方法的执行和应用。
79.1、首先配置python中与ffmpeg相关的模块参数，再将需要延时检测的目标视频导入ffmpeg中，将目标视频分解成帧得到初始图片，然后对提取出的初始图片进行分段截取得到目标图片；
80.2、然后采用umi-ocr软件提取目标图片中的文字，获得文字提取结果，再将提取的文字以文本形式输出得到第一文本；
81.3、再将第一文本通过识别得到第一列表，对第一列表进行正则提取得到第二列表，再整合所述第二列表中的时间戳和帧数，生成第三列表，最后对第三列表进行第一数据清洗获得目标列表；
82.4、再将所述目标列表进行文本输出得到第二文本，保留所述第二文本中的数字得到目标数据，通过所述目标数据判断发送端与接收端，将所述发送端的目标数据和所述接收端的目标数据进行计算得出所述帧差与所述时间差，将所述帧差与所述时间差进行第二数据清洗得到差数列表，最后对所述差数列表进行均值计算得到视频帧延时检测结果；
83.5、由所述视频帧延时检测过程生成数据报表和数据日志。
84.综上所述，本发明实施例的视频帧延时检测方法具有以下优点：
85.1、本发明实施例通过对目标视频进行预处理得到目标图片，然后提取图片中的文字，可以进行批量图片数据处理，提高视频帧延时分析速度。
86.2、本发明实施例为基于python语言的视频帧延时检测方法，相较于人工检测视频帧的延时，速度更快，正确率更高；
87.3、本发明实施例的视频帧延时测量可以异地测量，不需要发送端和接收端在同一物理位置，更加便捷。
88.参照图2，本发明实施例还提供了一种视频帧延时检测系统，包括：
89.第一模块201，用于预处理目标视频得到目标图片。
90.第二模块202，用于提取所述目标图片中的文字，将所述文字转换为文本形式输出得到第一文本。
91.第三模块203，用于将所述第一文本通过第一处理得到目标列表。
92.第四模块204，用于将所述目标列表通过第二处理得到帧差与时间差。
93.第五模块205，用于将所述帧差与所述时间差进行第三处理得到视频帧延时检测结果。
94.第六模块206，用于由所述视频帧延时检测过程生成数据报表和数据日志。
95.本发明实施例还提供了一种电子设备，该电子设备可以完成上述视频帧延时检测方法，首先预处理目标视频得到目标图片，然后提取所述目标图片中的文字，将所述文字转换为文本形式输出得到第一文本；将所述第一文本通过第一处理得到目标列表；将所述目标列表通过第二处理得到帧差与时间差；最后将所述帧差与所述时间差进行第三处理得到视频帧延时检测结果；还可以由所述视频帧延时检测结果生成数据报表和数据日志。本发明解决了人工检测视频帧延时速度慢、效率低、错误率高的问题，基于python，通过本发明的视频帧延时检测方法，进行批量图片处理和检测，提高了视频帧延时检测的检测速度和检测正确率。
96.本发明实施例还提供了一种计算机可读存储介质，所述存储介质存储有程序，所
述程序被处理器执行实现如上述视频帧延时检测方法。
97.本发明实施例还公开了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器可以从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行图1所示的方法。
98.在一些可选择的实施例中，在方框图中提到的功能/操作可以不按照操作示图提到的顺序发生。例如，取决于所涉及的功能/操作，连续示出的两个方框实际上可以被大体上同时地执行或所述方框有时能以相反顺序被执行。此外，在本发明的流程图中所呈现和描述的实施例以示例的方式被提供，目的在于提供对技术更全面的理解。所公开的方法不限于本文所呈现的操作和逻辑流程。可选择的实施例是可预期的，其中各种操作的顺序被改变以及其中被描述为较大操作的一部分的子操作被独立地执行。
99.此外，虽然在功能性模块的背景下描述了本发明，但应当理解的是，除非另有相反说明，所述的功能和/或特征中的一个或多个可以被集成在单个物理装置和/或软件模块中，或者一个或多个功能和/或特征可以在单独的物理装置或软件模块中被实现。还可以理解的是，有关每个模块的实际实现的详细讨论对于理解本发明是不必要的。更确切地说，考虑到在本文中公开的装置中各种功能模块的属性、功能和内部关系的情况下，在工程师的常规技术内将会了解该模块的实际实现。因此，本领域技术人员运用普通技术就能够在无需过度试验的情况下实现在权利要求书中所阐明的本发明。还可以理解的是，所公开的特定概念仅仅是说明性的，并不意在限制本发明的范围，本发明的范围由所附权利要求书及其等同方案的全部范围来决定。
100.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
101.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。
102.计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)、便携式计算机盘盒(磁装置)、随机存取存储器(ram)、只读存储器(rom)、可擦除可编辑只读存储器(eprom或闪速存储器)、光纤装置以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其
他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
103.应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
104.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
105.尽管已经示出和描述了本发明的实施例，本领域的普通技术人员可以理解：在不脱离本发明的原理和宗旨的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由权利要求及其等同物限定。
106.以上是对本发明的较佳实施进行了具体说明，但本发明并不限于所述实施例，熟悉本领域的技术人员在不违背本发明精神的前提下还可做出种种的等同变形或替换，这些等同的变形或替换均包含在本技术权利要求所限定的范围内。

技术特征：
1.一种视频帧延时检测方法，其特征在于，包括：预处理目标视频得到目标图片；提取所述目标图片中的文字，将所述文字转换为文本形式输出得到第一文本；将所述第一文本通过第一处理得到目标列表；将所述目标列表通过第二处理得到帧差与时间差；将所述帧差与所述时间差进行第三处理得到视频帧延时检测结果。2.根据权利要求1所述的一种视频帧延时检测方法，其特征在于，所述预处理目标视频得到目标图片，包括：将所述目标视频分解成帧得到初始图片；对所述初始图片进行分段截取得到所述目标图片。3.根据权利要求1所述的一种视频帧延时检测方法，其特征在于，所述将所述第一文本通过第一处理得到目标列表，包括：对所述第一文本进行识别得到第一列表；对所述第一列表进行正则提取得到第二列表；整合所述第二列表中的时间戳和帧数，生成第三列表；将所述第三列表进行第一数据清洗得到所述目标列表。4.根据权利要求1所述的一种视频帧延时检测方法，其特征在于，所述将所述目标列表通过第二处理得到帧差与时间差，包括：将所述目标列表进行文本输出得到第二文本；保留所述第二文本中的数字得到目标数据；通过所述目标数据判断发送端与接收端；将所述发送端的目标数据和所述接收端的目标数据进行计算得出所述帧差与所述时间差。5.根据权利要求1所述的一种视频帧延时检测方法，其特征在于，所述将所述帧差与所述时间差进行第三处理得到视频帧延时检测结果，包括：将所述帧差与所述时间差进行第二数据清洗得到差数列表；对所述差数列表进行均值计算得到视频帧延时检测结果。6.根据权利要求1所述的一种视频帧延时检测方法，其特征在于，所述方法还包括：由所述视频帧延时检测过程生成数据报表和数据日志。7.一种视频帧延时检测系统，其特征在于，包括：第一模块，用于预处理目标视频得到目标图片；第二模块，用于提取所述目标图片中的文字，将所述文字转换为文本形式输出得到第一文本；第三模块，用于将所述第一文本通过第一处理得到目标列表；第四模块，用于将所述目标列表通过第二处理得到帧差与时间差；第五模块，用于将所述帧差与所述时间差进行第三处理得到视频帧延时检测结果。8.根据权利要求7所述的一种视频帧延时检测系统，其特征在于，所述系统还包括：第六模块，用于由所述视频帧延时检测过程生成数据报表和数据日志。9.一种电子设备，其特征在于，包括处理器以及存储器；
所述存储器用于存储程序；所述处理器执行所述程序实现如权利要求1至6中任一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述存储介质存储有程序，所述程序被处理器执行实现如权利要求1至6中任一项所述的方法。

技术总结
本发明公开了一种视频帧延时检测方法，方法具体包括：首先预处理目标视频得到目标图片，然后提取所述目标图片中的文字，将所述文字转换为文本形式输出得到第一文本；将所述第一文本通过第一处理得到目标列表；将所述目标列表通过第二处理得到帧差与时间差；最后将所述帧差与所述时间差进行第三处理得到视频帧延时检测结果；还可以由所述视频帧延时检测过程生成数据报表和数据日志。本发明解决了人工处理时速度慢、效率低、错误率高的问题，基于python，通过视频帧延时检测方法，进行批量图片处理和检测，提高了检测速度和检测正确率，可广泛应用于视频分析技术领域。可广泛应用于视频分析技术领域。可广泛应用于视频分析技术领域。


技术研发人员：舒伟 郭曼丽
受保护的技术使用者：广州集天网络科技有限公司
技术研发日：2023.03.31
技术公布日：2023/8/1