H265视频编码数据的传输方法、装置、设备、系统及介质与流程

h265视频编码数据的传输方法、装置、设备、系统及介质
技术领域
1.本发明涉及数据处理技术领域，尤其涉及一种h265视频编码数据的传输方法、装置、设备、系统及介质。


背景技术：

2.当前，为了对传输过程中的数据进行内容保护，防止传输数据被盗用、误传或非授权使用，通常使用基于编解码技术的手段，在传输数据中嵌入可见或不可见的水印，以实现对传输数据的校验。
3.对视频数据进行编码的手段有很多种，h265/hevc是其中一种常用技术。基于用户数据报协议(user datagram protocol，udp)传输的h265内容，采用的是面向无连接、不可靠的传输方式，应用层缺少有效的内容校验和保护机制，因而容易在传输过程中受到中间人攻击，造成不同程度的不良影响。


技术实现要素：

4.本发明提供了一种h265视频编码数据的传输方法、装置、设备、系统及介质，可以利用h265编码标准中的sei扩展机制，实现对传输过程中的h265视频编码数据进行实时校验，实时检测出传输内容的异常情况。
5.根据本发明的一方面，提供了一种h265视频编码数据的传输方法，包括：
6.响应于对目标视频的获取请求，将与所述获取请求匹配的h265视频编码数据封装成rtp(real-time transport protocol，实时传输协议)数据包；
7.计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息；
8.生成与各所述指纹信息对应的补充增强信息sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，以使接收所述rtp数据包的终端设备，根据所述sei载荷对所述rtp数据包中的h265视频编码数据进行内容校验。
9.可选的，所述计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息，包括：
10.依次将各所述rtp数据包作为当前数据包；
11.从所述当前数据包中提取五元组信息、rtp序列号以及rtp时间戳；
12.统计在所述当前数据包之前已经传输的h265视频编码数据的数据长度，并采用目标摘要算法计算已经传输的h265视频编码数据的摘要值；
13.将所述五元组信息、rtp序列号、rtp时间戳、已传输数据长度、已传输数据的摘要值，作为与所述当前数据包中的h265视频编码数据对应的指纹信息。
14.可选的，所述生成与各所述指纹信息对应的补充增强信息sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，包括：
15.针对各所述指纹信息，根据目标摘要算法、所述指纹信息以及其他校验数据，生成载荷类型为5的sei载荷；
16.将所述sei载荷添加至对应的rtp数据包中向外发送；或者
17.将所述sei载荷作为一个新数据包向外发送，并将在所述新数据包之后的rtp数据包的序列号加一。
18.根据本发明的另一方面，提供了一种h265视频编码数据的传输方法，包括：
19.接收与目标视频匹配的rtp数据包，并获取与各所述rtp数据包关联的sei载荷；
20.计算与各所述rtp数据包中的h265视频编码数据对应的本地指纹信息，并将各所述本地指纹信息与对应的sei载荷中的目标指纹信息进行比对；
21.如果所述本地指纹信息与所述目标指纹信息不一致，则确定所述rtp数据包中的h265视频编码数据被篡改。
22.可选的，在所述确定所述rtp数据包中的h265视频编码数据被篡改之后，还包括：
23.生成篡改告警事件，并发送至所述rtp数据包对应的接收端设备，以使所述接收端设备根据上报的篡改告警事件定位篡改行为的发生位置。
24.根据本发明的另一方面，提供了一种h265视频编码数据的传输装置，包括：
25.数据封装模块，用于响应于对目标视频的获取请求，将与所述获取请求匹配的h265视频编码数据封装成rtp数据包；
26.指纹计算模块，用于计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息；
27.数据发送模块，用于生成与各所述指纹信息对应的sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，以使接收所述rtp数据包的终端设备，根据所述sei载荷对所述rtp数据包中的h265视频编码数据进行内容校验。
28.根据本发明的另一方面，提供了一种h265视频编码数据的传输装置，包括：
29.数据接收模块，用于接收与目标视频匹配的rtp数据包，并获取与各所述rtp数据包关联的sei载荷；
30.指纹比对模块，用于计算与各所述rtp数据包中的h265视频编码数据对应的本地指纹信息，并将各所述本地指纹信息与对应的sei载荷中的目标指纹信息进行比对；
31.数据校验模块，用于如果所述本地指纹信息与所述目标指纹信息不一致，则确定所述rtp数据包中的h265视频编码数据被篡改。
32.根据本发明的另一方面，提供了一种终端设备，所述终端设备包括：
33.至少一个处理器；以及
34.与所述至少一个处理器通信连接的存储器；其中，
35.所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例所述的h265视频编码数据的传输方法。
36.根据本发明的另一方面，提供了一种h265视频编码数据的传输系统，所述系统包括多个终端设备；
37.当所述终端设备为发送端设备时，执行：响应于对目标视频的获取请求，将与所述获取请求匹配的h265视频编码数据封装成rtp数据包；计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息；生成与各所述指纹信息对应的sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，以使接收所述rtp数据包的终端设备，根据所述sei载荷
对所述rtp数据包中的h265视频编码数据进行内容校验；
38.当所述终端设备为中继设备或者接收端设备时，执行：接收与目标视频匹配的rtp数据包，并获取与各所述rtp数据包关联的sei载荷；计算与各所述rtp数据包中的h265视频编码数据对应的本地指纹信息，并将各所述本地指纹信息与对应的sei载荷中的目标指纹信息进行比对；如果所述本地指纹信息与所述目标指纹信息不一致，则确定所述rtp数据包中的h265视频编码数据被篡改。
39.根据本发明的另一方面，提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现本发明任一实施例所述的h265视频编码数据的传输方法。
40.本发明实施例的技术方案，通过响应于对目标视频的获取请求，将与所述获取请求匹配的h265视频编码数据封装成rtp数据包；计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息；生成与各所述指纹信息对应的sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，以使接收所述rtp数据包的终端设备，根据所述sei载荷对所述rtp数据包中的h265视频编码数据进行内容校验，解决了现有技术中基于udp传输h265编码数据时，缺少内容保护机制的问题，利用h265编码标准中的sei扩展机制，实现对传输过程中的h265视频编码数据进行实时校验，实时检测出传输内容的异常情况。
41.应当理解，本部分所描述的内容并非旨在标识本发明的实施例的关键或重要特征，也不用于限制本发明的范围。本发明的其它特征将通过以下的说明书而变得容易理解。
附图说明
42.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
43.图1是根据本发明实施例一提供的一种h265视频编码数据的传输方法的流程图；
44.图2是根据本发明实施例二提供的一种h265视频编码数据的传输方法的流程图；
45.图3是根据本发明实施例三提供的一种h265视频编码数据的传输装置的结构示意图；
46.图4是根据本发明实施例四提供的一种h265视频编码数据的传输装置的结构示意图；
47.图5是实现本发明实施例的h265视频编码数据的传输方法的终端设备的结构示意图；
48.图6是实现本发明实施例的六的一种h265视频编码数据的传输系统的结构示意图；
49.图7是本发明实施例适应的一种传输过程进行内容校验的演示图。
具体实施方式
50.为了使本技术领域的人员更好地理解本发明方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是
本发明一部分的实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明保护的范围。
51.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“目标”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
52.实施例一
53.图1是根据本发明实施例一提供的一种h265视频编码数据的传输方法的流程图，本实施例可适用于为待传输的h265视频编码数据关联唯一的指纹信息，以实现在数据传输过程进行实时校验的情况，该方法可以由h265视频编码数据的传输装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于终端设备中，例如配置于发送端设备中，与中继设备和接收端设备配合使用。如图1所示，该方法包括：
54.s110、响应于对目标视频的获取请求，将与所述获取请求匹配的h265视频编码数据封装成rtp数据包。
55.其中，目标视频可以是特定的直播视频、娱乐视频或者广告视频等。对目标视频的获取请求可以是接收端设备为了自己获取目标视频而发送的，也可能是其他设备为了接收端设备能获取到目标视频而发送的。本实施例中，目标视频的原始数据是采用h265视频编码技术进行编码的，并采用rtp协议传输与目标视频对应的h265视频编码数据。
56.本实施例中，h265/hevc是一种常用的视频编码技术，其功能分为两层，视频编码层(vcl)和网络提取层(nal)。vcl数据是指被压缩编码后的视频数据序列，即目标视频对应的h265视频编码数据，需要封装到nal单元中才可以用来传输或存储。nal单元是h265的基本语法结构，它包含两个字节的头信息(nal header)和一系列来自vcl的原始数据字节流(rbsp)。多个nal单元和起始码(start code)组成h265帧，nal单元之间由“起始码”字段分开。为了采用rtp协议传输h265视频编码数据，可以去除h265帧中的起始码，将包括h265视频编码数据的nal单元封装进rtp数据包，12字节的rtp头后面就是音视频数据。
57.本实施例中，在将包括h265视频编码数据的nal单元封装成rtp数据包时，对于长度小于最大传输单元的nal单元，可以将一个nal单元封装在一个rtp数据包中；当nal单元长度特别小时,可以将几个nal单元封装在一个rtp数据包中；当nal单元的长度超过最大传输单元时,则对nal单元进行拆分，12字节的rtp头后面跟随的是fragmentation units(fus)，简称为fu-a分片。fu-a分片有1个字节的fu标识、一个字节的fu头部和nal分片构成。
58.s120、计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息。
59.本实施例中，为了实现对传输数据进行实时异常检测，在发送rtp数据包之前，需要生成与rtp数据包中的h265视频编码数据紧密相关的唯一性指纹信息作为校验信息，用于后续判断传输的h265视频编码数据的内容是否遭到异常改变。
60.可选的，所述计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息，包
括：依次将各所述rtp数据包作为当前数据包；从所述当前数据包中提取五元组信息、rtp序列号以及rtp时间戳；统计在所述当前数据包之前已经传输的h265视频编码数据的数据长度，并采用目标摘要算法计算已经传输的h265视频编码数据的摘要值；将所述五元组信息、rtp序列号、rtp时间戳、已传输数据长度、已传输数据的摘要值，作为与所述当前数据包中的h265视频编码数据对应的指纹信息。
61.本实施例中，rtp数据包由报文头和有效载荷两部分组成，rtp报文头中包括：协议的版本号，有效载荷类型，rtp序列号，rtp时间戳，同步信源标识符等。其中，rtp序列号用于标识发送端设备所发送的rtp数据包的序列号，且每发送一个数据包，序列号增加1。接收端设备可以通过序列号来检测rtp数据包的丢失情况，重新排序rtp数据包，恢复数据。rtp时间戳反映该rtp数据包的第一个八位组的采样时刻，接收端设备可以使用时间戳来计算延迟和延迟抖动，并进行同步控制。
62.本实施例中，在数据存储方面，不同的多媒体内容对应不同的长度和二进制内容，因此可以将rtp报文头中的五元组信息、当前数据包的序列号、当前数据包的时间戳、在当前数据包之前已传输的h265视频编码数据的数据长度以及已传输的h265视频编码数据内容等信息的集合作为一次传输的唯一指纹信息，作为当前传输内容的正确对照。其中，五元组信息包括源ip地址、源端口、目的ip地址、目的端口和协议的版本号。
63.其中，由于已传输的h265视频编码数据的信息量较大，可以通过一定的摘要算法，例如循环冗余校验算法(cyclic redundancy check，crc)、md5消息摘要算法(message-digest algorithm 5，md5)、安全哈希算法(secure hash algorithm，sha1)、sha256以及相关变种算法，计算出已传输的h265视频编码数据的摘要值，作为指纹信息的组成信息。
64.其中，在一些特定场合，可以在计算已传输内容的摘要值的过程中引入加密计算，通过预先部署的证书/签名或是实时协商的秘钥，对计算结果进行保护。具体加密算法可以根据实际算力和部署场景进行选择。
65.s130、生成与各所述指纹信息对应的sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，以使接收所述rtp数据包的终端设备，根据所述sei载荷对所述rtp数据包中的h265视频编码数据进行内容校验。
66.本实施例中，为了将指纹信息跟随rtp数据包实时传输，可以使用h265规范中的sei消息。sei消息属于码流范畴，提供向视频码流中加入额外信息的方法，是h265标准的特性之一。同时sei消息又并非解码过程的必须选项，sei消息在解码、显示或其它过程中起辅助作用，例如在解码处理时，构建亮度或者色度样值不需要sei消息参与。也就是说，h265编码器在输出视频码流的时候，可以不提供sei信息，h265解码器接收到包含sei消息的nal单元的数据时会自动忽略该部分内容。
67.需要说明的是，虽然在视频的传输过程、解封装、解码这些环节，都可能因为某种原因丢弃sei内容，但在视频内容的生成端和传输过程中，是可以插入sei载荷数据的。生成sei的方式可以包括：如果设备支持，可以在发送端对传输数据编码生成nal单元时，生成相应的sei载荷，并在容器层写入时将sei载荷插入nal单元中，将nal单元封装成rtp数据包传输；或者，在发送端对传输的rtp数据包进行环路过滤时，将生成的sei载荷插入nal单元或分片中。插入的sei载荷信息，和其他传输的视频内容一同经过传输链路到达接收端。
68.在h265/hevc视频编码标准中，明确指出一个sei nal单元中可以包含多个sei消
息，每个sei消息都携带自身的载荷，目前h265规定sei载荷类型为5时，对应载荷可以是用户自定义数据。基于此，本实施例可以使用指定的处理方法user_data_unregistered()，根据指纹信息生成类型为5的sei载荷，并将sei载荷与rtp数据包关联向外发送，利用sei消息中未注册的用户自定义数据来实时传输校验信息。
69.可选的，所述生成与各所述指纹信息对应的sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，包括：针对各所述指纹信息，根据目标摘要算法、所述指纹信息以及其他校验数据，生成载荷类型为5的sei载荷；将所述sei载荷添加至对应的rtp数据包中向外发送；或者将所述sei载荷作为一个新数据包向外发送，并将在所述新数据包之后的rtp数据包的序列号加一。
70.本实施例中，可以构造一种结构，将目标摘要算法、指纹信息以及其他校验数据，按照该结构生成类型为5的sei载荷，附加到rtp数据包中的nal单元中已有的sei载荷之后，伴随rtp数据包向外发送；或者，该sei载荷作为新的待发送数据包，插入到当前rtp数据包之前或者之后进行发送，此时，由于每个数据包都有唯一序列号，因此需要跟踪并修改sei载荷之后的rtp数据包的序列号。其中，其他校验数据可以是预先约定的业务数据，例如一个字符串，或者业务代码。
71.本实施例中，将包括指纹信息的sei载荷发送出去之后，传输沿途的中继设备以及接收端设备可以通过结构中指定的目标摘要算法，对传输内容进行实时校验，判断rtp数据包中的h265视频编码数据在传输过程是否发生了内容改变。
72.本实施例中，通过在发送侧实时计算与传输内容对应的校验信息，利用h265 over rtp中的sei扩展机制，将校验信息插入当前传输的h265视频编码数据中传输，传输沿途以及接收侧通过相同的算法对传输内容进行实时校验，感知内容变化的情况。
73.需要说明的是，本实施例的技术方案具有多种优势，包括：可独立部署，无需对现有的通信双方进行改造；增加的数据量较少，不会对已有传输通道造成额外压力；校验信息与传输内容共享通道一起到达接收端，无需额外的逻辑链接，不受网络异构和防火墙等网络设备的影响；加入校验信息所引入的时延较小，感官差异几乎为零，不会对传输中的实时业务造成影响。
74.本发明实施例的技术方案，通过响应于对目标视频的获取请求，将与所述获取请求匹配的h265视频编码数据封装成rtp数据包；计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息；生成与各所述指纹信息对应的sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，以使接收所述rtp数据包的终端设备，根据所述sei载荷对所述rtp数据包中的h265视频编码数据进行内容校验，解决了现有技术中基于udp传输h265编码数据时，缺少内容保护机制的问题，利用h265编码标准中的sei扩展机制，实现对传输过程中的h265视频编码数据进行实时校验，实时检测出传输内容的异常情况。
75.实施例二
76.图2是根据本发明实施例二提供的一种h265视频编码数据的传输方法的流程图，本实施例可适用于为待传输的h265视频编码数据关联唯一的指纹信息，以实现在数据传输过程进行实时校验的情况，该方法可以由h265视频编码数据的传输装置来执行，该装置可以采用硬件和/或软件的形式实现，该装置可配置于终端设备中，例如配置于中继设备或者接收端设备中，与发送端设备配合使用。如图2所示，该方法包括：
77.s210、接收与目标视频匹配的rtp数据包，并获取与各所述rtp数据包关联的sei载荷。
78.本实施例中，如果终端设备为中继设备或者接收端设备，则接收其他终端设备发送的rtp数据包，并获取与该rtp数据包关联的类型为5的sei载荷。其中，sei载荷可能插入在rtp数据包中的nal单元中已有的sei载荷之后，也可能作为新的数据包在该rtp数据包之前或者之后传输。sei载荷中包括用于计算已传输内容的摘要值的目标摘要算法，用于进行内容校验的目标指纹信息以及其他校验数据。其中，其他校验数据可以是预先约定的业务数据，例如一个字符串，或者业务代码。
79.s220、计算与各所述rtp数据包中的h265视频编码数据对应的本地指纹信息，并将各所述本地指纹信息与对应的sei载荷中的目标指纹信息进行比对。
80.本实施例中，在获取类型为5的sei载荷之后，从sei载荷中提取与当前传输的h265视频编码数据对应的目标指纹信息以及目标摘要算法，统计在当前rtp数据包之前已传输的h265视频编码数据的数据长度，使用目标摘要算法计算已传输的h265视频编码数据内容的摘要值，从当前rtp数据包中的报文头中获取五元组信息、当前rtp数据包的序列号以及当前rtp数据包的时间戳，结合计算出的已传输数据长度以及已传输数据的摘要值，确定与接收的当前rtp数据包对应的本地指纹信息。将本地指纹信息与目标指纹信息进行一致性比对，以判断当前接收的rtp数据包的内容在传输过程中是否发生改变。其中，五元组信息包括源ip地址、源端口、目的ip地址、目的端口和协议的版本号。
81.s230、如果所述本地指纹信息与所述目标指纹信息不一致，则确定所述rtp数据包中的h265视频编码数据被篡改。
82.本实施例中，如果传输的h265视频编码数据发生内容改变，则相应的与传输内容相关的指纹信息也会发生改变，因此，当本地指纹信息与目标指纹信息存在差异时，终端设备可以确定当前接收的rtp数据包中的h265视频编码数据被篡改，如果本地指纹信息与目标指纹信息一致，则表示当前接收的rtp数据包中的h265视频编码数据在传输途中未被篡改。
83.可选的，在所述确定所述rtp数据包中的h265视频编码数据被篡改之后，还包括：生成篡改告警事件，并发送至所述rtp数据包对应的接收端设备，以使所述接收端设备根据上报的篡改告警事件定位篡改行为的发生位置。
84.本实施例中，在确定rtp数据包中的h265视频编码数据被篡改之后，需要对发生篡改的过程进行记录生成篡改告警事件，并将篡改告警事件发送至rtp数据包对应的接收端设备，以使接收端设备依据各中继设备实时上报过来的篡改告警事件，逐级排查内容异常变化的记录告警信息，定位篡改行为发生的位置，并根据预先设置的异常应对方案，在本地执行相应的应对措施，以对传输途中的数据篡改行为进行纠正。
85.本发明实施例的技术方案，通过接收与目标视频匹配的rtp数据包，并获取与各所述rtp数据包关联的sei载荷；计算与各所述rtp数据包中的h265视频编码数据对应的本地指纹信息，并将各所述本地指纹信息与对应的sei载荷中的目标指纹信息进行比对；如果所述本地指纹信息与所述目标指纹信息不一致，则确定所述rtp数据包中的h265视频编码数据被篡改，解决了现有技术中基于udp传输h265编码数据时，缺少内容保护机制的问题，利用h265编码标准中的sei扩展机制，实现对传输过程中的h265视频编码数据进行实时校验，
实时检测出传输内容的异常情况。
86.实施例三
87.图3是根据本发明实施例三提供的一种h265视频编码数据的传输装置的结构示意图。本实施例可适用于为待传输的h265视频编码数据关联唯一的指纹信息，以实现在数据传输过程进行实时校验的情况，h265视频编码数据的传输装置可以采用硬件和/或软件的形式实现，该装置可配置于终端设备中，例如配置于发送端设备中，与中继设备和接收端设备配合使用。如图3所示，该装置包括：
88.数据封装模块310，用于响应于对目标视频的获取请求，将与所述获取请求匹配的h265视频编码数据封装成rtp数据包；
89.指纹计算模块320，用于计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息；
90.数据发送模块330，用于生成与各所述指纹信息对应的sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，以使接收所述rtp数据包的终端设备，根据所述sei载荷对所述rtp数据包中的h265视频编码数据进行内容校验。
91.本发明实施例的技术方案，通过响应于对目标视频的获取请求，将与所述获取请求匹配的h265视频编码数据封装成rtp数据包；计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息；生成与各所述指纹信息对应的sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，以使接收所述rtp数据包的终端设备，根据所述sei载荷对所述rtp数据包中的h265视频编码数据进行内容校验，解决了现有技术中基于udp传输h265编码数据时，缺少内容保护机制的问题，利用h265编码标准中的sei扩展机制，实现对传输过程中的h265视频编码数据进行实时校验，实时检测出传输内容的异常情况。
92.可选的，指纹计算模块320，用于：
93.依次将各所述rtp数据包作为当前数据包；
94.从所述当前数据包中提取五元组信息、rtp序列号以及rtp时间戳；
95.统计在所述当前数据包之前已经传输的h265视频编码数据的数据长度，并采用目标摘要算法计算已经传输的h265视频编码数据的摘要值；
96.将所述五元组信息、rtp序列号、rtp时间戳、已传输数据长度、已传输数据的摘要值，作为与所述当前数据包中的h265视频编码数据对应的指纹信息。
97.可选的，数据发送模块330，用于：
98.针对各所述指纹信息，根据目标摘要算法、所述指纹信息以及其他校验数据，生成载荷类型为5的sei载荷；
99.将所述sei载荷添加至对应的rtp数据包中向外发送；或者
100.将所述sei载荷作为一个新数据包向外发送，并将在所述新数据包之后的rtp数据包的序列号加一。
101.本发明实施例所提供的h265视频编码数据的传输装置，可执行本发明任意实施例所提供的应用于发送端设备的h265视频编码数据的传输方法，具备执行方法相应的功能模块和有益效果。
102.实施例四
103.图4是根据本发明实施例四提供的一种h265视频编码数据的传输装置的结构示意
图。本实施例可适用于为待传输的h265视频编码数据关联唯一的指纹信息，以实现在数据传输过程进行实时校验的情况，该装置可以采用硬件和/或软件的形式实现，该装置可配置于终端设备中，例如配置于中继设备或者接收端设备中，与发送端设备配合使用。如图4所示，该装置包括：
104.数据接收模块410，用于接收与目标视频匹配的rtp数据包，并获取与各所述rtp数据包关联的sei载荷；
105.指纹比对模块420，用于计算与各所述rtp数据包中的h265视频编码数据对应的本地指纹信息，并将各所述本地指纹信息与对应的sei载荷中的目标指纹信息进行比对；
106.数据校验模块430，用于如果所述本地指纹信息与所述目标指纹信息不一致，则确定所述rtp数据包中的h265视频编码数据被篡改。
107.本发明实施例的技术方案，通过接收与目标视频匹配的rtp数据包，并获取与各所述rtp数据包关联的sei载荷；计算与各所述rtp数据包中的h265视频编码数据对应的本地指纹信息，并将各所述本地指纹信息与对应的sei载荷中的目标指纹信息进行比对；如果所述本地指纹信息与所述目标指纹信息不一致，则确定所述rtp数据包中的h265视频编码数据被篡改，解决了现有技术中基于udp传输h265编码数据时，缺少内容保护机制的问题，利用h265编码标准中的sei扩展机制，实现对传输过程中的h265视频编码数据进行实时校验，实时检测出传输内容的异常情况。
108.可选的，还包括：告警模块，用于在所述确定所述rtp数据包中的h265视频编码数据被篡改之后，生成篡改告警事件，并发送至所述rtp数据包对应的接收端设备，以使所述接收端设备根据上报的篡改告警事件定位篡改行为的发生位置。
109.本发明实施例所提供的h265视频编码数据的传输装置，可执行本发明任意实施例所提供的应用于中继设备或者接收端设备的h265视频编码数据的传输方法，具备执行方法相应的功能模块和有益效果。
110.实施例五
111.图5示出了可以用来实施本发明的实施例的终端设备10的结构示意图。终端设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。终端设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备(如头盔、眼镜、手表等)和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本发明的实现。
112.如图5所示，终端设备10包括至少一个处理器11，以及与至少一个处理器11通信连接的存储器，如只读存储器(rom)12、随机访问存储器(ram)13等，其中，存储器存储有可被至少一个处理器执行的计算机程序，处理器11可以根据存储在只读存储器(rom)12中的计算机程序或者从存储单元18加载到随机访问存储器(ram)13中的计算机程序，来执行各种适当的动作和处理。在ram 13中，还可存储终端设备10操作所需的各种程序和数据。处理器11、rom 12以及ram 13通过总线14彼此相连。输入/输出(i/o)接口15也连接至总线14。
113.终端设备10中的多个部件连接至i/o接口15，包括：输入单元16，例如键盘、鼠标等；输出单元17，例如各种类型的显示器、扬声器等；存储单元18，例如磁盘、光盘等；以及通信单元19，例如网卡、调制解调器、无线通信收发机等。通信单元19允许终端设备10通过诸
如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
114.处理器11可以是各种具有处理和计算能力的通用和/或专用处理组件。处理器11的一些示例包括但不限于中央处理单元(cpu)、图形处理单元(gpu)、各种专用的人工智能(ai)计算芯片、各种运行机器学习模型算法的处理器、数字信号处理器(dsp)、以及任何适当的处理器、控制器、微控制器等。处理器11执行上文所描述的各个方法和处理，例如h265视频编码数据的传输方法。
115.在一些实施例中，h265视频编码数据的传输方法可被实现为计算机程序，其被有形地包含于计算机可读存储介质，例如存储单元18。在一些实施例中，计算机程序的部分或者全部可以经由rom 12和/或通信单元19而被载入和/或安装到终端设备10上。当计算机程序加载到ram 13并由处理器11执行时，可以执行上文描述的h265视频编码数据的传输方法的一个或多个步骤。备选地，在其他实施例中，处理器11可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行h265视频编码数据的传输方法。
116.本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(fpga)、专用集成电路(asic)、专用标准产品(assp)、芯片上系统的系统(soc)、负载可编程逻辑设备(cpld)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
117.用于实施本发明的方法的计算机程序可以采用一个或多个编程语言的任何组合来编写。这些计算机程序可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，使得计算机程序当由处理器执行时使流程图和/或框图中所规定的功能/操作被实施。计算机程序可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
118.在本发明的上下文中，计算机可读存储介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的计算机程序。计算机可读存储介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。备选地，计算机可读存储介质可以是机器可读信号介质。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或快闪存储器)、光纤、便捷式紧凑盘只读存储器(cd-rom)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
119.为了提供与用户的交互，可以在电子设备上实施此处描述的系统和技术，该电子设备具有：用于向用户显示信息的显示装置(例如，crt(阴极射线管)或者lcd(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给电子设备。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
120.可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(lan)、广域网(wan)、区块链网络和互联网。
121.计算系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与vps服务中，存在的管理难度大，业务扩展性弱的缺陷。
122.实施例六
123.图6是实现本发明实施例的六的一种h265视频编码数据的传输系统的结构示意图。如图6所示，该系统包括多个终端设备610；
124.当所述终端设备610为发送端设备时，执行：响应于对目标视频的获取请求，将与所述获取请求匹配的h265视频编码数据封装成rtp数据包；计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息；生成与各所述指纹信息对应的sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，以使接收所述rtp数据包的终端设备，根据所述sei载荷对所述rtp数据包中的h265视频编码数据进行内容校验；
125.当所述终端设备610为中继设备或者接收端设备时，执行：接收与目标视频匹配的rtp数据包，并获取与各所述rtp数据包关联的sei载荷；计算与各所述rtp数据包中的h265视频编码数据对应的本地指纹信息，并将各所述本地指纹信息与对应的sei载荷中的目标指纹信息进行比对；如果所述本地指纹信息与所述目标指纹信息不一致，则确定所述rtp数据包中的h265视频编码数据被篡改。
126.本实施例中，如图7所示，当终端设备为发送端设备时，可以在发送端设备串接部署指纹提取和sei插入模块，以利用h265视频编码标准的sei消息中包括的未注册的用户自定义数据，来实时传递校验信息。
127.本实施例中，当h265 over rtp数据，即待发送的rtp数据包，流经发送侧的指纹提取和sei插入模块时，实时计算与rtp数据包中的h265视频编码数据对应的指纹信息，并将指纹信息按照预定的结构生成载荷类型为5的sei载荷数据，插入当前rtp数据包中继续向后发送，或者将该sei载荷数据作为新的待发送数据包，插入到当前rtp数据包之前或者之后进行发送。
128.可选的，所述计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息，包括：依次将各所述rtp数据包作为当前数据包；从所述当前数据包中提取五元组信息、rtp序列号以及rtp时间戳；统计在所述当前数据包之前已经传输的h265视频编码数据的数据长度，并采用目标摘要算法计算已经传输的h265视频编码数据的摘要值；将所述五元组信息、rtp序列号、rtp时间戳、已传输数据长度、已传输数据的摘要值，作为与所述当前数据包中的h265视频编码数据对应的指纹信息。
129.可选的，所述生成与各所述指纹信息对应的sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，包括：针对各所述指纹信息，根据目标摘要算法、所述指纹信息以及其他校验数据，生成载荷类型为5的sei载荷；将所述sei载荷添加至对应的rtp数据包中向外发送；或者将所述sei载荷作为一个新数据包向外发送，并将在所述新数据包之后的rtp数据包的序列号加一。
130.本实施例中，如图7所示，当终端设备为中继设备或者接收端设备时，可以在终端设备上安装指纹校验模块，通过从流经该模块的数据中提取sei类型为5的载荷数据，确定与正确的传输数据对应的目标指纹信息以及目标摘要算法。使用目标摘要算法计算与接收数据对应的本地指纹信息，将目标指纹信息与本地指纹信息进行比对，根据两者的一致性判断传输数据内容是否遭受篡改。
131.本实施例中，如果传输数据内容发生改变，则相应的与传输内容相关的指纹信息也会发生改变，因此，当本地指纹信息与目标指纹信息存在差异时，则终端设备可以确定当前接收的rtp数据包中的h265视频编码数据被篡改，如果本地指纹信息与目标指纹信息一致，则表示当前接收的rtp数据包中的h265视频编码数据在传输途中未被篡改。
132.可选的，在所述确定所述rtp数据包中的h265视频编码数据被篡改之后，还包括：生成篡改告警事件，并发送至所述rtp数据包对应的接收端设备，以使所述接收端设备根据上报的篡改告警事件定位篡改行为的发生位置。
133.本实施例中，在确定rtp数据包中的h265视频编码数据被篡改之后，需要对发生篡改的过程进行记录生成篡改告警事件，并将篡改告警事件发送至rtp数据包对应的接收端设备，以使接收端设备依据各中继设备实时上报过来的篡改告警事件，逐级排查内容异常变化的记录告警信息，定位篡改行为发生的位置，并根据预先设置的异常应对方案，在本地执行相应的应对措施，以对传输途中的数据篡改行为进行纠正。
134.本实施例中，通过在发送端部署指纹提取和sei插入模块，在传输沿途及接收侧部署指纹校验模块，以对基于rtp传输的h265视频编码内容进行保护，实时检测传输内容的异常变化，定位造成异常的传输环节。在内容安全敏感的场景中，可以对实时传输的流媒体传输过程进行保护。
135.应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发明中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本发明的技术方案所期望的结果，本文在此不进行限制。
136.上述具体实施方式，并不构成对本发明保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本发明的精神和原则之内所作的修改、等同替换和改进等，均应包含在本发明保护范围之内。

技术特征：
1.一种h265视频编码数据的传输方法，其特征在于，包括：响应于对目标视频的获取请求，将与所述获取请求匹配的h265视频编码数据封装成实时传输协议rtp数据包；计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息；生成与各所述指纹信息对应的补充增强信息sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，以使接收所述rtp数据包的终端设备，根据所述sei载荷对所述rtp数据包中的h265视频编码数据进行内容校验。2.根据权利要求1所述的方法，其特征在于，所述计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息，包括：依次将各所述rtp数据包作为当前数据包；从所述当前数据包中提取五元组信息、rtp序列号以及rtp时间戳；统计在所述当前数据包之前已经传输的h265视频编码数据的数据长度，并采用目标摘要算法计算已经传输的h265视频编码数据的摘要值；将所述五元组信息、rtp序列号、rtp时间戳、已传输数据长度、已传输数据的摘要值，作为与所述当前数据包中的h265视频编码数据对应的指纹信息。3.根据权利要求2所述的方法，其特征在于，所述生成与各所述指纹信息对应的sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，包括：针对各所述指纹信息，根据目标摘要算法、所述指纹信息以及其他校验数据，生成载荷类型为5的sei载荷；将所述sei载荷添加至对应的rtp数据包中向外发送；或者将所述sei载荷作为一个新数据包向外发送，并将在所述新数据包之后的rtp数据包的序列号加一。4.一种h265视频编码数据的传输方法，其特征在于，包括：接收与目标视频匹配的rtp数据包，并获取与各所述rtp数据包关联的sei载荷；计算与各所述rtp数据包中的h265视频编码数据对应的本地指纹信息，并将各所述本地指纹信息与对应的sei载荷中的目标指纹信息进行比对；如果所述本地指纹信息与所述目标指纹信息不一致，则确定所述rtp数据包中的h265视频编码数据被篡改。5.根据权利要求4所述的方法，其特征在于，在所述确定所述rtp数据包中的h265视频编码数据被篡改之后，还包括：生成篡改告警事件，并发送至所述rtp数据包对应的接收端设备，以使所述接收端设备根据上报的篡改告警事件定位篡改行为的发生位置。6.一种h265视频编码数据的传输装置，其特征在于，包括：数据封装模块，用于响应于对目标视频的获取请求，将与所述获取请求匹配的h265视频编码数据封装成rtp数据包；指纹计算模块，用于计算与各所述rtp数据包中的h265视频编码数据对应的指纹信息；数据发送模块，用于生成与各所述指纹信息对应的sei载荷，并将各所述sei载荷与对应的rtp数据包关联向外发送，以使接收所述rtp数据包的终端设备，根据所述sei载荷对所述rtp数据包中的h265视频编码数据进行内容校验。
7.一种h265视频编码数据的传输装置，其特征在于，包括：数据接收模块，用于接收与目标视频匹配的rtp数据包，并获取与各所述rtp数据包关联的sei载荷；指纹比对模块，用于计算与各所述rtp数据包中的h265视频编码数据对应的本地指纹信息，并将各所述本地指纹信息与对应的sei载荷中的目标指纹信息进行比对；数据校验模块，用于如果所述本地指纹信息与所述目标指纹信息不一致，则确定所述rtp数据包中的h265视频编码数据被篡改。8.一种终端设备，其特征在于，所述终端设备包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的计算机程序，所述计算机程序被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-3中任一项所述的h265视频编码数据的传输方法，或者实现如权利要求4-5中任一项所述的h265视频编码数据的传输方法。9.一种h265视频编码数据的传输系统，其特征在于，所述系统包括多个终端设备；当所述终端设备为发送端设备时，执行如权利要求1-3中任一项所述的h265视频编码数据的传输方法；当所述终端设备为中继设备或者接收端设备时，执行如权利要求4-5中任一项所述的h265视频编码数据的传输方法。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机指令，所述计算机指令用于使处理器执行时实现权利要求1-3中任一项所述的h265视频编码数据的传输方法，或者实现如权利要求4-5中任一项所述的h265视频编码数据的传输方法。

技术总结
本发明公开了一种H265视频编码数据的传输方法、装置、设备、系统及介质。该方法包括：响应于对目标视频的获取请求，将与所述获取请求匹配的H265视频编码数据封装成实时传输协议RTP数据包；计算与各所述RTP数据包中的H265视频编码数据对应的指纹信息；生成与各所述指纹信息对应的补充增强信息SEI载荷，并将各所述SEI载荷与对应的RTP数据包关联向外发送，以使接收所述RTP数据包的终端设备，根据所述SEI载荷对所述RTP数据包中的H265视频编码数据进行内容校验。本发明实施例的技术方案，可以利用H265编码标准中的SEI扩展机制，实现对传输过程中的H265视频编码数据进行实时校验，实时检测出传输内容的异常情况。测出传输内容的异常情况。测出传输内容的异常情况。


技术研发人员：赵民绍 陈国喜 杨满智 梁彧 傅强 王杰 金红
受保护的技术使用者：恒安嘉新（北京）科技股份公司
技术研发日：2023.04.10
技术公布日：2023/8/4