一种自动负荷均衡的低延迟远程实时图形处理装置的制作方法

1.本发明涉及图形显示处理和航空电子领域设备，具体地说，涉及一种自动负荷均衡的低延迟远程实时图形处理装置。


背景技术：

2.大尺寸、超宽屏显示应用到座舱能显著提升人机效能。受限于机载设备的体积、功耗，以及苛刻的工作环境要求，单个电路模块处理能力难以承担大尺寸、超宽屏显示所需的超高分辨率实时图形处理。传统的多电路模块协同高分辨率图形处理需要使用非常复杂的视频同步机制，部署实施困难。
3.通过多台远程图形处理装置协同处理超高分辨率图形实现较为简单，易于扩展图形处理算力，但处理延迟较大。传统远程图形处理装置相比本地图形处理装置，图形处理额外延迟要高出30ms以上，难以直接应作机载图形处理。
4.研制能自动负荷均衡，延迟低的超高分辨率实时图形处理装置，能加快大尺寸、超宽屏显示的机载应用，对提升飞机座舱系统人机效能，提高产品品质和竞争力至关重要。


技术实现要素：

5.本发明的发明目的在于提供一种自动负荷均衡的低延迟远程实时图形处理装置，用于完成机载大尺寸、超宽屏显示所需的图形处理任务，为机载座舱系统的大尺寸、超宽屏提供更直观、更流畅的智能化、信息化人机界面，提升飞行员的作战效能，提高系统品质和产品竞争力。
6.本发明的发明目的通过以下技术方案实现：
7.一种自动负荷均衡的低延迟远程实时图形处理装置，包括图形处理控制与合成终端部件、数据网络部件、若干远程图形渲染部件，数据网络部件为图形处理控制与合成终端部件与各远程图形渲染部件之间建立数据传输通道，图形处理控制与合成终端部件将期望处理的全场景图形从左到右分成若干矩形区域，再依次分配给各远程图形渲染部件完成各矩形区域的图形渲染，最后将各矩形区域图形按照从左到右的次序合成；其中：
8.图形处理控制与合成终端部件包括图形处理控制部件，图形处理控制部件用于对各远程图形渲染部件的负荷进行自动均衡，自动负荷均衡通过自动场景复杂度均衡实现，场景复杂度均衡通过调整渲染的矩形区域尺寸来实现，调整的基本单位是复杂度评估基本单元；
9.设若干像素的列为复杂度评估基本单元，耗时a完成b个复杂度评估基本单元的渲染为复杂度c，各矩形区域图形的渲染复杂度ci与渲染毫秒数rti、矩形区域宽度wqi、复杂度评估基本单元宽度w
eval
之间的关系为：
10.ci＝c
×
(rti/a)
×
(wqi/(w
eval
×
b))＝rti×
wqi/w
eval
11.场景总复杂度是各矩形区域图形的渲染复杂度ci的总和，c
total
为：
12.c
total
＝c1+c2+
……
+cn13.各矩形区域图形的复杂度评估基本单元的复杂度c
i-eval为：
14.c
i-eval＝ci×weval
/wqi15.根据c
total
计算出平均每个远程图形渲染部件的渲染复杂度加权平均值，定义该渲染复杂度加权平均值为应分配值；
16.场景复杂度均衡时调整发生在相邻的矩形区域图形之间，调整的基本单位为复杂度评估基本单元的宽度，根据各c
i-eval的值确定各矩形区域的边界。
17.较佳地，如果远程图形渲染部件有多个种类时，根据评测的性能指标选择一种作为基准，其它种类则赋予一个系数，应分配值为渲染复杂度加权平均值乘以系数。
18.较佳地，进行自动负荷均衡时设定有阈值，当所有的远程图形渲染部件的渲染复杂度当前值与应分配值相差超过阈值以上才进行均衡调整。
19.较佳地，图形处理控制部件成功将矩形区域调整完成后，还要对渲染的水平视角进行调整，以保持渲染视角与调整后的矩形区域相匹配。
20.进一步，远程图形渲染部件包含图形渲染部件和远程图形渲染控制部件；
21.远程图形渲染控制部件从数据网络部件接收来自图形处理控制与合成终端部件的参数控制图形渲染部件进行图形渲染，参数包括该远程图形渲染部件对应的矩形区域像素尺寸、渲染视点位置、场景垂直视角、区域水平视角、开始绘制的时机以及场景具体内容参数；远程图形渲染控制部件会持续监控承担的矩形区域图形渲染的每一帧耗时，发送到图形处理控制与合成终端部件的图形处理控制部件。
22.较佳地，远程图形渲染部件初始化时还会接收最大矩形区域尺寸参数，并按照该最大尺寸申请渲染缓冲区，运行过程中遇上负荷均衡引起渲染的矩形区域尺寸变化时，按照最新的尺寸通过opengl的视口设置接口配置，将渲染区域调整为图形处理控制部件要求的尺寸。
23.进一步，远程图形渲染部件还包含图形分块压缩部件，图形处理控制与合成终端部件还包括图形分块解压部件、图形分块缓存部件、单帧缓存图形融合部件、视频输出部件；
24.远程图形渲染控制部件还控制图形分块压缩部件将图形渲染部件完成的图形从上到下分成若干块依次压缩送往图形处理控制与合成终端部件的图形分块解压部件解压缩后送图形分块缓存部件缓存，再通过单帧缓存图形融合部件进行图形融合，形成完整的超高分辨率大尺寸、超宽屏显示画面，通过视频输出部件输出送显示。
25.较佳地，每个分块的行数和总的分块数量，由期望的实施图形处理延迟指标、远程图形渲染部件处理能力、全场景矩形区域划分基本情况、从上到下分块划分后每个分块图形压缩传输解压总延迟综合分析决定。
26.较佳地，图形分块缓存部件设定了容差机制，分块图形解压部件能同时及时收到各远程图形渲染部件发送过来的相应矩形区域分块图形压缩数据时，图形分块缓存部件将当前帧的图形分块数据直接发送到单帧缓存图形融合部件；图形分块解压部件不能同时及时收到各远程图形渲染部件发送过来的相应矩形区域分块图形压缩数据时，图形分块缓存部件将上一帧的图形分块数据直接发送到单帧缓存图形融合部件，此时图形处理控制部件会监控到该情况，并进行调整在接下来的帧恢复步调协调一致。
27.较佳地，图形处理控制与合成终端部件还包含视频相位跟踪部件，视频相位跟踪
部件对视频输出部件输出的全景视频进行相位跟踪；
28.远程图形渲染控制部件还监测自身的通信、图形渲染部件和图形分块压缩部件的工作时序信息，经数据网络部件发送给图形处理控制与合成终端部件的图形处理控制部件；
29.图形处理控制部件还监测各远程图形渲染部件通信、图形渲染部件、图形分块压缩部件的工作时序信息，监控视频输出部件的视频相位信息、图形分块解压部件和单帧缓存图形融合部件的工作时序信息，从而确认各远程图形渲染部件、图形处理控制与合成终端部件的各相关部件协调一致工作情况，若监控到相邻环节的时间余量超过预设的阈值范围，则调整各远程图形渲染部件的渲染时机。
30.本发明的有益效果在于：
31.本发明提出的一种自动负荷均衡的低延迟远程实时图形处理装置，适合在当今主流嵌入式图形处理器上实现，能有效解决机载环境的超高分辨率图形实时处理难题，能有效促进大尺寸、超宽屏在机载座舱系统的应用，能为机载座舱系统提供更直观、更流畅的智能化、信息化人机界面，提升飞行员的作战效能，提高系统品质和产品竞争力，具有显著的经济效益。
附图说明
32.图1为一种自动负荷均衡的低延迟远程实时图形处理装置原理示意图。
33.图2为图形处理场景划分示意图。
34.图3为各矩形区域图形与全场景图形渲染的视角和视点的关系示意图。
具体实施方式
35.下面结合附图和实施例对本发明作进一步的详细说明。
36.参见图1所示，本实施例所示的一种自动负荷均衡的低延迟远程实时图形处理装置，包括图形处理控制与合成终端部件、数据网络部件、若干远程图形渲染部件。数据网络部件为图形处理控制与合成终端部件与各远程图形渲染部件之间建立数据传输通道。图形处理控制与合成终端部件将期望处理的全场景图形如图2所示从左到右分成若干矩形区域，矩形区域1、矩形区域2、
……
、矩形区域n,将从左到右排列的矩形区域1图形、矩形区域2图形、
……
、矩形区域n图形依次分配给远程图形渲染部件-1、远程图形渲染部件-2、
……
、远程图形渲染部件-n，由这些远程图形渲染部件完成各矩形区域的图形渲染，再将各矩形区域图形按照从左到右的次序合成就可以实现多个远程图形渲染部件协同完成期望处理的全场景图形渲染。
37.图形处理控制与合成终端部件包括图形处理控制部件、图形分块解压部件、图形分块缓存部件、单帧缓存图形融合部件、视频输出部件、视频相位跟踪部件。
38.图形处理控制部件将根据超高分辨率复杂场景的具体分辨率、图形渲染的场景复杂度、各远程图形渲染部件的处理能力、预期的帧率等关键信息对各远程图形渲染部件的负荷进行自动均衡，调整各矩形区域的尺寸，从而可以将延迟时间降低。
39.自动负荷均衡通过自动场景复杂度均衡实现，场景复杂度均衡可以通过调整渲染的矩形区域尺寸来实现，调整的基本单位是复杂度评估基本单元，具体为：
40.我们定义若干像素(典型值是4像素)的列为复杂度评估基本单元，我们进行负荷均衡的基本单位是远程图形渲染部件，也就是全场景图形从左到右分成若干矩形区域图形，矩形区域1图形、矩形区域2图形、
……
、矩形区域n图形。因此我们可以在负荷均衡的负荷评估分析中假定每个矩形区域图形的渲染负荷是均匀的并不会带来明显偏差。复杂度评估时使用相对值更简便，此时我们可以定义一个相对值基准，耗时10ms完成100个复杂度评估基本单元的渲染为复杂度1000，那么我们就可以根据渲染时间、矩形区域宽度，计算出每个矩形区域图形渲染的复杂度。各矩形区域图形的渲染复杂度ci与渲染毫秒数rti、矩形区域宽度wqi、复杂度评估基本单元宽度w
eval
之间的关系为：
41.ci＝1000
×
(rti/10)
×
(wqi/(w
eval
×
100))＝rti×
wqi/w
eval
42.场景总复杂度是各矩形区域图形的渲染复杂度ci的总和，c
total
为：
43.c
total
＝c1+c2+
……
+cn44.各矩形区域图形的复杂度评估基本单元的复杂度c
i-eval为：
45.c
i-eval＝ci×weval
/wqi46.各远程图形渲染部件的当前实际负荷与当前场景的复杂度成正比，所以各远程图形渲染部件的相对负荷可以用当前场景的复杂度直接度量，这样各远程图形渲染部件的负荷均衡就变成了各远程图形渲染部件的场景复杂度均衡。
47.进行复杂度均衡的算法是这样的：
48.首先根据c
total
可以计算出平均每个远程图形渲染部件的渲染复杂度加权平均值，这是理想情况所有远程图形渲染部件负荷均匀的渲染复杂度，我们定义该渲染复杂度加权平均值为应分配值。如果图形渲染部件有多个种类时，可以根据评测的性能指标选择一种作为基准，其它种类则赋予一个系数，比如装置中有两种远程图形渲染部件，一种高性能款的比另外一种基本款的高一倍，那么可以定义基本款的性能加权值为1，高性能款的性能加权值为2，按照性能加权值计算渲染复杂度加权平均值，基本款的应分配值为渲染复杂度加权平均值，高性能款的应分配值为渲染复杂度加权平均值的2倍。
49.场景复杂度均衡时调整只能发生在相邻的矩形区域图形之间。矩形区域1只能在相邻的矩形区域1和矩形区域2边界上调整，调整的基本单位是复杂度评估基本单元，也就是复杂度评估基本单元的宽度；矩形区域2可以在相邻的矩形区域1、矩形区域3边界上调整，调整的基本单位是复杂度评估基本单元的宽度；依次类推，矩形区域n只能在相邻的矩形区域n-1边界上调整，调整的基本单位也是是复杂度评估基本单元的宽度。
50.原则上实际渲染复杂度低于应分配值的应增加矩形区域大小，实际渲染复杂度高于应分配值的应减少矩形区域大小。可以从作到右调整，也可以从右向左调整。以从左向右调整为例，以复杂度评估基本单元的宽度为基本调整单位调整矩形区域1的宽度，使得调整后的预计渲染复杂度跟分配值的差异不超过边界附近一个复杂度评估基本单元的复杂度值，确定矩形区域1与矩形区域2的边界后，再根据各c
i-eval的值确定矩形区域2与矩形区域3的边界，在此需要注意，矩形区域2调整后的预计渲染复杂度不仅要求跟分配值的差异不超过与矩形区域3边界附近一个复杂度评估基本单元的复杂度值，还应该保证偏差与区域1渲染复杂度偏差相反，以避免矩形区域分配中产生明显的累积误差，引起矩形区域n的负荷明显不均衡的问题。
51.这样从左往右将整个超高分辨率场景分成与远程渲染部件数量相对应的矩形块，
使得分配给每个远程图形渲染部件的处理负荷相当，实现自动负荷均衡。
52.为了避免自动负荷均衡中频繁且不必要的反复调整，实现中我们在进行自动负荷均衡时设定有阈值，通常阈值设定为20％，也就是当所有的远程图形渲染部件的渲染复杂度当前值与应分配值相差超过20％以上才进行均衡调整。实际应用中可以根据应用情况调整阈值，如果20％阈值时均衡中还是出现了大量的反复调整，可以提高阈值，如果均衡中的调整很平稳，期望负荷更均匀的分配到各个远程图形渲染单元，也可以降低该阈值。
53.图形处理控制部件成功将矩形区域调整完成后，还要对渲染的水平视角进行调整，以保持渲染视角与调整后的矩形区域相匹配。各矩形区域图形与全场景图形渲染的视角和视点的关系示意如图3所示，各矩形区域图形与全场景图形渲染的视点相同，渲染视角的场景垂直视角相同，全景图形水平视角是各矩形区域水平视角的总和，并且矩形区域1、矩形区域2、
……
、矩形区域n水平视角依次相邻。
54.矩形区域1左侧视角起点跟全场景视角起点一样，矩形区域1水平视角宽度为：全场景视角宽度
×
矩形区域1图形宽度/全场景图形宽度。矩形区域2的水平视角起点为矩形区域1的水平视角右边缘，矩形区域2水平视角宽度为：全场景视角宽度
×
矩形区域2图形宽度/全场景图形宽度。其它各区域依此类推，各远程图形渲染部件对应的矩形区域渲染视角，计算中应注意精度问题避免累积误差，必要时可使用双精度浮点进行中间运算。
55.图形处理控制与合成终端部件的图形处理控制部件还严密监测各远程图形渲染部件通信、图形渲染部件、图形分块压缩部件的工作时序信息，监控视频输出部件的视频相位信息、图形分块解压部件和单帧缓存图形融合部件的工作时序信息，从而可以确认各远程图形渲染部件、图形处理控制与合成终端部件的各相关部件协调一致工作情况，确保各远程图形渲染部件通信、图形渲染部件、图形分块压缩部件、图形分块解压部件、单帧缓存图形融合部件、视频输出部件的步调先后次序正确。同时检查相邻环节的时间余量是否在预设的阈值范围内，如果超过预设的阈值范围，则进行控制调整。控制调整的方法是调整各远程图形渲染部件的渲染时机，既确保各远程图形渲染部件通信、图形渲染部件、图形分块压缩部件、图形分块解压部件、单帧缓存图形融合部件、视频输出部件的步调先后次序正确，步调协调一致，又尽可能使用最新的图形内容参数，把从参数源到图形显示输出的延迟时间降到最低。各远程图形渲染部件的渲染时机按照确保各部件正确协同并留有安全余量的原则进行选择，使得渲染完成后到送显示的等待时间降到最低。为确保稳定性初始安全余量可以稍微设定得大一些，试运行监控实际余量再调整，把不必要得余量缩减掉，降低图形处理显示总延迟。
56.为了提高图形处理的稳定性，图形分块缓存部件设定了容差机制，对解压的上一帧图形分块应进行缓存，确保各远程图形渲染部件、图形处理控制与合成终端部件即使存下步调不一致的情况也不会出现显示内容撕裂的情况。分块图形解压部件能同时及时收到各远程图形渲染部件发送过来的相应矩形区域分块图形压缩数据时，图形分块缓存部件将当前帧的图形分块数据直接发送到单帧缓存图形融合部件，此时可以获得最好的延迟指标。图形分块解压部件不能同时及时收到各远程图形渲染部件发送过来的相应矩形区域分块图形压缩数据时，图形分块缓存部件将上一帧的图形分块数据直接发送到单帧缓存图形融合部件，此时图形处理控制部件会监控到该情况，并进行调整在接下来的帧恢复步调协调一致，这种情况显示内容不会撕裂或者缺失，但图形处理及显示的总延迟会增加。系统配
置恰当时，这种容差机制不会被触发，系统可以保持低延迟图形显示处理指标。当系统试运行时监测到容差机制触发执行时，应当调整系统配置，比如可以采取增加远程图形渲染部件数量降低每个远程图形渲染部件负荷、优化数据网络部件网络配置提高带宽降低延迟等方法。
57.视频输出部件输出合成后的全景视频，视频相位跟踪部件对视频输出部件输出的全景视频进行相位跟踪，并上报给图形处理控制部件。
58.远程图形渲染部件包含图形渲染部件、图形分块压缩部件和远程图形渲染控制部件。
59.远程图形渲染控制部件从数据网络部件接收来自图形处理控制与合成终端部件的参数控制图形渲染部件进行图形渲染，这些参数包括该远程图形渲染部件对应的矩形区域像素尺寸(长宽均以像素为单位)、渲染视点位置、场景垂直视角、区域水平视角、开始绘制的时机以及场景具体内容参数。远程图形渲染部件初始化时还会接收最大矩形区域尺寸参数，并按照该最大尺寸申请渲染缓冲区，以避免运行过程中频繁销毁和申请创建渲染缓冲区带来的消耗。运行过程中遇上负荷均衡引起渲染的矩形区域尺寸变化时，只需要按照最新的尺寸通过opengl的视口设置接口配置，就能将渲染区域调整为图形处理控制部件要求的尺寸，这个过程中不涉及渲染缓冲区资源的申请或者释放，因此消耗极小。远程图形渲染部件的远程图形渲染控制部件会持续监控承担的矩形区域图形渲染的每一帧耗时，发送到图形处理控制与合成终端部件的图形处理控制部件，各远程图形渲染部件每一帧画面的即时渲染时间是自动负荷均衡的依据。
60.远程图形渲染控制部件还监测自身的通信、图形渲染部件和图形分块压缩部件的工作时序信息，经数据网络部件发送给图形处理控制与合成终端部件的图形处理控制部件，用于监测各远程图形渲染部件、图形处理控制与合成终端部件的各相关部件协调一致工作情况，并进行控制确保他们能协调一致工作。
61.远程图形渲染控制部件还控制图形分块压缩部件将图形渲染部件完成的图形从上到下分成若干块依次压缩送往图形处理控制与合成终端部件解压缩后再进行图形融合，形成完整的超高分辨率大尺寸、超宽屏显示画面，通过视频输出部件输出送显示。从上到下分块每个分块的行数和总的分块数量，由图形处理控制与合成终端部件的图形处理控制部件发送给远程图形渲染部件的远程图形渲染控制部件。从上到下分块每个分块的行数和总的分块数量通常是由应用设计人员依据期望的实施图形处理延迟指标、远程图形渲染部件处理能力、全场景矩形区域划分基本情况、从上到下分块划分后每个分块图形压缩传输解压总延迟等信息综合分析决定。从上到下分块每个分块的行数和总的分块数量运行中通常不进行动态调整。以60hz输出，期望的渲染延迟指标不大于17ms为例，如果全场景矩形区域划分已按照远程图形渲染部件处理能力划分为每个矩形区域渲染时间不大于14ms，划分为5个分块后每个分块图形压缩传输解压总延迟在3ms以内，那么分块数量只要不低于5就可以了。分块数量稍微多一些，余量会更好，系统工作会更稳健。但从上到下的分块数量也不是越多越好，因为每一个从上到下的分块都需要单独进行传输管理，分块太多之后，会降低数据网络部件的带宽利用率。通常选择的从上大小的分块数量在8～32之间，以60hz刷新分块数量8为例，从上到下依次压缩解压缩，这使远程图形渲染部件完成渲染到图形处理控制与合成终端部件完成图形融合输出送显示的时间可以低至2毫秒级，如果配置合适数量的
远程图形渲染部件使得每个远程图形渲染部件每帧图形渲染的复杂度降低至13ms内可以完成，1/8图形分块的压缩和解压总时间在1ms以内，那么从开始渲染到渲染完成的图形开始缓存到图形分块渲染部件的总延迟只有16ms，达到了本地渲染普通分辨率简单图形一样的延迟指标。消除了传统远程图形渲染比本地渲染额外30～40ms延迟的局限性，实现了多个远程图形渲染部件协同实现低延迟超高分辨率复杂场景图形实时处理。
62.图形分块压缩部件可以选择图片压缩模式，也可以选择视频压缩模式。图片压缩模式实现会更简单，效果损失也更小，压缩率通常在10～30之间。视频压缩模式实现会稍微复杂一些，效果损失会稍大，压缩率通常在100～300之间。如果数据网络部件是带宽高、时间确定性好的rdma网络，选用图像压缩模式或者视频压缩模式都可以，如果是千兆网则建议选用视频压缩模式。
63.可以理解的是，对本领域普通技术人员来说，可以根据本发明的技术方案及其发明构思加以等同替换或改变，而所有这些改变或替换都应属于本发明所附的权利要求的保护范围。

技术特征：
1.一种自动负荷均衡的低延迟远程实时图形处理装置，包括图形处理控制与合成终端部件、数据网络部件、若干远程图形渲染部件，数据网络部件为图形处理控制与合成终端部件与各远程图形渲染部件之间建立数据传输通道，图形处理控制与合成终端部件将期望处理的全场景图形从左到右分成若干矩形区域，再依次分配给各远程图形渲染部件完成各矩形区域的图形渲染，最后将各矩形区域图形按照从左到右的次序合成；其特征在于：图形处理控制与合成终端部件包括图形处理控制部件，图形处理控制部件用于对各远程图形渲染部件的负荷进行自动均衡，自动负荷均衡通过自动场景复杂度均衡实现，场景复杂度均衡通过调整渲染的矩形区域尺寸来实现，调整的基本单位是复杂度评估基本单元；设若干像素的列为复杂度评估基本单元，耗时a完成b个复杂度评估基本单元的渲染为复杂度c，各矩形区域图形的渲染复杂度c
i
与渲染毫秒数rt
i
、矩形区域宽度wq
i
、复杂度评估基本单元宽度w
eval
之间的关系为：c
i
＝c
×
(rt
i
/a)
×
(wq
i
/(w
eval
×
b))＝rt
i
×
wq
i
/w
eval
场景总复杂度是各矩形区域图形的渲染复杂度c
i
的总和，c
total
为：c
total
＝c1+c2+
……
+c
n
各矩形区域图形的复杂度评估基本单元的复杂度c
i-eval为：c
i-eval＝c
i
×
w
eval
/wq
i
根据c
total
计算出平均每个远程图形渲染部件的渲染复杂度加权平均值，定义该渲染复杂度加权平均值为应分配值；场景复杂度均衡时调整发生在相邻的矩形区域图形之间，调整的基本单位为复杂度评估基本单元的宽度，根据各c
i-eval的值确定各矩形区域的边界。2.根据权利要求1所述的一种自动负荷均衡的低延迟远程实时图形处理装置，其特征在于如果远程图形渲染部件有多个种类时，根据评测的性能指标选择一种作为基准，其它种类则赋予一个系数，应分配值为渲染复杂度加权平均值乘以系数。3.根据权利要求1所述的一种自动负荷均衡的低延迟远程实时图形处理装置，其特征在于进行自动负荷均衡时设定有阈值，当所有的远程图形渲染部件的渲染复杂度当前值与应分配值相差超过阈值以上才进行均衡调整。4.根据权利要求1所述的一种自动负荷均衡的低延迟远程实时图形处理装置，其特征在于图形处理控制部件成功将矩形区域调整完成后，还要对渲染的水平视角进行调整，以保持渲染视角与调整后的矩形区域相匹配。5.根据权利要求1所述的一种自动负荷均衡的低延迟远程实时图形处理装置，其特征在于远程图形渲染部件包含图形渲染部件和远程图形渲染控制部件；远程图形渲染控制部件从数据网络部件接收来自图形处理控制与合成终端部件的参数控制图形渲染部件进行图形渲染，参数包括该远程图形渲染部件对应的矩形区域像素尺寸、渲染视点位置、场景垂直视角、区域水平视角、开始绘制的时机以及场景具体内容参数；远程图形渲染控制部件会持续监控承担的矩形区域图形渲染的每一帧耗时，发送到图形处理控制与合成终端部件的图形处理控制部件。6.根据权利要求5所述的一种自动负荷均衡的低延迟远程实时图形处理装置，其特征在于远程图形渲染部件初始化时还会接收最大矩形区域尺寸参数，并按照该最大尺寸申请
渲染缓冲区，运行过程中遇上负荷均衡引起渲染的矩形区域尺寸变化时，按照最新的尺寸通过opengl的视口设置接口配置，将渲染区域调整为图形处理控制部件要求的尺寸。7.根据权利要求5所述的一种自动负荷均衡的低延迟远程实时图形处理装置，其特征在于远程图形渲染部件还包含图形分块压缩部件，图形处理控制与合成终端部件还包括图形分块解压部件、图形分块缓存部件、单帧缓存图形融合部件、视频输出部件；远程图形渲染控制部件还控制图形分块压缩部件将图形渲染部件完成的图形从上到下分成若干块依次压缩送往图形处理控制与合成终端部件的图形分块解压部件解压缩后送图形分块缓存部件缓存，再通过单帧缓存图形融合部件进行图形融合，形成完整的超高分辨率大尺寸、超宽屏显示画面，通过视频输出部件输出送显示。8.根据权利要求7所述的一种自动负荷均衡的低延迟远程实时图形处理装置，其特征在于每个分块的行数和总的分块数量，由期望的实施图形处理延迟指标、远程图形渲染部件处理能力、全场景矩形区域划分基本情况、从上到下分块划分后每个分块图形压缩传输解压总延迟综合分析决定。9.根据权利要求8所述的一种自动负荷均衡的低延迟远程实时图形处理装置，其特征在于图形分块缓存部件设定了容差机制，分块图形解压部件能同时及时收到各远程图形渲染部件发送过来的相应矩形区域分块图形压缩数据时，图形分块缓存部件将当前帧的图形分块数据直接发送到单帧缓存图形融合部件；图形分块解压部件不能同时及时收到各远程图形渲染部件发送过来的相应矩形区域分块图形压缩数据时，图形分块缓存部件将上一帧的图形分块数据直接发送到单帧缓存图形融合部件，此时图形处理控制部件会监控到该情况，并进行调整在接下来的帧恢复步调协调一致。10.根据权利要求7所述的一种自动负荷均衡的低延迟远程实时图形处理装置，其特征在于图形处理控制与合成终端部件还包含视频相位跟踪部件，视频相位跟踪部件对视频输出部件输出的全景视频进行相位跟踪；远程图形渲染控制部件还监测自身的通信、图形渲染部件和图形分块压缩部件的工作时序信息，经数据网络部件发送给图形处理控制与合成终端部件的图形处理控制部件；图形处理控制部件还监测各远程图形渲染部件通信、图形渲染部件、图形分块压缩部件的工作时序信息，监控视频输出部件的视频相位信息、图形分块解压部件和单帧缓存图形融合部件的工作时序信息，从而确认各远程图形渲染部件、图形处理控制与合成终端部件的各相关部件协调一致工作情况，若监控到相邻环节的时间余量超过预设的阈值范围，则调整各远程图形渲染部件的渲染时机。

技术总结
本发明公开了一种自动负荷均衡的低延迟远程实时图形处理装置，包括图形处理控制与合成终端部件、数据网络部件、若干远程图形渲染部件，图形处理控制与合成终端部件将期望处理的全场景图形从左到右分成若干矩形区域，再依次通过数据网络部件分配给各远程图形渲染部件完成各矩形区域的图形渲染，最后将各矩形区域图形按照从左到右的次序合成；图形处理控制与合成终端部件包括图形处理控制部件，用于对各远程图形渲染部件的负荷进行自动均衡，自动负荷均衡通过自动场景复杂度均衡实现，场景复杂度均衡通过调整渲染的矩形区域尺寸来实现。本发明能有效解决机载环境的超高分辨率图形实时处理难题。实时处理难题。实时处理难题。


技术研发人员：郭凡 时洋洋 廖科 周皙 陈昊 曲国远 陈小明
受保护的技术使用者：中国航空无线电电子研究所
技术研发日：2023.07.21
技术公布日：2023/10/7