用于减少边缘云系统中的传输带宽的系统和方法与流程

1.本公开涉及边缘云系统，包括可以向远程网络(例如，“云”)传输数据(例如，图像、声音或视频记录)的边缘云系统。


背景技术：

2.在开发可以利用图像和/或视频应用的联网边缘设备时，以最小带宽高效地传输高分辨率下的视频是一个考虑因素。一种可能的解决方案是使用新开发的且高级的视频编码标准对视频进行编码。降低传输压缩视频的比特率也可以通过增加量化程度或降低分辨率来实现，但是以降低视频质量为代价。传统的去块或上采样滤波器(例如双三次)通常平滑图像，引起质量退化。除了前述降低视频传输比特率的方法之外，最近，深度学习可以用于在降低的传输比特率下改进视频分辨率。


技术实现要素：

3.根据第一实施例，一种系统包括无线收发器。无线收发器被配置为与远程网络通信。该系统进一步包括相机，其中相机被配置为捕获图像或视频记录。该系统还包括控制器，其中控制器被配置为从相机接收一个或多个图像，其中来自相机的一个或多个图像是高分辨率图像，对高分辨率图像(hri)进行下采样，在边缘设备处经由压缩模型压缩hri，其中hri被压缩成低分辨率图像(lri)，对lri进行编码并将编码的lri发送到远程网络处的超分辨率模型，在远程网络处对编码的lri进行解码以获得重构的hri，并输出重构的hri。
4.根据第二实施例，一种装置包括无线收发器，其中无线收发器被配置为与远程网络通信。该装置还包括：相机，其中相机被配置为捕获图像或视频记录；控制器，其中控制器与无线收发器和相机通信。控制器被配置为从相机接收一个或多个图像，其中来自相机的一个或多个图像是高分辨率图像(hri)，经由压缩模型将hri压缩为低分辨率图像(lri)，对lri进行编码并将编码的lri发送到远程网络处的超分辨率模型，其中超分辨率模型利用机器学习网络，并且将编码的lri发送到远程网络，该远程网络被配置为在远程网络处对编码的lri进行解码以获得重构的hri。
5.根据第三实施例，一种计算机实现的方法包括与远程网络通信，捕获一个或多个图像或视频记录，从相机接收一个或多个图像，其中来自相机的一个或多个图像是高分辨率图像(hri)，经由压缩模型将hri压缩成低分辨率图像(lri)，对lri进行编码以获得编码的lri，将编码的lri发送到远程网络处的超分辨率模型，在远程网络处对编码的lri进行解码以获得重构的hri，以及输出重构的hri。
附图说明
6.图1a图示了移动电话网络和互联网的表示。
7.图1b图示了可以用于训练和利用机器学习的示例性系统的组件。
8.图2图示了具有云通信的典型的基于边缘的系统。
9.图3图示了利用学习压缩和重构的边缘云系统图表
10.图4图示了系统的训练阶段的说明性流程图。
具体实施方式
11.本文描述了本公开的实施例。然而，应理解，所公开的实施例仅仅是示例，并且其他实施例可以采取各种和替代形式。各图不一定按比例；一些特征可以被放大或缩小以示出特定组件的细节。因此，本文公开的具体结构和功能细节不应被解释为限制性的，而仅仅是作为教导本领域技术人员以各种方式采用实施例的代表性基础。如本领域普通技术人员将理解的，参考任一图图示和描述的各种特征可以与一个或多个其他图中图示的特征相结合，以产生没有明确图示或描述的实施例。所图示特征的组合提供了典型应用的代表性实施例。然而，对于特定的应用或实现方式，可能期望与本公开的教导一致的特征的各种组合和修改。
12.在下面的公开内容中，本公开的实施例图示了用于通过利用关于云处的超分辨率模型的信息并施加边缘特定的硬件约束来在边缘处压缩图像/视频数据的系统和方法。本公开还提出了一种联合学习压缩模型和超分辨率模型的过程，该过程可以在传输的信息减少到1/4的情况下在云处可靠地再现原始数据。
13.大多数云应用——其中数据来源于边缘——依赖于边缘和云之间准确和高效的信息传输。传感器技术的最新进展使能实现了边缘处的高分辨率数据捕获。然而，带宽约束限制了边缘设备诉诸于有损压缩(例如，通过消除文件或数据中的数据来减小文件的尺寸)，继之以云中的重构机制。大多数传统的边缘云系统在压缩边缘处的数据时不知道重构机制。这可能导致边缘处的低效压缩或云处的不良重构。在边缘设备处生成图像和视频数据的情况下，使用生成式对抗网络(gan)的超分辨率方法的最新进展已被证明有助于使用低质量传输在云中再现高质量数据。降低传输带宽的典型方式可能是通过丢弃信息来简单地降低边缘处的分辨率。
14.图1a中所示的系统图示了移动电话网络11和互联网28的表示。到互联网28的连接性可以包括但不限于长程无线连接、短程无线连接和各种有线连接，包括但不限于电话线、电缆线、电力线和类似的通信路径。
15.系统10中所示的示例通信设备可以包括但不限于电子设备或装置50、个人数字助理(pda)和移动电话14的组合、pda 16、集成消息设备(imd)18、台式计算机20、笔记本计算机22。当由正在移动的个人携带时，装置50可以是固定的或移动的。装置50也可以位于一种模式的交通工具中，包括但不限于汽车、卡车、出租车、公共汽车、火车、船、飞机、自行车、摩托车或任何类似的合适模式的交通工具。
16.实施例也可以实现在机顶盒中；即可能具有/可能不具有显示或无线能力的数字电视接收器；在平板计算机或(膝上型)个人计算机(pc)中，其具有硬件或软件或组合的编码器/解码器实现方式；在各种操作系统中；以及在提供基于硬件/软件的编码的芯片组、处理器、dsp和/或嵌入式系统中。
17.一些或另外的装置可以发送和接收呼叫和消息，并且通过到基站24的无线连接25与服务提供商通信。基站24可以连接到网络服务器26，网络服务器26允许移动电话网络11和互联网28之间的通信。该系统可以包括附加的通信设备和各种类型的通信设备。
18.通信设备可以使用各种传输技术进行通信，包括但不限于码分多址(cdma)、全球移动通信系统(gsm)、通用移动电信系统(umts)、时分多址(tdma)、频分多址(fdma)、传输控制协议-互联网协议(tcp-ip)、短消息服务(sms)、多媒体消息服务(mms)、电子邮件、即时消息服务(ims)、蓝牙、ieee 802.11和任何类似的无线通信技术。实现本发明的各种实施例所涉及的通信设备可以使用各种介质进行通信，包括但不限于无线电、红外、激光、电缆连接和任何合适的连接。
19.实时传输协议(rtp)广泛用于诸如音频和视频之类的定时媒体的实时传输。rtp可以在用户数据报协议(udp)之上操作，用户数据报协议又可以在因特网协议(ip)之上操作。rtp是在因特网工程任务组(ietf)请求注解(rfc)3550中规定的，可从www.ietforg/rfc/rfc3550.txt.获得。在rtp传输中，媒体数据被封装到rtp分组中。通常，每种媒体类型或媒体编码格式具有专用的rtp有效载荷格式。
20.rtp会话是与rtp通信的参与者群组之间的关联。它是群组通信信道，其可以潜在地承载多个rtp流。rtp流是包括媒体数据的rtp分组流。rtp流由属于特定rtp会话的ssrc标识。ssrc指代同步源或同步源标识符，即rtp分组报头中的32位ssrc字段。同步源的特征在于，来自同步源的所有分组形成相同定时和序列号空间的一部分，因此接收器可以通过同步源将分组分为群组以便回放。同步源的示例包括从诸如麦克风或相机或rtp混合器的信号源导出的分组流的发送者。每个rtp流由在rtp会话中唯一的ssrc标识。
21.图1b公开了可以用于训练和利用机器学习的示例性系统的组件，以用于实现本公开的一些实施例。各种组件可以由可以在单个实体或多个实体的控制下的计算设备和资源的各种组合或者单个计算系统来提供。此外，各方面可以由不同的实体触发、发起或请求。在至少一个实施例中，神经网络的训练可以由与提供商环境106相关联的提供商来指示，而在至少一个实施例中，训练可以由通过客户端设备102(例如，边缘设备)或其他这样的资源对提供商环境具有访问权的客户或其他用户来请求。在至少一个实施例中，训练数据(或待由经训练的神经网络分析的数据)可以由提供商、用户或第三方内容提供商124提供。在至少一个实施例中，客户端设备102可以是将代表用户导航的车辆或对象，例如，其可以提交请求和/或接收辅助设备导航的指令。
22.图1b公开了可以用于训练和利用机器学习的示例性系统的组件，以用于实现本公开的一些实施例。根据至少一个实施例，示例性系统155的组件可以用于训练和利用机器学习。如将要讨论的，各种组件可以由可以在单个实体或多个实体的控制下的计算设备和资源的各种组合或者单个计算系统来提供。此外，各方面可以由不同的实体触发、发起或请求。在至少一个实施例中，神经网络的训练可以由与提供商环境106相关联的提供商来指示，而在至少一个实施例中，训练可以由通过客户端设备102或其他这样的资源对提供商环境具有访问权的客户或其他用户来请求。在至少一个实施例中，训练数据(或待由经训练的神经网络分析的数据)可以由提供商、用户或第三方内容提供商124提供。在至少一个实施例中，客户端设备102可以是代表用户导航的车辆或对象，例如，其可以提交请求和/或接收辅助设备导航的指令。客户端设备102也可以是边缘设备，并且也可以经由神经网络具有类似于提供商环境106中的训练能力。
23.在至少一个实施例中，请求能够跨至少一个网络104提交，以被提供商环境106接收。在至少一个实施例中，客户端设备102可以是使得用户能够生成和发送这样的请求的任
何适当的电子和/或计算设备，诸如但不限于台式计算机、笔记本计算机、计算机服务器、智能电话、平板计算机、游戏控制台(便携式或以其他方式)、计算机处理器、计算逻辑和机顶盒。(一个或多个)网络104可以包括用于传输请求或其他这样的数据的任何适当的网络，如可以包括因特网、内联网、蜂窝网络、局域网(lan)、广域网(wan)、个人区域网(pan)、对等体之间的直接无线连接的自组织网络等。
24.在至少一个实施例中，在该示例中，可以在接口层108处接收请求，接口层108可以将数据转发给训练和推断管理器132。训练和推断管理器132可以是包括用于管理请求和服务对应数据或内容的硬件和软件的系统或服务，在至少一个实施例中，训练和推断管理器132可以接收训练神经网络的请求，并且可以向训练模块112提供针对请求的数据。在至少一个实施例中，训练模块112可以选择要使用的适当的模型或神经网络——如果请求没有指定的话，并且可以使用相关的训练数据来训练模型。在至少一个实施例中，训练数据可以是存储在训练数据储存库114中的、从客户端设备102接收的或者从第三方提供商124获得的一批数据。在至少一个实施例中，训练模块112可以负责训练数据。神经网络可以是任何适当的网络，诸如递归神经网络(rnn)或卷积神经网络(cnn)。一旦神经网络被训练并成功评估，经训练的神经网络可以被存储在例如模型储存库116中，该模型储存库116可以为用户、应用或服务等存储不同的模型或网络。在至少一个实施例中，针对单个应用或实体可以存在多个模型，如可以基于许多不同的因素来利用。
25.在至少一个实施例中，在随后的时间点，可以从客户端设备102(或另一个这样的设备)接收对至少部分地由经训练的神经网络确定或影响的内容(例如，路径确定)或数据的请求。该请求可以包括例如要使用神经网络处理的输入数据，以获得一个或多个推断或其他输出值、分类或预测，或者，对于至少一个实施例，输入数据可以由接口层108接收并被引导至推断模块118，尽管也可以使用不同的系统或服务。在至少一个实施例中，推断模块118可以从模型储存库116获得适当的经训练的网络、诸如如本文所讨论的经训练的深度神经网络(dnn)，如果其还没有被本地存储到推断模块118的话。推断模块118可以将数据作为输入提供给经训练的网络，该网络然后可以生成一个或多个推断作为输出。这可以包括例如输入数据实例的分类。在至少一个实施例中，推断然后可以被传输到客户端设备102以向用户显示或进行其他通信。在至少一个实施例中，用户的上下文数据也可以被存储到用户上下文数据储存库122，该用户上下文数据储存库122可以包括关于用户的数据，该数据可以在生成推断或确定在获得实例后返回给用户的数据时作为至网络的输入而有用。在至少一个实施例中，可以包括至少一些输入或推断数据的相关数据也可以存储到本地数据库134，用于处理未来请求。在至少一个实施例中，用户可以使用账户信息或其他信息来访问提供商环境的资源或功能性。在至少一个实施例中，如果准许且可用，则用户数据也可以被收集并用于进一步训练模型，以便为未来请求提供更准确的推断。在至少一个实施例中，可以通过用户接口接收对在客户端设备102上执行的机器学习应用126的请求，并且通过相同的接口显示结果。客户端设备可以包括诸如用于生成请求并处理结果或响应的处理器128和存储器562之类的资源，以及用于存储机器学习应用126的数据的至少一个数据存储元件512。
26.在至少一个实施例中，处理器128(或训练模块112或推断模块118的处理器)将是中央处理单元(cpu)。然而，如所提及的，这样的环境中的资源可以利用gpu来处理至少某些
类型的请求的数据。具有上千个核心、gpu，诸如ppu被设计为处理大量并行工作负载，并且因此在用于训练神经网络和生成预测的深度学习中变得流行。虽然使用gpu进行离线构建已经使得能够更快地训练更大且更复杂的模型，但离线生成预测意味着要么不能使用请求时输入特征，要么必须为所有特征排列生成预测并将其存储在查找表中以服务实时请求。如果深度学习框架支持cpu模式，并且模型足够小且简单来以合理的延迟在cpu上执行前馈，那么cpu实例上的服务可以托管模型。在这种情况下，训练可以在gpu上离线完成，并且推断在cpu上实时完成。如果cpu方法不可行，那么服务可以在gpu实例上运行。然而，因为gpu与cpu相比具有不同的性能和成本特性，所以运行将运行时算法卸载到gpu的服务可能需要它与基于cpu的服务进行不同的设计。
27.在至少一个实施例中，可以从客户端设备102(例如，边缘设备)提供视频数据，用于在提供商环境106中进行增强。在至少一个实施例中，可以在客户端设备102上处理视频数据以进行增强。在至少一个实施例中，视频数据可以从第三方内容提供商124流式传输，并由第三方内容提供商124、提供商环境106或客户端设备102增强。在至少一个实施例中，可以从客户端设备102提供视频数据，以供用作提供商环境106中的训练数据。
28.在至少一个实施例中，可以由客户端设备102和/或提供商环境106来执行监督和/或无监督的训练。在至少一个实施例中，提供一组训练数据114(例如，分类或标记的数据)作为输入，以充当训练数据。在一实施例中，该组训练数据可以在生成式对抗训练配置中用于训练生成器神经网络，或者用在用于训练的任何其他类型的配置中。
29.在至少一个实施例中，训练数据可以包括要为其训练神经网络的至少一个人类主体、化身、角色、动物、对象等的图像。在至少一个实施例中，训练数据可以包括要为其训练神经网络的至少一种类型对象的实例，以及标识该类型对象的信息。在至少一个实施例中，训练数据可以包括一组图像，每个图像包括对象类型的表示，其中每个图像还包括标签、元数据、分类或标识相应图像中表示的对象类型的其他信息片段或者与其相关联。各种其他类型的数据也可以用作训练数据，如可以包括文本数据、音频数据、视频数据等等。在至少一个实施例中，训练数据114作为训练输入被提供给训练模块112。在至少一个实施例中，训练模块112可以是包括硬件和软件的系统或服务、诸如执行训练应用的一个或多个计算设备，以用于训练神经网络(或其他模型或算法等)。在至少一个实施例中，训练模块112接收指示要用于训练的模型类型的指令或请求，在至少一个实施例中，模型可以是对这样的目的有用的任何适当的统计模型、网络或算法，如可以包括人工神经网络、深度学习算法、学习分类器、贝叶斯网络等。在至少一个实施例中，训练模块112可以从适当的储存库116中选择初始模型或其他未训练的模型，并利用训练数据114来训练模型，从而生成可以用于对相似类型的数据进行分类或生成其他这样的推断的经训练模型(例如，经训练的深度神经网络)。在其中不使用训练数据的至少一个实施例中，仍然可以针对每个训练模块112的输入数据上的训练选择适当的初始模型。
30.在至少一个实施例中，可以以多种不同的方式训练模型，如可以部分地取决于所选择的模型的类型。在至少一个实施例中，可以为机器学习算法提供一组训练数据，其中模型是由训练过程创建的模型制品。在至少一个实施例中，训练数据的每个实例包含正确答案(例如，分类)，其可以被称为目标或目标属性。在至少一个实施例中，学习算法在训练数据中找到将输入数据属性映射到目标、要预测的答案的模式，并且输出捕获这些模式的机
器学习模型。在至少一个实施例中，然后可以使用机器学习模型来获得对其没有指定目标的新数据的预测。
31.在至少一个实施例中，训练和推断管理器132可以从包括二元分类、多类分类、生成式和回归模型的一组机器学习模型中进行选择。在至少一个实施例中，要使用的模型的类型可以至少部分取决于要预测的目标的类型。
32.应用本文公开的一种或多种技术生成的图像可以显示在监视器或其他显示设备上。在一些实施例中，显示设备可以直接耦合到生成或呈现图像的系统或处理器。在其他实施例中，显示设备可以诸如经由网络间接耦合到系统或处理器。这样的网络的示例包括因特网、移动电信网络、wifi网络以及任何其他有线和/或无线联网系统。当显示设备被间接耦合时，由系统或处理器生成的图像可以通过网络流式传输到显示设备。这样的流式传输允许例如在服务器、数据中心上或基于云的计算环境中执行呈现图像的视频游戏或其他应用，并且在物理上与服务器或数据中心分离的一个或多个用户设备(诸如计算机、视频游戏控制台、智能电话、其他移动设备等)上传输和显示所呈现的图像。
33.图2是边缘云系统的实施例。在一个实施例中，边缘设备可以包括数据源201、下采样步骤203和音频视频(av)编解码器205变换。数据源201可以包括来自相机或任何设备(例如，移动电话、平板计算机、手表、平板计算机等)的数据或信息。边缘设备可以是在网络之间的边界处控制数据流的任何硬件。边缘设备可以提供进入企业或服务提供商核心网络的入口点。因此，它可以包括路由能力、路由交换机、集成接入设备(iad)、多路复用器和各种城域网(man)和广域网(wan)接入设备。边缘设备还提供到运营商和服务提供商网络的连接。将局域网连接到高速交换机或主干网(诸如atm交换机)的边缘设备可以称为边缘集中器。边缘设备的一些非限制性示例包括车内感测设备(例如，lidar、雷达、声纳、相机)，其具有通过监视活动(包括车辆周围的可疑活动)的与乘客安全相关的云应用。视频监控相机是可以利用对零售凝视的基于云的监视和针对取证搜索应用的另一个示例。在又一个实施例中，智能电话可以是经由云应用利用照片和视频相册的高效存储和检索的边缘设备。在又一个示例中，仪表相机可以是用于潜在保险索赔的准确证据的边缘设备。
34.边缘设备可以包括个人数字助理(pda)和移动电话、集成消息设备(imd)、台式计算机、笔记本计算机的任何组合。当由正在移动的个人携带时，边缘设备可以是固定的或移动的。边缘设备也可以位于一种模式的交通工具中，包括但不限于汽车、卡车、出租车、公共汽车、火车、船、飞机、自行车、摩托车或任何类似的合适模式的交通工具。
35.在块203处，下采样可以代替数据，该数据可以包括视频数据或图像数据。下采样可以接收数据的深度序列并降低其分辨率。在一个示例中，系统可以具有经由相机以高分辨率(例如，大于300dpi)拍摄的原始视频或图片，并将其下采样到较低的分辨率(例如，72dpi)。下采样或二次采样过程可以被定义为降低信号的采样率，并且它通常导致图像尺寸在水平和/或垂直方向上的减小。在图像下采样中，与输入图像的空间分辨率相比，输出图像的空间分辨率(例如，输出图像中的像素数量)减小。下采样比率可以被定义为下采样图像的水平或垂直分辨率除以用于下采样的输入图像的相应分辨率。替代地，下采样比率可以被定义为下采样图像中的样本数量除以用于下采样的输入图像中的样本数量。由于这两个定义不同，术语下采样比率可以进一步通过指示它是沿着一个坐标轴还是沿着两个坐标轴来表征(并因此作为图像中像素数量的比率)。图像下采样可以例如通过抽取来执行，
例如通过基于下采样比率从原始图像中的像素总数中选择特定数量的像素来执行。在一些实施例中，下采样可以包括低通滤波或其他滤波操作，其可以在图像抽取之前或之后执行。可以使用任何低通滤波方法，包括但不限于线性平均。
36.在块205处，av编解码器可以是对数据流或信号进行编码或解码的设备、程序或模块。在边缘设备中，这可以是下采样数据。编解码器或编码器对数据流或信号进行编码以便传输或存储(可能是以加密的形式)，并且解码器功能对编码进行反转以便回放或编辑。因此，边缘设备处的av编解码器可以对较低分辨率的图像进行编码，该图像稍后可以在云(例如，远程工作)或另一设备处被解码。
37.在典型的编解码器中，运动信息可以用与每个运动补偿图像块(诸如预测单元)相关联的运动矢量来指示。这些运动矢量中的每一个表示要编码(在编码器侧中)或解码(在解码器侧中)的图片中的图像块和先前编码或解码的图片之一中的预测源块的位移。为了高效地表示运动矢量，运动矢量通常可以相对于特定于块的预测运动矢量进行差分编码。在典型的视频编解码器中，可以以预定义的方式创建预测的运动矢量，例如计算相邻块的编码或解码的运动矢量的中值。创建运动矢量预测的另一种方式是从时间参考图片中的相邻块和/或协同定位块中生成候选预测的列表，并且用信号通知所选择的候选作为运动矢量预测值。除了预测运动矢量值之外，还可以预测哪个(哪些)参考图片用于运动补偿预测，并且该预测信息可以例如由先前编码/解码图片的参考索引来表示。参考索引可以从时间参考图片中的相邻块和/或协同定位块来预测。此外，典型的高效视频编解码器采用附加的运动信息编码/解码机制，通常称为合并/融合模式，其中所有的运动场信息——其包括每个可用参考图片列表的运动矢量和对应的参考图片索引——可以被预测和使用，而无需任何修改/校正。类似地，使用时间参考图片中的相邻块和/或协同定位块的运动场信息来实行预测运动场信息，并且在填充有可用相邻/协同定位块的运动场信息的运动场候选列表的列表当中用信号通知所使用的运动场信息。
38.典型的视频编解码器使得能够使用单预测和双预测，在单预测中，单个预测块用于正被编(解)码的块，在双预测中，两个预测块被组合以形成正被编(解)码的块的预测。一些视频编解码器使能实现加权预测，其中在添加残差信息之前对预测块的样本值进行加权。例如，可以应用乘法加权因子和加法偏移。在由一些视频编解码器使能实现的显式加权预测中，加权因子和偏移可以被编码在例如每个可允许的参考图片索引的片报头中。在由一些视频编解码器使能实现的隐式加权预测中，加权因子和/或偏移不被编码，而是例如基于参考图片的相对图片顺序计数(poc)距离来导出。在典型的视频编解码器中，运动补偿后的预测残差可以首先用变换内核(如dct)进行变换，并且然后进行编码。在残差之间可能存在某种相关性，并且变换在许多情况下可能有助于减少这种相关性并提供更高效的编码。
39.在块207处，边缘设备可以将编码的较低分辨率图像发送到云。这可以经由无线传输或有线传输来进行。例如，边缘设备的无线收发器可以向云发送包括编码器低分辨率图像或数据的无线信号。无线收发器可以经由有线或无线网络的任何组合进行发送，这些网络包括但不限于无线蜂窝电话网络(诸如gsm、umts、cdma网络等)、诸如由ieee 802.x标准中的任何一个定义的无线局域网(wlan)、蓝牙个人局域网、以太网局域网、令牌环局域网、广域网和因特网。边缘设备可以进一步包括红外端口，用于与其他设备的短程视线通信。在其他实施例中，边缘设备可以进一步包括任何合适的短程通信解决方案，诸如例如蓝牙无
线连接或usb/firewire有线连接。
40.在块209处，av编解码器可以从云处的边缘设备接收编码的较低分辨率图像。然后，可以利用对应的编解码器，以使用av解码器将较低分辨率图像解码成模拟形式以便回放。编解码器因此可以利用无线传输的文件或数据。可以利用视频编解码器对视频镜头进行解码，并且可以经由音频编解码器对相关联的声音进行解码。
41.在块211处，云网络可以重构数据。这样的重构可以经由包括双三次插值在内的许多过程来完成。在一个实施例中，这样的放大技术可以通过平均相邻像素来确定创建更高分辨率图像所需的附加像素的值。这可能创建模糊效果或其他视觉假象，诸如“振铃”假象。大多数放大技术使用基于插值的技术来产生接收到的视频数据的更高分辨率版本。关于视频或图像增强，可以使用各种插值方法。
42.在块213处，云网络处的一个或多个应用可以利用重构数据。因此，重构的图像可以经由显示设备输出，所述显示设备诸如监视器、电视、移动设备、平板计算机或任何类型的显示器。边缘设备的一些非限制性示例包括车内感测设备(例如，lidar、雷达、声纳、相机)，其具有通过监视活动(包括车辆周围的可疑活动)的与乘客安全相关的云应用。视频监控相机是可以利用对零售凝视的基于云的监视和针对取证搜索应用的另一个示例。在又一个实施例中，智能电话可以是经由云应用利用照片和视频相册的高效存储和检索的边缘设备。在又一个示例中，仪表相机可以是用于潜在保险索赔的准确证据的边缘设备。
43.图3图示了可以利用压缩的一个实施例的边缘云系统的实施例。在一个实施例中，边缘设备可以包括数据源301、“学习压缩”块303和音频视频(av)编解码器305变换。数据源301可以包括来自相机或任何设备(例如，移动电话、平板计算机、手表、平板计算机等)的数据或信息。边缘设备可以是在网络之间的边界处控制数据流的任何硬件。边缘设备可以提供进入企业或服务提供商核心网络的入口点。因此，它可以包括路由能力、路由交换机、集成接入设备(iad)、多路复用器和各种城域网(man)和广域网(wan)接入设备。边缘设备还提供到运营商和服务提供商网络的连接。将局域网连接到高速交换机或主干网(诸如atm交换机)的边缘设备可以称为边缘集中器。边缘设备的一些非限制性示例包括车内感测设备(例如，lidar、雷达、声纳、相机)，其具有通过监视活动(包括车辆周围的可疑活动)的与乘客安全相关的云应用。视频监控相机是可以利用对零售凝视的基于云的监视和针对取证搜索应用的另一个示例。在又一个实施例中，智能电话可以是经由云应用利用照片和视频相册的高效存储和检索的边缘设备。在又一个示例中，仪表相机可以是用于潜在保险索赔的准确证据的边缘设备。
44.边缘设备可以包括个人数字助理(pda)和移动电话、集成消息设备(imd)、台式计算机、笔记本计算机的任何组合。当由正在移动的个人携带时，边缘设备可以是固定的或移动的。边缘设备也可以位于一种模式的交通工具中，包括但不限于汽车、卡车、出租车、公共汽车、火车、船、飞机、自行车、摩托车或任何类似的合适模式的交通工具。
45.在块303处，可以利用“学习压缩”。关于典型应用，可以利用“学习压缩”模型303，而不是传统的下采样。这可以包括联合学习压缩模型(在边缘处)连同超分辨率(sr)模型(在云处)的训练方法。
46.在块305处，av编解码器可以是对数据流或信号进行编码或解码的设备、程序或模块。在边缘设备中，这可以是下采样数据。编解码器或编码器对数据流或信号进行编码以便
传输或存储(可能是以加密的形式)，并且解码器功能对编码进行反转以便回放或编辑。因此，边缘设备处的av编解码器可以对较低分辨率的图像进行编码，该图像稍后可以在云(例如，远程工作)或另一设备处被解码。
47.在块307处，边缘设备可以将编码的较低分辨率图像发送到云。这可以经由无线传输或有线传输来进行。例如，边缘设备的无线收发器可以向云发送包括编码器低分辨率图像或数据的无线信号。无线收发器可以经由有线或无线网络的任何组合进行发送，这些网络包括但不限于无线蜂窝电话网络(诸如gsm、umts、cdma网络等)、诸如由ieee 802.x标准中的任何一个定义的无线局域网(wlan)、蓝牙个人局域网、以太网局域网、令牌环局域网、广域网和因特网。边缘设备可以进一步包括红外端口，用于与其他设备的短程视线通信。在其他实施例中，边缘设备可以进一步包括任何合适的短程通信解决方案，诸如例如蓝牙无线连接或usb/fire wire有线连接。
48.在块309处，系统可以利用云处的av编解码器来解码。av编解码器可以是对数据流、图像、视频或信号进行解码的设备、程序或模块。在云设备中，这可以是下采样的数据。而编解码器或编码器对数据流或信号进行编码以便传输或存储(可能是以加密的形式)，并且解码器功能对编码进行反转以便回放或编辑。因此，av编解码器可以从云处的边缘设备接收编码的较低分辨率图像。然后，可以利用对应的编解码器，以使用av解码器将较低分辨率的图像解码成模拟形式，以便回放。编解码器因此可以利用无线传输的文件或数据。可以利用视频编解码器对视频镜头进行解码，并且可以经由音频编解码器对相关联的声音进行解码。
49.在块311处，系统可以利用学习重构来创建最终图像。学习重构可以经由深度学习利用超分辨率。超分辨率可以是从给定的低分辨率(lr)图像恢复高分辨率(hr)图像的过程。由于较小的空间分辨率(即尺寸)或者由于退化(诸如模糊)的结果，图像可能具有“较低的分辨率”。超分辨率成像可以从低分辨率(lr)图像生成高分辨率(hr)图像。超分辨率(sr)成像可以具有广泛的适用性，从监控和脸部/虹膜识别到医学图像处理，以及图像和视频分辨率的直接改进。有时被称为“srcnn”(即，超分辨率卷积神经网络)，它们的准确度可能受到小结构(例如，3层)和/或小上下文接收场的限制。作为回应，研究人员已经提出增加srcnn的尺寸，但是大多数建议使用极其大量的参数，并且讨论中的许多srcnn不能实时执行。由于所提出的大的网络尺寸，甚至可能很难猜测出适当的训练设置，即学习速率、权重初始化和权重衰减。作为结果，训练可能根本不收敛或者陷入局部最小值。基于深度学习的超分辨率模型可以使用生成式对抗网络(gan)来训练。
50.在块313处，云应用可以用于接收最终图像。云应用可以包括输出被重构的最终图像的软件。因此，最终输出可能具有比典型的hr图像尺寸小的图像。然而，输出的最终图像可能是比编码的lr图像分辨率更好的图像，具有相当的数据尺寸或仅在数据尺寸上稍大。在另一个应用中，云可以将图像发送到另一个设备或客户端以输出，该输出包括与重构的hr图像相同的分辨率。
51.图4图示了压缩模型的训练阶段的流程图或图表的实施例。高分辨率图像(hr图像或hri)可以被发送到压缩模型401或下采样模型403两者。压缩模型401可以输出编码的低分辨率图像(lr图像或lri)。低分辨率图像在分辨率方面可能低于hri。一旦稳定，与hr图像的下采样版本相比，编码的lr图像可以用于确定感知损失407。在上面图3中所示的“学习压
缩”块和“学习重构”块两者期间，可以利用训练阶段。
52.编码的lr图像然后可以被发送到超分辨率(sr)模型。sr模型可以利用编码的lr图像来增强lr图像的质量。因此，超分辨率成像可以从低分辨率(lr)图像生成高分辨率(hr)图像。超分辨率(sr)成像可以具有广泛的适用性，从监控和脸部/虹膜识别到医学图像处理，以及图像和视频分辨率的直接改进。
53.修改的训练阶段在图4中示出，其中系统可以连结压缩和sr模型两者，并且导出公共损失函数。该提出的损失函数一方面确保原始图像的高保真重构(gan损失)，并且另一方面确保低质量编码图像“足够接近”下采样图像(感知损失)。感知损失对于利用av编解码器来说是至关重要的，在视频数据的情况下，av编解码器进一步编码图像以进行高效传输。由于压缩模型(通常是神经网络)在边缘处运行，它通常由量化卷积层组成，这导致混合精度训练或量化感知训练。sr模型可以输出重构hr图像。
54.在下表中提供了与传统系统相比较的利用所提出的方法的结果：
55.表2
[0056][0057]
最终，该过程可能降低用于视频和图像数据传输的带宽。对于给定的带宽，在云处也可能具有更好的数据重构质量。最后，在图像/视频数据可以被传输之前，在边缘处使用某些类型的处理器内核(例如，乘法累加mac)。
[0058]
本文描述的各种过程和特征的实现可以体现在各种不同的装备或应用中，特别地，例如，与数据编码、数据解码、视图生成、深度处理以及图像和相关深度和/或差异图的其他处理相关联的装备或应用。这样的装备的示例包括编码器、解码器、处理来自解码器的输出的后处理器、向编码器提供输入的预处理器、视频编码器、视频解码器、视频编解码器、网络服务器、机顶盒、膝上型计算机、个人计算机、蜂窝电话、pda和其他通信设备。如应该清楚的是，该装备可以是移动的，并且甚至安装在移动车辆中。
[0059]
虽然上面描述了示例性实施例，但是不意图这些实施例描述权利要求所涵盖的所有可能的形式。说明书中使用的词语是描述性而不是限制性的词语，并且应理解，在不脱离本公开的精神和范围的情况下，可以进行各种改变。如先前所述，各种实施例的特征可以被组合以形成可能没有被显式描述或图示的本发明的另外实施例。虽然各种实施例可能已经被描述为在一个或多个期望的特性方面提供了优于其他实施例或现有技术实现方式的优点或比其他实施例或现有技术实现方式优选，但是本领域的普通技术人员认识到，一个或多个特征或特性可以被折衷以实现期望的总体系统属性，这取决于具体的应用和实现方式。这些属性可以包括但不限于成本、强度、耐用性、生命周期成本、适销性、外观、包装、尺寸、适用性、重量、可制造性、组装容易性等。照此，在任何实施例被描述为在一个或多个特性方面不如其他实施例或现有技术实现方式合期望的程度上，这些实施例不在本公开的范
围之外，并且对于特定应用可以是合期望的。

技术特征：
1.一种系统，包括：无线收发器，其中无线收发器被配置为与远程网络通信；相机，其中相机被配置为捕获图像或视频记录控制器，其中控制器被配置为：从相机接收一个或多个图像，其中来自相机的所述一个或多个图像是高分辨率图像；对高分辨率图像(hri)进行下采样；在边缘设备处经由压缩模型压缩所述hri，其中所述hri被压缩成低分辨率图像(lri)；对所述lri进行编码，并将编码的lri发送到远程网络处的超分辨率模型；在远程网络处对编码的lri进行解码以获得重构的hri；以及输出重构的hri。2.根据权利要求1所述的系统，其中，对所述hri进行下采样和压缩在并行路径中执行。3.根据权利要求1所述的系统，其中，所述超分辨率模型被配置为利用生成式对抗网络来训练。4.根据权利要求1所述的系统，其中，响应于所述hri的下采样，控制器被配置为通过比较所述hri和压缩的hri来标识感知损失。5.根据权利要求1所述的系统，其中，响应于压缩所述hri，控制器被配置为通过比较所述hri和所述低分辨率图像来标识感知损失。6.根据权利要求1所述的系统，其中，所述超分辨率模型被配置为被训练。7.一种装置，包括：无线收发器，其中无线收发器被配置为与远程网络通信；相机，其中相机被配置为捕获图像或视频记录；控制器，其中控制器与无线收发器和相机通信，其中控制器被配置为：从相机接收一个或多个图像，其中来自相机的所述一个或多个图像是高分辨率图像(hri)；经由压缩模型将所述hri压缩成低分辨率图像(lri)；对所述lri进行编码并将编码的lri发送到远程网络处的超分辨率模型，其中超分辨率模型利用机器学习网络；将编码的lri发送到远程网络，所述远程网络被配置为在远程网络处对编码的lri进行解码以获得重构的hri。8.根据权利要求7所述的装置，其中，控制器进一步被配置为在压缩高分辨率图像(hri)的同时对所述hri进行下采样。9.根据权利要求7所述的装置，其中，控制器进一步被配置为标识与编码的lri相比与所述lri相关联的感知损失。10.根据权利要求7所述的装置，其中，所述超分辨率模型被配置为至少利用感知损失来训练。11.根据权利要求7所述的装置，其中，所述超分辨率模型被配置为经由利用感知损失和生成式对抗网络(gan)损失来训练。12.根据权利要求7所述的装置，其中，控制器被配置为在传输图像之前利用乘法累加运算。
13.根据权利要求7所述的装置，其中，所述一个或多个图像包括热、雷达、lidar、声音、声纳、超声或图像。14.一种计算机实现的方法，包括：与远程网络通信；捕获一个或多个图像或视频记录；从相机接收一个或多个图像，其中来自相机的所述一个或多个图像是高分辨率图像(hri)；经由压缩模型将所述hri压缩成低分辨率图像(lri)；对所述lri进行编码以获得编码的lri；将编码的lri发送到远程网络处的超分辨率模型；在远程网络处对编码的lri进行解码以获得重构的hri；以及输出重构的hri。15.根据权利要求14所述的方法，其中，重构的hri与所述低分辨率图像相比是更高质量的。16.根据权利要求14所述的方法，其中，利用被配置为在边缘设备处训练的压缩模型来完成对所述lri进行编码。17.根据权利要求14所述的方法，其中，压缩模型和超分辨率模型被联合训练。18.根据权利要求17所述的方法，其中，压缩模型在边缘设备处被训练，并且超分辨率模型在远程网络处被训练。19.根据权利要求14所述的方法，其中，压缩模型利用神经网络。20.根据权利要求14所述的方法，其中，重构的hri经由应用在远程网络处输出。

技术总结
提供了用于减少边缘云系统中的传输带宽的系统和方法。一种计算机实现的方法包括：与远程网络通信，捕获一个或多个图像或视频记录，从相机接收一个或多个图像，其中来自相机的一个或多个图像是高分辨率图像(HRI)，经由压缩模型将HRI压缩成低分辨率图像(LRI)，对LRI进行编码以获得编码的LRI，将编码的LRI发送到远程网络处的超分辨率模型，在远程网络处对编码的LRI进行解码以获得重构的HRI，以及输出重构的HRI。出重构的HRI。出重构的HRI。


技术研发人员：J
受保护的技术使用者：罗伯特
技术研发日：2023.02.06
技术公布日：2023/8/9