LED砖片显示器的所捕获图像中的伪影消除的制作方法

led砖片显示器的所捕获图像中的伪影消除
相关申请的交叉引用
1.本技术要求2020年8月20日提交并且名称为“elimination of artifacts in captured images of led tile displays[led砖片显示器的所捕获图像中的伪影消除]”的美国临时专利申请序列号62/706,500的优先权权益，该美国临时专利申请通过引用以其全文并入本文。
技术领域
[0002]
本披露内容总体上涉及led显示器和运动图片捕获的领域。特别地，本披露内容涉及用于对脉宽调制(pwm)驱动的显示器进行运动图片捕获同时最小化或消除因捕获设备中的快门时序导致的伪影的系统和方法。


背景技术：

[0003]
运动图片捕获是使用采用“卷帘快门”的相机频繁地进行的，其中，快门在以单个帧捕获的场景上进行扫描。这种类型的图像捕获可以在数字相机中以电子方式进行模拟。取决于快门速度设置，全局快门也可能体验类似卷帘快门的效果。在运动图片捕获中，常见的快门速度是180度，这意味着360度旋转周期中有180度使相机传感器曝光。
[0004]
当用这种类型的相机设备捕获移动图像时，led显示器砖片可能难以在不具有伪影的情况下适当地捕获，因为led显示器采用脉宽调制(pwm)控制，其中，led以相对于相机的曝光周期非常不同的速率产生脉冲。led脉冲是极其迅速的，并且在扫描类型的快门处于完全打开位置时通常可能仅部分地刷新。其他类型的pwm驱动显示器也面临相同的挑战。
[0005]
通常，led被分组成多路复用扫描组，一组中有少至四(4)个led或多至三十二(32)个或更多个。这意味着，由于pwm控制，在任何给定时刻，仅四分之一(1/4)至三十二分之一(1/32)的led是接通的。相机快门与led扫描组的不对齐因此可能在相机的输出上产生脉冲伪影或带状伪影，如下文在图11中所示出的。(注意，在图11中所捕获的图像中，在这里仅出于展示清晰的目的，相机被设置为约11度的快门角度，以便使伪影更明显)。
[0006]
随着越来越多地使用led显示墙作为电视和电影制作的背景，需要提供改进的图像捕获并且减少实现高质量捕获图像所需的计算资源的新解决方案。


技术实现要素：

[0007]
在一个实施方式中，本披露内容涉及一种对包括由pwm控制信号驱动的至少一个显示器的场景进行图像捕获的方法。所述方法包括：在初始时间用图像捕获设备发起图像捕获，其中，所述pwm控制信号在所述初始时间被设置为关断；在所述图像捕获设备的第一部分快门时段之后将所述pwm控制信号设置为接通；在所述图像捕获设备的打开快门时段期间将所述pwm控制信号维持在接通；在所述图像捕获设备的第二部分快门时段时或之前将所述pwm控制信号设置为关断；以及在一系列图像捕获帧上重复对所述pwm控制信号的每个所述设置和维持。
[0008]
在另一实施方式中，本披露内容涉及一种使用至少一个图像捕获设备对包括由pwm控制信号驱动的至少一个显示器的场景进行图像捕获的方法，其中，所述图像捕获设备以帧为单位捕获图像，其中，每个帧包括至少一个部分快门时段、打开快门时段和关闭快门时段。所述方法包括将每个帧划分成多个时间片；在与所述部分快门时段全部或部分地对齐的时间片期间将所述pwm控制信号设置为关断；在与所述打开快门时段全部或部分地对齐的时间片期间将所述pwm控制信号设置为接通；在所述pwm控制信号设置下发起图像捕获；以及在一系列图像捕获帧上维持所述pwm控制设置。
[0009]
在又一实施方式中，本披露内容涉及一种使用至少一个图像捕获设备对包括至少一个显示器的场景进行图像捕获的方法。所述方法包括在以初始时间开始的同步延迟时间期间在所述至少一个显示器上显示第一静态色；在所述同步延迟时间之后开始的同步接通时间期间在所述至少一个显示器上显示第二静态色；在所述同步接通时间之后在所述至少一个显示器上显示第三静态色；用所述图像捕获设备捕获所述至少一个显示设备的图像；调整所述同步延迟时间和所述同步接通时间直到所述第一静态色和所述第三静态色不出现在所述至少一个显示器的所捕获图像中为止；改变期望视频馈送的所述第二静态色；以及捕获包括显示所述期望视频馈送的所述至少一个显示器的所述场景。
[0010]
在再一实施方式中，本披露内容涉及一种图像捕获系统。所述系统包括：图像捕获设备，被配置成捕获场景的移动图像，所述图像捕获设备包括以一系列帧捕获图像的快门机构，每个帧包括打开快门时段，前面和后面是部分快门时段；系统显示设备，包括：发光显示表面，被配置成显示在由所述图像捕获设备捕获的所述场景内的图像；以及驱动器，被配置成用pwm控制信号驱动所述发光显示表面；以及控制设备，所述控制设备：在所述图像捕获设备的部分快门时段期间将所述pwm控制信号设置为关断，并且在所述图像捕获设备的打开快门时段期间将所述pwm控制信号设置为接通。
[0011]
在再另一实施方式中，本披露内容涉及一种在对包括至少一个pwm驱动的显示设备的场景进行图像捕获期间识别图像捕获设备的打开快门时段的方法。所述方法包括：在以初始时间开始的初始同步延迟时间期间在所述至少一个显示器上显示第一静态色；在所述初始同步延迟时间之后开始的初始同步接通时间期间在所述至少一个显示器上显示第二静态色；在所述初始同步接通时间之后在所述至少一个显示器上显示第三静态色；用所述图像捕获设备捕获所述至少一个显示设备的图像；调整所述初始同步延迟时间和所述初始同步接通时间直到所述第一静态色和所述第三静态色不出现在所述至少一个显示器的所捕获图像中为止；以及在调整之后将所述第二静态色出现在所述显示器中的时间段识别为所述图像捕获设备的打开快门时段。
附图说明
[0012]
出于说明本披露内容的目的，附图示出了本披露内容的一个或多个实施例的各方面。然而，应理解的是，本披露内容不限于附图中示出的精确布置和手段，在附图中：图1示意性地描绘了根据本文所披露的实施例的系统。图1a示意性地描绘了根据本文所披露的实施例的替代性系统。图2是展示了根据本披露内容的实施例的快门时序相对于led砖片显示器的pwm控
制时序的时序图。图3a、图3b和图3c是展示了根据本披露内容的实施例的pwm时序和同步控制方法的示例的时序图。图4是展示了根据本披露内容的另一实施例的电子卷帘快门的时序相对于led砖片显示器的pwm控制时序的时序图。图5展示了根据本披露内容的图形用户界面的实施例。图6示出了被配置成允许对同步延迟参数进行直接时间控制的用户界面的另一实施例。图7是led砖片的示意性侧视图。图8是展示了如在本披露内容的另一实施中多个相机与pwm控制信号的同步的时序图。图9是根据本披露内容的具有三维发光显示体和两个图像捕获设备的另一替代性实施例的示意性描绘。图10是示出了根据本披露内容的系统、相机或显示器控制器的示例的框图。图11是led砖片视频显示器的图像捕获，呈现出由于使用未补偿的卷帘快门而产生的伪影。
具体实施方式
[0013]
本披露内容描述了用于从使用脉宽调制(pwm)控制的视频显示器捕获移动图像的系统和方法。在所披露的系统和方法中，通过精确地控制显示器接通和关断时间来减少或消除因相机快门/曝光时序与显示器pwm控制信号的时序之间的非同步交互而出现在所捕获图像中的伪影。本文所披露的系统和方法将视频的每个帧划分成或在逻辑上“切片”成多个子帧分区(“时间区”)，并且然后每个分区可以相对于图像捕获设备快门/曝光时序被单独控制以允许相对于图像捕获设备的快门时序对pwm信号进行精确的时序控制。
[0014]
虽然本文出于说明目的在示例性实施例中提到了led显示器，但如本领域技术人员将理解，本披露内容的原理同样地适用于采用pwm控制的任何类型的显示器。其他显示器类型的示例包括但不限于有机发光二极管(oled)、聚合物发光二极管(pled)、有源矩阵发光二极管(amoled)、液晶显示器(lcd)或发光电化学电池(lec)。因此，本披露内容和所附权利要求的范围不限于说明性的led显示器示例。
[0015]
图1展示了根据本披露内容的系统的示例中的基本部件。如其中所示出的，系统100包括图像捕获设备110，比如具有数字图像传感器的摄影机。图像捕获设备110用于捕获移动场景，该移动场景在相机视野(b)内包括led显示器112且可以可选地包括演示者(126)或出现在显示器前面的其他实拍场景。led显示器112可以包括通过组装包含led像素阵列的面板形成的大型视频显示墙。构建和控制这样的大型led视频显示墙的基本知识在本领域中是普遍理解的。由本技术人在2020年10月26日提交的名称为“unlimited pixel canvas for led video walls[用于led视频墙的无限像素画布]”的国际申请号pct/us2020/057385描述了具有改进的结构和控制的下一代大型led视频显示墙的实施例，并且该国际申请通过引用以其全文并入本文。图像捕获设备110和显示器112分别由相机控制器114和显示器控制器116控制。每个控制器包括一个或多个处理器、存储器、软件、通信、api
和如下文更详细地描述的其他部件。控制器与受控制设备之间的双向通信链路120和122可以是无线或有线的。可选地，通信链路124可以设置在控制器114与116之间。
[0016]
图1a展示了替代性系统实施例100a，其中，图像捕获设备110和显示器112由共用控制器118控制。控制器118可以大体上以与控制器114和116相同的方式配置并且如下文进一步描述的。此外，无线或有线通信链路120和122提供控制器与受控制设备之间的双向通信。
[0017]
下文表1提供比如摄影机110等图像捕获设备的快门时序的基本展示。这个基本展示描述了比如传统运动图片相机等机械“卷帘快门”类型的捕获设备以及采用数字图像传感器的各种类型的数字捕获设备两者的快门时序。如在表1中所示出的，在单个帧的时间期间存在三个不同的相机快门状态，其中，“c”状态表示快门完全关闭时的时间窗(关闭快门时段)，“o”状态表示快门完全打开时的时间窗(打开快门时段)，并且“p”状态表示快门正打开或正关闭使得在这些时间场期间被准许到达传感器的光量将随着快门移动而变化时的时间窗(部分快门时段)。这些时间窗中的每一个的持续时间和时序是特定图像捕获设备所特有的并且可能因设备不同而变化。因此，本披露内容的教导适用于采用呈现表1中所示出的快门状态的形式的快门机构的任何图像捕获设备(无论是机械的还是数字模拟的)。
[0018]
在p时间场(在本文也称为“部分快门”)期间，并非由源发射的所有光子到达图像传感器，无论是胶片传感器还是数字传感器。为了减少或消除如在图11中所示出的由pwm控制的led显示器的脉冲产生的伪影，led砖片不应在p时间场期间输出任何光。在o时间场期间，led砖片应完成所有pwm刷新周期，并且在c时间场期间不需要来自led砖片的任何输出。然而，如果led砖片也由人类观看者(除了图像捕获设备之外)现场观察，则可以在c时间场期间发射舒适级别的光输出以便避免人眼可见的闪烁效应。应进一步注意，p时间场和o时间场的时间间隔可以基于比如数字传感器的特性等固定相机参数以及比如用于生成led显示器的图像的快门角度设置等可选择相机参数而改变值。
[0019]
图2展示了针对本文所披露的一些实施例的跨两个相机快门时段对led pwm控制信号相对于数字相机传感器充电状态进行时序控制。顶行框10指示在相对时间基准(t0)(即，单个相机快门时段的开始)处开始的数字传感器充电状态(1至8)。相机快门时段在t0处开始并且在t5处结束，t5也是下一快门时段的t0。单个快门时段与单个视频捕获帧相对应。较宽黑线20指示模拟快门打开状态对关闭状态，其中，黑实线部分22表示完全关闭(表1中的c)，虚线部分24表示部分打开(表1中的p)，并且间隙部分26表示完全打开状态(表1中的o)。线30表示led显示器的pwm控制信号，并且各种箭头(a至c)表示跨快门时段的不同时间控制窗。
[0020]
参考数字传感器的充电状态，如下发生快门时段：(1)在每次曝光开始时，传感器重置所有感光点以清空其任何电荷。常规地并且从相机的角度来看，不考虑本披露内容的教导，这已被当做曝光时间的开始。
(2)感光点被一个接一个地重置，例如，从左上方感光点开始，创建部分充电状态。重置过程逐行向下扫描到右下方。在这个部分充电状态期间，由图像源产生的光的仅一部分被相机传感器接收。(一些传感器在不同方向上扫描，但效果是相同的)。(3)完全打开曝光时间在完全感光点重置时开始。这是时间窗b的开始。(4)在完全打开曝光时间期间，感光点基于从图像源接收到多少光来积累电荷。落在每个感光点上的光越多，电荷越高。受制于比如光圈大小等其他相机设置，由该源发射的所有光在这个时间期间由传感器接收。(5)一旦完全打开曝光时间结束，便测量并读出每个感光点中的电荷。这是时间窗b的结束。(6)读出也从左上方开始发生。此外，这是部分充电状态，在该时间期间，由图像源产生的光的仅一部分被相机传感器接收。(7)读出逐行向下扫描到右下方，直到所有感光点被读取为止，从而结束部分充电状态。(8)在快门时段结束时，在感光点的读出之后，通常将存在感光点将光转换成电荷的时间段。通常，在这个时间段期间，忽略任何所捕获电荷，直到下一次重置为止。这个时间段的长度将取决于特定相机/传感器设计、设置和控制。
[0021]
在时间窗b期间，当快门在数字传感器接收全部电荷的情况下完全打开(与表1中的o时间场相对应的传感器状态(3)至(5))时，led pwm控制信号30在其完全接通状态32下传递，这是被配置为呈现期望砖片亮度的脉冲控制，如通常针对led砖片显示器的pwm控制所理解的。它是部分快门时段，例如，与时间窗a2相对应的传感器状态(1)至(2)、以及与时间窗c1相对应的传感器状态(6)至(7)，在这些部分快门时段期间，led pwm控制信号30必须被设置为关断34，以便最小化或消除从led显示器捕获的移动图像中的伪影。在快门被完全关闭的时间(例如，与时间窗c2和a1相对应的数字传感器状态(8))期间，只从图像捕获的角度来看，没有任何pwm信号是必须的。然而，如果视觉外观对显示器的现场亲自观看者来说是个问题，则可选pwm信号36可以被传递到显示器，该可选pwm信号可以与整体视频流相对应或可以呈现瞬时的静态色或其他静止图像以平滑化或消除显示器的任何在视觉上可感知的闪光。
[0022]
通常关于图2，时间t0表示单个帧的快门时段的开始。时间t1表示完全打开快门窗的开始，在该完全打开快门窗期间，led砖片将处于完全显示值，并且时间t2表示完全打开快门窗的结束。时间t3表示快门关闭状态的结束和关闭快门持续时间的开始。时间t4表示快门时段内的相机传感器关断时间的中点。时间t5表示快门时段的结束并且与下一后续快门时段的时间t0相对应。因此，在pwm控制被设置为接通时的时间窗b(表1中的o时间场)的长度与t2至t1相对应。如下文进一步所解释的，用于伪影消除的最小pwm关断时间与时间窗a2(t0至t1)和c1(t2至t3)相对应。
[0023]
虽然在数字传感器完全曝光(即，时间窗b)时led显示器应尽可能接通(这在相机上提供不具有伪影的良好图像)，但如果显示器或显示器的大区段在快门时段的其余部分期间也不接通，则可能如所提及而产生亲身感受的频闪效应。然而，平衡伪影消除与频闪效应的抑制会产生额外复杂性，因为显示器的led仍必须至少在时间窗a2和c1的部分快门状态期间循环关闭。因此，最优地，存在非常短和精确的时间窗，在所述时间窗期间pwm控制信
号应关断以呈现良好的接通和关断相机外观。
[0024]
为了进一步说明本披露内容的原理，图3a、图3b和图3c呈现了基于相机被设置为180度快门角度、60帧/秒(fps)而使相机设置与pwm信号时序同步的示例。如在本领域中已知的，在这些设置下，相机帧时间是16.6毫秒(ms)并且标称曝光时间是8.3ms。如上文所解释的，标称曝光时间包括相机传感器充电和放电时间。因此，如果相机传感器具有5.0ms的总充电/放电时间，则从初始2.5ms传感器充电时间之后开始，可用于清晰视频捕获的时间窗(即，时间窗b)是3.3ms。然而，如果相机制造商未公布传感器的时序规格，则操作员可能不知晓如何在充电/放电与完全打开之间分配8.3ms的总曝光时间，并且因此不知晓何时将pwm信号设置为接通和关断，如上文所描述的。
[0025]
为了解决这个问题，在某些实施例中，操作员可以使用来自所捕获图像的视觉反馈来确定正确的时序设置，如在图3a和3b中所展示的。如在其中所展示的，时序同步在t0处开始，此时相机被接通或以其他方式开始捕获初始帧。在t0之前，显示器pwm信号30(在这里表示为50％工作周期的1000hz pwm信号)最初可以在第一相机帧之前在38处接通或关断。pwm信号在34处的部分是关断的且在32处的部分是接通的。
[0026]
鉴于所选择帧速率和相机快门角度，基于对系统设备和其性能的熟悉度，操作员可以做出对同步延迟时间和同步接通时间的初始估计。同步延迟时间是在完全打开快门窗b之前的时间，即，在图2中在时间t0与t1之间的时间窗a2，此时pwm信号应关断以避免捕获图像中的伪影。同步接通时间是在与完全打开快门窗b相对应的同步延迟时间之后的时间，即，在图2中在t1与t2之间的时间，此时pwm信号应接通以进行最佳图像捕获。对于前述段落中所描述的示例相机系统，图3a展示了初始同步延迟时间估计是2.0ms的结果以及初始同步接通时间估计是5.0ms的结果。在这些初始同步时间设置下发起图像捕获之后，操作员观察所捕获图像以确定所捕获图像中存在因显示器在a2和c1的部分快门状态(如在图2中所识别的)中的一个或两个状态期间接通而导致伪影。
[0027]
图3a示出了观察者将在所捕获图像中在完全打开快门窗b的前缘和后缘两者处看到伪影。完全打开快门窗b的前缘处的伪影将因第一pwm脉冲32落在2.0ms同步延迟时间结束时但在时间t1之前而产生，因为在该第一脉冲中发射的光将仅由图像传感器在部分充电状态下部分地捕获。类似地，在完全打开快门窗b的后缘处的伪影将因最后pwm脉冲32落在完全打开快门窗b的关闭之后、在时间t2之后而产生，这又是在相机传感器的部分充电(放电)状态下在时间t2与t3之间。通过识别所捕获图像中的这些伪影，操作员知晓对该特定相机设置来说，同步延迟时间过短并且同步接通时间过长。
[0028]
利用从初始同步时间估计获得的知识，操作员可以做出修正的估计，增加同步延迟时间以进一步推迟pwm接通信号32(以消除前缘伪影)并且减小同步接通时间以进一步使pwm关断信号34在完全打开快门窗b结束时提前(以消除后缘伪影)。因此，如在图3b中所展示的，同步延迟时间可以被设置为2.5ms并且同步接通时间被设置为3.5ms。2.5ms的同步延迟时间接通pwm，使得第一接通脉冲32落在时间t1(完全打开快门窗b的开始)处。在这个设置下，操作员将不会在所捕获图像中观察到前缘伪影，并且因此知晓时间t1(完全打开快门窗b的开始)已被正确地识别。还如在图3b中所展示的，3.5ms的同步接通时间使pwm信号30的最后接通脉冲32a跨时间t2，其中，脉冲32a的时间部分x落在随后的部分快门时段(图2中的窗c1)内。在这个特定示例中，最终脉冲32a的重叠时间部分x是0.2ms。取决于相机设置中
的各种其他因素和显示器参数，落在时间t2之后的0.2ms的脉冲32a可能或可能不产生足够显著以使所捕获图像的外观不可接受地降级的后缘伪影。
[0029]
在因脉冲32a的部分落在时间t2之后而产生的后缘伪影使所捕获图像不可接受地降级的情况下，在替代性实施例中存在若干可用的控制选项。通常，取决于pwm频率和工作周期，脉冲可能不与可用打开快门窗b精确地对齐。例如，如在图3b中，在以1000hz和50％工作周期驱动pwm信号的情况下，脉冲前缘相隔1.0ms下降并且各自具有0.5ms的接通时间。在相机传感器时序参数如在这个示例中固定的情况下，系统的物理约束意味着，不可以在t1处接通pwm信号并且然后恰好在3.3ms后的t2处关断，因为仅可以以0.5ms分段控制这个pwm信号。一个解决方案是将同步接通时间进一步减小充足量以移动最后脉冲，以便完全地落在完全打开快门窗b内。在这个特定示例中，意味着将同步接通时间减小至小于3.0ms，使得仅三个完整脉冲出现在时间t1与t2之间的完全打开快门窗b期间。然而，在一些情况下，这样的解决方案可能使所捕获图像的比如亮度等其他方面降级，因为该解决方案可能不会最大化可用完全打开快门时间的使用。
[0030]
在一些实例中，另一可能解决方案是调整pwm信号，使得脉冲与完全打开快门窗b更精确地对齐。在一个选项中，这可以通过在维持频率的同时更改pwm信号的工作周期来完成。减小工作会增加或减小每个脉冲的接通时间量，而不改变前缘间距。因此，在图3b中所示出的相同同步延迟时间和同步接通时间的情况下，在30％工作周期而非50％下的1000hz pwm信号将使四个完全接通脉冲置于完全打开快门窗b内，而最终脉冲中的任何部分都不落在时间t2之后。然而，在一些情形中减小工作周期可能不是一个选项，因为其对所显示图像也有影响。如果比如led砖片控制器的能力等硬件约束准许，则另一选项是调整pwm频率以使脉冲与时间窗对齐。在图3c中示出了这样的调整的一个示例。在这种情况下，使pwm频率从1000hz增加到2000hz(维持50％的工作周期)允许2.5ms的相同同步延迟时间以及3.3ms的同步接通时间而不将脉冲置于时间t2之后，因为最终脉冲32的后缘落在3.3ms完全打开快门窗b的3.25ms处。如本领域技术人员将注意，在这些示例中使用的1000hz和2000hz pwm信号便于以简化方式说明本披露内容的原理。在实践中，高分辨率视频墙可以在8000hz或更高的频率下操作。本披露内容的原理同样地适用于在这种较高频率下操作的系统。
[0031]
在进一步替代性实施例中，在处理器控制的系统中实施本披露内容的控制方法的方便方式是在每个相机帧内创建多个规则的时间控制片。由于每个相机模型和制造商都将改变快门和/或充电状态时序，因此可能期望将这些时间控制片创建为每个快门时段内的虚拟“时间区”，以便单独选择哪些时间片应显示视频(pwm接通)以及哪些时间片不应显示视频(pwm关断)。理论上，时间片的数量越大，控制可能越精细。然而，可以基于led砖片的能力(处理能力、驱动器集成电路等的组合)来限制时间片的数量。
[0032]
在图4中呈现了这种虚拟时间控制片的使用的展示，其中，九个相等时间控制片叠加在单个快门时段时序图上。各个时间控制片被指定为(1)至(9)。如其中所示出的，基准线40指示每个时间控制片的开始/结束。在这个示例中，为了避免所捕获视频中的不期望伪影，在至少时间控制片(1)、(5)和(6)期间将pwm信号30设置为关断34。这个解决方案与led pwm方法和典型相机系统很符合，并且可跨各种产品进行调谐。另外，在与完全关闭相机快门时间对齐的时间控制片(7)至(9)期间，pwm信号可选地是接通36以显示视频或静态图像/颜色以平滑化频闪效应，同时对所捕获图像没有影响。
[0033]
利用更高性能的led显示器砖片可以创建更多(更小)的时间控制片，从而允许对pwm控制信号的接通/关断切换的更精确控制。例如，本领域技术人员可以认识到，图4中的完全打开快门窗b的结束(t2)大约落在时间控制片(5)的中点处。使用如所示出的九个时间控制片，可以做出关于如下内容的决策：是在时间控制片(5)期间将pwm控制信号设置为接通，这可能在部分传感器充电状态期间产生伪影；还是将pwm控制信号设置为关断，这然后不会完全利用打开快门窗b并且可能损害所捕获图像的特性。为了避免这样的权衡的必要性，在一些情形中可能期望使时间控制片的数量翻倍以便使pwm控制与快门时序更精确地对齐。在这个示例中，如果如所示出使用十八个时间控制片而非九个，则第七个区的结束将与时间t2对齐，并且因此允许pwm控制信号的至少一个附加接通脉冲处于完全打开快门窗b内。
[0034]
在进一步替代性实施例中，同步相位参数可以被并入以允许调整相机与led时序的相位。将相机时序与pwm时序两者“锁定”在一起可能是优选的，其中，相机曝光的速率与pwm接通/关断周期的速率相同。然而，虽然这些系统可以以相同速率更新，但它们通常将不同相，但它们将具有一致的相位偏移。因此，为了确保如上文所描述的时间区与相机传感器的完全打开/正部分打开/正关闭时段尽可能好地对齐，同步相位参数可以对led接通/关断周期的相位进行微移。在图4中以图形方式展示了这样的同步相位参数的实施例，其中，线40表示如上文所描述的独立时间控制片的开始并且同步相位参数由延迟时间42或提前时间(负延迟)44表示。同步相位参数可以是视频处理器/控制系统中的软件实施的特征，该软件实施的特征允许如所示出的时间区的移位，即添加若干纳秒并向右移位或减去若干纳秒并向左移位。
[0035]
基于本披露内容的教导，所披露系统和方法的比如电影制作人、艺术家或相机操作员等用户可以基于期望艺术效果、照明条件、透镜效应、布景设计等选择他们的优选相机快门角度。在一个控制方面，可以减少显示器/视频信号pwm周期，并且稍微加宽脉冲以减少时序区的数量，例如增加区的时段。在另一控制方面，可以调整期望快门角度对可用片刷新时间。通过使视频信号的时序和相机快门角度移位，连同前景中的任何实拍一起捕获期望显示时序片。本文所披露的实施例因此通过促进对显示器pwm信号和相机时序/快门角度两者的互补控制提供比现有技术系统多地多的控制选项。因此，虽然显示器/视频信号控制选项可能受可以每帧时段示出的pwm周期的数量限制，但在与快门时序/角度控制相组合时，可以基于用户偏好来形成几乎无限制的艺术效果。
[0036]
在本披露内容的进一步方面中，提供用户界面以辅助找到正确的同步时序。在一个实施例中，如在图5中所示出的，用户界面130可以用于基于在设置例程期间产生的图像的视觉反馈来促进同步延迟时间和同步接通时间参数的用户控制。此外，使用界面130，控制系统可配置为在特定时序片期间示出纯色。在显示器上显示可容易识别的纯色允许如上文结合图3a和图3b所描述的时序对齐的视觉验证。例如，如果针对第一时序片显示红色，随后针对中间时序片显示绿色，并且然后在最终时序片中显示拖尾红色，则可以使用这些基准颜色更容易地调整同步时序，使得相机仅捕获所显示基准图像的红色+绿色。
[0037]
用户界面130允许用户使用比如控制器116或118等显示器控制器针对led砖片精确地选择期望的pwm控制信号开始、结束和接通时间。用户界面130包括要使用的特定图像捕获设备的快门时序132的图形表示。特定相机的快门时序可以从制造商的规格获得或可
以例如经由相机控制器在相机中设置。在一些实施例中，图像捕获设备可以与led显示器控制系统直接通信以自动地输入如例如在图1a中所示出的快门时序信息。可以是虚拟触摸屏滑块的滑动条134允许用户设置led pwm控制接通时间以与快门打开时间相对应并且对关系进行精细调谐以实现用相机产生的图像的期望外观。滑动条的每个端可以独立地移动以更改快门帧的开始处的同步延迟和结束处的死区时间。来自显示器的视觉反馈允许滑块位置(即，同步延迟值)的确定，从而在所捕获视频流中提供期望外观。
[0038]
用户界面130的测试颜色选择区段136允许使用颜色1、2和3的颜色选择框对led同步延迟和快门打开时间进行更精细调谐。在这个说明性示例中，提供了与同步延迟时间、同步接通时间和帧时段结束时的关闭/死区时间相对应的三个颜色选择框。附加的颜色选择框可以基于用户偏好来提供。替代性地，可以显示任何的静态图像，而不是静态单一颜色。提供与特定快门时段同步的可选择颜色选项在找到相机快门的关闭/正打开/打开/正关闭/关闭部分方面高度有用，尤其是在相机制造商未公布相机如何和何时打开的细节时。例如，用户可以将颜色1设置为“红色”并且向前和向后移动同步延迟滑块134直到红颜色在快门时段的“打开”区域(即，图2中的时间段b)中几乎不可见为止。这样做允许对led pwm“接通”时间的开始的精确识别和设置，在这之后可以将颜色1重置为黑色。接下来，可以将颜色3设置为比如“绿色”等另一颜色，并且可以向前和往回调整死区时间(pwm“关断”周期)直到所捕获图像在绿色中几乎不可见为止，并且此后可以将颜色3重置为黑色。为了确认由滑块进行的这些设置，可以挑选颜色2来确认同步接通时间对齐图像捕获设备以在不具有伪影的情况下记录和输出所选择颜色。一旦用于消除伪影的设置被证实，即将“颜色2”重置为“视频”，此后可以正常使用显示器和图像捕获设备，其中，led显示器被同步到图像捕获设备的快门时段以便避免所捕获图像流中的伪影。
[0039]
在特定相机时序未知的情形中，用户界面130的滑动条134(图5)与颜色选择框136一起可以用于视觉上识别可用打开快门窗并且设置pwm时序，如所描述的。替代性地，在特定相机时序(例如，快门正打开/正关闭时间和充电/放电时间)已知的情况下，可以预先计算可用快门打开窗并且用如图6中所示出的替代性用户界面设置适当的pwm周期长度和关断时间。
[0040]
在一些实施例中，用户界面130可以被配置为基于由系统处理器执行的界面指令而在用户界面显示设备上呈现的图形用户界面(gui)。这样的gui可以呈现有多个gui区域，例如，包含如上文所讨论的控制元素的第一gui区域130a、以及包含呈现所捕获图像的显示窗138的第二gui区域130b。图11呈现比如窗138等gui显示窗中的所捕获图像的示例。
[0041]
在另一替代性实施例中，同步控制的各方面可以嵌入在各个砖片中，以便减少对砖片到砖片和砖片到系统控制通信的带宽要求。图7展示了如可用于创建视频墙的典型led显示器砖片150。高级部件包括led像素阵列152和部件壳体154，该部件壳体包括比如砖片控制器156和多个连接器158等部件。砖片控制器156包括处理和存储以用于执行比如视频数据包交换、将视频信号引导到适当像素以及在砖片之间并且通过砖片与系统控制的通信等功能。各个砖片控制器156还在许多砖片设计中控制pwm信号。砖片连接器158通常设置在每个砖片边缘上以促进与相邻砖片的通信以中继砖片识别信息、控制信号和视频信号。连接器可以是物理连接或经由各种无线协议进行通信，如本领域技术人员将理解的。
[0042]
在典型应用中，视频源被馈送到处理器中，处理器将馈送划分成砖片大小的件(或
在基于ip的系统中，将视频馈送打包)，将这些件或数据包发送到砖片。砖片进而将作为pwm信号的该数据作为光发射，从而以由pwm信号设置的亮度在显示墙上再现视频源。处理视频数据并且将视频数据从控制器/处理器发送到砖片使用cpu容量和通信信道带宽。对视频信号添加多个附加时间区控制并且将附加静态色信号嵌入在特时序间片内使用附加的cpu能力和通信信道带宽。在一些系统中，非常高分辨率的视频墙系统可能已在接近cpu容量和/或通信信道带宽下操作，并且因此如果时间区和/或静态色控制信号与视频信号一起嵌入，则无法利用本文所披露的同步和频闪平滑技术。为了减少对cpu或通信信道的需求，代替将这些控制信号与视频信号一起嵌入，时间区以及接通/关断指令和/或静态色显示器的时序(比如图2中在时间段a1和c2期间，在如上文所描述的)与存储在砖片存储器中的指令一起被提前发送到砖片以使砖片控制器接通和关断pwm和/或在规时序间显示所需颜色。通过以这种方式将控制信号排序并且利用现有砖片存储器和处理能力，cpu容量和/或通信信道带宽可以被释放以尤其允许更多视频到更多砖片或更高分辨率视频，从而改进控制器的操作、通信和整体系统性能。
[0043]
作为上述内容的实际示例，为了针对60fps系统提供四个子帧，可以以240fps传递视频。然而，这个高帧速率使整体系统处理容量减少4倍，在上游需要更精密的设备来发送更快的数据，并且因此可能不允许如本文所描述对快门时序同步进行精确的精细调谐。基于预先传递的指令在端点中(即，在砖片控制器中)生成子帧时序区和静态填充颜色可以使快门同步控制在该系统中成为可能，否则可能无法实现。例如，添加色键颜色或视频场的逆反可以预先计算来完成并且不需要视频有效负载来传递这样的信息。
[0044]
图8展示了进一步替代性实施例，其中，采用多个相机，该多个相机以不同相位偏移进行捕获，因此在视频帧时段的不同部分处曝光并且捕获不同的视频时间控制片以允许更多种的视频效应。在所展示的示例中，用八(8)个时间控制片来控制视频帧时段并且使用两个相机。相机1和相机2被配置成具有相同快门频率，但有相位偏移。使用如图8中所示出的控制序列，如果使用足够的子帧时间控制片，则可将led pwm信号(30)“接通”时间与每个相机独立地对齐。如其中所示出的，时间控制片(1)和(2)是与相机1的打开快门窗(b
v1
)相对应的活动视频片，并且时间控制片(6)和(7)是与相机2的打开快门窗(b
v2
)相对应的活动视频片。根据本文在上面所描述的原理，与相机传感器部分充电状态对齐的时间控制片(3)、(5)和(8)被设置为显示黑色以避免在所捕获视频流中产生伪影，并且落在两个相机的快门关闭时间中的时间控制片(4)根据需要显示静态色以为现场观看者减少频闪效应。图8中所展示的两个相机的时序仅说明多相机实施例。可以基于本文呈现的教导使用任何数量的相机，相机的数量通常仅受限于设备的能力。多相机实施例通过允许在特时序间帧内显示不同背景视频内容以准许不同相机在仍聚焦于相同前景动作时捕获不同背景而提供对现有系统的改进。
[0045]
图9展示了采用发光三维体积作为显示器112的进一步替代性系统160，该替代性系统具有两个图像捕获设备110a和110b，上文结合图8描述了这些图像捕获设备的时序。在这个实施例中，发光三维体积由如在图7中所示出的发光砖片150的阵列构成。控制器116以及通信链路120、122和124可以由本领域技术人员基于本披露内容的教导来配置并且如本文在其他地方所描述。系统160允许在三维体积、环绕视频提供的虚拟环境内捕获实拍场景，所有实拍场景由图像捕获设备110a和110b同时捕获。
[0046]
如本领域技术人员可以理解的，根据本披露内容的某些控制配置可能产生相对较短的捕获时段，这意味着与原本可能的情况相比，更少光由相机传感器接收。在这种情形中可以采用调整所捕获图像的亮度的若干个选项，比如增加pwm接通时间(较高工作周期)使显示器更明亮、调整相机的光圈以让更多光进入、移除相机可能一直使用的任何nd(中性密度)滤光器、调整快门角度(在pwm限值内)、以及增加相机的传感器敏感度(iso)。在具有特定设备的特定情形中，可以呈现用于亮度控制的其他选项以实现任何期望的图像捕获质量或艺术效果。
[0047]
在一些实施例中，比如相机控制114、显示器控制118或砖片控制156等控制功能可以被执行为如图10中所展示的一个或多个计算设备200。在这个示例中，计算设备200包括一个或多个处理器202、存储器204、存储设备206、连接到存储器204和高速扩展端口210的高速接口208、以及连接到低速总线214和存储设备206的低速接口212。部件202、204、206、208、210和212中的每一个使用各种总线或如在图10中由箭头指示的连接各部件的其他合适连接来互连。处理器202可以处理用于在计算设备200内执行的指令，包括存储在存储器204中或存储设备206上以用显示器220经由gui 218或在耦合到高速接口208的外部用户界面设备上显示图形信息的指令。在其他实施方式中，可以视情况连同多个存储器和多种类型的存储器一起使用多个处理器和/或多个总线。此外，可以连接多个计算设备200，其中，每个设备提供必需操作的部分(例如，作为服务器库、刀片服务器组或多处理器系统)。
[0048]
存储器204将信息存储在计算设备200内。在一个实施方式中，存储器204是计算机可读介质。在一个实施方式中，存储器204是一个或多个易失性存储器单元。在另一实施方式中，存储器204是一个或多个非易失性存储器单元。
[0049]
存储设备206能够为计算设备200提供大容量存储，并且可能包含比如时序控制、时间片大小和/或静态色色度以及如上文所描述的时序等信息。在一个实施方式中，存储设备206是计算机可读介质。在各种不同的实施方式中，存储设备206可以是软盘设备、硬盘设备、光盘设备、或磁带设备、闪速存储器或其他类似的固态存储器设备、或包括存储区网络或其他配置中的设备的设备阵列。在一个实施方式中，计算机程序产品有形地体现在信息载体中。计算机程序产品包含当被执行时执行比如上文所描述的方法等一个或多个方法的指令。信息载体是计算机可读介质或机器可读介质，比如存储器204、存储设备206、或处理器202上的存储器。
[0050]
高速接口208管理用于计算设备200的带宽密集型操作，而低速控制器212管理较低带宽密集型操作。这样的职责分配仅是示例性的。在一个实施方式中，高速接口208耦合到存储器204、显示器220(例如，通过图形处理器或加速器)，并且耦合到可以接受各种扩展卡(未示出)的高速扩展端口210。在实施方式中，低速控制器212耦合到存储设备206和低速扩展端口214。可以包括各种通信端口(例如，usb、蓝牙、以太网、无线以太网)的低速扩展端口可以耦合到作为gui 218的一部分或作为进一步外部用户界面的一个或多个输入/输入设备(比如键盘、指向设备、扫描仪)，或例如通过网络适配器耦合到比如交换机或路由器等联网设备。
[0051]
这里描述的系统和技术的各种实施方式可以在数字电子电路、集成电路、专门设计的asic(专用集成电路)、计算机硬件、固件、软件和/或其组合中实现。这些各种实施方式可以包括在一个或多个计算机程序中的实施方式，该一个或多个计算机程序可在包括至少
一个可编程处理器(其可以是专用的或通用的)的可编程系统上执行和/或解释，该至少一个可编程处理器被耦合以从存储系统、至少一个输入设备和至少一个输出设备接收数据和指令并且将数据和指令传输到该存储系统、至少一个输入设备和至少一个输出设备。
[0052]
这些计算机程序(也称为程序、软件、软件应用程序或代码)包括用于可编程处理器的机器指令，并且可以以高级程序编程语言和/或面向对象的编程语言、和/或以汇编语言/机器语言实施。如本文所使用的，术语“机器可读介质”、“计算机可读介质”是指用于向可编程处理器提供机器指令和/或数据的任何计算机程序产品、装置和/或设备(例如，磁盘、光盘、存储器、可编程逻辑设备(pld))，包括将机器指令接收为机器可读信号的机器可读介质。术语“机器可读信号”是指用于向可编程处理器提供机器指令和/或数据的任何信号。
[0053]
为了提供与用户的交互，这里描述的系统和技术可在计算机上实施，该计算机具有用于向用户显示信息的显示设备(例如，crt(阴极射线管)或lcd(液晶显示器)监视器)、以及用户可以通过其向计算机提供输入的键盘和指向设备(例如，鼠标或轨迹球)。也可以使用其他种类的设备来提供与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈(例如，视觉反馈、听觉反馈、或触觉反馈)；并且来自用户的输入可以以包括声音、言语或触觉输入的任何形式接收。
[0054]
这里描述的系统和技术可以在包括以下项的计算系统中实施：后端部件(例如，作为数据服务器)或中间件部件(例如，应用服务器)或前端部件(例如，具有图形用户界面或网络浏览器的客户端计算机，用户可以通过该图形用户界面或网络浏览器与这里描述的系统和技术的实施方式进行交互)，或者这种后端部件、中间件部件或前端部件的任何组合。系统的部件可以由任何形式或介质的有线或无线数字数据通信(例如，通信网络)来互连。通信网络的示例包括局域网(“lan”)、广域网(“wan”)和互联网。
[0055]
计算系统可以包括客户端和服务器。客户端和服务器通常远离彼此并且典型地通过通信网络来交互。客户端与服务器的关系是由于计算机程序在相应计算机上运行并且相对于彼此具有客户端-服务器关系而产生的。
[0056]
以下段落描述了本文所披露的本发明的附加替代性实施例：
[0057]
一种对包括由pwm控制信号驱动的至少一个显示器的场景进行图像捕获的方法，所述方法包括：在初始时间用图像捕获设备发起图像捕获，其中，所述pwm控制信号在所述初始时间被设置为关断；在所述图像捕获设备的第一部分快门时段之后将所述pwm控制信号设置为接通；在所述图像捕获设备的打开快门时段期间将所述pwm控制信号维持在接通；在所述图像捕获设备的第二部分快门时段时或之前将所述pwm控制信号设置为关断；以及在一系列图像捕获帧上重复对所述pwm控制信号的每个所述设置和维持。
[0058]
如段落[0057]中所描述的方法，进一步包括在所捕获帧中的每一个期间，在所述图像捕获设备的关闭快门时段期间将所述pwm控制信号维持关断。
[0059]
如段落[0057]中所描述的方法，进一步包括在所捕获帧中的每一个期间，在所述图像捕获设备的关闭快门时段的全部或部分期间将所述pwm控制信号设置为接通。
[0060]
如段落[0057]、[0058]或[0059]中任一项所描述的方法，其中，所述在部分快门时段之后将所述pwm控制信号设置为接通包括：在所述初始时间之后的初始同步延迟时间将所述pwm控制信号设置为接通；识别在所捕获图像中存在还是不存在前缘伪影；以及当存在
前缘伪影时，增加所述同步延迟时间直到在所捕获图像中减少或消除前缘伪影为止。
[0061]
如段落[0060]中所描述的方法，其中，所述在部分快门时段之后将所述pwm控制信号设置为接通进一步包括：当不存在前缘伪影时减小所述同步延迟时间直到前缘伪影出现在所捕获图像中为止，并且随后将所述同步延迟时间增加到大于伪影出现在所捕获图像中的同步延迟时间的值。
[0062]
如段落[0060]中所描述的方法，其中，所述在第二部分快门时段时或之前将所述pwm控制信号设置为关断包括：在所述同步延迟时间之后的初始同步接通时间之后将所述pwm控制信号设置为关断；识别在所捕获图像中存在还是不存在后缘伪影；以及当存在后缘伪影时，减小所述同步接通时间直到在所捕获图像中减少或消除后缘伪影为止。
[0063]
如段落[0062]中所描述的方法，其中，所述在第二部分快门时段时或之前将所述pwm控制信号设置为关断进一步包括：当不存在后缘伪影时增加所述同步接通时间直到后缘伪影出现在所捕获图像中为止，并且随后将所述同步接通时间减小到小于伪影出现在所捕获图像中的所述同步接通时间的值。
[0064]
如段落[0057]至[0063]中任一项所描述的方法，其中，所述设置步骤和所述维持步骤包括：在以所述初始时间开始的初始同步延迟时间期间在所述至少一个显示器上显示第一静态色；在所述初始同步延迟时间之后开始的初始同步接通时间期间在所述至少一个显示器上显示第二静态色；在所述初始同步接通时间之后在所述至少一个显示器上显示第三静态色；调整所述初始同步延迟时间和所述初始同步接通时间直到所述第一静态色和所述第三静态色不出现在所述至少一个显示器的所捕获图像中为止；选择所述第一静态色不出现在所捕获图像中的初始同步延迟时间作为所述同步延迟时间；选择所述第三静态色不出现在所捕获图像中的初始同步接通时间作为所述同步接通时间；在所述同步延迟时间之后将所述pwm控制信号设置为接通；在所述同步接通时间之后将所述pwm控制信号设置为关断；在所述同步接通时间期间将所述pwm控制信号维持在接通；以及在所述同步接通时间期间改变所述第二静态色以实现期望视频馈送。
[0065]
如段落[0057]至[0064]中任一项所描述的方法，进一步包括：在第二初始时间用第二图像捕获设备发起图像捕获，其中，所述第二初始时间在所述第一图像捕获设备的第二部分快门时间之后开始；在所述第二图像捕获设备的第一部分快门时段之后将所述pwm控制信号设置为接通；在所述第二图像捕获设备的打开快门时段期间将所述pwm控制信号维持在接通；在所述第二图像捕获设备的第二部分快门时段时或之前将所述pwm控制信号设置为关断。
[0066]
如段落[0065]中所描述的方法，进一步包括将所述第一图像捕获设备的第一部分快门时段与所述第二图像捕获设备的第二部分快门时段对齐。
[0067]
如段落[0066]中所描述的方法，其中，所述第一图像捕获设备和所述第二图像捕获设备分别具有第一总快门时段和第二总快门时段，并且所述方法进一步包括维持所述第一总快门时段与所述第二总快门时段之间的恒定相位偏移。
[0068]
如段落[0066]中所描述的方法，其中，所述第一图像捕获设备在所述第二图像捕获设备的打开快门时段期间处于关闭快门时段。
[0069]
如段落[0068]中所描述的方法，进一步包括：将所述第一图像捕获设备的关闭快门时段与所述第二图像捕获设备的关闭快门时段对齐；以及在所述对齐的关闭快门时段期
间将所述pwm控制信号设置为接通。
[0070]
如段落[0057]至[0069]中任一项所描述的方法，进一步包括：将每个图像捕获帧划分成多个时间片；在与所述部分快门时段全部或部分地对齐的时间片期间将所述pwm控制信号设置为关断；以及在与所述打开快门时段全部或部分地对齐的时间片期间将所述pwm控制信号设置为接通。
[0071]
如段落[0070]中所描述的方法，其中，所述时间片在时间长度上是相等的，并且在每个图像捕获帧中存在全部数量的时间片。
[0072]
一种使用至少一个图像捕获设备对包括由pwm控制信号驱动的至少一个显示器的场景进行图像捕获的方法，其中，所述图像捕获设备以帧为单位捕获图像，其中，每个帧包括至少一个部分快门时段、打开快门时段和关闭快门时段，所述方法包括：将每个帧划分成多个时间片；在与所述部分快门时段全部或部分地对齐的时间片期间将所述pwm控制信号设置为关断；在与所述打开快门时段全部或部分地对齐的时间片期间将所述pwm控制信号设置为接通；在所述pwm控制信号设置下发起图像捕获；以及在一系列图像捕获帧上维持所述pwm控制设置。
[0073]
如段落[0072]中所描述的方法，其中，所述时间片在时间长度上是相等的，并且在每个图像捕获帧中存在全部数量的时间片。
[0074]
如段落[0072]或[0073]中所描述的方法，进一步包括在与所述关闭快门时段对齐的时间片期间将所述pwm控制信号设置为接通。
[0075]
如段落[0072]或[0073]中所描述的方法，其中，仅在与打开快门时段全部地对齐的时间片期间或仅在与打开和关闭快门时段全部地对齐的时间片期间，所述pwm控制信号被设置为接通。
[0076]
一种使用至少一个图像捕获设备对包括至少一个显示器的场景进行图像捕获的方法，所述方法包括：在以初始时间开始的同步延迟时间期间在所述至少一个显示器上显示第一静态色；在所述同步延迟时间之后开始的同步接通时间期间在所述至少一个显示器上显示第二静态色；在所述同步接通时间之后在所述至少一个显示器上显示第三静态色；用所述图像捕获设备捕获所述至少一个显示设备的图像；调整所述同步延迟时间和所述同步接通时间直到所述第一静态色和所述第三静态色不出现在所述至少一个显示器的所捕获图像中为止；改变期望视频馈送的所述第二静态色；以及捕获包括显示所述期望视频馈送的所述至少一个显示器的所述场景。
[0077]
如段落[0076]中所描述的方法，其中，所述至少一个显示器包括由pwm控制信号驱动的显示器，并且其中，所述图像捕获设备以帧为单位捕获图像，其中，每个帧包括至少一个部分快门时段、打开快门时段和关闭快门时段。
[0078]
一种图像捕获系统，包括：图像捕获设备，被配置成捕获场景的移动图像，所述图像捕获设备包括以一系列帧捕获图像的快门机构，每个帧包括打开快门时段，前面和后面是部分快门时段；系统显示设备，包括被配置成显示在由所述图像捕获设备捕获的所述场景内的图像的发光显示表面、以及被配置成用pwm控制信号驱动所述发光显示表面的驱动器；以及控制设备，所述控制设备在所述图像捕获设备的部分快门时段期间将所述pwm控制信号设置为关断，并且在所述图像捕获设备的打开快门时段期间将所述pwm控制信号设置为接通。
[0079]
如段落[0078]中所描述的系统，其中，所述控制设备：将每个图像捕获帧划分成多个时间片；在与所述部分快门时段全部或部分地对齐的时间片期间将所述pwm控制信号设置为关断；以及在与所述打开快门时段全部或部分地对齐的时间片期间将所述pwm控制信号设置为接通。
[0080]
如段落[0078]或[0079]中所描述的系统，其中，所述控制设备包括：至少一个微处理器；以及存储器，所述存储器与所述至少一个微处理器进行操作性通信，所述存储器包含机器可执行指令，所述机器可执行指令当由所述至少一个微处理器执行时进行以下操作：设置发起图像捕获的初始时间；允许用户设置以所述初始时间开始的同步延迟时间；允许所述用户设置在所述同步延迟时间之后开始的同步接通时间；在以所述初始时间开始的所述同步延迟时间内关断所述pwm控制信号；在所述同步延迟时间之后的所述同步接通时间内接通所述pwm控制信号；在所述同步接通时间之后关断所述pwm控制信号；以及在每个图像捕获帧结束时重置所述初始时间。
[0081]
如段落[0080]中所描述的系统，其中，所述存储器包含另外的机器可执行指令，所述另外的机器可执行指令当由所述至少一个微处理器执行时在用户界面显示设备上显示图形用户界面(gui)，所述图形用户界面至少具有准许用户输入同步延迟时间值和同步接通时间值的第一gui区域。
[0082]
如段落[0080]或[0081]中所描述的系统，其中，所述存储器包含另外的机器可执行指令，所述另外的机器可执行指令当由所述至少一个微处理器执行时进行以下操作：显示所述gui，所述gui至少具有显示由所述图像捕获设备捕获的所述图像的第二gui区域；以及在所述第一gui区域内呈现以下项：(1)用于在同步延迟时间期间在所述系统显示设备上显示视频馈送或第一静态色的用户可选择选项；(2)用于在所述同步延迟时间之后开始的同步接通时间期间在所述系统显示设备上显示视频馈送或第二静态色的用户可选择选项；以及(3)用于在所述同步接通时间之后在所述系统显示设备上显示视频馈送或第三静态色的用户可选择选项；凭此，调整所述同步延迟时间和所述同步接通时间直到所述第一静态色和所述第三静态色不出现在所述至少一个显示器的所捕获图像中为止确定了所述图像捕获设备的每个图像捕获帧中的与初始部分快门时段和所述快门打开时段相对应的同步延迟时间。
[0083]
如段落[0080]至[0082]中任一项所描述的系统，其中，所述存储器包含另外的机器可执行指令，所述另外的机器可执行指令当由所述至少一个微处理器执行时进行以下操作：将每个图像捕获帧划分成多个时间片；以及按时间片将所述pwm控制信号设置为接通或关断。
[0084]
如段落[0083]中所描述的系统，其中，所述图像捕获设备的每个帧进一步包括快门关闭时段；并且所述存储器进一步包含机器可执行指令，所述机器可执行指令当由所述至少一个微处理器执行时进行以下操作：允许所述用户在落入所述关闭快门时段内的时间片内设置所述pwm控制信号的接通状态或关断状态；以及当所述pwm状态在所述关闭快门时段期间被设置为接通时，允许所述用户选择静态图像或视频馈送进行显示；并且其中，所述显示设备包括发光砖片阵列，每个砖片具有被配置为用于所述砖片的pwm驱动器的砖片控件并且包括至少一个砖片微处理器、以及与所述至少一个砖片微处理器进行操作性通信的砖片存储器，所述砖片存储器包含机器可执行指令，所述机器可执行指令当由所述至少一
个砖片微处理器执行时在所述用户选择所述静态图像的情况下在所述砖片上显示所述静态图像。
[0085]
如段落[0078]至[0084]中任一项所描述的系统，其中，所述图像捕获设备的每个帧进一步包括快门关闭时段；并且所述控制设备允许用户在所述快门关闭时段期间将所述pwm信号设置为接通或关断。
[0086]
如段落[0078]至[0085]中任一项所描述的系统，其中，所述系统显示设备包括三维(3d)发光显示体，所述三维发光显示体包括沿着砖片边缘接合的发光砖片三维阵列，以形成无缝3d体显示墙，并且每个所述砖片包括用于每个所述砖片的唯一pwm驱动器；并且所述图像捕获设备包括至少一个相机，所述至少一个相机具有以电子方式配置有所述快门机构的数字图像传感器。
[0087]
以上是对本披露内容的说明性实施例的详细描述。应当注意，在本说明书和所附权利要求中，除非另有明确陈述或指示，否则比如在短语“x、y和z中的至少一个”和“x、y和z中的一个或多个”中使用的连词应当被视为意味着连词列表中的每个项目可以以任何数量存在而不包括列表中的每个其他项目，或者可以以任何数量与连词列表中的任何或所有其他(多个)项目组合，其他项目中的每一个也可以以任何数量存在。应用该一般规则，上述示例中的连词列表由x、y和z组成的连词短语应各自涵盖：x中的一个或多个；y中的一个或多个；z中的一个或多个；x中的一个或多个和y中的一个或多个；y中的一个或多个和z中的一个或多个；x中的一个或多个和z中的一个或多个；以及x中的一个或多个、y中的一个或多个和z中的一个或多个。
[0088]
在不背离本披露内容的精神和范围的情况下，可以进行各种修改和添加。上文描述的各个实施例中的每个实施例的特征可以适当地与所描述的其他实施例的特征组合，以便在相关联的新实施例中提供多种特征组合。此外，虽然上文描述了多个单独实施例，但本文所描述的仅仅说明本披露内容的原理的应用。另外，尽管本文的特定方法可以被说明和/或描述为以特定顺序执行，但是该顺序在普通技术内高度可变，以便实现本披露内容的各方面。相应地，此描述仅旨在是示例性的，并且不以其他方式限制本披露内容的范围。
[0089]
上文已经披露并且在附图中展示了示例性实施例。本领域技术人员将理解的是，可以对本文具体披露的内容进行各种改变、省略和添加，而不背离本披露内容的精神和范围。

技术特征：
1.一种对包括由pwm控制信号驱动的至少一个显示器的场景进行图像捕获的方法，所述方法包括：在初始时间用图像捕获设备发起图像捕获，其中，所述pwm控制信号在所述初始时间被设置为关断；在所述图像捕获设备的第一部分快门时段之后将所述pwm控制信号设置为接通；在所述图像捕获设备的打开快门时段期间将所述pwm控制信号维持在接通；在所述图像捕获设备的第二部分快门时段时或之前将所述pwm控制信号设置为关断；以及在一系列图像捕获帧上重复对所述pwm控制信号的每个所述设置和维持。2.如权利要求1所述的方法，进一步包括在所捕获帧中的每一个期间，在所述图像捕获设备的关闭快门时段期间将所述pwm控制信号维持关断。3.如权利要求1所述的方法，进一步包括在所捕获帧中的每一个期间，在所述图像捕获设备的关闭快门时段的全部或部分期间将所述pwm控制信号设置为接通。4.如权利要求1、2或3所述的方法，其中，所述在部分快门时段之后将所述pwm控制信号设置为接通包括：在所述初始时间之后的初始同步延迟时间将所述pwm控制信号设置为接通；识别在所捕获图像中存在还是不存在前缘伪影；以及当存在前缘伪影时，增加所述同步延迟时间直到在所捕获图像中减少或消除前缘伪影为止。5.如权利要求4所述的方法，其中，所述在部分快门时段之后将所述pwm控制信号设置为接通进一步包括：当不存在前缘伪影时减小所述同步延迟时间直到前缘伪影出现在所捕获图像中为止，并且随后将所述同步延迟时间增加到大于伪影出现在所捕获图像中的同步延迟时间的值。6.如权利要求4所述的方法，其中，所述在第二部分快门时段时或之前将所述pwm控制信号设置为关断包括：在所述同步延迟时间之后的初始同步接通时间之后将所述pwm控制信号设置为关断；识别在所捕获图像中存在还是不存在后缘伪影；以及当存在后缘伪影时，减小所述同步接通时间直到在所捕获图像中减少或消除后缘伪影为止。7.如权利要求6所述的方法，其中，所述在第二部分快门时段时或之前将所述pwm控制信号设置为关断进一步包括：当不存在后缘伪影时增加所述同步接通时间直到后缘伪影出现在所捕获图像中为止，并且随后将所述同步接通时间减小到小于伪影出现在所捕获图像中的所述同步接通时间的值。8.如权利要求1、2或3中任一项所述的方法，其中，所述设置步骤和所述维持步骤包括：在以所述初始时间开始的初始同步延迟时间期间在所述至少一个显示器上显示第一静态色；在所述初始同步延迟时间之后开始的初始同步接通时间期间在所述至少一个显示器上显示第二静态色；在所述初始同步接通时间之后在所述至少一个显示器上显示第三静态色；
调整所述初始同步延迟时间和所述初始同步接通时间直到所述第一静态色和所述第三静态色不出现在所述至少一个显示器的所捕获图像中为止；选择所述第一静态色不出现在所捕获图像中的初始同步延迟时间作为所述同步延迟时间；选择所述第三静态色不出现在所捕获图像中的初始同步接通时间作为所述同步接通时间；在所述同步延迟时间之后将所述pwm控制信号设置为接通；在所述同步接通时间之后将所述pwm控制信号设置为关断；在所述同步接通时间期间将所述pwm控制信号维持在接通；以及在所述同步接通时间期间改变所述第二静态色以实现期望视频馈送。9.如权利要求1、2或3中任一项所述的方法，进一步包括：在第二初始时间用第二图像捕获设备发起图像捕获，其中，所述第二初始时间在所述第一图像捕获设备的第二部分快门时间之后开始；在所述第二图像捕获设备的第一部分快门时段之后将所述pwm控制信号设置为接通；在所述第二图像捕获设备的打开快门时段期间将所述pwm控制信号维持在接通；在所述第二图像捕获设备的第二部分快门时段时或之前将所述pwm控制信号设置为关断。10.如权利要求9所述的方法，进一步包括将所述第一图像捕获设备的第一部分快门时段与所述第二图像捕获设备的第二部分快门时段对齐。11.如权利要求10所述的方法，其中，所述第一图像捕获设备和所述第二图像捕获设备分别具有第一总快门时段和第二总快门时段，并且所述方法进一步包括维持所述第一总快门时段与所述第二总快门时段之间的恒定相位偏移。12.如权利要求10所述的方法，其中，所述第一图像捕获设备在所述第二图像捕获设备的打开快门时段期间处于关闭快门时段。13.如权利要求12所述的方法，进一步包括：将所述第一图像捕获设备的关闭快门时段与所述第二图像捕获设备的关闭快门时段对齐；以及在所述对齐的关闭快门时段期间将所述pwm控制信号设置为接通。14.如权利要求1、2或3中任一项所述的方法，进一步包括：将每个图像捕获帧划分成多个时间片；在与所述部分快门时段全部或部分地对齐的时间片期间将所述pwm控制信号设置为关断；以及在与所述打开快门时段全部或部分地对齐的时间片期间将所述pwm控制信号设置为接通。15.如权利要求14所述的方法，其中，所述时间片在时间长度上是相等的，并且在每个图像捕获帧中存在全部数量的时间片。16.一种使用至少一个图像捕获设备对包括由pwm控制信号驱动的至少一个显示器的场景进行图像捕获的方法，其中，所述图像捕获设备以帧为单位捕获图像，其中，每个帧包括至少一个部分快门时段、打开快门时段和关闭快门时段，所述方法包括：
将每个帧划分成多个时间片；在与所述部分快门时段全部或部分地对齐的时间片期间将所述pwm控制信号设置为关断；在与所述打开快门时段全部或部分地对齐的时间片期间将所述pwm控制信号设置为接通；在所述pwm控制信号设置下发起图像捕获；以及在一系列图像捕获帧上维持所述pwm控制设置。17.如权利要求16所述的方法，其中，所述时间片在时间长度上是相等的，并且在每个图像捕获帧中存在全部数量的时间片。18.如权利要求16或权利要求17所述的方法，进一步包括在与所述关闭快门时段对齐的时间片期间将所述pwm控制信号设置为接通。19.如权利要求16或权利要求17所述的方法，其中，仅在与打开快门时段全部地对齐的时间片期间或仅在与打开和关闭快门时段全部地对齐的时间片期间，所述pwm控制信号被设置为接通。20.一种使用至少一个图像捕获设备对包括至少一个显示器的场景进行图像捕获的方法，所述方法包括：在以初始时间开始的同步延迟时间期间在所述至少一个显示器上显示第一静态色；在所述同步延迟时间之后开始的同步接通时间期间在所述至少一个显示器上显示第二静态色；在所述同步接通时间之后在所述至少一个显示器上显示第三静态色；用所述图像捕获设备捕获所述至少一个显示设备的图像；调整所述同步延迟时间和所述同步接通时间直到所述第一静态色和所述第三静态色不出现在所述至少一个显示器的所捕获图像中为止；改变期望视频馈送的所述第二静态色；以及捕获包括显示所述期望视频馈送的所述至少一个显示器的所述场景。21.如权利要求20所述的方法，其中，所述至少一个显示器包括由pwm控制信号驱动的显示器，并且其中，所述图像捕获设备以帧为单位捕获图像，其中，每个帧包括至少一个部分快门时段、打开快门时段和关闭快门时段。22.一种图像捕获系统，包括：图像捕获设备，被配置成捕获场景的移动图像，所述图像捕获设备包括以一系列帧捕获图像的快门机构，每个帧包括打开快门时段，前面和后面是部分快门时段；系统显示设备，包括：发光显示表面，被配置成显示在由所述图像捕获设备捕获的所述场景内的图像，以及驱动器，被配置成用pwm控制信号驱动所述发光显示表面；以及控制设备，所述控制设备：在所述图像捕获设备的部分快门时段期间将所述pwm控制信号设置为关断，并且在所述图像捕获设备的打开快门时段期间将所述pwm控制信号设置为接通。23.如权利要求22所述的系统，其中，所述控制设备：将每个图像捕获帧划分成多个时间片；
在与所述部分快门时段全部或部分地对齐的时间片期间将所述pwm控制信号设置为关断；并且在与所述打开快门时段全部或部分地对齐的时间片期间将所述pwm控制信号设置为接通。24.如权利要求22或权利要求23所述的系统，其中，所述控制设备包括：至少一个微处理器；以及存储器，所述存储器与所述至少一个微处理器进行操作性通信，所述存储器包含机器可执行指令，所述机器可执行指令当由所述至少一个微处理器执行时进行以下操作：设置发起图像捕获的初始时间；允许用户设置以所述初始时间开始的同步延迟时间；允许所述用户设置在所述同步延迟时间之后开始的同步接通时间；在以所述初始时间开始的所述同步延迟时间内关断所述pwm控制信号；在所述同步延迟时间之后的所述同步接通时间内接通所述pwm控制信号；在所述同步接通时间之后关断所述pwm控制信号；以及在每个图像捕获帧结束时重置所述初始时间。25.如权利要求24所述的系统，其中，所述存储器包含另外的机器可执行指令，所述另外的机器可执行指令当由所述至少一个微处理器执行时进行以下操作：在用户界面显示设备上显示图形用户界面gui，所述图形用户界面至少具有准许用户输入同步延迟时间值和同步接通时间值的第一gui区域。26.如权利要求25所述的系统，其中，所述存储器包含另外的机器可执行指令，所述另外的机器可执行指令当由所述至少一个微处理器执行时进行以下操作：显示所述gui，所述gui至少具有显示由所述图像捕获设备捕获的所述图像的第二gui区域；在所述第一gui区域内呈现：用于在同步延迟时间期间在所述系统显示设备上显示视频馈送或第一静态色的用户可选择选项；用于在所述同步延迟时间之后开始的同步接通时间期间在所述系统显示设备上显示视频馈送或第二静态色的用户可选择选项；以及用于在所述同步接通时间之后在所述系统显示设备上显示视频馈送或第三静态色的用户可选择选项；凭此，调整所述同步延迟时间和所述同步接通时间直到所述第一静态色和所述第三静态色不出现在所述至少一个显示器的所捕获图像中为止确定了所述图像捕获设备的每个图像捕获帧中的与初始部分快门时段和快门打开时段相对应的同步延迟时间。27.如权利要求24所述的系统，其中，所述存储器包含另外的机器可执行指令，所述另外的机器可执行指令当由所述至少一个微处理器执行时进行以下操作：将每个图像捕获帧划分成多个时间片；以及按时间片将所述pwm控制信号设置为接通或关断。28.如权利要求27所述的系统，其中：所述图像捕获设备的每个帧进一步包括快门关闭时段；
所述存储器进一步包含机器可执行指令，所述机器可执行指令当由所述至少一个微处理器执行时进行以下操作：允许所述用户在落入所述关闭快门时段内的时间片内设置所述pwm控制信号的接通状态或关断状态，以及当所述pwm状态在所述关闭快门时段期间被设置为接通时，允许所述用户选择静态图像或视频馈送进行显示；并且所述显示设备包括发光砖片阵列，每个砖片具有被配置为用于所述砖片的pwm驱动器的砖片控件并且包括至少一个砖片微处理器、以及与所述至少一个砖片微处理器进行操作性通信的砖片存储器，所述砖片存储器包含机器可执行指令，所述机器可执行指令当由所述至少一个砖片微处理器执行时在所述用户选择所述静态图像的情况下在所述砖片上显示所述静态图像。29.如权利要求22或权利要求23所述的系统，其中：所述图像捕获设备的每个帧进一步包括快门关闭时段；并且所述控制设备允许用户在所述快门关闭时段期间将所述pwm信号设置为接通或关断。30.如权利要求22或权利要求23所述的系统，其中：所述系统显示设备包括三维3d发光显示体，所述三维发光显示体包括沿着砖片边缘接合的发光砖片三维阵列，以形成无缝3d体显示墙，并且每个所述砖片包括用于每个所述砖片的唯一pwm驱动器；并且所述图像捕获设备包括至少一个相机，所述至少一个相机具有以电子方式配置有所述快门机构的数字图像传感器。

技术总结
披露了用于从使用脉宽调制(PWM)控制的视频显示器捕获移动图像的系统和方法。特别地，披露了用于使显示器时序与相机时序同步以便减少或消除因相机快门/曝光时序与显示器PWM控制信号的时序之间的非同步交互而出现在所捕获移动图像中的伪影的系统和方法。捕获移动图像中的伪影的系统和方法。捕获移动图像中的伪影的系统和方法。


技术研发人员：杰里米
受保护的技术使用者：赫二虚拟现实控股公司
技术研发日：2021.08.18
技术公布日：2023/8/1