局部调光处理算法及校正系统的制作方法

局部调光处理算法及校正系统
1.相关申请的交叉引用
2.本美国专利申请要求2021年2月3日提交的美国临时申请63/199，928的权益，该临时申请通过引用并入本文。
技术领域
3.技术领域大体上涉及显示器，更具体地说，涉及用于车辆的显示器。


背景技术：

4.汽车通常使用显示器来与车辆乘员共享信息。特别是，显示器示出用于车辆驾驶员的信息。然而，显示器必须在从阳光明媚的白天到漆黑的夜晚变化的各种各样的环境照明下工作。为了适应各种环境照明，使显示器背光的亮度发生变化。
5.有机发光二极管(oled)显示器在视觉上很有吸引力，但价格非常昂贵，尤其是在汽车市场中。
6.另一选项是提供具有全阵列局部调光(fald)的显示器，其由整个屏幕背面之上的多个发光二极管(led)阵列组成。这些阵列对屏幕的需要变暗的部分进行调光，而不影响屏幕的需要变亮的区域。使用薄膜晶体管(tft)显示器进行局部调光是实现类似性能的一种更便宜的方法，该显示器具有由fald显示器提供的分区直接背光。
7.要启用全阵列局部调光(fald)，图像必须通过索引成分区来平铺。即使对于分辨率相对较低的显示器，每个分区也相当大。在功能强大的计算环境中，用于将每个分区的状态确定为开或关的方法简单地读取整个图像中的每个像素，并确定它是否包含内容。这会对处理器和存储器造成很大的负载。
8.即使对于低像素显示器，使用传统计算方法提供fald所需的处理能力的示例将需要高计算能力。这种用于将每个分区的状态确定为开或关的方法简单地读取整个图像中的每个像素，并确定它是否包含内容。这会对处理器和存储器造成很大的负载。考虑这个示例；720px
×
1920px
×
60fps
×
32位＝248mb/秒。这在伴随其他功能的低成本嵌入式片上系统(soc)上要实时处理的数据太大。一个常见的选项是开发和部署定制的专用集成电路(asic)来单独地执行该计算，但是这样的asic会给产品增加大量的成本。
9.因此，这种方法需要专门的处理器，这增加了成本和集成挑战，从而降低了相对于oled的益处。
10.因此，需要提供创造性低成本方式来实现局部调光而不增加硬件成本的布置和方法。更重要的是，需要减少因近似分区像素状态而引起的误差的fald显示器。
11.本文提供的背景描述是为了概括地呈现本公开的上下文的目的。在本背景技术部分中所描述的程度上，当前命名的发明人的工作以及在提交时可能以其他方式不符合现有技术的描述的方面既不明确地也不隐含地被认为是针对本公开的现有技术。


技术实现要素：

12.向显示器提供全阵列局部调光的方法的一个实施例包括用具有指令的处理器执行图像处理算法，所述指令用于：针对图像的多个像素中的每一个确定新的像素值；针对多个像素中的每一个将新的像素值映射到先前的像素值；双线性地缩放分区的图像；重复所述确定、映射和缩放，直到达到近似值；将重复的结果编译成数据集。
13.该方法还包括将显示器的图像划分为具有多个分区，每个分区具有与其相关联的至少一个led。
14.该方法还包括用处理器根据所述数据集做出照明决策，其中所述照明决策针对与多个分区之一相关联的至少一个led。
15.该方面的其他实施例包括对应的计算机系统、装置、以及记录在一个或多个计算机存储设备上的计算机程序，每个被配置成执行这些方法的动作。
16.实现可以包括以下特征中的一个或多个。该方法可以包括针对多个分区中的每一个做出照明决策。
17.将图像划分为多个分区还可以包括将图像划分成使得多个分区中的每一个分区具有与其相关联的一个led。
18.该方法可以包括使用多个分区之一中的像素的亮度数据来做出照明决策。
19.该方法可以包括当在多个分区之一内存在具有亮度的至少一个像素时，确定所述照明决策为是。
20.该方法可以包括当所述照明决策为是时，照明与多个分区之一相关联的至少一个led。
21.该方法可以包括将编译后的数据集转换为yuv图像格式。
22.将图像划分为多个分区并做出所述照明决策还可以包括使用第一处理器，并且执行图像分析算法使用第二处理器。
23.该方法可以包括在所述照明决策之前将所述数据集从所述第二处理器发送到所述第一处理器。
24.该方法可以包括在将图像划分为多个分区之前，将所述数据集从所述第二处理器发送到所述第一处理器。
25.所述第二处理器可以是多个片上系统之一。
26.所述第二处理器可以连接到至少一个存储器，并且其中所述存储器包括扩展曲线值的查找表。
27.所述确定、映射和缩放可以被重复三次迭代。
28.将图像划分为多个分区并做出照明决策可以是利用第一处理器，并且执行图像分析算法可以是利用第二处理器。
29.所描述技术的实现可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
30.向显示器提供全阵列局部调光的方法的另一实施例包括将具有多个像素的显示器的图像划分为多个分区，每个分区具有与其相关联的至少一个led。
31.该方法还包括用具有指令的处理器执行图像处理算法，所述指令用于：针对多个像素中的每一个确定新的像素值；针对多个像素中的每一个将新的像素值映射到先前的像
素值；双线性地缩放分区的图像；重复所述确定、映射和缩放，直到达到近似值；将重复的结果编译成数据集。
32.该方法还包括用处理器根据所述数据集做出照明决策，其中所述照明决策针对与多个分区之一相关联的至少一个led。
33.该方面的其他实施例包括对应的计算机系统、装置、以及记录在一个或多个计算机存储设备上的计算机程序，每个被配置成执行这些方法的动作。
34.实现可以包括以下特征中的一个或多个。
35.该方法可以包括针对多个分区中的每一个做出照明决策。
36.将图像划分为多个分区还可以包括将图像划分成使得多个分区中的每一个分区具有与其相关联的一个led。
37.该方法可以包括使用多个分区之一中的像素的亮度数据来做出照明决策，并且当在多个分区之一内存在具有亮度的至少一个像素时，确定所述照明决策为是。
38.该方法可以包括当所述照明决策为是时，照明与多个分区之一相关联的至少一个led。
39.该方法可以包括将编译后的数据集转换为yuv图像格式。所描述技术的实现可以包括硬件、方法或过程、或计算机可访问介质上的计算机软件。
40.本发明的其他目的、特征和特性以及操作方法和结构的相关元件的功能、部件的组合和制造的经济性在参考附图考虑下面的详细描述和所附权利要求后将变得更加明显，所有这些形成本说明书的一部分。应当理解，详细描述和具体示例虽然指示了本公开的优选实施例，但仅旨在用于说明的目的，而不是旨在限制本公开的范围。
附图说明
41.所公开的主题的其他优点将很容易被理解，因为当结合附图考虑时通过参考下面的详细描述，其变得更好理解，其中：
42.图1是根据一个示例性实施例的具有fald的显示器的示例；
43.图2是示出根据一个示例性实施例的用于实现fald的装置的框图；
44.图4是根据一个示例性实施例的用于像素缩放的扩展曲线应用的图形图示；
45.图3是根据一个示例性实施例的与缩放迭代相比的像素开百分比的图形图示；和
46.图5是提供具有全阵列局部调光的图像的方法的第一实施例的图示。
具体实施方式
47.参考附图，其中在所有几个视图中相同的数字表示相同的部分，本文示出并描述了用于车辆10的显示系统100和用于提供全阵列局部调光(fald)的方法。这些实施例可以提供调光，包括减小由阵列提供的光强度的比例，包括完全关闭显示器200的区域或仅部分减小区域上的光强度。
48.参考图1-5，示出了显示系统100。显示系统100包括显示器200、第一处理器120、第二多个处理器130和至少一个存储器设备140。显示器110、第一处理器120、至少一个第二处理器130和存储器设备之间具有通信，如150所示。
49.显示器200示出了图像210。多个led 112可以为显示器200提供背光。图像210可以
被划分为多个分区220，每个由多个像素230组成。给定图像210和显示器200的像素230的数量可以根据显示器的整体大小、显示器的led的数量、或因其他期望的因素而变化。每个分区具有与其相关联的至少一个led 112。
50.在一个实施例中，存在与每个分区220相关联的一个led 112。
51.对于多个分区220中的每一个，显示系统100必须基于显示器200的分区220内的像素的状态来确定该分区是应该还是不应该由相关联的至少一个led背光照亮。
52.为了向图像210提供fald，评估算法310被应用于多个分区220中的每一个，以确定至少一个相关联的led 112应该被打开还是关闭。为了减小用评估算法310评估图像210所需的计算能力，在led评估之前应用图像处理算法300。
53.在一个实施例中，在将图像210划分为多个分区220之前应用图像处理算法300。替代地，图像处理算法300可以在图像被划分为多个分区220之后应用。在该实施例中，如本文所述的图像处理算法被迭代地应用于多个分区220中的每一个。无论顺序如何，图像处理算法300和将图像划分为多个分区22都发生在led评估算法310之前。
54.图像处理算法300可以由第一处理器120执行，并且评估算法可以由第二处理器130执行。替代地，图像处理算法和评估算法都可以由第二处理器130执行。此外，第一或第二处理器120、130可以是片上系统。也可以存在多个第一和第二处理器120、130。因此，可以用许多嵌入式片上系统(soc)所支持的行业标准硬件加速来执行处理，而无需额外成本。
55.图像处理器120、130通过使用具有扩展曲线的查找表(lut)来实现图像处理器算法300。旧像素值可以包括与每个像素相关联的颜色。新像素值可能是黑白的。因此，具有颜色的任何像素被转换为白/开格式，而其他像素被转换为黑/关格式。
56.新像素值被映射到旧像素值。
57.然后，以不大于2的比例因子对图像210进行双线性缩放。通过缩放图像，这保留原始像素数据。因此，在一个实施例中，第二多个处理器130可以是soc。
58.在一个实施例中，比例因子是2。
59.虽然缩放数据会降低所需的处理能力，但随着缩放迭代次数的增加，以百分比分区开的减少而测量的误差也会增加。因此，查找表应用扩展曲线来校正误差。
60.查找表可以从至少一个存储器设备140被加载到处理器130中，并在近似过程的执行期间被存储在那里。因此，可以利用使用应用扩展曲线的查找表的迭代应用，如图3和4所示。如图3所示，扩展曲线校正了由缩小引起的误差。
61.考虑图4，其中应用了具有扩展曲线的查找表的x2和x3迭代。即使针对高迭代缩放，由缩小造成的误差也减少到接近0。如图4所示，将评估为打开的led的百分比与发生的缩放迭代的次数进行比较。在x3缩放迭代后，开led的百分比变为基本上线性的数字。因此，可能不需要进一步的缩放迭代。因此，缩放作为一种计算简化技术的影响对用户来说变得可见。
62.一旦近似过程完成，其中此处具有8倍缩小近似值，则信息被编译成数据集。迭代缩放和扩展曲线过程的最终结果是高度压缩的数据。如图2所示，在一个示例中，缩小是8x缩小。这是2比例缩小因子，其已经迭代执行了三次(23)，以获得8x缩小因子。在该示例中，仅由于该过程，压缩为～256倍。这实现了智能fald实现，而不需要额外的处理硬件。
63.例如，对于(例如)大约80
×
80像素的分区，可以在计算上压缩到5
×
5或类似大小。
然后，cpu或第一处理器能够容易地读取较小的信息，并基于该信息做出照明决策310。
64.此外，带宽消耗较低(每个像素的字节数较低)的像素颜色格式可用于由cpu对压缩数据的处理和最终分析。用于分析的原始图像材料通常表示为rgb像素数据，其中每个像素4个字节用于直接显示馈送。嵌入式过滤器引擎(如上所述)通常支持多种颜色格式和“即时(onthefly)”颜色格式转换。在第一次迭代后，数据可以以每像素字节更少的格式被存储/读取——例如每像素2字节的yuv nv12。这将在分析期间显著降低系统带宽消耗。yuv颜色格式化包括亮度数据(y)和色度数据(uv)。然而，如下面进一步详细解释的，只有亮度数据被用于评估算法310。因此，每个像素数据只使用1个字节。缩放和转换的数据集仅由评估算法310使用，因此颜色和色度数据的损失不需要用于进一步的处理，并且可以从转换的数据集丢弃以节省存储器和处理。
65.图2示出了在该过程期间将图像210从rgb颜色格式化重新格式化为yuv颜色格式化，其可以可选地被包括以简化软件分析。先前的查找表已经将像素转换为相当于开和关的亮度数据的黑白值。此外，为了简化问题，色度信息(uv)对于评估算法可能不是必需的。因此，色度(uv)信息细节上的潜在损失可能根本不会影响分析，并且在这种格式下，重要的亮度(y)信息损失很小。最终分析结果可以以平面或半平面yuv格式存储。
66.最后，评估算法310查看多个分区中的每一个的亮度值(y)。如果存在呈现开(白)的亮度值，则评估算法310将确定该分区220的至少一个led 120应为开。但是，如果不存在呈现的亮度值即关(黑)，则评估算法将确定该分区的至少一个led应为关。因此，cpu可能只读取并处理重要的亮度(y)信息，而不需要读取并可能丢弃不重要的色度(uv)信息。
67.图像可以被划分成每个分区具有一定数量的led(例如一个或多个)，或者提供分区使得每个分区都以一个led为中心。如果每个分区存在一个led，则该分区的照明决策可能基于该分区内所有像素的亮度值。换句话说，如果分区内的任何像素具有亮度值，则亮度评估为是/开。但是，如果分区内没有像素具有亮度值，则亮度评估等于“否/关”。在这种情况下，照明特定像素的led可能不直接在像素本身的后方，但可能足够靠近，以提供足够量的背光来照明“是/开”像素。例如，对于3
×
3像素的分区，led可以直接位于中心像素的后方。但是，如果九个像素中的任何一个具有相关联的亮度，则照明决策为是/开。对于该分区中的其他八个像素，照明该像素的led不直接在像素的后方，但与位于中心的led足够接近，以具有足够的亮度。
68.对于特定的显示系统100，本领域技术人员可以确定足够亮度的水平和led可以来自特定像素以提供足够照明的接近度。
69.替代地，可以通过划分像素的数量来确定多个分区，以创建均匀像素大小的分区，例如，对于整个图像，每个分区是10
×
10像素。如果分区中存在多个led，则对于所有led，led亮度决策可能是相同的。例如，如果分区中存在多于一个led，则对于该分区，所有led都被照明，或者没有led被照明。如果存在具有亮度值的至少一个像素，则照明决策可以照明所有的led。本实施例可能导致某些led不必要地照亮。然而，做出照明决策的整体处理能力会少于单独为每个led做出决策。
70.在一个实施例中，每个分区可以存在一个亮度值，而不管与特定分区相关联的像素数量。如果任何像素具有亮度，则该分区的亮度值将为开。这是可以作为数据集的一部分保存并转换为yuv格式的信息。因此，可能不知道分区内具有亮度值且需要照明的(一个或
多个)特定像素的位置。
71.每个led 112所提供的照明量将随着与led 112的距离增加而减少。因此，直接位于led 112中心上方的像素将比远离led 112的像素具有更大的亮度。根据多个分区220的划分，例如，分区220周边上或附近的一些像素可能比靠近分区中心的像素受led 112的照明更少。
72.如果具有亮度值并因此需要由led 112照明的(一个或多个)像素位于分区上或附近，则相关联的(一个或多个)led 112提供的照明量可能低于或甚至小于期望。因此，可能需要照明邻近分区220以及还有分区220中的(一个或多个)led 112。因此，每个分区220的照明决策的另外的步骤也可以是评估每个邻近分区220的亮度值。
73.本领域技术人员将能够针对特定显示系统100决定多少分区220、分区的大小、以及每个分区的led 112的数量，包括基于整个显示器100的大小、显示定义、led的数量、可用的处理能力120、130、以及该显示系统100的期望亮度值。
74.图5示出了根据一个实施例的方法500。向显示器提供全阵列局部调光的方法包括：用第一处理器将图像划分为多个分区502；使用第二处理器应用图像处理算法504，包括：使用查找表(lut)确定新的像素值506；将新的像素值映射到旧的像素值508；双线性地缩放图像510。重复514确定、映射和缩放，直到达到近似值。结果被编译成数据集512。数据集被转换成yuv图像格式并保存到存储器。
75.如前所述，该方法可以在一个处理器上执行，并且可以消除将数据集从一个处理器发送到另一个处理器的步骤。
76.此外，在确定新的像素值、映射值和缩放图像的任何次数的迭代之后，包括仅一次迭代之后，数据集可以被编译并转换为要保存的yuv格式。
77.此外，可以确定所执行的迭代的总数和要达到的近似值，以平衡数据和相关处理的减少与缩放过程引入的误差量。本领域技术人员将能够针对特定显示系统100确定期望的迭代次数和近似值，包括显示器、处理器、存储器等的数量、大小和速度。
78.在步骤518，数据集512从第二处理器130发送到第一处理器110。该方法还包括用第一处理器执行评估算法以根据数据集针对多个分区中的每一个做出照明决策520。
79.因此，评估算法还可以包括为多个分区中的每一个做出照明决策。
80.此外，也基于与该分区邻近的每个分区的该分区的照明值来做出照明决策。
81.最后，由于评估算法所需的计算能力降低，该方法也可以在与显示系统100匹配的频率下执行。例如，显示系统100可以具有60hz的刷新率。可以针对多个参数来选择显示系统100的刷新率，其可以包括但不限于本文描述的全阵列调光方法的处理。
82.本文已经以说明性的方式描述了本发明，并且应当理解，所使用的术语旨在是描述词语性质，而不是限制。显然，根据上述教导，本发明的许多修改和变化是可能的。本发明可以在所附权利要求的范围内以不同于具体描述的其他方式实施。

技术特征：
1.一种向显示器提供全阵列局部调光的方法，包括：用具有指令的处理器执行图像处理算法，所述指令用于：针对图像的多个像素中的每一个确定新的像素值；针对多个像素中的每一个将新的像素值映射到先前的像素值；双线性地缩放分区的图像；重复所述确定、映射和缩放，直到达到近似值；将重复的结果编译成数据集；和将显示器的图像划分为具有多个分区，每个分区具有与其相关联的至少一个led；用处理器根据所述数据集做出照明决策，其中所述照明决策针对与多个分区之一相关联的至少一个led。2.根据权利要求1所述的方法，还包括针对多个分区中的每一个做出照明决策。3.根据权利要求2所述的方法，其中将图像划分为多个分区还包括将图像划分成使得多个分区中的每一个分区具有与其相关联的一个led。4.根据权利要求1所述的方法，还包括使用多个分区之一中的像素的亮度数据来做出照明决策。5.根据权利要求4所述的方法，还包括当在多个分区之一内存在具有亮度的至少一个像素时，确定所述照明决策为是。6.根据权利要求5所述的方法，还包括当所述照明决策为是时，照明与多个分区之一相关联的至少一个led。7.根据权利要求1所述的方法，还包括将编译后的数据集转换为yuv图像格式。8.根据权利要求1所述的方法，其中将图像划分为多个分区并做出所述照明决策还包括使用第一处理器，并且执行图像分析算法使用第二处理器。9.根据权利要求8所述的方法，还包括在所述照明决策之前将所述数据集从所述第二处理器发送到所述第一处理器。10.根据权利要求8所述的方法，还包括在将图像划分为多个分区之前，将所述数据集从所述第二处理器发送到所述第一处理器。11.根据权利要求8所述的方法，其中所述第二处理器是多个片上系统之一。12.根据权利要求1所述的方法，其中所述第二处理器连接到至少一个存储器，并且其中所述存储器包括扩展曲线值的查找表。13.根据权利要求1所述的方法，其中所述确定、映射和缩放被重复三次迭代。14.一种向显示器提供全阵列局部调光的方法，包括：将具有多个像素的显示器的图像划分为多个分区，每个分区具有与其相关联的至少一个led；用具有指令的处理器执行图像处理算法，所述指令用于：针对多个像素中的每一个确定新的像素值；针对多个像素中的每一个将新的像素值映射到先前的像素值；双线性地缩放分区的图像；重复所述确定、映射和缩放，直到达到近似值；将重复的结果编译成数据集；和
用处理器根据所述数据集做出照明决策，其中所述照明决策针对与多个分区之一相关联的至少一个led。15.根据权利要求14所述的方法，还包括针对多个分区中的每一个做出照明决策。16.根据权利要求15所述的方法，其中将图像划分为多个分区还包括将图像划分成使得多个分区中的每一个分区具有与其相关联的一个led。17.根据权利要求14所述的方法，还包括使用多个分区之一中的像素的亮度数据来做出照明决策，并且当在多个分区之一内存在具有亮度的至少一个像素时，确定所述照明决策为是。18.根据权利要求17所述的方法，还包括当所述照明决策为是时，照明与多个分区之一相关联的至少一个led。19.根据权利要求14所述的方法，还包括将编译后的数据集转换为yuv图像格式。20.根据权利要求1所述的方法，其中将图像划分为多个分区并做出所述照明决策是利用第一处理器，并且执行图像分析算法是利用第二处理器。

技术总结
一种向显示器提供全阵列局部调光的方法包括：用具有指令的处理器执行图像处理算法，所述指令用于：针对图像的多个像素中的每一个确定新的像素值；针对多个像素中的每一个将新的像素值映射到先前的像素值；双线性地缩放分区的图像；重复所述确定、映射和缩放，直到达到近似值；将重复的结果编译成数据集。该方法还包括：将显示器的图像划分为具有多个分区，每个分区具有与其相关联的至少一个LED；以及根据所述数据集做出照明决策，其中所述照明决策针对与多个分区之一相关联的至少一个LED。针对与多个分区之一相关联的至少一个LED。针对与多个分区之一相关联的至少一个LED。


技术研发人员：D
受保护的技术使用者：大陆汽车系统公司
技术研发日：2022.02.03
技术公布日：2023/10/7