高动态范围图像拍照方法、装置及存储介质与流程

1.本公开涉及终端技术领域，尤其涉及一种高动态范围图像拍照方法、装置及存储介质。


背景技术：

2.随着智能终端技术的发展，智能终端的附带功能也日趋丰富与强大，越来越多的智能终端都内置有摄像头，并且支持高清拍照功能。目前，高动态范围图像(high dynamic range imaging，hdr)是相对普通图像而言，可以提供更多亮暗图像细节，能够更好的反映真实环境中的视觉效果的图像数据。高动态范围图像由多帧不同曝光时间的普通图像合成，利用每个曝光时间相对应的最佳细节来合成。
3.但是，通过多次曝光产生多帧图像后再合成获得的hdr图像，还是无法将图像的亮暗细节呈现清晰。例如，在办公室环境下，特别是窗外、桌下、以及办公桌上的显示器等处在亮暗交界位置上的物品，这些物品的细节还是无法在拍摄的图像中清晰的展现出来。


技术实现要素：

4.为克服相关技术中存在的问题，本公开提供一种高动态范围图像拍照方法、装置及存储介质。
5.根据本公开实施例的第一方面，提供一种高动态范围图像拍照方法，应用于图像采集设备，包括：
6.在所述终端的相机进行图像拍摄时，识别待拍摄图像，并将所述待拍摄图像划分为多个图像块区，其中，所述多个图像块区中的同一图像块区对应同一景深范围，不同图像块区对应不同的景深范围；分别确定所述多个图像块区中的对焦主体，并以所述对焦主体对所述多个图像块区分别进行对焦，以获取所述多个图像块区中对应的参考图像帧；针对所述多个图像块区中的每一图像块区，在获取的参考图像帧中采集用于合成高动态范围图像的图像数据帧，将采集的图像数据帧合成为图像块区的高动态范围图像，并将多个图像块区的高动态范围图像合成为所述待拍摄图像的高动态范围图像。
7.一种实施方式中，所述终端包括第一摄像头；所述识别待拍摄图像，并将所述待拍摄图像划分为多个图像块区，包括：
8.通过所述第一摄像头对待拍摄图像进行对象识别，并识别所述待拍摄图像中包括的对象个数以及对象类型；
9.根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区。
10.一种实施方式中，所述终端还包括第二摄像头；所述根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区，包括：
11.若所述对象个数和所述对象类型满足触发第二摄像头的条件，则在所述相机被触发拍照时，触发所述第二摄像头获取所述待拍摄图像的景深数据，并基于所述景深数据，将所述待拍摄图像划分为多个图像块区；
12.所述对象个数和所述对象类型满足触发第二摄像头的条件包括：
13.所述第一摄像头识别到多个对象，所述多个对象具有不同对象类型，且所述多个对象相对所述相机所在平面不在同一平面；所述第一摄像头识别到单个对象，且所述单个对象不具有相同景深；所述第一摄像头识别到多个对象，所述多个对象具有相同对象类型，所述多个对象正对所述相机或相对所述相机所在平面处于同一平面，且所述多个对象不具有相同景深。
14.一种实施方式中，所述根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区，包括：
15.若所述第一摄像头识别到单个对象，所述单个对象具有相同景深，或识别到具有相同对象类型的多个对象，所述多个对象正对所述相机或相对所述相机所在平面处于同一平面，且所述多个对象具有相同景深，则将所述待拍摄图像平均划分为多个图像块区。
16.一种实施方式中，所述基于所述景深数据，将所述待拍摄图像划分为多个图像块区，包括：
17.按照预设的景深范围区间，将所述待拍摄图像划分为分属于不同景深范围区间的多个分区；针对所述多个分区中的每一分区，识别所述分区中包括的对象，将识别到对象的区域作为单独的图像块区，并将未识别到对象的区域作为单独的图像块区。
18.一种实施方式中，所述方法还包括：
19.若识别到对象的区域满足图像区块划分条件，则将满足图像区块划分条件且未识别到对象的图像区块划分为多个图像块区；所述图像区块划分条件包括图像区块在所述待拍摄图像中所占的区域比例大于阈值。
20.根据本公开实施例的第二方面，提供一种高动态范围图像拍照装置，应用于图像采集设备，包括：
21.划分单元，用于在终端的相机进行图像拍摄时，识别待拍摄图像，并将所述待拍摄图像划分为多个图像块区，其中，所述多个图像块区中的同一图像块区对应同一景深范围，不同图像块区对应不同的景深范围；获取单元，用于分别确定所述多个图像块区中的对焦主体，并以所述对焦主体对所述多个图像块区分别进行对焦，以获取所述多个图像块区中对应的参考图像帧；合成单元，用于针对所述多个图像块区中的每一图像块区，在获取的参考图像帧中采集用于合成高动态范围图像的图像数据帧，将采集的图像数据帧合成为图像块区的高动态范围图像，并将多个图像块区的高动态范围图像合成为所述待拍摄图像的高动态范围图像。
22.一种实施方式中，所述终端包括第一摄像头；所述划分单元采用如下方式识别所述待拍摄图像，并将所述待拍摄图像划分为多个图像块区：
23.通过所述第一摄像头对待拍摄图像进行对象识别，并识别所述待拍摄图像中包括的对象个数以及对象类型；根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区。
24.一种实施方式中，所述终端还包括第二摄像头；所述划分单元采用如下方式根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区：
25.若所述对象个数和所述对象类型满足触发第二摄像头的条件，则在所述相机被触发拍照时，触发所述第二摄像头获取所述待拍摄图像的景深数据，并基于所述景深数据，将
所述待拍摄图像划分为多个图像块区；所述对象个数和所述对象类型满足触发第二摄像头的条件：所述第一摄像头识别到多个对象，所述多个对象具有不同对象类型，且所述多个对象相对所述相机所在平面不在同一平面；所述第一摄像头识别到单个对象，且所述单个对象不具有相同景深；所述第一摄像头识别到多个对象，所述多个对象具有相同对象类型，所述多个对象正对所述相机或相对所述相机所在平面处于同一平面，且所述多个对象不具有相同景深。
26.一种实施方式中，所述划分单元采用如下方式根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区：
27.若所述第一摄像头识别到单个对象，所述单个对象具有相同景深，或识别到具有相同对象类型的多个对象，所述多个对象正对所述相机或相对所述相机所在平面处于同一平面，且所述多个对象具有相同景深，则将所述待拍摄图像平均划分为多个图像块区。
28.一种实施方式中，所述划分单元采用如下方式基于所述景深数据，将所述待拍摄图像划分为多个图像块区：
29.按照预设的景深范围区间，将所述待拍摄图像划分为分属于不同景深范围区间的多个分区；针对所述多个分区中的每一分区，识别所述分区中包括的对象，将识别到对象的区域作为单独的图像块区，并将未识别到对象的区域作为单独的图像块区。
30.一种实施方式中，所述划分单元还用于：
31.若识别到对象的区域满足图像区块划分条件，则将满足图像区块划分条件且未识别到对象的图像区块划分为多个图像块区；所述图像区块划分条件包括图像区块在所述待拍摄图像中所占的区域比例大于阈值。
32.根据本公开实施例第三方面，提供一种高动态范围图像拍照装置，包括：
33.处理器；
34.用于存储处理器可执行指令的存储器；
35.其中，所述处理器被配置为：执行第一方面或者第一方面任意一种实施方式中所述的方法。
36.根据本公开实施例第四方面，提供一种计算机可读存储介质，所述存储介质中存储有指令，当所述存储介质中的指令由终端的处理器执行时，使得终端能够执行第一方面或者第一方面任意一种实施方式中所述的方法。
37.本公开的实施例提供的技术方案可以包括以下有益效果：在终端的相机进行图像拍摄时，根据不同景深数据范围将图像进行分区，从多个图像块区中获取对应的参考图像帧，将采集到的图像帧进行合成，并将多个图像块区的高动态范围图像合成一张完整的高动态范围图像，实现提高高动态范围图像中的细节的清晰度。
38.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
39.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理。
40.图1是根据一示例性实施例示出的一种高动态范围图像拍照方法的流程图。
41.图2是根据一示例性实施例示出的一种高动态范围图像拍照方法应用的结果图。
42.图3是根据一示例性实施例示出的一种高动态范围图像拍照方法的流程图。
43.图4是根据一示例性实施例示出的一种高动态范围图像拍照方法的流程图。
44.图5是根据一示例性实施例示出的一种高动态范围图像拍照方法的流程图。
45.图6是根据一示例性实施例示出的一种高动态范围图像拍照方法的流程图。
46.图7是根据一示例性实施例示出的一种高动态范围图像拍照装置的框图。
47.图8是根据一示例性实施例示出的一种用于高动态范围图像拍照的装置的框图。
具体实施方式
48.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。
49.本公开提供的高动态范围图像方法应用于终端进行拍照处理的场景。例如，本公开提供的高动态范围图像方法可以应用于进行高动态范围图像的拍照场景。
50.其中，高动态范围图像，也称hdr，hdr是high dynamic range的英文缩写。其中，高动态范围图像相比于普通的图像，可以提供更多的动态范围和图像细节，根据不同的曝光时间的低动态范围图像，利用每个曝光时间相对应的最佳细节的低动态范围图像来合成高动态范围图像，高动态范围图像能够真实的反映环境中的视觉效果。
51.图1是根据一示例性实施例示出的一种高动态范围图像拍照方法的流程图，如图1所示，高动态范围图像方法用于终端中，包括以下步骤。
52.在步骤s11中，在终端的相机进行图像拍摄时，识别待拍摄图像，并将待拍摄图像划分为多个图像块区。
53.其中，多个图像块区中的同一图像块区对应同一景深范围，不同图像块区对应不同的景深范围。
54.在步骤s12中，分别确定划分得到的多个图像块区中的对焦主体，并以对焦主体对多个图像块区分别进行对焦，以获取多个图像块区中对应的参考图像帧。
55.在步骤s13中，针对划分得到的多个图像块区中的每一图像块区，在获取的参考图像帧中采集用于合成高动态范围图像的图像数据帧，将采集的图像数据帧合成为图像块区的高动态范围图像，并将多个图像块区的高动态范围图像合成为待拍摄图像的高动态范围图像。
56.本公开中，景深，也称dof，dof是depth offield的英文简称。其中，dof是指在摄影机镜头或其他成像器前沿能够取得清晰图像的成像所测定的被摄物体前后距离范围。
57.本公开中可以预设多个景深范围，在终端的相机进行图像拍摄时，将待拍摄图像的景深数据与预设的景深范围进行匹配，以划分待拍摄图像。例如，待拍摄图像中多个图像块区中的同一图像块区对应同一景深范围，不同图像块区对应不同的景深范围。图2示出了本公开一示例性实施例中在办公室环境下图像分区与景深范围的对应关系。例如，图2中，依据景深数据对应的景深范围将图像划分成了5个图像分区，分别为分区1、分区2、分区3、分区4和分区5。
58.本公开中，可以通过终端的对焦系统，分别确定待拍摄图像中的多个图像块区中
的对焦主体，并以对焦主体对多个图像块区分别进行对焦，以获取多个图像块区中对应的参考图像帧。
59.本公开中，对焦系统对划分后的单个图像块区进行图像的亮度信息和图像细节的统计。若是检测到某一图像块区的统计信息与其他图像块区的统计信息有偏差，则这个图像块区中的对象会被认定为对焦主体，并触发一次对焦。其中，待拍摄图像划分的图像块区中有多个对焦主体，对焦系统就会触发多次对焦，以保证终端的图像采集设备获取充足的图像细节。但是，图像块区中的对焦主体过多会导致用户的体验感下降。因此，特别是在图像的同一景深范围内，不能设置太多的对焦主体。
60.其中，本公开中对焦系统，确定待拍摄图像中的多个图像块区中的对焦主体的数量以及触发对焦系统的次数，可以基于待拍摄图像中的对象数量、对象类型以及待拍摄图像的景深数据进行确定。例如，若待拍摄图像中包含多个同类型对象，将多个同类型对象视为一个对象体，触发对焦系统对焦时，以多个同类型对象的中心区为主体进行一次对焦。若待拍摄图像中包含多个不同类型对象，根据不同的景深范围，则对焦系统会触发多次对焦。若是在同一个景深范围内，图像的亮度和图像的细节信息有差异，则对焦系统需要确定多个对焦主体，以备获取多个图像帧的数据，以下称为参考图像帧。
61.进一步的，本公开中，针对每一图像块区，在获取的参考图像帧中，采集用于合成高动态范围图像的图像数据帧。针对每一图像块区，将采集的图像数据帧合成为该图像块区的高动态范围图像。将多个图像块区的高动态范围图像，合成为待拍摄图像的高动态范围图像。
62.本公开中，终端的相机可以是包括双目摄像头的相机。在终端的相机进行图像拍摄时可以通过其中的一个摄像头获取并识别图像数据，另一个摄像头获取图像的景深数据。
63.本公开中为描述方便，在终端的相机进行图像拍摄时，将获取图像数据并识别图像数据的摄像头称为第一摄像头，将获取图像景深数据的摄像头称为第二摄像头。
64.图3是根据一示例性实施例示出的一种图像对象识别得到的对象个数及类型的流程图，如图3所示，高动态范围图像拍照方法用于终端中，包括以下步骤。
65.在步骤s21中，通过终端相机中的第一摄像头对待拍摄图像进行对象识别，并识别待拍摄图像中包括的对象个数以及对象类型。
66.在步骤s22中，根据待拍摄图像中的对象个数和对象类型，将待拍摄图像划分为多个图像块区。
67.本公开中，终端相机中的第一摄像头通过图像识别算法，识别出图亮度差异大、图像细节差异大(图像细节表现在图像的亮处和暗处)的图像块信息。在第一摄像头图像识别的过程中，会根据场景、环境、对象等多种因素识别到图像块中不同数据的对象或不同类型的对象。根据识别到图像块中对象个数的不同以及对象类型的不同，确定是否触发终端相机中的第二摄像头以及触发对焦系统的次数。
68.其中，本公开中，第一摄像头识别图像得到的对象个数可以是单个对象或多个对象。识别的对象类型包括：是否具有相同景深，是否相对相机所在平面在同一平面。其中，判断图像中对象是否相对相机所在平面在同一平面，可以通过单个对象在画面中占用像素的个数是否相近或像素的个数是否在一定范围内，来进行判断。例如，像素的个数在一定范围
内，则可以确定对象相对相机所在平面在同一平面，否则相对相机所在平面不在同一平面。
69.本公开一示例中，可以预设满足触发第二摄像头的条件，该条件与对象个数和对象类型有关。
70.一示例中，本公开实施例中，对象个数和所述对象类型满足触发第二摄像头的条件可以包括如下：
71.a：第一摄像头识别到多个对象，多个对象具有不同对象类型，且多个对象相对相机所在平面不在同一平面；
72.b：第一摄像头识别到单个对象，且单个对象不具有相同景深；
73.c：第一摄像头识别到多个对象，多个对象具有相同对象类型，多个对象正对相机或相对相机所在平面处于同一平面，且多个对象不具有相同景深。
74.图4是根据一示例性实施例示出的一种基于第一摄像头，触发第二摄像头的流程图，如图4所示，高动态范围图像拍照方法用于终端中，包括以下步骤。
75.在步骤s31中，终端相机中的第一摄像头识别到的对象个数和对象类型，以及触发第二摄像头的条件。
76.在步骤s32中，若终端相机中的第一摄像头识别到的对象个数和对象类型满足触发第二摄像头的条件，则在相机被触发拍照时，触发第二摄像头获取待拍摄图像的景深数据。
77.在步骤s33中，基于景深数据，将待拍摄图像划分为多个图像块区。
78.本公开一种实施方式中，通过第一摄像头的图像识别，若识别得到的对象数量以及对象类型是只有一个对象或者正对相机平面的多个同类型相连或相近对象，则检测是否是预先设定好的对象。若图像中的对象是预先设定好的对象，则判断识别到的对象的景深数据是否是预先设定好的对象的景深数据。比如预先设定的对象可以包括：电脑显示器、液晶显示屏、液晶电视等平面的光源体。当图像中的对象是预先设定好的对象且图像中的对象的景深数据也是预先设定好的对象的景深数据时，相机不触发第二摄像头。若图像中的对象是预先设定好的对象，但和预先设定好的对象的景深数据不同，比如接续上述预先设定的对象的示例，图像中的对象是：透明玻璃墙、窗户等，则相机会触发第二摄像头。若识别得到的对象数量以及对象类型是多个同类型且正对或平行相机平面的对象，比如：多朵花、多个正对相机正准备留影的人、多个挨着放在一起的主机等，这种情况下，相机会触发第二摄像头。若图像中的对象是多个对象相对相机平面但不在同一平面，且又不是同类型的对象，这种情况下，相机会触发第二摄像头，根据第二摄像头获取的图像景深数据，识别出不同景深范围内的图像块。如图2所示，图2中呈现出1-12个图像块区。
79.进一步的，本公开中根据待拍摄图像中的对象个数以及对象类型，将待拍摄图像划分为多个图像块区。若终端相机中的第一摄像头设备识别到单个对象或多个同类型正对面或平行相机的对象，则图像采集设备采用平均划分方式，将图像平均划分成每一个图像块区。若终端相机中的第一摄像头设备识别到多个不同类型的对象，则触发终端相机中的第二摄像头，根据第二摄像头获取的景深数据进行划分统计图像块区。
80.本公开实施例中基于景深数据进行图像块区的划分。
81.本公开一示例性实施方式中，若终端相机中的第一摄像头识别到单个对象，单个对象具有相同景深，或识别到具有相同对象类型的多个对象，多个对象正对相机或相对相
机所在平面处于同一平面，且多个对象具有相同景深，则将待拍摄图像平均划分为多个图像块区。
82.本公开实施例中若识别到多个不同类型的对象，则可以基于景深数据对图像块区进行精准的划分。
83.图5是根据一示例性实施例示出的一种基于景深数据，将待拍摄图像划分为多个图像块区的方法流程图，如图5所示，高动态范围图像拍照方法用于终端中，包括以下步骤。
84.在步骤s41中，按照预设的景深范围区间，将待拍摄图像划分为分属于不同景深范围区间的多个分区。
85.在步骤s42中，针对待拍摄图像中多个分区中的每一分区，识别分区中包括的对象，将识别到对象的区域作为单独的图像块区，并将未识别到对象的区域作为单独的图像块区。
86.如图2所示，图2中分区1至分区5体现出按照预设的景深范围区间，将待拍摄图像划分为分属于不同景深范围区间的多个分区。图2中图像块区1至图像块区12体现出针对待拍摄图像中多个分区中的每一分区，识别分区中包括的对象，将识别到对象的区域作为单独的图像块区，并将未识别到对象的区域作为单独的图像块区。
87.进一步的，本公开实施例中针对图像中未识别的图像区域，也可以进一步的进行图像块区的划分。
88.图6是根据一示例性实施例示出的一种的流程图，如图7所示，高动态范围图像拍照方法用于终端中，包括以下步骤。
89.在步骤s51中，确定未识别到对象的图像区块。
90.在步骤s52中，若未识别到对象的区域满足图像区块划分条件，则将满足图像区块划分条件且未识别到对象的图像区块划分为多个图像块区。
91.其中，图像区块划分条件包括图像区块在待拍摄图像中所占的区域比例大于阈值。
92.本公开一种实施方式中，在同一景深范围内未识别的图像区域中，将整个未识别的图像区域作为一个单独的图像块。如图2所示，图2中分区4中除图块11外剩下的部分以及分区5中除图块9外剩下的部分。若该图像块超过占整个图像帧预先设定的一定比列的预设值，需要将该单独快再进行划分，例如，根据64*64个像素点的大小进行分块，以保证对数据统计的准确性。再例如，在不同景深范围内未识别的图像区域中，若是未被识别的图像区域内景深范围跨度大，则根据预设好的景深范围进行分块。
93.本公开中，在终端相机拍摄图像的过程中，相机中的第一摄像头分别识别出图像中的对象个数以及对象类型和图像块，其中，对象是相同于预先设定好的对象，图像块是不同于预先设定好的对象的块区。基于第一摄像头得到的结果和预先设定好的对象以及预先设定好的对象的景深范围对待拍摄图像进行划分。根据划分好的图像块区，通过对焦系统进行光学对焦，此时对焦系统的镜头会随着马达在驱动程序下移动镜头，获得清晰的图像。在获取图像数据之前，若是第二摄像头获取的图像的景深数据与图像轮廓的景深数据差异大且图像细节不足的块区，说明图像块区曝光过度或曝光不足，此时需要启动第一摄像头抓取曝光不足、曝光过度、曝光正常的3帧图像外，第二摄像头还会抓取曝光不足、曝光过度、曝光正常的3帧图像，如图2中图像块区12所示。若是检测到图像块区轮廓和图像块区中
间区的景深数据在一定预先设定的景深范围内，说明图像块区在同一景深范围内，此时只需要抓取曝光不足、曝光过度、曝光正常的3帧图像，不需要启动第二摄像头抓取图像数据，此时第二摄像头用于检测、识别图像数据，如图2中图像块区2、图像块区3、图像块区4、图像块区5等所示。其中，为了加快对焦速度，快速获取图像数据，可以通过调度cpu资源或通过并行化处理等操作。进一步的，为了防止抓取图像数据时抖动，可以采用硬件防抖辅助的方式，比如：光学防抖(optical image stabilization，ois)，增加获取图形数据的稳定性。在每个图像块区都会获取曝光不足、曝光过度、曝光正常的3帧图像后，将曝光正常帧作为参考帧，将该块区的3帧图像特征对齐，经过去鬼影处理后，将3张图片进行合成。再将每个块区合成的所有图像一起再进行特征对齐和去鬼影操作后，合成一张最终的图像，得到一张覆盖不同对焦区或精神的细节区的具有高动态范围的图像。利用这种高动态范围图像拍照方法，实现在不同景深数据范围内，改善因图像亮度和图像细节差异大而丢失图像细节的高动态范围图像缺陷。
94.基于相同的构思，本公开实施例还提供一种高动态范围图像拍照装置。
95.可以理解的是，本公开实施例提供的高动态范围图像拍照装置为了实现上述功能，其包含了执行各个功能相应的硬件结构和/或软件模块。结合本公开实施例中所公开的各示例的单元及算法步骤，本公开实施例能够以硬件或硬件和计算机软件的结合形式来实现。某个功能究竟以硬件还是计算机软件驱动硬件的方式来执行，取决于技术方案的特定应用和设计约束条件。本领域技术人员可以对每个特定的应用来使用不同的方法来实现所描述的功能，但是这种实现不应认为超出本公开实施例的技术方案的范围。
96.图7是根据一示例性实施例示出的一种高动态范围图像拍照装置框图。参照图7，该装置100包括划分单元101，获取单元102和合成单元103。
97.划分单元101，用于在终端的相机进行图像拍摄时，识别待拍摄图像，并将待拍摄图像划分为多个图像块区，其中，多个图像块区中的同一图像块区对应同一景深范围，不同图像块区对应不同的景深范围。获取单元102，用于分别确定多个图像块区中的对焦主体，并以对焦主体对多个图像块区分别进行对焦，以获取多个图像块区中对应的参考图像帧。合成单元103，用于针对所述多个图像块区中的每一图像块区，在获取的参考图像帧中采集用于合成高动态范围图像的图像数据帧，将采集的图像数据帧合成为图像块区的高动态范围图像，并将多个图像块区的高动态范围图像合成为待拍摄图像的高动态范围图像。
98.一种实施方式中，所述终端包括第一摄像头；所述划分单元采用如下方式识别所述待拍摄图像，并将所述待拍摄图像划分为多个图像块区：
99.通过所述第一摄像头对待拍摄图像进行对象识别，并识别所述待拍摄图像中包括的对象个数以及对象类型；根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区。
100.一种实施方式中，所述终端还包括第二摄像头；所述划分单元采用如下方式根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区：
101.若所述对象个数和所述对象类型满足触发第二摄像头的条件，则在所述相机被触发拍照时，触发所述第二摄像头获取所述待拍摄图像的景深数据，并基于所述景深数据，将所述待拍摄图像划分为多个图像块区；所述对象个数和所述对象类型满足触发第二摄像头的条件：所述第一摄像头识别到多个对象，所述多个对象具有不同对象类型，且所述多个对
象相对所述相机所在平面不在同一平面；所述第一摄像头识别到单个对象，且所述单个对象不具有相同景深；所述第一摄像头识别到多个对象，所述多个对象具有相同对象类型，所述多个对象正对所述相机或相对所述相机所在平面处于同一平面，且所述多个对象不具有相同景深。
102.一种实施方式中，所述划分单元根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区：
103.若所述第一摄像头识别到单个对象，所述单个对象具有相同景深，或识别到具有相同对象类型的多个对象，所述多个对象正对所述相机或相对所述相机所在平面处于同一平面，且所述多个对象具有相同景深，则将所述待拍摄图像平均划分为多个图像块区。
104.一种实施方式中，所述划分单元基于所述景深数据，将所述待拍摄图像划分为多个图像块区：
105.按照预设的景深范围区间，将所述待拍摄图像划分为分属于不同景深范围区间的多个分区；针对所述多个分区中的每一分区，识别所述分区中包括的对象，将识别到对象的区域作为单独的图像块区，并将未识别到对象的区域作为单独的图像块区。
106.一种实施方式中，所述装置还用于：
107.若识别到对象的区域满足图像区块划分条件，则将满足图像区块划分条件且未识别到对象的图像区块划分为多个图像块区；所述图像区块划分条件包括图像区块在所述待拍摄图像中所占的区域比例大于阈值。
108.关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
109.图8是根据一示例性实施例示出的一种用于应用控制的装置的框图。例如，装置200可以被提供为上述实施例涉及的终端。例如，可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
110.参照图8，装置200可以包括以下一个或多个组件：处理组件202，存储器204，电力组件206，多媒体组件208，音频组件210，输入/输出(i/o)接口212，传感器组件214，以及通信组件216。
111.处理组件202通常控制装置200的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件202可以包括一个或多个处理器220来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件202可以包括一个或多个模块，便于处理组件202和其他组件之间的交互。例如，处理组件202可以包括多媒体模块，以方便多媒体组件208和处理组件202之间的交互。
112.存储器204被配置为存储各种类型的数据以支持在装置200的操作。这些数据的示例包括用于在装置200上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器204可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
113.电力组件206为装置200的各种组件提供电力。电力组件206可以包括电源管理系统，一个或多个电源，及其他与为装置200生成、管理和分配电力相关联的组件。
114.多媒体组件208包括在所述装置200和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。所述触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与所述触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件208包括一个前置摄像头和/或后置摄像头。当装置200处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
115.音频组件210被配置为输出和/或输入音频信号。例如，音频组件210包括一个麦克风(mic)，当装置200处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器204或经由通信组件216发送。在一些实施例中，音频组件210还包括一个扬声器，用于输出音频信号。
116.i/o接口212为处理组件202和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
117.传感器组件214包括一个或多个传感器，用于为装置200提供各个方面的状态评估。例如，传感器组件214可以检测到装置200的打开/关闭状态，组件的相对定位，例如所述组件为装置200的显示器和小键盘，传感器组件214还可以检测装置200或装置200一个组件的位置改变，用户与装置200接触的存在或不存在，装置200方位或加速/减速和装置200的温度变化。传感器组件214可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件214还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件214还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
118.通信组件216被配置为便于装置200和其他设备之间有线或无线方式的通信。装置200可以接入基于通信标准的无线网络，如wifi，4g或5g，或它们的组合。在一个示例性实施例中，通信组件216经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，所述通信组件216还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
119.在示例性实施例中，装置200可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
120.在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器204，上述指令可由装置200的处理器220执行以完成上述方法。例如，所述非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
121.进一步可以理解的是，本公开实施例中尽管在附图中以特定的顺序描述操作，但是不应将其理解为要求按照所示的特定顺序或是串行顺序来执行这些操作，或是要求执行全部所示的操作以得到期望的结果。在特定环境中，多任务和并行处理可能是有利的。
122.本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本技术旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。
123.应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利范围来限制。

技术特征：
1.一种高动态范围图像拍照方法，其特征在于，应用于终端，包括：在所述终端的相机进行图像拍摄时，识别待拍摄图像，并将所述待拍摄图像划分为多个图像块区，其中，所述多个图像块区中的同一图像块区对应同一景深范围，不同图像块区对应不同的景深范围；分别确定所述多个图像块区中的对焦主体，并以所述对焦主体对所述多个图像块区分别进行对焦，以获取所述多个图像块区中对应的参考图像帧；针对所述多个图像块区中的每一图像块区，在获取的参考图像帧中采集用于合成高动态范围图像的图像数据帧，将采集的图像数据帧合成为图像块区的高动态范围图像，并将多个图像块区的高动态范围图像合成为所述待拍摄图像的高动态范围图像。2.根据权利要求1所述的高动态范围图像拍照方法，其特征在于，所述终端包括第一摄像头；所述识别待拍摄图像，并将所述待拍摄图像划分为多个图像块区，包括：通过所述第一摄像头对待拍摄图像进行对象识别，并识别所述待拍摄图像中包括的对象个数以及对象类型；根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区。3.根据权利要求2所述的高动态范围图像拍照方法，其特征在于，所述终端包括第二摄像头；所述根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区，包括：若所述对象个数和所述对象类型满足触发第二摄像头的条件，则在所述相机被触发拍照时，触发所述第二摄像头获取所述待拍摄图像的景深数据，并基于所述景深数据，将所述待拍摄图像划分为多个图像块区；所述对象个数和所述对象类型满足触发第二摄像头的条件包括：所述第一摄像头识别到多个对象，所述多个对象具有不同对象类型，且所述多个对象相对所述相机所在平面不在同一平面；所述第一摄像头识别到单个对象，且所述单个对象不具有相同景深；所述第一摄像头识别到多个对象，所述多个对象具有相同对象类型，所述多个对象正对所述相机或相对所述相机所在平面处于同一平面，且所述多个对象不具有相同景深。4.根据权利要求2所述的高动态范围图像拍照方法，其特征在于，所述根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区，包括：若所述第一摄像头识别到单个对象，所述单个对象具有相同景深，或识别到具有相同对象类型的多个对象，所述多个对象正对所述相机或相对所述相机所在平面处于同一平面，且所述多个对象具有相同景深，则将所述待拍摄图像平均划分为多个图像块区。5.根据权利要求3所述的高动态范围图像拍照方法，其特征在于，所述基于所述景深数据，将所述待拍摄图像划分为多个图像块区，包括：按照预设的景深范围区间，将所述待拍摄图像划分为分属于不同景深范围区间的多个分区；针对所述多个分区中的每一分区，识别所述分区中包括的对象，将识别到对象的区域作为单独的图像块区，并将未识别到对象的区域作为单独的图像块区。
6.根据权利要求5所述的高动态范围图像拍照方法，其特征在于，所述方法还包括：若识别到对象的区域满足图像区块划分条件，则将满足图像区块划分条件且未识别到对象的图像区块划分为多个图像块区；所述图像区块划分条件包括图像区块在所述待拍摄图像中所占的区域比例大于阈值。7.一种高动态范围图像拍照装置，其特征在于，包括：划分单元，用于在终端的相机进行图像拍摄时，识别待拍摄图像，并将所述待拍摄图像划分为多个图像块区，其中，所述多个图像块区中的同一图像块区对应同一景深范围，不同图像块区对应不同的景深范围；获取单元，用于分别确定所述多个图像块区中的对焦主体，并以所述对焦主体对所述多个图像块区分别进行对焦，以获取所述多个图像块区中对应的参考图像帧；合成单元，用于针对所述多个图像块区中的每一图像块区，在获取的参考图像帧中采集用于合成高动态范围图像的图像数据帧，将采集的图像数据帧合成为图像块区的高动态范围图像，并将多个图像块区的高动态范围图像合成为所述待拍摄图像的高动态范围图像。8.根据权利要求7所述的高动态范围图像拍照装置，其特征在于，所述终端包括第一摄像头；所述划分单元采用如下方式识别所述待拍摄图像，并将所述待拍摄图像划分为多个图像块区：通过所述第一摄像头对待拍摄图像进行对象识别，并识别所述待拍摄图像中包括的对象个数以及对象类型；根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区。9.根据权利要求8所述的高动态范围图像拍照装置，其特征在于，所述终端还包括第二摄像头；所述划分单元采用如下方式根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区：若所述对象个数和所述对象类型满足触发第二摄像头的条件，则在所述相机被触发拍照时，触发所述第二摄像头获取所述待拍摄图像的景深数据，并基于所述景深数据，将所述待拍摄图像划分为多个图像块区；所述对象个数和所述对象类型满足触发第二摄像头的条件包括：所述第一摄像头识别到多个对象，所述多个对象具有不同对象类型，且所述多个对象相对所述相机所在平面不在同一平面；所述第一摄像头识别到单个对象，且所述单个对象不具有相同景深；所述第一摄像头识别到多个对象，所述多个对象具有相同对象类型，所述多个对象正对所述相机或相对所述相机所在平面处于同一平面，且所述多个对象不具有相同景深。10.根据权利要求8所述的高动态范围图像拍照装置，其特征在于，所述划分单元采用如下方式根据所述对象个数和所述对象类型，将所述待拍摄图像划分为多个图像块区：若所述第一摄像头识别到单个对象，所述单个对象具有相同景深，或识别到具有相同对象类型的多个对象，所述多个对象正对所述相机或相对所述相机所在平面处于同一平面，且所述多个对象具有相同景深，则将所述待拍摄图像平均划分为多个图像块区。
11.根据权利要求9所述的高动态范围图像拍照装置，其特征在于，所述划分单元采用如下方式基于所述景深数据，将所述待拍摄图像划分为多个图像块区：按照预设的景深范围区间，将所述待拍摄图像划分为分属于不同景深范围区间的多个分区；针对所述多个分区中的每一分区，识别所述分区中包括的对象，将识别到对象的区域作为单独的图像块区，并将未识别到对象的区域作为单独的图像块区。12.根据权利要求11所述的高动态范围图像拍照装置，其特征在于，所述划分单元还用于：若识别到对象的区域满足图像区块划分条件，则将满足图像区块划分条件且未识别到对象的图像区块划分为多个图像块区；所述图像区块划分条件包括图像区块在所述待拍摄图像中所占的区域比例大于阈值。13.一种高动态范围图像拍照装置，其特征在于，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行权利要求1至6中任意一项所述的方法。14.一种计算机可读存储介质，其特征在于，所述存储介质中存储有指令，当所述存储介质中的指令由移动终端的处理器执行时，使得移动终端能够执行权利要求1至6中任意一项所述的方法。

技术总结
本公开是关于一种高动态范围图像拍照方法、装置及存储介质。高动态范围图像拍照方法，应用于终端，该方法包括：在终端的相机进行图像拍摄时，识别待拍摄图像，并将待拍摄图像划分为多个图像块区；分别确定多个图像块区中的对焦主体，并以对焦主体对多个图像块区分别进行对焦，以获取多个图像块区中对应的参考图像帧；针对多个图像块区中的每一图像块区，在获取的参考图像帧中采集用于合成高动态范围图像的图像数据帧，将采集的图像数据帧合成为图像块区的高动态范围图像，并将多个图像块区的高动态范围图像合成为待拍摄图像的高动态范围图像。通过本公开使得终端可以改善图像亮度和图像细节差异大而丢失图像细节的高动态范围的拍照缺陷。围的拍照缺陷。围的拍照缺陷。


技术研发人员：廖宽龙
受保护的技术使用者：北京小米移动软件有限公司
技术研发日：2022.02.10
技术公布日：2023/8/24