图像处理装置及方法与流程

1.本公开涉及图像处理装置和方法，更具体地，涉及能够更准确地判定图像的真实性的图像处理装置和方法。


背景技术：

2.传统上，已经提出了一种方法，其中在数字照相机等中将拍摄图像等转换为哈希值，并将使用哈希值的电子签名添加到拍摄图像中，以用于检测拍摄图像的伪造。然而，在这种方法中，不可能检测通过所谓的特技摄影等生成的虚假图像。
3.于是，考虑了基于指示成像时的焦距的信息与从拍摄图像获得的焦距之间的一致性来检测虚假图像的方法(例如，参见专利文献1)。此外，考虑了通过基于照相机的多点距离测量数据判定拍摄图像的被摄体是否为平面来检测虚假图像的方法(例如，参见专利文献2)。
4.引文列表
5.专利文献
6.专利文献1：wo 2020/246166 a
7.专利文献2：日本专利申请公开no.2002-198958


技术实现要素：

8.本发明要解决的问题
9.然而，在专利文献1中记载的方法中，只判定焦距的一致性，不能确认诸如被摄体的凹凸之类的一致性。另外，在专利文献2中记载的方法中，只判定被摄体是否为平面，不能确认诸如被摄体的凹凸之类的一致性。另外，不能保证拍摄图像的被摄体与距离测量数据的被摄体(距离测量目标)相同。于是，虚假图像的检测有可能变得不准确。
10.鉴于这种状况产生了本公开，本公开的目的是使得能够更准确地判定图像的真实性。
11.问题的解决方案
12.按照本技术的一个方面的图像处理装置是包括以下的图像处理装置：图像获取单元，所述图像获取单元通过拍摄来自被摄体的光学像来获取所述被摄体的图像；3d信息获取单元，所述3d信息获取单元在与所述图像相同的光轴上从所述光学像获取3d信息；和签名生成单元，所述签名生成单元生成所述图像和所述3d信息的签名。
13.按照本技术的一个方面的图像处理方法是包括以下的图像处理方法：通过拍摄来自被摄体的光学像来获取所述被摄体的图像；在与所述图像相同的光轴上从所述光学像获取3d信息；以及生成所述图像和所述3d信息的签名。
14.按照本技术的另一个方面的图像处理装置是包括图像确认处理单元的图像处理装置，所述图像确认处理单元通过将图像与在与所述图像相同的光轴上获取的3d信息进行比较来确认所述图像的真实性。
15.按照本技术的另一个方面的图像处理方法是包括通过将图像与在与所述图像相同的光轴上获取的3d信息进行比较来确认所述图像的真实性的图像处理方法。
16.在按照本技术的一个方面的图像处理装置和方法中，通过拍摄来自被摄体的光学像来获取被摄体的图像，在与该图像相同的光轴上从该光学像获取3d信息，并生成图像和3d信息的签名。
17.在按照本技术的另一个方面的图像处理装置和方法中，通过将图像与在相同光轴上获取的3d信息进行比较来确认图像的真实性。
附图说明
18.图1是图解说明图像处理系统的主要构成例子的框图。
19.图2是图解说明成像设备的主要构成例子的框图。
20.图3是图解说明传感器单元的主要构成例子的示图。
21.图4是图解说明服务器的主要构成例子的框图。
22.图5是图解说明设备公开密钥数据库的例子的示图。
23.图6是图解说明终端设备的主要构成例子的框图。
24.图7是图解说明密钥处理的流程的例子的流程图。
25.图8是用于说明显示图像的例子的示图。
26.图9是用于说明显示图像的例子的示图。
27.图10是用于说明存储在存储单元中的信息的例子的示图。
28.图11是用于说明显示图像的例子的示图。
29.图12是用于说明显示图像的例子的示图。
30.图13是用于说明显示图像的例子的示图。
31.图14是图解说明预览可靠性判定处理的流程的例子的流程图。
32.图15是用于说明预览图像和3d信息的例子的示图。
33.图16是图解说明成像处理的流程的例子的流程图。
34.图17是用于说明3d信息生成定时的时间图。
35.图18是用于说明拍摄图像和3d信息的例子的示图。
36.图19是用于说明图像文件的主要构成例子的示图。
37.图20是用于说明显示图像的例子的示图。
38.图21是图解说明成像处理的流程的例子的流程图。
39.图22是图解说明成像处理的流程的例子的流程图。
40.图23是图解说明成像处理的流程的例子的流程图。
41.图24是图解说明成像处理的流程的例子的流程图。
42.图25是图解说明成像处理的流程的例子的流程图。
43.图26是图解说明成像处理的流程的例子的流程图。
44.图27是图解说明确认处理的流程的例子的流程图。
45.图28是图解说明图像确认处理的流程的例子的流程图。
46.图29是图解说明比较结果显示处理的流程的例子的流程图。
47.图30是用于说明显示图像的例子的示图。
48.图31是图解说明图像确认处理的流程的例子的流程图。
49.图32是图解说明比较结果显示处理的流程的例子的流程图。
50.图33是用于说明显示图像的例子的示图。
51.图34是图解说明图像确认处理的流程的例子的流程图。
52.图35是图解说明比较结果显示处理的流程的例子的流程图。
53.图36是图解说明确认处理的流程的例子的流程图。
54.图37是图解说明确认处理的流程的例子的流程图。
55.图38是图解说明确认处理的流程的例子的流程图。
56.图39是图解说明确认处理的流程的例子的流程图。
57.图40是图解说明确认处理的流程的例子的流程图。
58.图41是图解说明确认处理的流程的例子的流程图。
59.图42是图解说明确认处理的流程的例子的流程图。
60.图43是用于说明图像文件的主要构成例子的示图。
61.图44是图解说明成像处理的流程的例子的流程图。
62.图45是图解说明确认处理的流程的例子的流程图。
63.图46是图解说明成像处理的流程的例子的流程图。
64.图47是用于说明修改后的图像和3d信息的例子的示图。
65.图48是图解说明计算机的主要构成例子的框图。
具体实施方式
66.在下文中，将说明用于实施本公开的模式(在下文中称为实施例)。注意，将按照以下顺序进行说明。
67.1.虚假图像的检测
68.2.使用3d信息的虚假图像的检测
69.3.缩减的图像签名
70.4.拍摄图像修改在3d信息上的反映
71.5.应用例
72.6.附录
73.《1.虚假图像的检测》
74.传统上，已经提出了一种方法，其中在数字照相机等中将拍摄图像等转换为哈希值，并将使用哈希值的电子签名添加到拍摄图像中，以用于检测拍摄图像的伪造。然而，在这种方法中，不可能检测通过所谓的特技摄影等生成的虚假图像。虚假图像是其中不存在的状况看起来实际存在的拍摄图像，即，看起来像通过拍摄真实状况而获得的拍摄图像的不存在的状况的拍摄图像。特技摄影指的是通过使用工具、设计摄影等来生成虚假图像的摄影技术。
75.于是，例如，如专利文献1中所述，考虑了基于指示成像时的焦距的信息与从拍摄图像获得的焦距之间的一致性来检测虚假图像的方法。此外，例如，如专利文献2中所述，考虑了通过基于照相机的多点距离测量数据判定拍摄图像的被摄体是否为平面来检测虚假图像的方法。
76.然而，在这些方法中，虚假图像的检测有可能变得不准确。例如，在专利文献1中记载的方法中，只判定焦距的一致性，不能确认被摄体的凹凸等的一致性。于是，例如，即使在通过拍摄面部照片等而生成的假装拍摄了该照片的被摄体的虚假图像的情况下，如果焦距与元数据匹配，则也难以通过专利文献1中记载的方法来检测该虚假图像。
77.另外，在专利文献2中记载的方法中，有可能在与拍摄图像不同的光轴上获得距离测量数据。于是，例如，可以容易地进行特技摄影，比如拍摄面部照片等，并检测到与面部照片的被摄体不同的人物的距离。于是，在通过上述特技摄影获得面部照片的拍摄图像(即，虚假图像)和具有凹凸的距离测量数据的情况下，难以通过专利文献2中记载的方法检测该虚假图像。
78.《2.使用3d信息的虚假图像的检测》
79.于是，在对被摄体成像从而生成图像的成像设备中，在与图像相同的光轴上获取3d信息，并生成该图像和3d信息的签名。
80.例如，图像处理装置包括通过拍摄来自被摄体的光学像，获取被摄体的图像的图像获取单元，在与图像相同的光轴上从光学像获取3d信息的3d信息获取单元，和生成所述图像和3d信息的签名的签名生成单元。
81.例如，在图像处理方法中，通过拍摄来自被摄体的光学像来获取被摄体的图像，在与图像相同的光轴上从光学像获取3d信息，并生成所述图像和3d信息的签名。
82.这里，由图像生成单元生成的图像是通过拍摄来自被摄体的光学像而获得的拍摄图像，即，通过图像生成单元接收来自被摄体的光并进行光电转换而获得的图像。该图像可以是raw图像或yuv图像。此外，该图像可以被编码为例如联合图像专家组(jpeg)图像。此外，该图像可以是静止图像或运动图像。
83.此外，由3d信息生成单元生成的3d信息(三维信息)可以是被摄体的距离相关信息。此外，3d信息可以是使用距离相关信息生成的信息。此外，3d信息可以是包括这两者的信息。即，3d信息的“获取”可以是从光学像中检测距离相关信息。此外，3d信息的“获取”可以是从光学像中检测距离相关信息，并从检测到的距离相关信息生成其他信息。
84.距离相关信息可以是从图像处理装置到被摄体的距离信息本身，比如深度图。此外，距离相关信息可以是为计算从图像处理装置到被摄体的距离信息所需的信息，比如相位差数据或飞行时间(tof)数据。此外，距离相关信息可以是视差图像的集合(例如，当通过在3d摆动全景模式下横向摇动成像设备拍摄时的图像的集合)。例如，如在日本专利申请公开no.2012-70154中所述，可以通过进行其中使成像设备横向摆动的摆动成像来生成视差图像。
85.另外，光轴指的是在光学系统中穿过通过整个系统的光束的中心的主光线。“在与图像相同的光轴上从光学像获取3d信息”意味着从其获得图像的光学像的光轴与从其获得3d信息的光学像的光轴相同。即，在这种情况下，图像处理装置例如从一个光学像获取图像和3d信息。此外，图像处理装置可以通过使用利用棱镜等的分光镜(半镜)将一个光学像分成两个光学像(相同的光学像)，从一个光学像获取图像，并从另一个光学像获取3d信息。
86.如上所述，由于用于获得图像的光学像的光轴与用于获得3d信息的光学像的光轴相同，因此对于包括在图像中的场景的范围(视角)内的被摄体，可以从与图像的情况相同的角度获得该被摄体的3d信息。即，“在与图像相同的光轴上从光学像获取3d信息”可以说
是指示获取对于图像的视角内的被摄体的来自与图像的情况相同的角度的3d信息。注意，从光学像获取的3d信息的范围是任意的。例如，3d信息的范围可以与图像的视角相同，或者可以是包括视角的一部分或全部的范围。例如，在图像的视角内的多个位置，可以获得来自与图像的情况相同的角度的3d信息。
87.判定图像的真实性的图像处理装置可以基于这种签名来检测图像和3d信息的伪造。换句话说，图像处理装置可以使用未被伪造的图像和3d信息来判定图像的真实性。另外，由于距离相关信息是在与图像相同的光轴上检测的，因此例如难以进行诸如拍摄面部照片等并检测到与该面部照片的被摄体不同的人物的距离的特技摄影。即，作为与通过拍摄面部照片而获得的虚假图像对应的3d信息，难以获得指示被摄体具有凹凸的3d信息。于是，判定该图像的真实性的图像处理装置能够更准确地检测(识别)虚假图像。即，该图像处理装置能够更准确地判定图像的真实性。
88.此外，在判定图像的真实性的成像设备中，使用在与该图像相同的光轴上获得的3d信息来判定该图像的真实性。
89.例如，图像处理装置包括图像确认处理单元，该图像确认处理单元将图像与在与该图像相同的光轴上获取的3d信息进行比较，以确认该图像的真实性。
90.例如，在图像处理方法中，通过将图像与在与该图像相同的光轴上获取的3d信息进行比较来确认该图像的真实性。
91.通过将在图像内的多个位置的距离相关信息(3d信息)与图像进行比较，图像处理装置可以比较被摄体的凹凸的状态。即，图像处理装置可以基于在图像和3d信息之间被摄体的凹凸的状态是否匹配来检测(识别)虚假图像。于是，图像处理装置可以比简单地判定焦距是否匹配的情况更准确地检测(识别)虚假图像。
92.此外，如上所述，由于距离相关信息是在与图像相同的光轴上检测的，因此难以进行特技摄影，并且例如，作为与通过拍摄面部照片而获得的虚假图像对应的3d信息，难以获得指示被摄体具有凹凸的3d信息。于是，图像处理装置可以更准确地检测(识别)虚假图像。
93.即，通过这样做，图像处理装置可以更准确地判定图像的真实性。
94.《2-1.系统构成》
95.接下来，将说明用于实现上述方法的构成。图1是图解说明本技术适用于的图像处理系统的构成的例子的示图。图1中图解所示的图像处理系统100是其中成像设备对被摄体成像从而生成图像，并将该图像登记到服务器的系统。如图1中图解所示，图像处理系统100包括成像设备111、服务器112和终端设备113。
96.成像设备111、服务器112和终端设备113经由网络110可通信地相互连接。网络110是充当各个设备之间的通信介质的通信网络。网络110可以是有线通信的通信网络，无线通信的通信网络，或者这两者。例如，它可以是有线局域网(lan)、无线lan、公共电话线路网络、诸如所谓的4g线路或5g线路之类用于无线移动体的广域通信网络、因特网等，或者它们的组合。此外，网络110可以是单个通信网络或者多个通信网络。此外，例如，网络110的一部分或全部可以由预定标准的通信电缆构成，比如通用串行总线(usb)(注册商标)电缆、高清多媒体接口(hdmi)(注册商标)电缆等。
97.在图1中，图解说明了一个成像设备111、一个服务器112和一个终端设备113，但是这些设备的数量是任意的。
98.成像设备111对被摄体成像并生成图像(拍摄图像)。此外，成像设备111在与图像相同的光轴上获取3d信息。此外，成像设备111生成至少包含图像和3d信息的信息的签名(电子签名)。例如，成像设备111通过使用对应于成像设备111的密钥信息(例如，设备秘密密钥)来生成签名。然后，成像设备111将所生成的图像、3d信息和签名发送(上传)到服务器112。
99.服务器112接收从成像设备111上传的信息，并进行与图像的真实性的确认相关的处理等。终端设备113是由确认图像的真实性的用户(审核者)操作的设备。图像的真实性可以由服务器112或者由终端设备113的用户确认。在服务器112进行确认图像的真实性的处理的情况下，服务器112通过使终端设备113显示确认结果，向终端设备113的用户呈现该确认结果。此外，在终端设备113的用户进行确认图像的真实性的工作的情况下，服务器112通过使终端设备113显示用于辅助该确认的信息，向终端设备113的用户呈现该信息。
100.《2-1-1.成像设备》
101.成像设备111例如包括具有成像功能和3d信息生成功能的信息处理终端设备，比如数字照相机、智能电话机、平板终端或笔记本型个人计算机。成像设备111可以包括一个设备(电子设备)，或者可以包括多个设备(电子设备)。例如，成像设备111可以包括数字照相机和智能电话机。在这种情况下，例如，数字照相机可以获取图像和3d信息，并且智能电话机可以生成签名，或者将图像和3d信息上传到服务器112。在以下的说明中，假设成像设备111包括一个设备(电子设备)。
102.图2是图解说明成像设备111的构成的例子的框图，成像设备111是本技术适用于的图像处理装置的一个方面。
103.注意，在图2中，图解说明了主要的处理单元、数据流等，图2中图解所示的并不一定是全部。即，在成像设备111中，可能存在未在图2中例示为块的处理单元，或者可能存在未在图2中例示为箭头等的处理或数据流。
104.如图2中图解所示，成像设备111包括控制单元121和成像处理单元122。控制单元121控制成像处理单元122中的各个处理单元。成像处理单元122由控制单元121控制，并进行与成像相关的处理。
105.成像处理单元122包括存储单元131、密钥处理单元132、上传单元133和记录单元134。
106.存储单元131例如包括诸如半导体存储器或硬盘之类的任意存储介质，并且将信息存储在存储介质中。例如，存储单元131预先存储对应于成像设备111的设备唯一id。设备唯一id是用于识别电子设备的对电子设备来说唯一的标识信息。即，存储单元131预先存储分配给成像设备111的id(用于识别成像设备111的id)。这里，“预先”指的是例如在出厂时等的成像设备111的初始状态或接近初始状态的状态。
107.密钥处理单元132进行与对应于电子设备的密钥信息相关的处理。例如，密钥处理单元132从存储单元131读取设备唯一id，并使用设备唯一id生成设备秘密密钥(它是对应于成像设备111的秘密密钥)和设备公开密钥(它是对应于成像设备111的公开密钥)。即，密钥处理单元132也可以说是密钥生成单元。设备秘密密钥和设备公开密钥也被称为成对密钥。另外，密钥处理单元132将成对的密钥提供给存储单元131，并使成对的密钥存储在存储介质中。此外，密钥处理单元132将设备公开密钥提供给上传单元133和/或记录单元134，并
且使设备公开密钥被提供给服务器112。注意，密钥处理单元132可以生成与服务器112共享的公用密钥，而不是成对密钥。在这种情况下，密钥处理单元132将生成的公用密钥提供给存储单元131，并使存储介质存储生成的公用密钥。另外，密钥处理单元132将公用密钥提供给上传单元133和/或记录单元134，并且使公用密钥被提供给服务器112。注意，密钥处理单元132可以在不使用设备唯一id的情况下生成密钥信息(成对密钥或公用密钥)。例如，密钥处理单元132可以使用随机数生成密钥信息。
108.上传单元133具有通信功能，并且能够经由网络110与其他设备通信。例如，上传单元133将从密钥处理单元132提供的密钥信息(设备公开密钥或公用密钥)发送(上传)到服务器112。即，上传单元133也可以说是向服务器112提供密钥信息的提供单元(发送单元)。
109.记录单元134包括驱动器，驱动器驱动诸如磁盘、光盘、磁光盘或半导体存储器之类的可移动记录介质，并进行写入和读取。记录单元134经由驱动器将信息记录在可移动记录介质上。例如，记录单元134将从密钥处理单元132提供的密钥信息(设备公开密钥或公用密钥)记录在可移动记录介质上。例如，可移动记录介质安装在另一个信息处理装置的驱动器中，记录的密钥信息被读取并发送到服务器112。即，在这种情况下，密钥信息经由可移动记录介质被提供给服务器112。于是，记录单元134也可以说是向服务器112提供密钥信息的提供单元。注意，记录单元134可以将信息记录在不可移动记录介质上。例如，记录单元134可以将从密钥处理单元132提供的密钥信息(设备公开密钥或公用密钥)记录在不可移动记录介质中。
110.此外，成像处理单元122包括光学系统141、图像传感器142、raw处理单元143、yuv处理单元144、缩减图像生成单元145、元数据添加单元146、哈希处理单元147、3d信息传感器148、3d信息处理单元149、签名生成单元150、图像文件生成单元151、签名控制单元153以及可靠性计算单元154。图像传感器142和3d信息传感器148也被统称为传感器单元161。
111.光学系统141例如包括诸如透镜、镜、滤光器和光圈之类的光学元件，对来自被摄体的光束具有预定影响，并将该光束引导到传感器单元161。即，来自被摄体的光束通过光学系统141进入传感器单元161。
112.图像传感器142拍摄来自被摄体的光学像，从而获取该被摄体的图像。即，图像传感器142也可以说是图像获取单元。例如，图像传感器142具有像素阵列，其中具有光电转换元件的像素被排列成矩阵。在像素阵列中，图像传感器142接收通过光学系统141入射的来自被摄体的光束，并对光束进行光电转换从而生成图像(raw图像)。图像传感器142将所生成的raw图像提供给raw处理单元143。
113.raw处理单元143获取从图像传感器142提供的raw图像，并对raw图像进行预定处理。该处理的内容是任意的。例如，该处理可以是对其未获得正常像素值的缺陷像素的校正或噪声去除处理。raw处理单元143将处理后的raw图像提供给yuv处理单元144。
114.yuv处理单元144获取从raw处理单元143提供的raw图像，将该raw图像转换为包括亮度分量和色差分量的图像(也称为亮度色差图像)。例如，yuv处理单元144对raw图像进行色彩分离处理(例如，在诸如拜尔排列之类的马赛克滤色镜的情况下的去马赛克处理)，并将获得的色彩分离后的rgb平面图像转换为亮度色差图像。此外，yuv处理单元144对色彩分离后的rgb平面图像或转换后的亮度色差图像进行白平衡校正。
115.亮度色差图像可以是包含亮度分量(y)和色差分量(u、v)的yuv图像，或者包含亮
度分量(y)和色差分量(cb、cr)的ycbcr图像。在下文中，作为亮度色差图像的例子，将说明yuv图像。yuv处理单元144将所获得的亮度色差图像(yuv图像)提供给缩减图像生成单元145。
116.缩减图像生成单元145获取从yuv处理单元144供给的yuv图像，并生成缩减图像。生成缩减图像的方法是任意的。例如，可以通过间除图像的一些像素值来生成缩减图像，或者可以通过组合每个预定部分区域的像素值以减小像素数来生成缩减图像。此外，例如，可以查看并创建原始图像的全部像素。在抽头数不足的情况下，缩减图像生成单元145可以多次重复抽头数的足够倍率的缩减，从而生成具有期望的缩减倍率的缩减图像。注意，相对于缩减图像的原始yuv图像也被称为“主图像”。缩减图像生成单元145将生成的缩减图像连同主图像(yuv图像)一起提供给元数据添加单元146。
117.元数据添加单元146获取从缩减图像生成单元145提供的主图像和缩减图像。元数据添加单元146生成元数据，并使该元数据与主图像关联。元数据的内容是任意的。例如，元数据可以包括由标准等定义的项目、由制造商设定的项目等。元数据添加单元146将生成的元数据连同主图像和缩减图像一起提供给哈希处理单元147。
118.哈希处理单元147获取从元数据添加单元146供给的主图像、缩减图像和元数据。此外，哈希处理单元147获取从3d信息处理单元149提供的3d信息。哈希处理单元147使用主图像、缩减图像、元数据和3d信息计算哈希值。哈希处理单元147将计算的哈希值连同主图像、缩减图像、元数据和3d信息一起提供给签名生成单元150。
119.注意，哈希处理单元147也可以由签名控制单元153控制和驱动。即，哈希处理单元147在签名控制单元153指令计算哈希值的情况下，可以如上所述计算哈希值，而在签名控制单元153没有指令计算哈希值的情况下，可以省略哈希值的计算。在省略哈希值的计算的情况下，哈希处理单元147将主图像、缩减图像、元数据和3d信息提供给签名生成单元150。
120.3d信息传感器148在与图像传感器142获得的图像相同的光轴上从被摄体的光学像获取3d信息。即，3d信息传感器148也可以说是3d信息获取单元。
121.这里，光轴指的是在光学系统中穿过通过整个系统的光束的中心的主光线。“在与图像相同的光轴上从被摄体的光学像获取3d信息”指示从其获得图像的光学像的光轴与从其获得3d信息的光学像的光轴相同。即，在这种情况下，入射到3d信息传感器148的来自被摄体的光学像和入射到图像传感器142的来自被摄体的光学像从相同的位置入射到成像设备111，以相同的路径通过光学系统141并入射到传感器单元161。于是，可以获得对于包括在图像中的场景的范围(视角)内的被摄体的来自与图像相同的角度的3d信息。为此，例如，假设图像传感器和距离测量传感器在不同的光轴上，难以只在距离测量传感器前面放置倾斜45度的镜，拍摄面部照片等，并在距离测量传感器中进行诸如检测到与面部照片的被摄体不同的人物的距离之类的特技摄影。即，raw图像的被摄体与3d信息所指示的被摄体相同的可能性很高。
122.此外，3d信息可以包括关于由图像传感器142获得的图像中的多个位置(即，来自被摄体的光学像的多个位置)的距离相关信息，或者基于该距离相关信息生成的信息。注意，“距离相关信息”可以是指示从成像设备111(3d信息传感器148)到被摄体的距离的信息，或者可以是用于导出该距离的信息。例如，距离相关信息可以包括深度图、相位差数据、tof数据、视差图像的集合等。
123.3d信息传感器148将所生成的3d信息提供给3d信息处理单元149。
124.注意，在图2中，图像传感器142和3d信息传感器148是作为分离的主体构成的，但是，图像传感器142和3d信息传感器148可以被一体化，或者图像传感器142也可以充当3d信息传感器148。
125.例如，在距离相关信息是tof数据的情况下，3d信息传感器148可以包括与图像传感器142分离并通过tof方法测量距离的tof传感器。此外，在距离相关信息是相位差数据的情况下，3d信息传感器148可以包括与图像传感器142分离并检测相位差数据的相位差传感器。如这些例子中所示，在图像传感器142和3d信息传感器148是作为分离的主体构成的情况下，通过使用利用棱镜等的分光镜(半反射镜)，可以将入射到传感器单元161的一个光学像(来自被摄体的光学像)分成两个光学像(相同的光学像)，其中一个光学像可以入射到图像传感器142，而另一个光学像可以入射到3d信息传感器148。即，在这种情况下，从分成的两个光学像中的一个光学像获取图像，并从另一个光学像获取3d信息。
126.此外，例如，在距离相关信息是相位差数据的情况下，如图3中图解所示，3d信息传感器148可以包括在图像传感器142的像素阵列的有效像素区域中形成的像面相位差检测像素171。像面相位差检测像素171是也可以用于相位差式聚焦(自动聚焦)功能的像素，并且可以检测相位差数据。即，在这种情况下，图像传感器142和3d信息传感器148一体地形成。然后，3d信息传感器148(像面相位差检测像素171)使用相位差方法获取3d信息(相位差数据)。注意，在图3中，只对一个像面相位差检测像素标注了附图标记，但是用黑色方框指示的所有像素都是像面相位差检测像素171。即，在本例的情况下，3d信息传感器148(像面相位差检测像素171)获取由图像传感器142获取的图像中的多个位置的相位数据。如本例中所示，在图像传感器142和3d信息传感器148是一体地构成的情况下，入射到传感器单元161的一个光学像(来自被摄体的光学像)入射到一体的图像传感器142和3d信息传感器148上。即，在这种情况下，从所述一个光学像获取图像和3d信息。
127.此外，在距离相关信息是通过3d摆动全景成像等生成的视差图像的集合的情况下，图像传感器142还充当3d信息传感器148。换句话说，在这种情况下，图像传感器142获取图像和3d信息，从而可以省略3d信息传感器148。即，在本例的情况下，图像和3d信息也是从一个光学像获取的。
128.在下文中，除非另有说明，否则将作为例子说明其中3d信息传感器148包括像面相位差检测像素171的情况。即，将作为例子说明其中3d信息传感器148检测相位差数据作为距离相关信息的情况。
129.3d信息处理单元149获取从3d信息传感器148提供的3d信息。3d信息处理单元149对3d信息进行预定处理。例如，3d信息处理单元149将获取的3d信息提供给哈希处理单元147。此外，在没有基于签名控制单元153的控制生成签名的情况下，3d信息处理单元149降低3d信息的分辨率，并将低分辨率的3d信息提供给哈希处理单元147。此外，在基于签名控制单元153的控制生成签名的情况下，3d信息处理单元149省略3d信息的分辨率降低，并将获取的3d信息提供给哈希处理单元147。即，3d信息处理单元149也可以说是3d信息分辨率设定单元。此外，3d信息处理单元149判定由所获取的3d信息指示的被摄体(距离测量目标)是否是平面，并将判定结果提供给签名控制单元153。即，3d信息处理单元149也可以说是平面判定单元。
130.签名生成单元150生成与在图像传感器142中获得的图像(主图像)和在3d信息传感器148获得的3d信息对应的签名(电子签名)。该签名只需要至少对应于主图像和3d信息，并且也可以对应于除主图像和3d信息以外的信息。换句话说，签名生成单元150生成至少包含主图像和3d信息的信息的签名。签名生成单元150可以使用与成像设备111对应的密钥信息来生成该签名。该密钥信息例如可以是对应于成像设备111的设备秘密密钥，或者与服务器112等共享的公用密钥(在签名侧和确认侧使用相同密钥的方法)。
131.例如，签名生成单元150获取从哈希处理单元147提供的主图像、缩减图像、元数据、3d信息和哈希值。此外，签名生成单元150获取存储在存储单元131中的与成像设备111对应的设备秘密密钥。然后，签名生成单元150通过使用该设备秘密密钥加密哈希值来生成签名。即，在本例的情况下，签名生成单元150生成主图像、3d信息、缩减图像和元数据的签名(电子签名)。签名生成单元150将生成的签名连同主图像、缩减图像、元数据和3d信息一起提供给图像文件生成单元151。
132.注意，可以使用除主图像(yuv图像)以外的图像来生成该签名(至少对应于主图像和3d信息的签名)。例如，代替主图像，可以使用通过在不影响由yuv处理单元144生成的yuv图像的特征的范围内缩减该yuv图像而获得的缩减图像(例如，具有显示尺寸的屏幕钉等)来生成该签名。在这种情况下，哈希处理单元147通过缩减主图像(yuv图像)生成屏幕钉，并获取该屏幕钉、缩减图像、元数据、3d信息和哈希值。然后，签名生成单元150通过使用设备秘密密钥加密哈希值来生成签名。该屏幕钉(缩减图像)的特征基本上等同于由yuv处理单元144生成的yuv图像。于是，可以说通过使用该屏幕钉(缩减图像)生成的签名对应于主图像。通过使用屏幕钉(缩减图像)，可以抑制哈希值和签名的数据量的增大。
133.此外，签名生成单元150可以由签名控制单元153控制和驱动。即，签名生成单元150可以在签名控制单元153指令签名的生成的情况下如上所述生成签名，而在签名控制单元153没有指令签名的生成的情况下省略签名的生成。在省略签名的生成的情况下，签名生成单元150将主图像、缩减图像、元数据和3d信息提供给图像文件生成单元151。
134.图像文件生成单元151获取从签名生成单元150提供的主图像、缩减图像、元数据、3d信息和签名。图像文件生成单元151对作为主图像的yuv图像进行压缩和编码，并将yuv图像转换为联合图像专家组(jpeg)图像。注意，该压缩编码方法是任意的。即，压缩和编码的主图像的文件格式是任意的，可以是jpeg以外的文件格式。图像文件生成单元151以预定格式生成图像文件，并将主图像(jpeg图像)、缩减图像、元数据、3d信息和签名存储在图像文件中。注意，可以省略yuv图像的压缩编码，可以将yuv图像存储在图像文件中。图像文件生成单元151将图像文件提供给上传单元133和/或记录单元134，并且使图像文件被提供给服务器112。
135.上传单元133获取从图像文件生成单元151提供的图像文件，并将该图像文件发送(上传)到服务器112。即，上传单元133也可以说是向服务器112提供图像文件的提供单元(发送单元)。
136.记录单元134获取从图像文件生成单元151提供的图像文件，并将该图像文件记录在可移动记录介质上。即，在这种情况下，图像文件经由可移动记录介质被提供给服务器112。于是，记录单元134也可以说是向服务器112提供图像文件的提供单元。注意，记录单元134可以将从图像文件生成单元151提供的图像文件记录在不可移动记录介质上。
137.签名控制单元153控制是否生成签名。例如，签名控制单元153基于以经由控制单元121输入的用户操作为基础的指令或来自应用等的指令，控制是否生成签名。此外，签名控制单元153基于关于由从3d信息处理单元149提供的3d信息指示的被摄体(距离测量目标)是否是平面的判定结果，控制是否生成签名。例如，签名控制单元153在判定3d信息所指示的被摄体(距离测量目标)是平面的情况下，进行控制以省略签名的生成，而在判定3d信息所指示的被摄体(距离测量目标)不是平面的情况下，进行控制以生成签名。签名控制单元153通过控制哈希处理单元147和签名生成单元150来控制是否生成签名。例如，在进行控制以便不生成签名的情况下，签名控制单元153使哈希处理单元147省略哈希值的计算，并使签名生成单元150省略签名的生成。此外，在进行控制以生成签名的情况下，签名控制单元153使哈希处理单元147计算哈希值，并使签名生成单元150生成签名。注意，在进行控制以便不生成签名的情况下，签名控制单元153可以使哈希处理单元147计算哈希值，并且使签名生成单元150省略签名的生成。此外，签名控制单元153还可以向3d信息处理单元149提供指示是否生成签名的控制信息。
138.可靠性计算单元154计算由3d信息传感器148生成的3d信息的可靠性。换句话说，可靠性计算单元154也可以说是生成3d信息的可靠性的可靠性生成单元。例如，可靠性计算单元154获取由图像传感器142生成的元数据和由3d信息传感器148生成的3d信息。然后，可靠性计算单元154将图像与3d信息进行比较，计算3d信息的可靠性(相对于图像的特征(凹凸)的3d信息(所指示的凹凸)的确定性)。注意，计算该可靠性的方法是任意的。例如，可以应用在wo 2019/073814a中说明的方法。计算的可靠性经由3d信息传感器148、3d信息处理单元149、哈希处理单元147和签名生成单元150被提供给图像文件生成单元151。然后，图像文件生成单元151将指示该可靠性的信息存储在图像文件中。
139.注意，代替压缩和编码的图像(例如jpeg图像)，可以将raw图像作为主图像存储在图像文件中。在这种情况下，raw图像从raw处理单元143经由yuv处理单元144、缩减图像生成单元145、元数据添加单元146、哈希处理单元147和签名生成单元150提供给图像文件生成单元151。图像文件生成单元151将这样提供的raw图像作为主图像存储在图像文件中。注意，在这种情况下，可以省略yuv处理单元144。另外，可以将raw图像以及压缩和编码的图像(例如，jpeg图像)两者作为主图像存储在图像文件中。在这种情况下，对于签名，可以使用raw图像，可以使用压缩和编码的图像(例如，jpeg图像)，或者可以使用raw图像以及压缩和编码的图像(例如，jpeg图像)两者。另外，在使用raw图像作为主图像的情况下，raw图像可以存储在与其他信息(3d信息、缩减图像、元数据、签名等)不同的文件中。在这种情况下，存储raw图像的文件和存储其他信息的文件存储使彼此关联的信息(例如，通用唯一标识符(uuid)等)。
140.另外，可以省略缩减图像在图像文件中的存储。在这种情况下，可以省略缩减图像生成单元145。另外，可以省略签名在图像文件中的存储。在这种情况下，可以省略签名生成单元150。
141.《2-1-2.服务器》
142.服务器112具有任意构成。例如，服务器112可以包括单个信息处理装置，或者可以包括多个信息处理装置。此外，服务器112可以被实现为由多个设备经由网络分享并协同处理的云计算(即，云服务器)。
143.图4是图解说明服务器112的构成的例子的框图，服务器112是本技术适用于的图像处理装置的一个方面。
144.注意，在图4中，图解说明了主要的处理单元、数据流等，图4中图解所示的不一定是全部。即，在服务器112中，可能存在未在图4中例示为块的处理单元，或者可能存在未在图4中例示为箭头等的处理或数据流。
145.如图4中图解所示，服务器112包括控制单元201、通信单元221、图像分析引擎222和设备公开密钥数据库223。控制单元201控制通信单元221、图像分析引擎222和设备公开密钥数据库223。
146.通信单元221具有通信功能，并且可以经由网络110与其他设备通信。例如，通信单元221与成像设备111通信，接收从成像设备111发送的密钥信息(设备公开密钥或公用密钥)和图像文件。此外，在信息处理装置从可移动记录介质读取由成像设备111生成的密钥信息和图像文件，并将密钥信息和图像文件发送给服务器112的情况下，通信单元221与信息处理装置通信，接收密钥信息和图像文件。然后，通信单元221将如在这些例子那样接收到的信息(例如，密钥信息或图像文件)提供给图像分析引擎222。此外，通信单元221将从图像分析引擎222提供的图像的真实性的确认结果、辅助图像的真实性的确认的信息等发送给终端设备113。
147.图像分析引擎222包括中央处理单元(cpu)、只读存储器(rom)、随机存取存储器(ram)等，并使用这些组件进行与图像分析相关的处理。图像分析引擎222包括设备公开密钥管理单元231、签名确认单元232、图像确认处理单元233、确认控制单元234、光轴判定单元235、可靠性判定单元236、可靠性计算单元237、快门速度判定单元238和显影处理单元239。
148.设备公开密钥管理单元231管理存储在设备公开密钥数据库223中的信息。例如，设备公开密钥管理单元231将从通信单元221提供的设备公开密钥登记在设备公开密钥数据库223中。另外，设备公开密钥管理单元231从设备公开密钥数据库223读取期望的设备公开密钥。另外，设备公开密钥管理单元231判定设备公开密钥是否有效。于是，设备公开密钥管理单元231也可以说是公开密钥判定单元。
149.注意，代替设备公开密钥，设备公开密钥管理单元231可以处理公用密钥(由成像设备111和服务器112共享的密钥信息)。在这种情况下，设备公开密钥管理单元231将从通信单元221提供的公用密钥登记在设备公开密钥数据库223中。另外，设备公开密钥管理单元231从设备公开密钥数据库223读取期望的公用密钥。当然，设备公开密钥管理单元231可以处理设备公开密钥和公用密钥两者。即，设备公开密钥管理单元231可以处理密钥信息(设备公开密钥和/或公用密钥)。
150.签名确认单元232进行与存储在从通信单元221提供的图像文件中的签名的验证相关的处理。该签名是存储在该图像文件中的至少包括主图像和3d信息的信息的签名。例如，签名确认单元232通过使用与作为图像和3d信息的供应源的另一个设备(例如，成像设备111)对应的密钥信息(设备公开密钥或公用密钥)来确认图像和3d信息的签名的有效性。
151.图像确认处理单元233进行与图像的真实性的确认相关的处理。例如，图像确认处理单元233将图像与在与该图像相同的光轴上检测的3d信息进行比较来确认该图像的真实性。此外，在签名确认单元232无法确认签名的有效性的情况下，图像确认处理单元233判定
该图像不存在真实性。
152.图像确认处理单元233包括图像验证单元241和支持处理单元242。图像验证单元241进行确认图像的真实性的处理，比如图像的验证。支持处理单元242进行用于确认图像的真实性的支持处理，比如向审核者的信息的呈现。
153.确认控制单元234进行与图像的真实性的确认相关的控制。例如，确认控制单元234控制图像确认处理单元233以控制是否确认图像的真实性。例如，确认控制单元234基于光轴判定单元235的判定结果、可靠性判定单元236的判定结果或快门速度判定单元238的判定结果等，控制是否确认图像的真实性。
154.光轴判定单元235判定3d信息是否是在与图像相同的光轴上获得的。例如，光轴判定单元235基于指示3d信息是在与图像相同的光轴上获取3d信息的信息进行该确定，该信息作为元数据存储在图像文件中。“指示3d信息在与图像相同的光轴上获得的信息”例如可以是指示图像和3d信息是否是在同一光轴上获取的标志信息，或者可以是其中必定在同一光轴上获取图像和3d信息的设备的设备名称、型号名称或标识信息等。
155.可靠性判定单元236基于指示3d信息的可靠性的可靠性信息，判定3d信息是否可靠，所述可靠性信息作为关于图像的元数据存储在存储图像和3d信息的图像文件中。
156.可靠性计算单元237基于存储在存储图像和3d信息的图像文件中的与图像相关的照相机参数，计算3d信息的可靠性。这些照相机参数可以是任何信息。例如，成像设备111的传感器单元161(图像传感器142或3d信息传感器148)的有效像素数、f值或焦距等可以包括在照相机参数中。另外，计算可靠性的方法是任意的。
157.快门速度判定单元238基于存储在存储图像及3d信息的图像文件中的关于图像的照相机参数，判定生成该图像时的成像的快门速度是否高于预定标准。
158.显影处理单元239进行将包含在图像文件中的raw图像转换为yuv图像的显影处理。
159.设备公开密钥数据库223包括诸如硬盘或半导体存储器之类的存储介质，并将诸如设备公开密钥之类的信息存储在存储介质中。图5是图解说明存储在设备公开密钥数据库223中的信息的例子的示图。例如，设备公开密钥数据库223彼此关联地存储诸如设备唯一id、设备公开密钥和无效日期之类的信息。无效日期指示使设备公开密钥无效的日期。注意，设备公开密钥数据库223可以存储公用密钥(成像设备111和服务器112共享的密钥信息)而不是设备公开密钥。当然，设备公开密钥数据库223可以存储设备公开密钥和公用密钥两者。即，设备公开密钥数据库223可以存储密钥信息(设备公开密钥和/或公用密钥)。
160.注意，在以下的说明中，除非另有说明，否则假设图像分析引擎222所处理的图像和3d信息是在同一光轴上检测到的。即，假设只有由成像设备111生成的图像文件被提供给服务器112。
161.《2-1-3.终端装置》
162.图6是图解说明终端设备113的构成的例子的框图，终端设备113是本技术适用于的图像处理装置的一个方面。
163.注意，在图6中，图解说明了主要的处理单元、数据流等，图6中图解所示的不一定是全部。即，在终端设备113中，可能存在未在图6中例示为块的处理单元，或者可能存在未在图6中例示为箭头等的处理或数据流。
164.如图6中图解所示，终端设备113包括cpu 301、rom 302、ram 303、总线304、输入/输出接口310、输入单元311、输出单元312、存储单元313、通信单元314和驱动器315。
165.cpu 301、rom 302和ram 303经由总线304相互连接。输入/输出接口310也连接到总线304。输入单元311、输出单元312、存储单元313、通信单元314和驱动器315连接到输入/输出接口310。
166.输入单元311例如包括键盘、鼠标、麦克风、触摸面板、输入端子等。输出单元312例如包括显示器、扬声器、输出端子等。存储单元313例如包括硬盘、ram盘、非易失性存储器等。通信单元314例如包括网络接口。驱动器315驱动可移动记录介质321，比如磁盘、光盘、磁光盘或半导体存储器。
167.例如，cpu 301将存储在rom 302或存储单元313中的程序载入ram 303中并执行该程序。ram 303还适当地存储为cpu 301执行各种处理所需的数据等。通过以这种方式执行程序，cpu 301例如进行诸如关于图像确认的信息的呈现之类的处理。
168.由计算机执行的程序可以记录在例如作为套装介质等的可移动记录介质321中，并提供给终端设备113。在这种情况下，从附接到驱动器315的可移动记录介质321读取程序，并经由输入/输出接口310安装在存储单元313中。
169.此外，该程序可以经由有线或无线传输介质，比如局域网、因特网或数字卫星广播提供给终端设备113。在这种情况下，程序由通信单元314接收并安装在存储单元313中。
170.另外，该程序可以预先安装在rom 302或存储单元313中。
171.《2-2.成像设备的处理》
172.《2-2-1.密钥处理》
173.接下来，将说明由成像设备111等执行的各个处理。首先，将参考图7的流程图说明其中成像设备111生成设备公开密钥，并将设备公开密钥上传到服务器112的密钥处理的流程的例子。
174.当密钥处理开始时，在步骤s101，成像设备111的密钥处理单元132读取存储在存储单元131中的设备唯一id，并使用该设备唯一id生成成对密钥(设备秘密密钥和设备公开密钥)。即，密钥处理单元132生成与成像设备111对应的设备秘密密钥和设备公开密钥。
175.如图8中图解所示，成像设备111包括诸如液晶显示器(lcd)或有机电致发光显示器(oeld)之类的显示设备401。此外，成像设备111包括诸如按钮或十字键之类的操作设备402。
176.例如，成像设备111的用户操作所述操作设备402以在显示设备401上显示如图8中图解所示的图形用户界面(gui)。图8的例子中的gui是用于选择要执行的处理的菜单屏幕。然后，当用户通过操作所述操作设备402移动光标等来选择“成对密钥创建”菜单时，执行步骤s101的处理并且如上所述生成成对密钥。然后，当生成成对密钥时，如图9中图解所示的gui被显示在显示设备401上。
177.在步骤s102，密钥处理单元132将在步骤s101中生成的成对密钥(设备秘密密钥和设备公开密钥)提供给存储单元131，从而使该成对密钥被存储。存储单元131存储从密钥处理单元132提供的成对密钥。
178.图10是图解说明存储在存储单元131中的信息的例子的示图。设备唯一id 411预先存储在存储单元131中，并且通过执行步骤s102的处理，进一步存储设备秘密密钥412和
设备公开密钥413。
179.在步骤s103，密钥处理单元132将在步骤s101中生成的设备公开密钥提供给上传单元133，并使设备公开密钥被发送(上传)到服务器112。上传单元133将从密钥处理单元132提供的设备公开密钥经由网络110上传给服务器112。即，设备公开密钥被提供给服务器112。
180.例如，在图9的例子中，当用户操作所述操作设备402并按下显示在显示设备401上的gui的ok按钮时，在显示设备401上显示如图11中图解所示的gui。即，在图8的例子中的菜单屏幕上，不能选择“成对密钥生成”。
181.然后，当用户通过操作所述操作设备402来移动光标等，如图12中图解所示选择“公开密钥输出”的菜单时，执行步骤s103的处理，从而如上所述上传设备公开密钥。然后，当上传设备公开密钥时，在显示设备401上显示如图13中图解所示的gui。
182.在步骤s111，服务器112的通信单元221接收上传的设备公开密钥。
183.在步骤s112，设备公开密钥管理单元231将在步骤s111接收的设备公开密钥登记在设备公开密钥数据库223中。此时，设备公开密钥管理单元231将设备公开密钥与作为设备公开密钥的供应源的成像设备111的设备唯一id关联地登记在设备公开密钥数据库223中。服务器112掌握作为设备公开密钥的供应源的成像设备111的设备唯一id。例如，服务器112在开始与成像设备111的会话时，从成像设备111获取设备唯一id。此外，可以与设备公开密钥关联地上传设备唯一id。另外，设备公开密钥管理单元231可以设定使设备公开密钥无效的无效日期，并将该无效日期与设备公开密钥关联地登记在设备公开密钥数据库223中。
184.当步骤s112的处理结束时，密钥处理结束。通过以这种方式执行各个处理，成像设备111可以生成与它自己对应的成对密钥，并将该成对密钥中的设备公开密钥上传到服务器112。结果，服务器112可以使用签名来检测图像和3d信息的伪造。于是，服务器112可以更准确地判定图像的真实性。
185.注意，在上面的说明中，设备公开密钥是通过通信从成像设备111上传到服务器112的，不过，在成像设备111中生成的设备公开密钥可以记录在可移动记录介质中，并经由可移动记录介质提供给服务器112。在该情况下，例如，在步骤s103，密钥处理单元132将所生成的设备公开密钥提供给记录单元134。记录单元134将设备公开密钥记录在可移动记录介质等中。例如，可移动记录介质安装在另一个信息处理装置的驱动器中，记录的密钥信息被读取并发送到服务器112。在步骤s111，服务器112的通信单元221接收发送的设备公开密钥。
186.此外，向服务器112提供设备公开密钥的定时是任意的。例如，设备公开密钥可以与图像同时(例如，存储在图像文件中)提供给服务器112。另外，设备公开密钥可以在图像文件之前提供给服务器112。此外，设备公开密钥可以在图像文件之后提供给服务器112。
187.此外，服务器112(设备公开密钥管理单元231)可以确认所提供的设备公开密钥的有效性。例如，成像设备111和服务器112具有公用密钥，成像设备111使用公用密钥加密设备公开密钥，并将加密的设备公开密钥提供给服务器112。然后，服务器112通过使用公用密钥解密经加密的设备公开密钥来验证该设备公开密钥的有效性。以这种方式，可以确认设备公开密钥的有效性。此外，成像设备111和服务器112具有公用密钥，成像设备111使用公
用密钥计算设备公开密钥的哈希值，并将该哈希值提供给服务器112。然后，服务器112通过使用公用密钥验证哈希值来验证设备公开密钥的有效性。以这种方式，可以确认设备公开密钥的有效性。此外，成像设备111使用作为与型号对应的秘密密钥的型号秘密密钥来生成设备公开密钥的签名，并将签名提供给服务器112。随后，服务器112通过使用作为与型号秘密密钥对应的公开密钥的型号公开密钥(即，对应于型号的公开密钥)验证签名来验证设备公开密钥的有效性。以这种方式，可以确认设备公开密钥的有效性。此外，成像设备111使用作为与服务器112对应的公开密钥的服务器公开密钥来加密设备公开密钥，并将加密的设备公开密钥提供给服务器112。然后，服务器112使用作为与服务器112对应的秘密密钥的服务器秘密密钥来解密经加密的设备公开密钥，从而验证设备公开密钥的有效性。以这种方式，可以确认设备公开密钥的有效性。此外，可信的人或机构可以在服务器112的设备公开密钥数据库223中登记设备公开密钥。
188.尽管作为例子，在上面说明了从成像设备111向服务器112提供设备公开密钥的情况，不过代替设备公开密钥可以提供公用密钥。另外，可以提供设备公开密钥和公用密钥。即，可以从成像设备111向服务器112提供密钥信息(设备公开密钥和/或公用密钥)。
189.《2-2-2.预览可靠性判定处理》
190.可以计算由3d信息传感器148获得的拍摄3d信息的可靠性，并作为预览屏幕显示在显示设备401上。拍摄3d信息是在以拍摄模式驱动图像传感器142的时段期间由3d信息传感器148获得的与拍摄图像对应的3d信息。拍摄模式是图像传感器142获取拍摄图像的操作模式。该拍摄3d信息是在与拍摄图像相同的光轴上获取的。
191.将参考图14的流程图，说明预览可靠性判定处理的流程的例子，预览可靠性判定处理是显示包含这样的拍摄3d信息的可靠性的预览屏幕的处理。
192.当预览可靠性判定处理开始时，在步骤s131，成像设备111的传感器单元161以拍摄模式被驱动，并以相同的光轴拍摄所述拍摄图像和拍摄3d信息。即，图像传感器142从来自被摄体的光学像获取拍摄图像。3d信息传感器148在与拍摄图像相同的光轴上从来自被摄体的光学像获取拍摄3d信息。
193.例如，在拍摄模式下，图像传感器142生成图15的拍摄图像421，3d信息传感器148生成图15的拍摄3d信息422。在拍摄3d信息422中，每个多边形指示距离相关信息(例如，相位数据、深度值等)。每个多边形指示角度的数量越小，该区域内的被摄体离成像设备111(3d信息传感器148)越远。换句话说，每个多边形指示角度的数量越大，该区域内的被摄体离成像设备111(3d信息传感器148)越近。拍摄3d信息422的分辨率是任意的，但是如果不考虑数据量，则可取的是分辨率更高(例如，与拍摄图像421相同的分辨率)。
194.由于拍摄图像421和拍摄3d信息422彼此对应，因此例如在如重叠图像423中那样重叠拍摄图像421和拍摄3d信息422的情况下，拍摄3d信息422所指示的凹凸的状态基本上与拍摄图像421的凹凸的状态(从拍摄图像421估计的凹凸的状态)匹配。然而，3d信息传感器148并不总是能够检测正确的距离相关信息。例如，可能存在取决于被摄体的构图、角度等而获得错误的距离相关信息的情况。在这样的情况下，在拍摄3d信息422与拍摄图像421之间凹凸的外观可能不匹配(或者匹配度降低)。在这样的状态下，对被摄体成像并生成图像(拍摄图像)和3d信息的情况下，类似于拍摄图像421和拍摄3d信息422的情况，在图像和3d信息之间凹凸的状态可能不匹配(或者匹配度降低)。然后，在使用其中凹凸的状态不匹
配(或者匹配度较低)的3d信息来确认图像的真实性的情况下，确认结果的准确性可能降低。
195.于是，成像设备111计算拍摄的3d信息的可靠性，并将该可靠性作为预览屏幕显示在显示设备401上。
196.即，在步骤s132，可靠性计算单元154分析在步骤s131拍摄的拍摄图像，并估计被摄体的凹凸的状态(也称为拍摄图像的凹凸的状态)。估计该拍摄图像的凹凸的状态的方法是任意的。例如，可靠性计算单元154可以获得拍摄图像的特征，并基于该特征估计拍摄图像的凹凸的状态。例如，可靠性计算单元154可以检测包含在拍摄图像中的面部、眼睛、鼻子、耳朵等，并估计检测到的各个部分的凹凸的状态。
197.然后，在步骤s133，可靠性计算单元154将在步骤s132估计的拍摄图像的凹凸的状态(分析结果)与拍摄的3d信息所指示的凹凸的状态(也称为拍摄3d信息的凹凸的状态)进行比较，并基于一致度计算3d信息的可靠性。计算该可靠性的方法是任意的。例如，可以应用wo 2019/073814a中记载的方法。
198.在步骤s134，控制单元121将通过步骤s133的处理获得的比较结果(在步骤s132估计的拍摄图像的凹凸的状态与3d信息的凹凸的状态之间的比较结果)包含在预览屏幕中，并使该结果显示在显示设备401上。该比较结果可以是任何信息。例如，控制单元121可以使计算的可靠性显示为数值或图像。此外，控制单元121可以将计算的可靠性与预定阈值进行比较，并使比较结果(例如，可靠性(与阈值相比)是高还是低等)显示为字符或图像。另外，可以将拍摄图像421和拍摄3d信息422包含在预览屏幕中并显示在显示设备401上。
199.当步骤s134的处理结束时，预览可靠性判定处理结束。
200.通过以这这种方式执行各个处理，成像设备111可以在预览屏幕上向用户呈现拍摄3d信息的可靠性。用户可以例如通过基于该信息校正成像设备111的位置和姿势等，在可靠性变得更高的状态下进行成像。于是，服务器112可以更准确地判定图像的真实性。
201.《2-2-3.成像处理》
202.接下来，将参考图16的流程图说明在成像设备111对被摄体进行成像时执行的成像处理的流程的例子。
203.当成像处理开始时，在步骤s151，成像设备111的传感器单元161在同一光轴上获取raw图像和3d信息。即，图像传感器142拍摄来自被摄体的光学像以获取该被摄体的raw图像。3d信息传感器148在与raw相同的光轴上从来自被摄体的光学像获取3d信息。3d信息传感器148获取在图像传感器142中开始主曝光的主曝光开始定时的3d信息。主曝光指示用于获得要存储的图像的所谓“成像”的曝光。例如，基于用户等的成像指令操作(例如，快门按钮的全按下等)开始主曝光。即，用于获得拍摄图像的曝光(在以拍摄模式驱动的时段期间的曝光)不包含在主曝光中。例如，同样在成像设备111以单次自动聚焦模式(af-s)对被摄体进行成像的情况下，3d信息传感器148例如在如图17中图解所示的时序图那样，在图像传感器142的主曝光开始定时获取并存储3d信息(相位差信息)。注意，单次自动聚焦模式(af-s)指示基于用户等的预定操作(例如，快门按钮的半按下等)调整焦距，然后固定焦距的模式。在单次自动聚焦模式的情况下，例如，当用户等进行诸如快门按钮的半按下之类的预定操作时，光学系统141基于控制单元121的控制调整焦距以便聚焦于被摄体，从而导致聚焦于被摄体。当被摄体被聚焦到时，控制单元121进行用于相对于光学系统141固定焦点的控
制。该控制也称为聚焦锁定。即，如在图17中图解所示的时序图那样。当快门按钮被半按下时，应用聚焦锁定。当应用聚焦锁定时，光学系统141固定其焦距。
204.即，在如单次自动聚焦模式那样可以长时间地固定焦距的情况下，例如，如果在应用聚焦锁定的定时获取3d信息，则可以执行切换被摄体然后(在焦距被固定时)进行成像的特技摄影。即，通过这种特技摄影，可能生成其中3d信息和图像具有不同被摄体的虚假图像。
205.另一方面，如上所述，通过在主曝光开始定时获取3d信息，难以进行这样的特技摄影。即，难以生成在3d信息和图像之间具有不同被摄体的虚假图像。于是，服务器112可以更准确地确认图像的真实性。
206.例如，图像传感器142生成图18的图像431，并且3d信息传感器148生成图18的3d信息432。在3d信息432中，每个多边形指示距离相关信息(例如，相位数据、深度值等)。每个多边形指示角度的数量越小，该区域内的被摄体离成像设备111(3d信息传感器148)越远。换句话说，每个多边形指示随着角度的数量越大，该区域内的被摄体离成像设备111(3d信息传感器148)越近。3d信息432的分辨率是任意的，但是如果不考虑数据量，则可取的是分辨率更高(例如，与图像431相同的分辨率)。
207.图18中的重叠图像433图解说明重叠图像431和3d信息432的状态的例子。由于图像431和3d信息432彼此对应，因此如重叠图像433中的3d信息432指示的凹凸的状态基本上与图像431的凹凸的状态(从图像431估计的凹凸的状态)一致。
208.在步骤s152，raw处理单元143对在步骤s151中获得的raw图像进行预定处理。例如，raw处理单元143对raw图像执行诸如未获得正常像素值的缺陷像素的校正和噪声去除处理之类的处理。
209.在步骤s153，yuv处理单元144将在步骤s152中经过预定处理的raw图像转换为yuv图像。例如，yuv处理单元144对该raw图像进行色彩分离处理(例如，在诸如拜尔阵列之类的马赛克滤色镜的情况下的去马赛克处理)，并将获得的色彩分离后的rgb平面图像转换为yuv图像。此外，yuv处理单元144对色彩分离后的rgb平面图像或转换后的yuv图像进行白平衡校正。
210.在步骤s154，缩减图像生成单元145生成通过缩减yuv图像(主图像)而获得的缩减图像。例如，缩减图像生成单元145缩减图像431，从而生成图18中的缩减图像434。生成缩减图像的方法是任意的。另外，缩减图像的尺寸是任意的。例如，缩减图像可以是所谓的缩略图或者屏幕钉。
211.在步骤s155，元数据添加单元146生成元数据，并将该元数据添加到主图像中。
212.在步骤s156，哈希处理单元147使用主图像、3d信息、缩减图像和元数据计算哈希值。
213.在步骤s157，签名生成单元150生成至少包含主图像和3d信息的信息的签名。例如，签名生成单元150通过使用对应于成像设备111的设备秘密密钥加密在步骤s156计算的哈希值，生成主图像、3d信息、缩减图像和元数据的签名。注意，代替设备秘密密钥，签名生成单元150可以通过使用公用密钥加密哈希值来生成该签名。
214.在步骤s158，图像文件生成单元151对yuv图像(主图像)进行压缩和编码，以生成jpeg图像。另外，图像文件生成单元151生成图像文件，并存储主图像(jpeg图像)、缩减图
像、元数据和签名。
215.图19是图解说明图像文件的主要构成例子的示图。图19中图解所示的图像文件440存储主图像431和缩减图像434。主图像431可以是jpeg图像(经过压缩编码的主图像)、raw图像或yuv图像(未经过压缩编码的主图像)、或者这两者。缩减图像434可以是通过对通过尺寸调整处理缩减的yuv图像进行压缩和编码而获得的jpeg图像，可以是缩减的yuv图像，或者可以是这两者。
216.注意，在raw图像作为主图像431存储在图像文件440中的情况下，由图像传感器142获取的raw图像经由raw处理单元143、yuv处理单元144、缩减图像生成单元145、元数据添加单元146、哈希处理单元147和签名生成单元150被提供给图像文件生成单元151。图像文件生成单元151将该raw图像作为主图像431存储在图像文件440中。注意，在jpeg图像(压缩和编码的图像)连同raw图像或yuv图像(未压缩和编码的图像)一起作为主图像431存储在图像文件440中的情况下，图像文件生成单元151对yuv图像进行压缩和编码以生成jpeg图像，并将该jpeg图像连同raw图像或yuv图像一起作为主图像431存储在图像文件440中。
217.此外，在jpeg图像(压缩和编码的图像)作为缩减图像434存储在图像文件440中的情况下，缩减图像生成单元145缩减yuv图像。然后，图像文件生成单元151对该缩减的yuv图像进行压缩和编码以生成jpeg图像，并将该jpeg图像作为缩减图像434存储在图像文件440中。注意，在jpeg图像(压缩和编码的图像)连同yuv图像(未压缩和编码的图像)一起作为缩减图像4341存储在图像文件440中的情况下，图像文件生成单元151将如上所述生成的jpeg图像连同缩减的yuv图像一起作为缩减图像434存储在图像文件440中。
218.另外，在图像文件440中，存储标准元数据441和附加元数据442作为元数据。标准元数据441例如包含由标准等定义的项目。附加元数据442包含未包含在标准元数据441中的项目，比如由制造商设定的项目。例如，附加元数据442可以包括设备唯一id 411。此外，附加元数据442可以包括作为关于被摄体的成像的信息的成像信息451。
219.另外，3d信息432作为附加元数据存储在图像文件440中。此外，在步骤s157中生成的签名作为附加元数据存储在图像文件440中(签名452)。
220.注意，指示在同一光轴上获得主图像431和3d信息432的信息(例如，作为追加元数据)可以存储在图像文件440中。例如，该信息可以是指示主图像431和3d信息432是否是在同一光轴上获得的标志信息，或者可以是其中必定在同一光轴上获得主图像431和3d信息432的设备的设备名称、型号或标识信息等。通过将这样的信息包含在图像文件440中，可以在不登记设备公开密钥的情况下判定签名。即，图像文件生成单元151可以将包括指示在与图像相同的光轴上获取3d信息的信息的元数据存储在图像文件中。
221.此外，指示用于生成图像的被摄体的成像中的图像传感器142的快门速度的信息(例如，作为附加元数据)可以存储在图像文件440中。该信息可以通过任何表现方法指示快门速度。例如，该信息可以用数值指示快门速度。另外，该信息可以在预定水平范围内的每个阶段指示快门速度。此外，该信息可以指示快门速度是比预定标准快还是慢。即，图像文件生成单元151可将成像的快门速度作为元数据存储在图像文件中。
222.如上所述，3d信息的生成(距离相关信息的检测)是在开始图像传感器142的曝光的定时进行的。于是，在快门速度低的情况下，换句话说，在曝光时段长的情况下，存在可能执行诸如在曝光期间切换被摄体之类的特技摄影的可能性。即，存在可以生成在3d信息和
图像之间具有不同被摄体的虚假图像的可能性。
223.例如，如果在黑暗的房间中将快门速度设定为10秒，在紧接在成像之前将成像设备111朝向人物，并在开始曝光之后将成像设备111朝向合成图像的监视器，则可以获得与3d信息所指示的被摄体不同的被摄体的图像。
224.于是，如上所述，图像文件生成单元151将指示生成图像时的成像的快门速度的信息作为元数据存储在图像文件中。通过这种构成，确认图像的真实性的服务器112可以基于包含在图像文件中的元数据掌握图像生成时的快门速度。即，服务器112可以考虑快门速度来确认图像的真实性。于是，服务器112可以更准确地确认图像的真实性。
225.此外，在raw图像和jpeg图像两者都作为主图像431存储在图像文件440中的情况下，作为签名452，raw图像的签名可以存储在图像文件440中，jpeg图像的签名可以存储在图像文件440中，或者raw图像和jpeg图像的签名可以存储在图像文件440中。
226.返回图16，在步骤s159，记录单元134将步骤s158中生成的图像文件记录在可移动记录介质等上。该图像文件经由可移动记录介质等被提供给服务器112。
227.在步骤s160，上传单元133将在步骤s158中生成的图像文件上传给服务器112。即，通过通信将图像文件提供给服务器112。例如，当在显示设备401上显示如图20中图解所示的引导屏幕时，用户操作所述操作设备402并从菜单屏幕等指令图像文件的上传。当指令经由控制单元121被提供给上传单元133时，上传单元133执行步骤s160的处理，从而将图像文件上传给服务器112。
228.当步骤s160结束时，成像处理结束。注意，可以省略步骤s159的处理或步骤s160的处理。
229.通过如上所述执行各个处理，成像设备111可以将通过对被摄体成像而生成的图像、在与该图像相同的光轴上获得的3d信息、以及使用对应于成像设备111的设备秘密密钥生成的图像和3d信息的签名提供给服务器112。结果，服务器112可以使用未被伪造的图像和3d信息来判定图像的真实性。于是，服务器112可以更准确地判定图像的真实性。
230.注意，如果通过步骤s151的处理获取的raw图像和3d信息以及通过步骤s155的处理生成的元数据被存储，则其他步骤的处理(对raw图像的处理、yuv图像的生成、缩减图像的生成、哈希值的计算、签名的生成、图像文件的生成和提供等)可以在成像处理完成之后作为与成像处理不同的处理来执行。
231.《2-2-4.成像处理(签名控制)》
232.成像设备111能够控制是否创建签名。将参考图21的流程图说明这种情况下的成像处理的流程的例子。
233.当成像处理开始时，在步骤s181，控制单元121基于以用户操作为基础的指令或应用等的指令，设定签名执行模式(是否生成签名)。
234.与图16的步骤s161～s165的各个处理类似地执行步骤s182～s186的各个处理。即，生成主图像、3d信息、缩减图像、元数据等。
235.在步骤s187，签名控制单元153基于在步骤s181设定的签名的执行模式判定是否生成签名。在判定签名的执行模式是生成签名的模式的情况下，处理进行到步骤s188。
236.与图16的步骤s166和s167的各个处理类似地执行步骤s188和s189的各个处理。即，计算至少包含主图像和3d信息的信息的哈希值，并使用与成像设备111对应的设备秘密
密钥生成签名。即，生成至少包含主图像和3d信息的信息的签名。
237.当步骤s189的处理结束时，处理进行到步骤s190。此外，当在步骤s187判定签名的执行模式是不生成签名的模式时，省略步骤s188和步骤s189的处理，并且处理进行到步骤s190。
238.与图16的步骤s158～s160的各个处理类似地执行步骤s190～s192的各个处理。即，生成图像文件，并且该图像文件由记录单元134记录在可移动记录介质等上，或者上传到服务器112。
239.当步骤s192的处理结束时，成像处理结束。另外在这种情况下，可以省略步骤s191的处理或步骤s192的处理。此外，如果通过步骤s182的处理获取的raw图像和3d信息以及通过步骤s186的处理生成的元数据被存储，其他步骤的处理(例如，签名执行模式的设定、对raw图像的处理、yuv图像的生成、缩减图像的生成、哈希值的计算、签名的生成、图像文件的生成和提供等)可以在成像处理完成之后作为与成像处理不同的处理来执行。
240.通过如上所述执行各个处理，成像设备111可以控制是否生成至少包含主图像和3d信息的信息的签名。结果，在不需要签名的情况下，成像设备111可以抑制由于签名的生成而导致的负载的增加。
241.注意，在不生成签名的情况下，可以降低3d信息的分辨率。例如，在使用3d信息确认图像的真实性的情况下，3d信息的分辨率越高，服务器112就越能准确地判定图像的真实性。然而，3d信息的分辨率越高，数据量就越大。于是，在不使用3d信息来确认图像的真实性并且不需要3d信息的签名的情况下，3d信息的分辨率越高，图像文件的数据量就越不必要地增大。于是，如上所述，在不生成签名的情况下，3d信息处理单元149(3d信息分辨率设定单元)可以进行控制以降低3d信息的分辨率。将参考图22的流程图说明这种情况下的成像处理的流程的例子。
242.当成像处理开始时，与图21的步骤s181～s186的各个处理类似地执行步骤s211～s216的各个处理。即，基于以用户操作为基础的指令或应用等的指令设定签名执行模式，并生成主图像、3d信息、缩减图像、元数据等。
243.在步骤s217，签名控制单元153基于在步骤s211设定的签名的执行模式判定是否生成签名。在判定签名的执行模式是生成签名的模式的情况下，处理进行到步骤s218。
244.与图21的步骤s188和s189的各个处理类似地执行步骤s218和s219的各个处理。即，计算至少包含主图像和3d信息的信息的哈希值，并使用与成像设备111对应的设备秘密密钥生成签名。即，生成至少包含主图像和3d信息的信息的签名。当步骤s219的处理结束时，处理进行到步骤s221。
245.此外，当在步骤s217判定签名的执行模式是不生成签名的模式时，处理进行到步骤s220。在步骤s220，3d信息处理单元149降低3d信息的分辨率。即，在不生成签名的情况下，3d信息处理单元149(3d信息分辨率设定单元)降低3d信息的分辨率。注意，除了平面方向上的分辨率(x轴和y轴上的分辨率)之外，这种情况下的分辨率可以包含各个像素值的动态范围的分辨率(即，深度方向上的分辨率)。即，可以降低各个像素值的动态范围的分辨率。当步骤s220的处理结束时，处理进行到步骤s221。
246.与图21的步骤s190～s192的各个处理类似地执行步骤s221～s223的各个处理。即，生成图像文件，并且该图像文件由记录单元134记录在可移动记录介质等上，或者上传
到服务器112。然而，步骤s221的处理如下执行。在生成签名的情况下，图像文件生成单元151将主图像、3d信息、缩减图像、元数据和签名存储在图像文件中。在没有生成签名的情况下，图像文件生成单元151将主图像、分辨率降低的3d信息、缩减图像和元数据存储在图像文件中。当步骤s223的处理结束时，成像处理结束。另外在这种情况下，可以省略步骤s222的处理或步骤s223的处理。此外，如果通过步骤s212的处理获取的raw图像和3d信息以及通过步骤s216的处理生成的元数据被存储，则其他步骤的处理(签名执行模式的设定、对raw图像的处理、yuv图像的生成、缩减图像的生成、哈希值的计算、签名的生成、3d信息的分辨率的降低、图像文件的生成和提供等)可以在成像处理完成之后作为与成像处理不同的处理来执行。
247.通过如上所述执行各个处理，在不生成至少包含主图像和3d信息的信息的签名的情况下，成像设备111可以降低3d信息的分辨率。于是，可以抑制图像文件的数据量的不需要增大。
248.注意，在不生成签名的情况下，可以不将3d信息存储在图像文件中。在这种情况下，省略步骤s220的处理。即，当在步骤s217判定签名的执行模式是不生成签名的模式时，处理进行到步骤s221。在这种情况下，在步骤s221，图像文件生成单元151将主图像、缩减图像和元数据存储在图像文件中。
249.此外，在被摄体的形状为平面的情况下，可以不生成签名。在被摄体的形状为平面的情况下，难以基于3d信息中的被摄体的凹凸的状态判定图像的真实性。于是，在这种情况下，可以如上所述不生成签名。通过不生成签名，可以在图像的真实性的判定中判定该图像不具有真实性。即，成像设备111可以判定被摄体的形状是否为平面，并在被摄体的形状为平面的情况下，可以生成图像文件，使得在图像的真实性的判定中判定该图像不具有真实性。将参考图23的流程图说明这种情况下的成像处理的流程的例子。
250.当成像处理开始时，与图16的步骤s151的处理类似地进行步骤s241的处理。即，在同一光轴上获得主图像和3d信息。
251.在步骤s242，3d信息处理单元149基于3d信息分析被摄体的凹凸。
252.与图16的步骤s152～s155的各个处理类似地执行步骤s243～s246的各个处理。即，生成yuv图像、缩减图像和元数据等。
253.在步骤s247，3d信息处理单元149基于步骤s242的分析结果判定被摄体的形状是否为平面。在判定被摄体的形状为平面的情况下，签名控制单元153使处理进行到步骤s248。即，签名控制单元153进行控制以生成签名。
254.与图16的步骤s156和s157的各个处理类似地执行步骤s248和s249的各个处理。即，计算至少包含主图像和3d信息的信息的哈希值，并且使用与成像设备111对应的设备秘密密钥生成签名。即，生成至少包含主图像和3d信息的信息的签名。当步骤s249的处理结束时，处理进行到步骤s250。
255.此外，当在步骤s247判定被摄体的形状不是平面时，签名控制单元153跳过步骤s248和s249的处理，并且使处理前进到步骤s250。即，签名控制单元153进行控制以便不生成签名。
256.即，在3d信息处理单元149(平面判定单元)判定被摄体的形状不是平面的情况下，签名生成单元150生成签名。换句话说，在3d信息处理单元149判定被摄体的形状是平面的
情况下，签名生成单元150不生成签名(省略签名的生成)。
257.与图16的步骤s158～s160的各个处理类似地执行步骤s250～s252的各个处理。即，生成图像文件，并且该图像文件由记录单元134记录在可移动记录介质等上，或者上传到服务器112。当步骤s252的处理结束时，成像处理结束。另外在这种情况下，可以省略步骤s251的处理或步骤s252的处理。此外，如果通过步骤s241的处理获取的raw图像和3d信息以及通过步骤s246的处理生成的元数据被存储，则其他步骤的处理(3d信息的分析、对raw图像的处理、yuv图像的生成、缩减图像的生成、哈希值的计算、签名的生成、图像文件的生成和提供等)可以在成像处理结束之后作为与成像处理不同的处理来执行。
258.通过如上所述执行各个处理，在被摄体的形状为平面时，成像设备111可以省略签名的生成。即，成像设备111可以防止针对其中被摄体的形状为平面的图像生成签名。于是，成像设备111可以在图像的真实性的判定中判定该图像不具有真实性。
259.《2-2-5.成像处理(af-s控制)》
260.在单次自动聚焦模式(af-s)的情况下，3d信息传感器148可以获取在焦点固定定时和主曝光开始定时的3d信息。如上所述，例如，当用户等进行诸如快门半按下之类的预定操作时，控制单元121执行用于对于光学系统141固定焦点的控制。焦点固定定时是控制单元121进行该控制的定时(应用聚焦锁定的定时)。主曝光开始定时是在图像传感器142中开始主曝光的定时。将参考图24的流程图描述这种情况下的成像处理的流程的例子。
261.当成像处理开始时，在步骤s271，3d信息传感器148判定操作模式是否为单次自动聚焦模式(af-s)。在判定模式为是单次自动聚焦模式(af-s)的情况下，处理进行到步骤s272。在单次自动聚焦模式的情况下，由于在主曝光开始定时之前，存在焦距被固定的时段，因此多次获取3d信息。
262.在步骤s272，图像传感器142生成raw图像。此外，3d信息传感器148在多个定时在与raw图像相同的光轴上从来自被摄体的光学像获取3d信息。在这种情况下，3d信息传感器148在焦点固定定时和主曝光开始定时获取3d信息。当步骤s272的处理结束时，处理进行到步骤s274。
263.此外，当在步骤s271中判定模式不是单次自动聚焦模式(af-s)时，例如，在判定模式为连续自动聚焦模式(af-c)或手动模式的情况下，处理进行到步骤s273。连续自动聚焦模式指示其中在用户等进行预定操作(例如，快门按钮的半按下等)的同时连续进行聚焦于被摄体的处理的模式。手动模式指示其中用户手动调节焦距的模式。在这些模式的情况下，由于不存在在主曝光开始定时之前焦距被固定的时段，因此仅在主曝光开始定时获取3d信息。
264.在步骤s273，图像传感器142生成raw图像。此外，3d信息传感器148在与raw图像相同的光轴上从来自被摄体的光学像获取3d信息。在这种情况下，3d信息传感器148在主曝光开始定时获取3d信息。当步骤s273的处理结束时，处理进行到步骤s274。
265.与图16的步骤s152～s160的各个处理类似地执行步骤s274～s282的各个处理。当步骤s282的处理结束时，成像处理结束。另外在这种情况下，可以省略步骤s281的处理或步骤s282的处理。此外，如果通过步骤s271～s273的处理获取的raw图像和3d信息以及通过步骤s277的处理生成的元数据被存储，则其他步骤的处理(对raw图像的处理、yuv图像的生成、缩减图像的生成、哈希值的计算、签名的生成、图像文件的生成和提供等)可以在成像处
理结束之后作为与成像处理不同的处理来执行。
266.通过以这种方式执行各个处理，在单次自动聚焦模式(af-s)的情况下，成像设备111可以在焦点固定定时和曝光开始定时在与raw图像相同的光轴上获取3d信息。于是，例如，当在焦点固定定时获取3d信息之后，难以(在焦距固定时)进行切换被摄体并进行成像的特技摄影。即，难以生成在3d信息和图像之间具有不同被摄体的虚假图像。即，服务器112可以更准确地确认图像的真实性。
267.《2-2-6.成像处理(可靠性记录)》
268.可以计算3d信息的可靠性，并且可以将包含指示该可靠性的可靠性信息的元数据存储在图像文件中。将参考图25的流程图说明这种情况下的成像处理的流程的例子。
269.当成像处理开始时，与图23的步骤s241的处理类似地进行步骤s301的处理。即，在同一光轴上获得图像和3d信息。
270.在步骤s302，可靠性计算单元154分析在步骤s301中由图像传感器142得到的图像，并估计被摄体的凹凸的状态。例如，可靠性计算单元154可以获得该图像的特征，并基于该特征估计该图像的凹凸的状态。例如，可靠性计算单元154可以检测包含在该图像中的面部、眼睛、鼻子、耳朵等，并估计检测到的各个部分的凹凸的状态。
271.在步骤s303，可靠性计算单元154将步骤s302中的分析结果(即，估计的图像中的凹凸的状态)与3d信息所指示的凹凸的状态进行比较，并基于比较结果计算3d信息的可靠性。例如，在被摄体(人物)相对于成像设备111面向正面的情况下，通常，作为面部的凸出部分的鼻子部分比面部的其他部分(例如，眼睛、耳朵等)更接近成像设备111(到成像设备111的距离更短)。如上所述，由于在被摄体的凹凸的状态和3d信息之间存在相关性，因此可靠性计算单元154利用这样的相关性，使用3d信息评价图像的分析结果，并计算可靠性。
272.与图23的步骤s243～s245的各个处理类似地执行步骤s304～s306的各个处理。即，生成yuv图像、缩减图像等。
273.在步骤s307，元数据添加单元146生成包含在步骤s303中计算的可靠性的元数据，并将该元数据添加到图像中。即，元数据添加单元146生成除可靠性以外的元数据，并将指示在步骤s303中计算的可靠性的信息包含在该元数据中。
274.与图23的步骤s248～s252的各个处理类似地执行步骤s308～s312的各个处理。即，计算哈希值并生成签名。然后，在步骤s310，图像文件生成单元151对yuv图像(主图像)进行压缩和编码，以生成jpeg图像(主图像)。另外，图像文件生成单元151生成存储主图像、3d信息、缩减图像、包含指示在步骤s303中计算的可靠性的信息的元数据、以及签名的图像文件。然后，记录或上传该图像文件。当步骤s312的处理结束时，成像处理结束。另外在这种情况下，可以省略步骤s311的处理或步骤s312的处理。此外，如果通过步骤s301的处理获取的raw图像和3d信息以及通过步骤s307的处理生成的元数据(除可靠性以外的元数据)被存储，则其他步骤的处理(图像的分析、可靠性的计算、对raw图像的处理、yuv图像的生成、缩减图像的生成、哈希值的计算、签名的生成、图像文件的生成和提供等)可以在成像处理完成之后作为与成像处理不同的处理来执行。
275.通过以这种方式执行各个处理，成像设备111可以计算3d信息的可靠性，并将指示该可靠性的信息存储在图像文件中。于是，服务器112可以基于可靠性来分析图像。于是，服务器112可以更准确地判定图像的真实性。
276.《2-2-7.成像处理(快门速度控制)》
277.在成像的快门速度慢于预定标准的情况下，在图像传感器142的主曝光期间，3d信息传感器148可以多次存储3d信息。将参考图26的流程图说明这种情况下的成像处理的流程的例子。
278.当成像处理开始时，在步骤s331，3d信息传感器148判定图像传感器142的快门速度是否低于预定标准。在判定快门速度慢于预定标准的情况下，处理进行到步骤s332。
279.在步骤s332，图像传感器142生成raw图像。此外，3d信息传感器148在多个定时在与raw图像相同的光轴上从来自被摄体的光学像获取3d信息。在这种情况下，3d信息传感器148在图像传感器142的主曝光期间多次获取3d信息。当步骤s332的处理结束时，处理进行到步骤s334。
280.另外，当在步骤s331判定快门速度快于预定标准时，处理进行到步骤s333。在步骤s333，图像传感器142生成raw图像。此外，3d信息传感器148在与raw图像相同的光轴上从来自被摄体的光学像获取3d信息。在这种情况下，3d信息传感器148在主曝光开始定时获取3d信息。当步骤s333的处理结束时，处理进行到步骤s334。
281.与图24的步骤s274～s282的各个处理类似地执行s334～s342的各个处理。当步骤s342的处理结束时，成像处理结束。另外在这种情况下，可以省略步骤s341的处理或步骤s342的处理。此外，如果通过步骤s331～s333的处理获取的raw图像和3d信息以及通过步骤s337的处理生成的元数据被存储，则其他步骤的处理(对raw图像的处理、yuv图像的生成、缩减图像的生成、哈希值的计算、签名的生成、图像文件的生成和提供等)可以在成像处理结束之后作为与成像处理不同的处理来执行。
282.通过以这种方式执行各个处理，在快门速度慢于预定标准的情况下，成像设备111可以在成像的曝光期间在与raw图像相同的光轴上多次检测距离相关信息，并多次生成3d信息。
283.于是，例如，难以执行诸如在曝光时段内切换被摄体之类的特技摄影。即，难以生成在3d信息和图像之间具有不同被摄体的虚假图像。即，即使在快门速度较慢的情况下，服务器112也可以更准确地确认图像的真实性。
284.《2-3.服务器的处理》
285.《2-3-1.确认处理》
286.接下来，将说明由服务器112等执行的各个处理。服务器112确认存储在由成像设备111上传的图像文件中的图像的真实性。将参考图27的流程图说明确认处理的流程的例子。
287.当确认处理开始时，在步骤s401，服务器112的通信单元221接收(获取)从成像设备111发送的图像文件。
288.在该图像文件中，作为元数据存储有与发送源成像设备111对应的设备唯一id。在步骤s402，签名确认单元232从设备公开密钥数据库223获取与该设备唯一id对应的设备公开密钥。例如，签名确认单元232将该设备唯一id提供给设备公开密钥管理单元231。设备公开密钥管理单元231访问设备公开密钥数据库223，获取与设备唯一id关联的设备公开密钥，并将该设备公开密钥提供给签名确认单元232。
289.然后，签名确认单元232使用该设备公开密钥确认存储在图像文件中的签名的有
效性。即，签名确认单元232确认已使用与已生成图像和3d信息的成像设备111对应的设备秘密密钥生成了存储在图像文件中的主图像和3d信息。
290.例如，签名确认单元232使用设备公开密钥对存储在图像文件中的签名进行解密，以获得第一哈希值。另外，签名确认单元232使用存储在图像文件中的主图像、3d信息、缩减图像和元数据来计算第二哈希值。然后，签名确认单元232比较第一哈希值和第二哈希值，并确认第一哈希值和第二哈希值是否彼此匹配。
291.即，在第一哈希值与第二哈希值彼此匹配的情况下，签名确认单元232判定签名有效，并且存储在图像文件中的主图像和3d信息未被伪造。换句话说，在第一哈希值和第二哈希值不匹配的情况下，签名确认单元232判定签名无效，并且存储在图像文件中的主图像和3d信息已被伪造。
292.在步骤s403，签名确认单元232判定是否确认了签名的有效性。在判定通过步骤s402的处理签名被确认为有效的情况下，处理进行到步骤s404。
293.在步骤s404，图像确认处理单元233执行图像确认处理，并通过使用存储在图像文件中的3d信息来确认存储在图像文件中的主图像的真实性。即，图像确认单元233将图像与在与该图像相同的光轴上获取的3d信息进行比较以确认该图像的真实性。当步骤s404中的图像确认处理结束时，确认处理结束。
294.注意，当在步骤s403中判定通过步骤s402的处理尚未确认签名的有效性(即，已确认签名无效)时，处理进行到步骤s405。在步骤s405，图像确认处理单元233进行错误处理。当步骤s405的处理结束时，确认处理结束。即，在这种情况下，不执行步骤s404的图像确认处理(省略(跳过)图像确认处理)。在这种情况下，图像文件被处理为不具有主图像的真实性。
295.这样，由于通过使用签名确认主图像和3d信息未被伪造，因此服务器112可以使用3d信息更准确地确认主图像的真实性。注意，当在步骤s403中判定签名无效时，可以执行步骤s404中的图像确认处理，并且可以在该图像确认处理中判定图像不具有真实性。
296.《2-3-1-1.图像确认处理(自动验证)》
297.接下来，在图27的步骤s404中执行的图像确认处理中，可以进行任何处理。例如，服务器112可以确认图像的真实性。例如，图像确认处理单元233的图像验证单元241可以通过比较从图像中检测到的图像的被摄体的凹凸和基于3d信息的被摄体的凹凸来确认图像的真实性。即，图像验证单元241可以在图像的被摄体的凹凸与基于3d信息的被摄体的凹凸匹配的情况下，判定图像具有真实性，而在它们不匹配的情况下，判定图像不具有真实性。此外，服务器112可以向审核者呈现确认结果。例如，图像确认处理单元233的支持处理单元242可以向审核者呈现图像的真实性的确认结果。将参考图28的流程图说明这种情况下的图像确认处理的流程的例子。
298.在这种情况下，当图像确认处理开始时，在步骤s421，图像确认处理单元233的图像验证单元241分析主图像以获得其特征，并基于所述特征估计被摄体的凹凸。例如，图像验证单元241检测包含在主图像中的人物的面部、眼睛、鼻子、耳朵等，并估计检测到的各个部分的凹凸的状态。
299.在步骤s422中，图像验证单元241将在步骤s421估计的主图像的被摄体的凹凸的状态(分析结果)与3d信息所指示的被摄体的凹凸的状态进行比较。然后，图像验证单元241
基于比较结果判定主图像的真实性(主图像是否是虚假图像)。
300.在步骤s423，支持处理单元242经由通信单元221将指示比较结果(关于主图像是否是虚假图像的判定结果)的信息提供给终端设备113，并使该信息被显示。终端设备113的用户是确认主图像的真实性的审核者。即，支持处理单元242向审核者呈现比较结果(关于主图像是否是虚假图像的判定结果)。
301.当步骤s423的处理结束时，图像确认处理结束，处理返回到图27。
302.将参考图29的流程图说明对应于服务器112的此类图像确认处理在终端设备113中执行的比较结果显示处理的流程的例子。
303.当比较结果显示处理开始时，在步骤s431，终端设备113的cpu 301获取经由通信单元314从服务器112发送的指示比较结果(关于主图像是否是虚假图像的判定结果)的信息。
304.在步骤s432，cpu 301将指示比较结果的信息提供给输出单元312以显示。例如，输出单元312在显示设备上显示指示如图30中图解所示的比较结果(关于主图像是否是虚假图像的判定结果)的图像501。图像501的内容是任意的。在图30的例子的情况下，图像501包括主图像511。另外，图像501包括主图像和3d信息的重叠图像512。另外，图像501包含主图像511的文件名。此外，图像501包括诸如设备公开密钥是否有效、签名是否有效、主图像的真实性的确认结果(成功或失败)之类的信息。审核者(终端设备113的用户)通过阅览图像501，可以掌握比较结果(主图像的真实性的确认结果)。
305.当步骤s432的处理结束时，比较结果显示处理结束。
306.通过如上所述执行各个处理，服务器112可以使用在与主图像相同的光轴上检测到的3d信息来确认主图像的真实性。于是，服务器112可以更准确地判定图像的真实性。
307.注意，在上面的说明中，在图像确认处理的步骤s421中，说明了图像验证单元241分析主图像，获得其特征，并基于所述特征估计凹凸，但是代替主图像可以应用屏幕钉(缩减图像)。即，图像验证单元241可以分析屏幕钉(缩减图像)以获得特征，并基于所述特征估计凹凸。
308.《2-3-1-2.图像确认处理(比较和显示)》
309.此外，在图27的步骤s404中，服务器112可以将图像的被摄体的凹凸与基于3d信息的被摄体的凹凸之间的比较结果呈现给审核者，作为用于使审核者可以确认主图像是否是虚假图像的信息。将参考图31的流程图说明这种情况下的图像确认处理的流程的例子。
310.在这种情况下，当图像确认处理开始时，与图28的步骤s421和s422的各个处理类似地执行步骤s451和s452的各个处理。即，估计主图像的被摄体的凹凸，并将主图像的被摄体的凹凸的估计状态(分析结果)与3d信息所指示的被摄体的凹凸的状态进行比较。然而，在这种情况下，不判定主图像的真实性(主图像是否是虚假图像)。
311.在步骤s453，图像验证单元241在在步骤s452的比较中凹凸的状态匹配的部分，生成指示凹凸的状态匹配的辅助线。
312.在步骤s454，支持处理单元242经由通信单元221向终端设备113提供指示比较结果的信息，并使该信息被显示。例如，支持处理单元242向终端设备113提供主图像、3d信息和诸如在步骤s453中生成的辅助线之类的信息，并使主图像、3d信息和所述信息作为用于确认图像的真实性的参考信息被显示。
313.当步骤s454的处理结束时，图像确认处理结束，处理返回到图27。
314.将参考图32的流程图说明对应于服务器112的此类图像确认处理的在终端设备113中执行的比较结果显示处理的流程的例子。
315.当比较结果显示处理开始时，在步骤s461，终端设备113的cpu 301经由通信单元314获取从服务器112发送的指示比较结果的信息(例如，主图像、3d信息和辅助线)。
316.在步骤s462，cpu 301将关于比较结果的信息提供给输出单元312。输出单元312以审核者可以比较主图像和3d信息的状态在显示设备上显示主图像和3d信息。输出单元312还可以在显示设备上显示辅助线。例如，输出单元312在显示设备上显示如图33中图解所示的确认屏幕521。
317.确认屏幕521是用于使审核者可以确认主图像的真实性的屏幕。确认屏幕521的内容是任意的。例如，如图33中图解所示，可以在确认屏幕521上显示ok按钮534和ng按钮535。例如，当用户操作输入单元311并按下ok按钮534时，确认主图像的真实性。即，审核者认识到主图像不是虚假图像。此外，当用户操作输入单元311并按下ng按钮535时，否认主图像的真实性。即，审核者认识到主图像是虚假图像。
318.此外，如图33中图解所示，在确认屏幕521上，作为用于审核者进行这种确认的参考信息，可以显示待确认的主图像531、主图像和3d信息的重叠图像532、主图像和辅助线的重叠图像533等。例如，主图像531使审核者可以直观地掌握要确认的主图像是什么种类的图像。此外，通过重叠图像532，审核者可以直观地掌握在主图像和3d信息之间凹凸的状态如何匹配或不匹配。此外，通过重叠图像533的辅助线，审核者可以直观地掌握哪个部分匹配。
319.注意，确认屏幕521的布局是任意的。例如，主图像和3d信息可以并排显示、重叠显示或者交替显示。另外，可以省略促使判定真实性的有无的ui(ok按钮534和ng按钮535等)。可以仅仅显示比较结果。此外，辅助线可以不是简单的线条，可以以使得能够平缓地识别其间的距离地显示辅助线。
320.当步骤s462的处理结束时，比较结果显示处理结束。
321.通过如上所述执行各个处理，服务器112在主图像和在与主图像相同的光轴上检测的3d信息之间比较凹凸的状态，并将比较结果呈现给审核者，从而使审核者可以确认图像的真实性。于是，服务器112可以更准确地判定图像的真实性。
322.《2-3-1-3.图像确认处理(显示)》
323.注意，在图27的步骤s403中，服务器112可以在不比较主图像和3d信息的凹凸的状态的情况下，将待比较的图像和3d信息呈现给审核者。将参考图34的流程图说明这种情况下的图像确认处理的流程的例子。
324.在这种情况下，当图像确认处理开始时，在步骤s481，服务器112的支持处理单元242将待比较的主图像和3d信息提供给终端设备113，并使主图像和3d信息被显示。支持处理单元242将这些信息作为参考信息呈现给审核者，用于作为审核者的终端设备113的用户确认图像的真实性。
325.当步骤s481的处理结束时，图像确认处理结束，处理返回到图27。
326.将参考图35的流程图说明对应于服务器112的此类图像确认处理的在终端设备113中执行的比较结果显示处理的流程的例子。
327.当比较结果显示处理开始时，在步骤s491，终端设备113的cpu 301经由通信单元314获取从服务器112发送的主图像和3d信息。
328.在步骤s492，cpu 301将主图像和3d信息提供给输出单元312。输出单元312以审核者可比较主图像和3d信息的状态在显示设备上显示主图像和3d信息。例如，输出单元312在显示设备上显示如图33中图解所示的确认屏幕521。然而在这种情况下，省略了重叠图像533的显示。
329.确认屏幕521上的主图像531使审核者可以直观地掌握要确认的主图像是什么种类的图像。此外，通过确认屏幕521上的重叠图像532，审核者可以直观地掌握在主图像和3d图像之间凹凸的状态如何匹配或不匹配。审核者参考这些图像来判定主图像的真实性，并操作ok按钮534或ng按钮535。这样，由审核者确认主图像的真实性。
330.当步骤s492的处理结束时，比较结果显示处理结束。
331.通过如上所述执行各个处理，服务器112向审核者呈现主图像以及在与主图像相同的光轴上检测到的3d信息，从而使审核者可以确认图像的真实性。于是，服务器112可以更准确地判定图像的真实性。
332.《2-3-2.确认处理(元数据更新)》
333.在不能确认图像的真实性的情况下，可以更新元数据(旋转或评级等)并且可以再次进行确认。将参考图36的流程图说明这种情况下的确认处理的流程的例子。
334.当确认处理开始时，与图27的步骤s401～s403的各个处理类似地执行步骤s511～s513的各个处理。即，获取图像文件，并进行签名的确认和图像的真实性的确认。
335.在步骤s514，确认控制单元234判定主图像与3d信息是否匹配。在判定它们不匹配的情况下，处理进行到步骤s515。
336.在步骤s515，确认控制单元234更新元数据(图像旋转或评级等)，并且使处理返回到步骤s512。换句话说，确认控制单元234更新元数据并导致再次执行签名确认和图像真实性确认。
337.随后，当在步骤s514判定主图像与3d信息匹配时，确认处理结束。
338.通过如上所述执行各个处理，即使在对图像进行诸如旋转之类的处理的情况下，服务器112也可以更准确地判定图像的真实性。
339.《2-3-3.确认处理(公开密钥无效判定)》
340.此外，在确认处理中，可以增加关于设备公开密钥是否无效的判定。将参考图37的流程图说明这种情况下的确认处理的流程的例子。
341.当确认处理开始时，与图27的步骤s401的处理类似地执行步骤s531的处理。即，获取图像文件。
342.在步骤s532，设备公开密钥管理单元231从设备公开密钥数据库223搜索并获取与包含在图像文件中的设备唯一id对应的设备公开密钥。
343.在步骤s533，设备公开密钥管理单元231判定设备公开密钥是否有效。当在设备公开密钥数据库223中没有使设备公开密钥无效时，即，在当前时间在设备公开密钥的无效日期之前的情况下，处理进行到步骤s534。
344.在这种情况下，与图27的步骤s402和s403的各个处理类似地执行步骤s534和s535的各个处理。即，进行签名的确认和图像的真实性的确认。当步骤s535的处理结束时，确认
处理结束。
345.此外，当在步骤s533判定设备公开密钥无效时，即，在当前时间是在设备公开密钥的无效日期当天或之后的情况下，处理进行到步骤s536。在步骤s536，图像确认处理单元233进行错误处理。然后，当步骤s536的处理结束时，确认处理结束。即，在这种情况下，省略(跳过)了签名确认和图像真实性确认处理。
346.通过以这种方式执行各个处理，可以防止使用无效的设备公开密钥来确认签名。于是，服务器112可以更准确地判定图像的真实性。
347.《2-3-4.确认处理(同一光轴判定)》
348.注意，在上面的说明中，说明了总是从成像设备111进行图像文件到服务器112的上传。即，在这种情况下，包含在图像文件中的3d信息总是在与主图像相同的光轴上获得的。
349.图像文件可以从除成像设备111以外的设备上传到服务器112。即，包含在图像文件中的3d信息可以不限于在与主图像相同的光轴上检测到的3d信息。然后，可以仅在与主图像相同的光轴上检测到3d信息的情况下才进行签名确认或图像真实性确认。将参考图38的流程图说明这种情况下的确认处理的流程的例子。
350.当确认处理开始时，与图27的步骤s401的处理类似地执行步骤s551的处理。即，获取图像文件。
351.在步骤s552，光轴判定单元235基于包含在图像文件中的元数据，判定主图像和3d信息是否是在同一光轴上获得的。
352.例如，在用于指示主图像和3d信息在同一光轴上获得的值的标志信息存储在图像文件中的情况下，光轴判定单元235判定主图像和3d信息是在同一光轴上获得的。另外，在其中总是在同一光轴上获得主图像和3d信息的设备的设备名称、型号名称或标识信息存储在图像文件中的情况下，光轴判定单元235判定主图像和3d信息是在同一光轴上获得的。换句话说，在图像文件中没有存储这些信息的情况下，光轴判定单元235判定主图像和3d信息是在彼此不同的光轴上获得的。
353.在判定主图像和3d信息在同一光轴上获得的情况下，处理进行到步骤s553。在这种情况下，与图27的步骤s402～s405的各个处理类似地执行步骤s553～s556的各个处理。即，确认签名的有效性，并且按照确认的结果确认图像的真实性或进行错误处理。当步骤s555或步骤s556的处理结束时，确认处理结束。
354.此外，当在步骤s552判定主图像和3d信息在彼此不同的光轴上获得的情况下，处理进行到步骤s556。在这种情况下，与图27的步骤s405的处理类似地执行步骤s556的处理。即，进行错误处理。随后，当步骤s556的处理结束时，确认处理结束。即，在这种情况下，省略(跳过)了签名确认和图像真实性确认处理。在这种情况下，图像文件被处理为不具有主图像的真实性。
355.通过以这种方式执行各个处理，服务器112仅当3d信息在与主图像相同的光轴上被检测到的情况下才能进行签名确认或图像真实性确认。于是，服务器112可以更准确地判定图像的真实性。注意，当在步骤s554中判定签名无效的情况下，可以执行步骤s555中的图像确认处理，并且在图像确认处理中可以判定该图像不具有真实性。
356.《2-3-5.确认处理(可靠性判定)》
357.此外，可以基于作为元数据存储在图像文件中的指示3d信息的可靠性的信息，只在3d信息充分可靠的情况下进行签名确认和图像真实性确认。将参考图39的流程图说明这种情况下的确认处理的流程的例子。
358.当确认处理开始时，与图27的步骤s401的处理类似地执行步骤s571的处理。即，获取图像文件。
359.在步骤s572，可靠性判定单元236分析存储在图像文件中的主图像，并提取从中可以估计被摄体的凹凸的片段。
360.在步骤s573，可靠性判定单元236参考作为元数据存储在图像文件中的指示3d信息的可靠性的信息，并判定对于在步骤s572中提取的片段的3d信息是否足够可靠。即，可靠性判定单元236基于指示3d信息的可靠性的可靠性信息判定3d信息是否可靠，该可靠性信息作为关于图像的元数据存储在存储图像和3d信息的图像文件中。
361.在作为对于该片段的3d信息，充分存在具有高于预定标准的可靠性的3d信息(多于预定标准)的情况下，可靠性判定单元236判定对于该片段的3d信息充分可靠。相反，在作为对于该片段的3d信息，不存在具有高于预定标准的可靠性的足够3d信息的情况下，可靠性判定单元236判定对于该片段的3d信息不可靠。
362.随后，在判定对于所提取的片段的3d信息足够可靠的情况下，处理进行到步骤s574。在这种情况下，与图27的步骤s402～s405的各个处理类似地执行步骤s574～s577的各个处理。即，确认签名的有效性，并且按照确认的结果确认图像的真实性或者进行错误处理。当步骤s576或步骤s577的处理结束时，确认处理结束。
363.此外，当在步骤s573判定对于所提取的片段的3d信息不可靠时，处理进行到步骤s577。在这种情况下，与图27的步骤s405的处理类似地执行步骤s577的处理。即，进行错误处理。然后，当步骤s577的处理结束时，确认处理结束。即，在这种情况下，省略(跳过)了签名确认和图像真实性确认处理。在这种情况下，图像文件被处理为不具有主图像的真实性。
364.通过以这种方式执行各个处理，服务器112可以仅在3d信息足够可靠的情况下进行签名确认或图像真实性确认。于是，服务器112可以更准确地判定图像的真实性。注意，当在步骤s575中判定签名无效时，可以执行步骤s576中的图像确认处理，并且可以在该图像确认处理中判定图像不具有真实性。
365.《2-3-6.确认处理(可靠性计算)》
366.服务器112可以计算3d信息的可靠性，并将计算的可靠性呈现给审核者。将参考图40的流程图说明这种情况下的确认处理的流程的例子。
367.当确认处理开始时，与图27的步骤s401～s403的各个处理类似地执行步骤s591～s593的各个处理。即，获取图像文件，确认签名的有效性，并且判定有效性是否得到了确认。当在步骤s593判定通过步骤s592的处理签名被确认为有效时，处理进行到步骤s594。
368.在步骤s594，可靠性计算单元237基于存储在图像文件中的元数据(与图像相关的照相机参数)，计算存储在图像文件中的3d信息的可靠性。例如，可靠性计算单元237基于存储在图像文件中的诸如成像设备111的传感器单元161(图像传感器142和3d信息传感器148)的有效像素数、f值和焦距之类的照相机参数来计算可靠性。计算该可靠性的方法是任意的。
369.在步骤s595，图像确认处理单元233执行图像确认处理。该处理是基本上与图27的
步骤s404的情况类似地执行的。然而，在这种情况下，图像确认处理单元233通过使用在步骤s594中计算的3d信息的可靠性来执行图像确认处理。例如，支持处理单元242可以将指示3d信息的可靠性的信息连同图像与3d信息的凹凸的状态的比较结果一起呈现给审核者。此外，图像验证单元241可以使用3d信息的可靠性来判定主图像的真实性。当步骤s595的处理结束时，确认处理结束。
370.此外，在步骤s593，在判定通过步骤s592的处理尚未确认签名有效(已确认签名无效)的情况下，处理进行到步骤s596。在步骤s596，图像确认处理单元233进行错误处理。当步骤s596的处理结束时，确认处理结束。即，在这种情况下，不执行步骤s594的可靠性的计算和步骤s595的图像确认处理(省略(跳过)这些处理)。在这种情况下，图像文件被处理为不具有主图像的真实性。
371.通过以这种方式执行各个处理，服务器112例如可以计算3d信息的可靠性，并向审核者呈现该可靠性。结果，审核者可以掌握3d信息的可靠性。例如，在服务器112确认图像的真实性并将确认结果呈现给审核者的情况下，审核者可以掌握确认结果的确定性。此外，在审核者确认图像的真实性的情况下，审核者可以基于3d信息的可靠性更准确地判定图像的真实性。此外，例如，服务器112可以计算3d信息的可靠性，并使用该可靠性来判定图像的真实性。结果，服务器112可以更准确地判定图像的真实性。注意，当在步骤s593判定签名无效时，可以执行步骤s594的可靠性计算处理和步骤s595的图像确认处理，并且可以在该图像确认处理中判定图像不具有真实性。
372.《2-3-7.确认处理(快门速度判定)》
373.如上在《2-2-3.成像处理》等中所述，在快门速度较慢的情况下，即，在曝光时段较长的情况下，可以执行诸如在曝光期间切换被摄体之类的特技摄影。即，可以生成在3d信息和图像之间具有不同被摄体的虚假图像。例如，如果在黑暗的房间中将快门速度设定为10秒，在紧接在成像之前将成像设备111朝向人物，并在开始曝光之后将成像设备111朝向合成图像的监视器，则可以获得与3d信息所指示的被摄体不同的被摄体的图像。
374.于是，可以判定生成主图像时的快门速度，并且可以仅在快门速度足够高的情况下才进行签名确认或图像真实性确认。将参考图41的流程图说明这种情况下的确认处理的流程的例子。
375.当确认处理开始时，与图27的步骤s401的处理类似地执行步骤s611的处理。即，获取图像文件。
376.在步骤s612，快门速度判定单元238参考作为与图像相关的照相机参数存储在图像文件中的指示生成图像时的成像的快门速度的信息，判定生成主图像时的快门速度是否足够高。在该信息所指示的快门速度比预定标准高的情况下，快门速度判定单元238判定生成主图像时的快门速度足够高。相反，在该信息所指示的快门速度比预定标准低的情况下，快门速度判定单元238判定生成主图像时的快门速度不够高。
377.然后，在判定生成主图像时的快门速度足够高(高于预定标准)的情况下，处理进行到步骤s613。在这种情况下，与图27的步骤s402～s405的各个处理类似地执行步骤s613～s616的各个处理。即，确认签名的有效性，并且按照确认的结果确认图像的真实性或者进行错误处理。当步骤s615或步骤s616的处理结束时，确认处理结束。
378.此外，当在步骤s612判定生成主图像时的快门速度不够高(低于预定标准)时，处
理进行到步骤s616。在这种情况下，与图27的步骤s405的处理类似地执行步骤s616的处理。即，进行错误处理。然后，当步骤s616的处理结束时，确认处理结束。即，在这种情况下，省略(跳过)了签名确认和图像真实性确认处理。在这种情况下，图像文件被处理为不具有主图像的真实性。
379.通过以这种方式执行各个处理，服务器112可以仅在生成主图像时的快门速度足够高的情况下才进行签名确认和图像真实性确认。即，服务器112可以只在难以进行上述的特技摄影并且主图像不是虚假图像的可能性高的情况下，才进行签名确认和图像真实性确认。于是，服务器112可以更准确地判定图像的真实性。注意，当在步骤s614中判定签名无效时，可以执行步骤s615中的图像确认处理，并且可以在该图像确认处理中判定图像不具有真实性。
380.《2-3-8.确认处理(jpeg图像签名)》
381.例如，在raw图像和jpeg图像两者作为主图像存储在图像文件中，并且只有jpeg图像的签名存储在图像文件中的情况下，服务器112可以判定raw图像与jpeg图像是否彼此匹配。然后，在raw图像与jpeg图像匹配的情况下，raw图像的签名也可以存在。即，在这种情况下，服务器112基于通过jpeg图像的签名判定jpeg图像未被伪造而判定raw图像也未被伪造。将参考图42的流程图说明这种情况下的确认处理的流程的例子。
382.当确认处理开始时，与图27的步骤s401的处理类似地执行步骤s631的处理。即，获取图像文件。
383.在步骤s632，显影处理单元239判定是否raw图像和jpeg图像作为主图像存储在图像文件中，并且是否只有主图像中的jpeg图像具有签名。在判定raw图像和jpeg图像作为主图像存储在图像文件中，该jpeg图像的签名存储在该图像文件中，并且该raw图像的签名未存储在该图像文件中的情况下，处理进行到步骤s633。
384.在步骤s633，显影处理单元239使用raw图像生成jpeg图像。此时，显影处理单元239通过与成像设备111相似的方法从raw图像生成jpeg图像。
385.在步骤s634，显影处理单元239比较在步骤s633生成的jpeg图像与存储在图像文件中的jpeg图像，并判定两者是否匹配。在判定这些jpeg图像彼此匹配的情况下，处理进行到步骤s635。即，在raw图像和jpeg图像作为主图像存储在图像文件中，jpeg图像的签名存储在该图像文件中，raw图像的签名未存储在该图像文件中，并且从raw图像生成的jpeg图像与存储在该图像文件中的jpeg图像匹配的情况下，处理进行到步骤s635。
386.另外，当在步骤s632中判定raw图像和jpeg图像未作为主图像存储在步骤s631获取的图像文件中(主图像是raw图像或jpeg图像)时，处理进行到步骤s635。此外，当在步骤s632中判定jpeg图像的签名未存储在该图像文件中时，处理进行到步骤s635。此外，当在步骤s632中判定raw图像的签名存储在该图像文件中时，处理进行到步骤s635。
387.在这种情况下，与图27的步骤s402～s405的各个处理类似地执行步骤s635～s638的各个处理。即，确认签名的有效性，并且按照确认的结果确认图像的真实性或进行错误处理。即，如果存储在图像文件中的jpeg图像的签名得到确认，则服务器112判定不仅jpeg图像而且raw图像也没有被伪造。然后，通过图像确认处理确认主图像(raw图像和jpeg图像)的真实性。当步骤s637或步骤s638的处理结束时，确认处理结束。
388.另外，当在步骤s634中判定从包含在图像文件中的raw图像生成的jpeg图像与存
储在该图像文件中的jpeg图像不匹配时，处理进行到步骤s638。在这种情况下，与图27的步骤s405的处理类似地执行步骤s638的处理。即，进行错误处理。然后，当步骤s638的处理结束时，确认处理结束。即，在这种情况下，省略(跳过)了签名确认和图像真实性确认处理。在这种情况下，图像文件被处理为不具有主图像的真实性。
389.通过以这种方式执行各个处理，在raw图像和jpeg图像两者作为主图像被存储在图像文件中，只有jpeg图像的签名被存储在该图像文件中，并且raw图像和jpeg图像彼此匹配的情况下，服务器112可以基于通过jpeg图像的签名判定jpeg图像未被伪造而将raw图像视为未被伪造。注意，当在步骤s636中判定签名无效时，可以执行步骤s637中的图像确认处理，并且可以在该图像确认处理中判定图像不具有真实性。
390.《3.缩减图像签名》
391.在上面的说明中，在图像文件中存储主图像的签名，但是代替主图像的签名，可以存储缩减图像的签名。图43图解说明这种情况下的图像文件的主要构成例子。
392.如图43中图解所示，在这种情况下，排除主图像431，通过使用缩减图像434、标准元数据441和附加元数据442(设备唯一id 411、3d信息432和成像信息451等)生成签名(缩减图像签名552)，并将缩减图像签名552作为附加元数据442存储在图像文件440中。
393.即，由于缩减图像签名552不包括主图像431，因此缩减图像签名552的数据量小于包括主图像431的签名452(图19)的数据量。于是，缩减图像签名552可以以比签名452小的负载更快地生成。
394.例如，在其中在成像操作持续期间多次进行成像的连拍模式的情况下，由于在短时间内多次进行成像，因此如果生成签名需要时间，则存在图像文件的生成赶不上拍摄图像的生成的可能性。例如，假设在连拍模式下，每秒进行10次成像，并且每次获得20mb的主图像。另外，如果生成该20mb主图像的签名需要0.9秒，则图像文件生成的速度跟不上成像的速度，从而成像速度降低到每秒约1次。
395.于是，在以连续摄影模式生成主图像的情况下，可以生成缩减图像签名552而不是签名452。将参考图44的流程图说明这种情况下由成像设备111执行的成像处理的流程的例子。
396.当成像处理开始时，与图16的步骤s151～s155的各个处理类似地执行步骤s701～s705的各个处理。即，在同一光轴上获得raw图像和3d信息，校正raw图像，并且生成yuv图像、缩减图像和元数据等。
397.在步骤s706，签名控制单元153从控制单元121获得关于图像传感器142的成像模式的信息，并判定成像模式是否是连拍模式。在判定是连拍模式的情况下，处理进行到步骤s707。
398.在步骤s707，哈希处理单元147如上所述使用缩减图像、标准元数据和附加元数据(设备唯一id、3d信息和成像信息等)计算哈希值。然后，在步骤s708，签名生成单元150使用从存储单元131读取的与成像设备111对应的设备秘密密钥加密哈希值，以生成缩减图像签名。注意，签名生成单元150可以通过使用公用密钥而不是设备秘密密钥加密哈希值来生成该缩减图像签名。当步骤s708的处理结束时，处理进行到步骤s711。
399.此外，在步骤s706，在判定图像传感器142的成像模式不是连拍模式(是针对一次成像操作进行一次成像的单拍模式)的情况下，处理进行到步骤s709。在这种情况下，与图
16中的步骤s156和s157的各个处理类似地执行步骤s709和s710的各个处理。即，使用主图像等计算哈希值，并生成包含主图像的签名。当步骤s710的处理结束时，处理进行到步骤s711。
400.与图16的步骤s158～s160的各个处理类似地执行步骤s711～s713的各个处理。即，生成存储缩减图像签名等的图像文件，并记录该图像文件或将该图像文件上传到服务器112。当步骤s713的处理结束时，成像处理结束。另外在这种情况下，可以省略步骤s712的处理或步骤s713的处理。此外，如果通过步骤s701的处理获取的raw图像和3d信息以及通过步骤s705的处理生成的元数据被存储，则其他步骤的处理(对raw图像的处理、yuv图像的生成、缩减图像的生成、哈希值的计算、签名或缩减图像签名的生成、图像文件的生成和提供等)可以在成像处理结束之后作为与成像处理不同的处理来执行。
401.通过以这种方式执行各个处理，即使在以连拍模式驱动图像传感器142的情况下，成像设备111也可在不延迟成像的情况下生成图像文件。
402.将参考图45的流程图说明服务器112对以这种方式生成的图像文件，即，存储缩减图像签名的图像文件执行的确认处理的流程的例子。
403.当确认处理开始时，与图27的步骤s401的处理类似地执行步骤s751的处理。即，获取从成像设备111发送的图像文件。
404.在步骤s752，签名确认单元232缩减包含在图像文件中的主图像，并生成缩减图像。该缩减图像生成方法通过与成像设备111生成缩减图像的情况类似的方法来执行。缩减图像生成方法可以预先在成像设备111和服务器112之间共享，或者指示该生成方法的信息可以作为元数据等存储在图像文件中。
405.在步骤s753，签名确认单元232经由设备公开密钥管理单元231访问设备公开密钥数据库223，并获取与包含在图像文件中的设备唯一id对应的设备公开密钥。然后，签名确认单元232通过使用在步骤s752生成的缩减图像和该设备公开密钥来确认缩减图像签名的有效性。
406.例如，签名确认单元232使用在步骤s752生成的缩减图像以及存储在图像文件中的3d信息和元数据来计算第一哈希值。另外，签名确认单元232使用与包含在图像文件中的设备唯一id对应的设备公开密钥，对存储在图像文件中的缩减图像签名进行解密，并计算第二哈希值。然后，签名确认单元232判定该第一哈希值与第二哈希值是否匹配。
407.在第二哈希值与第二哈希值匹配的情况下，签名确认单元232判定缩减图像签名有效，并且诸如存储在图像文件中的主图像和3d信息之类的信息未被篡改。相反，在第一哈希值与第二哈希值不匹配的情况下，签名确认单元232判定缩减图像签名无效，并且诸如存储在图像文件中的主图像和3d信息之类的信息已被伪造。
408.在步骤s754，签名确认单元232判定缩减图像签名的有效性是否得到确认。在通过步骤s753的处理判定缩减图像签名被确认为有效的情况下，处理进行到步骤s755。在这种情况下，与图27的步骤s404的处理类似地执行步骤s755的处理。即，执行图像确认处理，确认主图像的真实性。当步骤s755的处理结束时，确认处理结束。
409.注意，当在步骤s754中判定通过步骤s753的处理尚未确认缩减图像签名有效(即，已确认缩减图像签名无效)时，处理进行到步骤s756。在这种情况下，与图27的步骤s405的处理类似地执行步骤s756的处理。即，进行错误处理。然后，当步骤s756的处理结束时，确认
处理结束。即，在这种情况下，省略(跳过)图像真实性确认处理。在这种情况下，图像文件被处理为不具有主图像的真实性。
410.通过如上所述执行各个处理，服务器112可以使用缩减图像签名来检测主图像和3d信息的伪造。于是，服务器112可以更准确地确认图像的真实性，同时抑制负载的增加。注意，当在步骤s754中判定签名无效时，可以执行步骤s755中的图像确认处理，并且可以在该图像确认处理中判定图像不具有真实性。
411.在上面的说明中，将缩减图像签名应用于连拍模式，但是缩减图像签名可以应用于任何操作模式。例如，在单拍模式下可以应用缩减图像签名。此外，可以将缩减图像签名应用于通过成像获得运动图像的运动图像模式。
412.《4.拍摄图像修改在3d信息上的反映》
413.在成像设备111中，在修改和编辑通过由图像传感器142进行的成像生成的图像的情况下，所述修改和编辑的内容也可以反映在由3d信息传感器148生成的3d信息中。例如，在修剪图像的情况下，成像设备111可以对与该图像对应的3d信息进行类似的修剪。此外，可以将指示所述修改和编辑的内容的信息作为元数据存储在图像文件中。
414.在这种情况下，可以生成存储在包含每个编辑的主图像和3d信息的图像文件中的各种类型的信息的签名(也称为修改编辑后签名)，并存储在图像文件中。在这种情况下，可以使用作为对应于服务器112的设备秘密密钥的服务器秘密密钥来生成修改编辑后签名。将参考图46的流程图说明这种情况下的成像处理的流程的例子。
415.当成像处理开始时，与图16的步骤s151～s157的各个处理类似地执行步骤s801～s807的各个处理。即，在同一光轴上获得raw图像和3d信息，对raw图像进行校正处理，生成yuv图像(或jpeg图像)、缩减图像和元数据等，计算它们的哈希值，并使用哈希值和设备秘密密钥生成签名。
416.在步骤s808，yuv处理单元144对主图像进行修改和编辑。此外，3d信息处理单元149对3d信息进行相似的修改和编辑。例如，yuv处理单元144对图18的图像431的一部分进行修剪，并提取图47的图像601。在这种情况下，3d信息处理单元149对图18的3d信息432中的与图像431的修剪区域相同的区域进行修剪，并提取图47的3d信息602。即，图像601和3d信息602是通过提取同一区域获得的。于是，如在图47的重叠图像603中图解所示，从图像601估计的被摄体的凹凸的状态与3d信息602所指示的凹凸的状态一致。
417.在步骤s809，哈希处理单元147使用在步骤s808中修改和编辑的主图像和3d图像等来计算哈希值(也称为修改编辑后哈希值)。
418.在步骤s810，签名生成单元150使用服务器秘密密钥对修改编辑后哈希值进行加密，从而生成修改编辑后签名。
419.与图16的步骤s158～s160的各个处理类似地执行步骤s811～s813的各个处理。即，生成图像文件，将经修改和编辑的主图像和3d图像、缩减图像、元数据、以及修改编辑后签名等存储在图像文件中，并记录图像文件或将图像文件上传到服务器112。当步骤s813的处理结束时，成像处理结束。另外在这种情况下，可以省略步骤s812的处理或步骤s813的处理。此外，如果通过步骤s801的处理获取的raw图像和3d信息以及通过步骤s805的处理生成的元数据被存储，则其他步骤的处理(签名执行模式的设定、对raw图像的处理、yuv图像的生成、缩减图像的生成、哈希值的计算、签名的生成、修改和编辑、修改编辑后哈希值的计
算、修改编辑后签名的生成、图像文件的生成和提供等)可以在成像处理完成之后作为与成像处理不同的处理来执行。
420.通过以这种方式执行各个处理，成像设备111可以将修改编辑后签名连同修改和编辑的主图像、3d信息等一起存储在图像文件中。于是，服务器112还可以确认修改和编辑后的图像的真实性。
421.注意，使用服务器秘密密钥生成的修改编辑后签名可以将或者可以不将修改和编辑之前的整个图像包含在签名目标中。
422.此外，在对图像或3d信息多次进行修改和编辑的情况下，可以将最后的修改和编辑的图像作为签名目标来生成修改编辑后签名，或者可以每次进行修改和编辑时生成修改编辑后签名。
423.此外，在进行组合多个图像的修改和编辑的情况下，成像设备111可以将与每个图像对应的3d信息以及表示每个图像的合成界面的图像存储在图像文件中。此外，成像设备111可以类似于图像地组合与每个图像对应的3d信息。
424.在这种情况下，服务器112与参考图27的流程图说明的情况类似地执行确认处理，从而确认签名或确认图像的真实性。然而，在这种情况下，服务器112使用服务器秘密密钥来确认修改编辑后签名。
425.《5.应用例》
426.《5-1.服务器验证》
427.服务器112进行的图像与3d信息之间的比较(凹凸的状态的比较)可以使用诸如面部和人物之类的特征点来进行。另外，这种比较可以使用人工智能(ai)进行。
428.此外，例如，服务器112可以使用3d信息来确认图像中应相对靠近的特征在近处，而应相对远离的特征在远处。待确认的特征可以是任何特征。例如，可以是除人物的面部或鼻子等以外的特征。例如，ai可以应用于该确认，并且可以在具体表征什么未知的状态下进行该确认。
429.《5-2.通信》
430.注意，成像设备111和服务器112之间的图像文件的传送可以通过通信进行，或者例如可以经由诸如sd卡(注册商标)之类的可移动记录介质进行。
431.《5-3.图像格式》
432.在签名中，包含原始像素数的主图像的图像文件中的所有信息可以被设定为签名目标，或者可以将主图像从签名目标中排除。另外，可以生成包含主图像的签名和不包含主图像的签名(例如，缩减图像签名)两者，并将它们存储在图像文件中。
433.另外，图像、3d信息和其他附加信息可以以被一起放入一个文件中的形式进行签名，或者可以在单独地指定如何放在一起，并以该放在一起的方式排列之后进行签名。
434.另外，签名可以存储在图像文件中，或者可以存储在与图像文件不同的文件中。
435.此外，签名可以是电子签名或使用rivest-shamir-adleman密码系统(rsa)的密钥的哈希。这些可以从整个目标数据生成，或者可以对通过从目标数据进行诸如sha256之类的高速哈希生成处理而计算的哈希值来进行。
436.在一个图像文件中可以存储一个主图像或多个主图像。这类似地适用于缩减图像。
437.存储在图像文件中的主图像的格式是任意的，并且可以是除jpeg图像以外的格式。例如，主图像可以是raw图像、高效图像文件格式(heif)图像或便携式网络图形(png)图像。当然，可以使用其他格式。
438.可以提供型号共享秘密密钥(也称为型号秘密密钥)，并且可以使用型号秘密密钥对图像进行签名。然后，服务器112可以通过使用模型共享公开密钥(也称为模型公开密钥)来确认签名。
439.图像的签名可以用利用服务器公开密钥加密的通过sha等的图像的哈希值来代替。然后，服务器112可以使用服务器秘密密钥对签名进行解密以确认有效性。此外，成像设备111和服务器112可以应用公用密钥。即，成像设备111可以使用公用密钥生成签名，并且服务器112可以使用公用密钥确认签名。
440.《6.附录》
441.注意，只要不存在矛盾，就可以组合地应用上述各种方法中的任何多种方法。此外，上述各种方法可以与未在上面说明的任何其他方法组合地应用。
442.《计算机》
443.上述一系列处理可以通过硬件或软件来执行。在通过软件执行所述一系列处理的情况下，构成该软件的程序被安装到计算机中。这里，例如，计算机包括并入专用硬件中的计算机、通过安装各种程序能够执行各种功能的通用个人计算机等。
444.图48是图解说明通过程序执行上述一系列处理的计算机的硬件构成例子的框图。
445.在图48中图解所示的计算机900中，中央处理单元(cpu)901、只读存储器(rom)902和随机存取存储器(ram)903经由总线904相互连接。
446.输入/输出接口910也连接到总线904。输入单元911、输出单元912、存储单元913、通信单元914和驱动器915连接到输入/输出接口910。
447.输入单元911例如包括键盘、鼠标、麦克风、触摸面板、输入端子等。输出单元912例如包括显示器、扬声器、输出端子等。存储单元913例如包括硬盘、ram盘、非易失性存储器等。通信单元914例如包括网络接口。驱动器915驱动可移动记录介质921，比如磁盘、光盘、磁光盘或半导体存储器。
448.在如上所述构成的计算机中，例如，cpu 901经由输入/输出接口910和总线904将存储在存储单元913中的程序载入ram 903中并执行该程序，从而进行上述一系列的处理。ram 903还适当地存储为cpu 901执行各种处理所需的数据等。
449.由计算机执行的程序例如可以通过记录在作为套装介质等的可移动记录介质921中来应用。在这种情况下，程序可通过将可移动记录介质921附接到驱动器915而经由输入/输出接口910安装在存储单元913中。
450.此外，该程序还可以经由诸如局域网、因特网或数字卫星广播之类的有线或无线传输介质来提供。在这种情况下，程序可以由通信单元914接收并安装在存储单元913中。
451.另外，该程序可以预先安装在rom 902或存储单元913中。
452.《本技术适用于的对象》
453.本技术可以应用于任何图像编码/解码方法。
454.此外，本技术可以应用于任何构成。例如，本技术可以应用于各种电子设备。
455.此外,例如,本技术也可以实现为装置的部分构成，比如作为系统大规模集成
(lsi)等的处理器(例如，视频处理器)，使用多个处理器等的模块(例如，视频模块)，使用多个模块等的单元(例如，视频单元)，或者通过向单元进一步增加其他功能而获得的集合(例如，视频集)。
456.此外，例如，本技术也可以应用于包括多个设备的网络系统。例如，本技术可以实施为经由网络由多个设备分担并协同处理的云计算。例如，本技术可以在云服务中实现，所述云服务向诸如计算机、视听(av)设备、便携式信息处理终端或物联网(iot)设备之类的任意终端提供与图像(运动图像)相关的服务。
457.注意，在本说明书中，系统意味着多个组件(设备、模块(部件)等)的集合，并且所有组件是否都在同一壳体内并不重要。于是，容纳在单独的壳体内并经由网络连接的多个设备，以及其中多个模块容纳在一个壳体内的一个设备都是系统。
458.《其他》
459.本技术的实施例不限于上述实施例，在不脱离本技术的主旨的情况下可以进行各种修改。
460.例如，描述为一个设备(或处理单元)的构成可以被分割并配置为多个设备(或处理单元)。相反，可以将上面描述为多个设备(或处理单元)的构成集体地配置为一个设备(或处理单元)。此外，可以向每个设备(或每个处理单元)的构成增加除上述构成以外的构成。此外，只要整个系统的构成和操作实质上相同，某个设备(或处理单元)的一部分就可以包括在其他设备(或其他处理单元)的构成中。
461.此外，例如，上述程序可以在任意设备中执行。在这种情况下，设备具有必要的功能(功能块等)并且可以获得必要的信息就足够了。
462.另外，例如，一个流程图的各个步骤可以由一个设备执行，或者可以由多个设备分担执行。此外，在多个处理包含在一个步骤中的情况下，所述多个处理可以由一个设备执行，或者可以由多个设备分担执行。换句话说，包含在一个步骤中的多个处理也可以作为多个步骤的处理来执行。相反，描述为多个步骤的处理可以作为一个步骤集中执行。
463.此外，例如，在计算机执行的程序中，描述该程序的各个步骤的处理可以按本说明书中说明的顺序时序地执行，或者可以并行地或者在必要的定时(比如进行调用时)单独地执行。即，只要不存在矛盾，各个步骤的处理就可以按与上述顺序不同的顺序执行。此外，描述该程序的各个步骤的处理可以与其他程序的处理并行地执行，或者可以与其他程序的处理组合地执行。
464.此外，例如，只要不存在矛盾，与本技术相关的多种技术就可以作为单独的主体独立地实现。当然，多种任意的本技术可以组合地实现。例如，在任意实施例中说明的一些或全部本技术可以与在其他实施例中说明的一些或全部本技术组合地实现。此外，上述任意本技术的一些或全部可以与未在上面说明的其他技术组合地实现。
465.注意，本技术还可以具有以下构成。
466.(1)一种图像处理装置，包括：
467.图像获取单元，所述图像获取单元通过拍摄来自被摄体的光学像来获取所述被摄体的图像；
468.3d信息获取单元，所述3d信息获取单元在与所述图像相同的光轴上从所述光学像获取3d信息；和
469.签名生成单元，所述签名生成单元生成所述图像和所述3d信息的签名。
470.(2)按照(1)所述的图像处理装置，
471.其中所述3d信息包括关于所述图像中的多个位置的距离相关信息或基于所述距离相关信息生成的信息。
472.(3)按照(1)或(2)所述的图像处理装置，
473.其中所述3d信息获取单元使用相位差法获取所述3d信息。
474.(4)按照(1)～(3)任意之一所述的图像处理装置，
475.其中所述3d信息获取单元获取在所述图像获取单元在拍摄中开始主曝光的主曝光开始定时的所述3d信息。
476.(5)按照(4)所述的图像处理装置，
477.其中在单次自动聚焦模式的情况下，所述3d信息获取单元获取在进行用于固定焦点的控制的焦点固定定时和主曝光开始定时的所述3d信息。
478.(6)按照(1)～(5)任意之一所述的图像处理装置，还包括
479.图像文件生成单元，所述图像文件生成单元生成存储所述图像、所述3d信息、包括指示已在与所述图像相同的光轴上获取所述3d信息的信息的元数据、以及所述签名的图像文件。
480.(7)按照(1)～(6)任意之一所述的图像处理装置，还包括
481.图像文件生成单元，所述图像文件生成单元生成存储所述图像、所述3d信息、包括指示所述3d信息的可靠性的可靠性信息的元数据、以及所述签名的图像文件。
482.(8)按照(1)～(7)任意之一所述的图像处理装置，还包括
483.平面判定单元，所述平面判定单元基于所述3d信息判定所述被摄体的形状是否为平面，
484.其中在所述平面判定单元判定所述被摄体的形状不是平面的情况下，所述签名生成单元生成所述签名。
485.(9)按照(1)～(8)任意之一所述的图像处理装置，还包括：
486.密钥生成单元，所述密钥生成单元生成与所述图像处理装置对应的密钥；和
487.提供单元，所述提供单元将所述密钥提供给服务器。
488.(10)一种图像处理方法，包括：
489.通过拍摄来自被摄体的光学像来获取所述被摄体的图像；
490.在与所述图像相同的光轴上从所述光学像获取3d信息；以及
491.生成所述图像和所述3d信息的签名。
492.(11)一种图像处理装置，包括
493.图像确认处理单元，所述图像确认处理单元通过将图像与在与所述图像相同的光轴上获取的3d信息进行比较来确认所述图像的真实性。
494.(12)按照(11)所述的图像处理装置，
495.其中所述图像确认处理单元将从所述图像中检测到的图像的被摄体的凹凸与基于所述3d信息的所述被摄体的凹凸进行比较。
496.(13)按照(12)所述的图像处理装置，
497.其中所述图像确认处理单元基于比较的结果判定所述图像的真实性。
498.(14)按照(12)所述的图像处理装置，
499.其中所述图像确认处理单元进行将比较的结果显示在显示单元上的显示控制。
500.(15)按照(11)～(14)任意之一所述的图像处理装置，还包括
501.签名确认单元，所述签名确认单元确认所述图像和所述3d信息的签名的有效性，
502.其中在无法确认所述签名的有效性的情况下，所述图像确认处理单元判定所述图像不具有真实性。
503.(16)按照(11)～(15)任意之一所述的图像处理装置，还包括
504.光轴判定单元，所述光轴判定单元判定所述3d信息是否是在与所述图像相同的光轴上获取的，
505.其中在所述3d信息不是在与所述图像相同的光轴上获取的情况下，所述图像确认处理单元判定所述图像不具有真实性。
506.(17)按照(11)～(16)任意之一所述的图像处理装置，还包括
507.可靠性判定单元，所述可靠性判定单元基于指示所述3d信息的可靠性的可靠性信息来判定所述3d信息是否可靠，所述可靠性信息存储在存储所述图像和所述3d信息的图像文件中，
508.其中在所述3d信息不可靠的情况下，所述图像确认处理单元判定所述图像不具有真实性。
509.(18)按照(11)～(17)任意之一所述的图像处理装置，还包括
510.可靠性计算单元，所述可靠性计算单元基于与所述图像相关的照相机参数计算所述3d信息的可靠性，所述照相机参数存储在存储所述图像和所述3d信息的图像文件中。
511.(19)按照(11)～(18)任意之一所述的图像处理装置，还包括
512.快门速度判定单元，所述快门速度判定单元基于与所述图像相关的照相机参数，判定生成所述图像时的成像的快门速度是否高于预定标准，所述照相机参数存储在存储所述图像和所述3d信息的图像文件中，
513.其中在所述快门速度慢于所述标准的情况下，所述图像确认处理单元判定所述图像不具有真实性。
514.(20)一种图像处理方法，包括
515.通过将图像与在与所述图像相同的光轴上获取的3d信息进行比较来确认所述图像的真实性。
516.附图标记列表
517.100图像处理系统
518.110 网络
519.111 成像设备
520.112 服务器
521.113 终端设备
522.121 控制单元
523.122 成像处理单元
524.131 存储单元
525.132 密钥生成单元
526.133 上传单元
527.134 记录单元
528.141 光学系统
529.142 图像传感器
530.143 raw处理单元
531.144 yuv处理单元
532.145 缩减图像生成单元
533.146 元数据添加单元
534.147 哈希处理单元
535.148 3d信息传感器
536.149 3d信息处理单元
537.150 签名生成单元
538.151 图像文件生成单元
539.153 签名控制单元
540.154 可靠性计算单元
541.161 传感器单元
542.171 像面相位差像素
543.201控制单元221通信单元
544.222 图像分析引擎
545.223 设备公开密钥数据库
546.231 设备公开密钥管理单元
547.232 签名确认单元
548.233 图像确认处理单元
549.234 确认控制单元
550.235 光轴判定单元
551.236 可靠性判定单元
552.237 可靠性计算单元
553.238 快门速度判定单元
554.239 显影处理单元
555.241 图像验证单元
556.242 支持处理单元
557.301cpu
558.302rom
559.303ram
560.304总线
561.310输入/输出接口
562.311 输入单元
563.312 输出单元
564.313 存储单元
565.314 通信单元
566.315 驱动器
567.321 可移动记录介质

技术特征：
1.一种图像处理装置，包括：图像获取单元，所述图像获取单元通过拍摄来自被摄体的光学像来获取所述被摄体的图像；3d信息获取单元，所述3d信息获取单元在与所述图像相同的光轴上从所述光学像获取3d信息；和签名生成单元，所述签名生成单元生成所述图像和所述3d信息的签名。2.按照权利要求1所述的图像处理装置，其中所述3d信息包括关于所述图像中的多个位置的距离相关信息或基于所述距离相关信息生成的信息。3.按照权利要求1所述的图像处理装置，其中所述3d信息获取单元使用相位差法获取所述3d信息。4.按照权利要求1所述的图像处理装置，其中所述3d信息获取单元获取在所述图像获取单元在拍摄中开始主曝光的主曝光开始定时的所述3d信息。5.按照权利要求4所述的图像处理装置，其中在单次自动聚焦模式的情况下，所述3d信息获取单元获取在进行用于固定焦点的控制的焦点固定定时和主曝光开始定时的所述3d信息。6.按照权利要求1所述的图像处理装置，还包括图像文件生成单元，所述图像文件生成单元生成存储所述图像、所述3d信息、包括指示已在与所述图像相同的光轴上获取所述3d信息的信息的元数据、以及所述签名的图像文件。7.按照权利要求1所述的图像处理装置，还包括图像文件生成单元，所述图像文件生成单元生成存储所述图像、所述3d信息、包括指示所述3d信息的可靠性的可靠性信息的元数据、以及所述签名的图像文件。8.按照权利要求1所述的图像处理装置，还包括平面判定单元，所述平面判定单元基于所述3d信息判定所述被摄体的形状是否为平面，其中在所述平面判定单元判定所述被摄体的形状不是平面的情况下，所述签名生成单元生成所述签名。9.按照权利要求1所述的图像处理装置，还包括密钥生成单元，所述密钥生成单元生成与所述图像处理装置对应的密钥；和提供单元，所述提供单元将所述密钥提供给服务器。10.一种图像处理方法，包括：通过拍摄来自被摄体的光学像来获取所述被摄体的图像；在与所述图像相同的光轴上从所述光学像获取3d信息；以及生成所述图像和所述3d信息的签名。11.一种图像处理装置，包括图像确认处理单元，所述图像确认处理单元通过将图像与在与所述图像相同的光轴上获取的3d信息进行比较来确认所述图像的真实性。
12.按照权利要求11所述的图像处理装置，其中所述图像确认处理单元将从所述图像中检测到的图像的被摄体的凹凸与基于所述3d信息的所述被摄体的凹凸进行比较。13.按照权利要求12所述的图像处理装置，其中所述图像确认处理单元基于比较的结果判定所述图像的真实性。14.按照权利要求12所述的图像处理装置，其中所述图像确认处理单元进行将比较的结果显示在显示单元上的显示控制。15.按照权利要求11所述的图像处理装置，还包括签名确认单元，所述签名确认单元确认所述图像和所述3d信息的签名的有效性，其中在无法确认所述签名的有效性的情况下，所述图像确认处理单元判定所述图像不具有真实性。16.按照权利要求11所述的图像处理装置，还包括光轴判定单元，所述光轴判定单元判定所述3d信息是否是在与所述图像相同的光轴上获取的，其中在所述3d信息不是在与所述图像相同的光轴上获取的情况下，所述图像确认处理单元判定所述图像不具有真实性。17.按照权利要求11所述的图像处理装置，还包括可靠性判定单元，所述可靠性判定单元基于指示所述3d信息的可靠性的可靠性信息来判定所述3d信息是否可靠，所述可靠性信息存储在存储所述图像和所述3d信息的图像文件中，其中在所述3d信息不可靠的情况下，所述图像确认处理单元判定所述图像不具有真实性。18.按照权利要求11所述的图像处理装置，还包括可靠性计算单元，所述可靠性计算单元基于与所述图像相关的照相机参数计算所述3d信息的可靠性，所述照相机参数存储在存储所述图像和所述3d信息的图像文件中。19.按照权利要求11所述的图像处理装置，还包括快门速度判定单元，所述快门速度判定单元基于与所述图像相关的照相机参数，判定生成所述图像时的成像的快门速度是否高于预定标准，所述照相机参数存储在存储所述图像和所述3d信息的图像文件中，其中在所述快门速度慢于所述标准的情况下，所述图像确认处理单元判定所述图像不具有真实性。20.一种图像处理方法，包括通过将图像与在与所述图像相同的光轴上获取的3d信息进行比较来确认所述图像的真实性。

技术总结
本公开涉及一种能够更准确地判定图像的真实性的图像处理装置和方法。通过拍摄来自被摄体的光学像来获取被摄体的图像，在与所述图像相同的光轴上从所述光学像获取3D信息，并且生成所述图像和所述3D信息的签名。此外，通过将图像与在与所述图像相同的光轴上获取的3D信息进行比较，确认所述图像的真实性。本公开可以应用于例如图像处理装置或图像处理方法等。等。等。


技术研发人员：平塚阳介
受保护的技术使用者：索尼集团公司
技术研发日：2021.10.28
技术公布日：2023/8/24