摄像装置和光学元件的制作方法

1.本发明涉及摄像装置和光学元件。


背景技术：

2.通常，摄像装置取得可取得的光学信息为r(红)、g(绿)、b(蓝)这3色的二维图像。与此相对，近年来，作为取得更详细的颜色信息(波长光谱)的相机，高光谱相机被实用化，从更丰富多彩的光学信息中提取具有新价值的信息的努力正在推进。
3.此外，与波长同样地取得作为重要的光信息的偏振光信息的偏振图像传感器也被实用化，提出了从更多彩的光学信息中新提取有价值的信息的技术。因此，近年来，期望实现能够取得偏振光信息的高光谱摄像装置。
4.现有技术文献
5.非专利文献
6.非专利文献1：gonzalo r arce,david j brady,lawrence carin,henry arguello,and david s kittle,“compressive coded aperture spectral imaging:an introduction”,ieee signal processing magazine,vol.31,no.1,pp.105-115,2013.
7.非专利文献2：y.sogabe,et al.“admm-inspired reconstruction network for compressive spectral imaging”,in:2020ieee international conference on image processing(icip).ieee,2020.p.2865-2869.


技术实现要素：

8.发明所要解决的问题
9.通常，实用化的高光谱相机是线扫描型，通过使用线扫描机构和分光元件进行多次摄像，取得光谱图像。此外，为了除此之外还同时取得偏振光信息，原理上可以采用将现有的偏振图像传感器与现有的高光谱相机组合的方法。然而，在将现有的偏振图像传感器与现有的高光谱相机组合的情况下，存在装置进一步复杂化的问题。
10.本发明是鉴于上述情况而完成的，其目的在于提供一种高光谱摄像装置以及用于实现高光谱摄像装置的光学元件，所述高光谱摄像装置具有简单的装置结构并且能够取得偏振光信息。
11.用于解决问题的手段
12.为了解决上述问题并达成目的，本发明的摄像装置的特征在于，具有：光学元件，其具有透明基板和在透明基板上或透明基板内沿透明基板的面方向配置的多个构造体；摄像元件，其配置有包含光电转换元件的多个像素；以及信号处理部，其根据从摄像元件得到的电信号生成图像信号，光学元件通过以按照每个波长而具有不同的点扩散函数的状态输出光，而将卷积了各波长的聚光强度分布的图像根据偏振光成分分别成像于与各偏振光成分对应的多个像素，多个构造体在侧视时具有相同的高度，信号处理部按照每个偏振光成分重构卷积了各波长的点扩散函数的图像。
13.并且，本发明所涉及的光学元件具有：透明基板；及多个构造体，在透明基板上或透明基板内配置于透明基板的面方向，其特征在于，光学元件通过以按照每个波长而具有不同的聚光强度分布的状态输出光，而将卷积了各波长的点扩散函数的图像根据偏振光成分分别成像于与各偏振光成分对应的多个像素，多个构造体在侧视时具有相同的高度。
14.发明效果
15.根据本发明，能够实现具有简单的装置结构并且能够取得偏振光信息的高光谱摄像装置。
附图说明
16.图1是示出实施方式的摄像装置的概略结构的侧视图。
17.图2是说明图1所示的透镜的结构的图。
18.图3是示出到图1所示的摄像装置取得图像为止的处理的概略图。
19.图4是示意性地表示实施方式的摄像元件和透镜的截面的一部分的图。
20.图5是说明由信号处理部进行的图像的重构处理的图。
21.图6是俯视时的形状为正方形形状的构造体的侧视图。
22.图7是图6所示的构造体的仰视图。
23.图8是构造体的仰视图。
24.图9是构造体的侧视图。
25.图10是构造体的侧视图。
26.图11是表示各偏振光中的各波长的相位延迟量及构造体的构造宽度的关系的图。
27.图12是表示各偏振光中的各波长的相位延迟量及构造体的构造宽度的关系的图。
28.图13是表示各偏振光中的各波长的相位延迟量及构造体的构造宽度的关系的图。
29.图14是表示各偏振光中的各波长的相位延迟量及构造体的构造宽度的关系的图。
30.图15是表示各偏振光中的各波长的相位延迟量及构造体的构造宽度的关系的图。
31.图16是表示各偏振光中的各波长的相位延迟量及构造体的构造宽度的关系的图。
32.图17是表示构造体的截面形状的例子的图。
33.图18是表示设计为与菲涅尔透镜同等的情况下的构造体所具有的针对各偏振光的相位分布的例子的图。
34.图19是表示设计为与菲涅尔透镜同等的情况下的构造体所具有的针对各偏振光的相位分布的例子的图。
35.图20是表示设计为与菲涅尔透镜同等的情况下的构造体所具有的针对各偏振光的相位分布的例子的图。
36.图21是表示设计为与菲涅尔透镜同等的情况下的构造体所具有的针对各偏振光的相位分布的例子的图。
37.图22是表示设计为与菲涅尔透镜同等的情况下的构造体所具有的针对各偏振光的相位分布的例子的图。
38.图23是表示设计为与菲涅尔透镜同等的情况下的构造体所具有的针对各偏振光的相位分布的例子的图。
39.图24是表示设计为psf成为螺旋桨形状的情况下的构造体所具有的针对各偏振光
的相位分布的例子的图。
40.图25是表示设计为psf成为螺旋桨形状的情况下的构造体所具有的针对各偏振光的相位分布的例子的图。
41.图26是表示设计为psf成为螺旋桨形状的情况下的构造体所具有的针对各偏振光的相位分布的例子的图。
42.图27是表示设计为psf成为螺旋桨形状的情况下的构造体所具有的针对各偏振光的相位分布的例子的图。
43.图28是表示设计为psf成为螺旋桨形状的情况下的构造体所具有的针对各偏振光的相位分布的例子的图。
44.图29是表示设计为psf成为螺旋桨形状的情况下的构造体所具有的针对各偏振光的相位分布的例子的图。
45.图30是表示根据图24～图29所示的相位分布通过菲涅尔衍射积分求出的各偏振光及各波长下的psf形状的图。
46.图31是表示根据图24～图29所示的相位分布通过菲涅尔衍射积分求出的各偏振光及各波长下的psf形状的图。
47.图32是表示根据图24～图29所示的相位分布通过菲涅尔衍射积分求出的各偏振光及各波长下的psf形状的图。
48.图33是表示根据图24～图29所示的相位分布通过菲涅尔衍射积分求出的各偏振光及各波长下的psf形状的图。
49.图34是表示根据图24～图29所示的相位分布通过菲涅尔衍射积分求出的各偏振光及各波长下的psf形状的图。
50.图35是表示根据图24～图29所示的相位分布通过菲涅尔衍射积分求出的各偏振光及各波长下的psf形状的图。
51.图36是表示根据图24～图29所示的相位分布通过菲涅尔衍射积分求出的各偏振光及各波长下的psf形状的图。
52.图37是表示模拟结果的图。
53.图38是表示摄像装置的重构图像的一例的图。
54.图39是示出图38中的重构图像的
×
点处的波长光谱的图。
55.图40是表示按透镜的每个psf形状比较重构精度的结果的图。
56.图41是表示基于图40的psf的各形状的观测图像分别重构的重构图像的图。
57.图42是应用了图1所示的透镜的摄像单元的俯视图。
58.图43是利用图42的线a-a'将摄像单元切断的剖面图。
59.图44是实施方式的变形例1的摄像单元的俯视图。
60.图45是利用图44的线b-b'将摄像单元切断的剖面图。
61.图46是应用了图1所示的透镜的摄像单元的俯视图。
62.图47是利用图46的线c-c'将摄像单元切断的剖面图。
63.图48是实施方式的变形例2的摄像单元的俯视图。
64.图49是利用图48的线b-b'将摄像单元切断的剖面图。
65.图50是示意性地表示实施方式所涉及的光学元件12的截面的一部分的其他例子
的图。
66.图51是示意性地表示实施方式所涉及的光学元件12的截面的一部分的其他例子的图。
67.图52是示意性地表示实施方式所涉及的光学元件12的截面的一部分的其他例子的图。
68.图53是示意性地表示实施方式所涉及的光学元件12的截面的一部分的其他例子的图。
69.图54是示意性地表示实施方式所涉及的光学元件12的截面的一部分的其他例子的图。
70.图55是示意性地表示实施方式所涉及的光学元件12的截面的一部分的其他例子的图。
具体实施方式
71.下面，结合附图来详细说明用于实施本发明的最佳方式。另外，在以下的说明中，各图只不过是以能够理解本发明的内容的程度概略地示出形状、大小及位置关系，因此，本发明并不仅限定于在各图中例示的形状、大小及位置关系。另外，在附图的记载中对相同部分标注相同标号。此外，以下，在相对于a而记载为“^a”的情况下，与“在“a”的正上方记载有“^”的符号”相同。
72.[实施方式]
[0073]
[摄像装置]
[0074]
首先，对本发明的实施方式的摄像装置进行说明。图1是表示实施方式的摄像装置的概略结构的侧视图。图2是说明图1所示的光学元件12的结构的图。图3是示出到图1所示的摄像装置10取得图像为止的处理的概略图。
[0075]
如图1所示，实施方式的摄像装置10具有光学元件12、摄像元件11以及信号处理部13。摄像元件11具有ccd或cmos等光电转换元件。信号处理部13对从摄像元件11输出的光电转换信号进行处理而生成图像信号。
[0076]
如图1以及图2所示，在摄像装置10中，自然光、照明光等光照射到摄像对象(实际图像)，被摄像对象1透射/反射/散射的光、或者从摄像对象1发出的光通过光学元件12在摄像元件11上形成光学像。
[0077]
光学元件12具有成像位置根据偏振光信息而不同且成像特性根据波长而不同的功能。光学元件12由微细的二元构造构成。光学元件12具有以小于等于入射光的波长的周期配置的、侧视时的高度恒定的多个微细的柱状的构造体160。
[0078]
多个微细的柱状的构造体160的截面均具有2次旋转对称的形状，通过该形状能够实现偏振依赖性。例如，光学元件12中，分离0
°
(横)和90
°
(纵)的线偏振光的第一透镜图案区域12-1、和分离+45
°
(斜)和-45
°
(斜)的线偏振光的第二透镜图案区域12-2(参照图2)形成组，同时分离4个方向的偏振光成分。光学元件12的成像(聚光)位置根据偏振光方向而不同。
[0079]
此外，光学元件12具有成像特性根据波长而不同的功能，由此进行光学编码。因此，光学元件12是具有根据波长而明显不同的形状的psf(point spread function：点扩散
函数)的透镜(波长依赖psf透镜)，具有生成针对实际图像(被摄体)按每个波长实施了不同的卷积运算的图像的功能。光学元件12是波长依赖psf透镜，具有将卷积了各波长的psf的图像(取得的观测图像(编码图像))根据偏振光方向分别成像于摄像元件11中的与各偏振光方向对应的多个像素的功能。即，当利用该光学元件12拍摄物体时，根据偏振变更方向，对实际图像利用按每个波长而不同的psf进行卷积运算，结果分别成像在摄像元件11中的与各偏振光方向对应的区域上。
[0080]
来自摄像对象1的光通过光学元件12在偏振光成分被分离的状态下在不同的位置成像，成像特性(模糊程度)根据波长而不同。在通过光学元件12分离偏振光成分的同时，针对每个波长执行不同的卷积运算。
[0081]
摄像元件11按每个偏振光方向取得通过作为偏振光分离/波长依赖psf透镜的光学元件12，按每个波长进行了不同的卷积运算的观测图像。例如，如图3所示，在摄像元件11上成像图像g1～g4(参照图3)，图像g1与90
°
的偏振光成分相对应，图像g2与0
°
的偏振光成分相对应，图像g3与-45
°
的偏振光成分相对应，图像g4与45
°
的偏振光成分相对应，在图像g1～g4中的任意的图像中各波长的psf均被卷积。
[0082]
信号处理部13基于压缩感测，通过按每个偏振光成分对卷积了各波长的psf的图像进行重构的重构处理，生成复原了光谱信息的重构图像。例如，信号处理部13通过重构处理，生成与90
°
的偏振光成分对应的重构图像g1
′
、与0
°
的偏振光成分对应的重构图像g2
′
、与-45
°
的偏振光成分对应的重构图像g3
′
、与45
°
的偏振光成分对应的重构图像g4
′
。
[0083]
此外，摄像装置10能够具备红外光截止的光学滤光器、电子快门、取景器、电源(电池)、闪光灯等公知的构成要素，但它们的说明对于本发明的理解并不是特别需要的，因此省略。另外，以上的结构只不过是一个例子，在实施方式中，作为除了光学元件12、摄像元件11、信号处理部13以外的构成要素，能够适当地组合使用公知的要素。
[0084]
[透镜及摄像元件]
[0085]
接着，说明实施方式中的光学元件12以及摄像元件11的概略。图4是示意性地表示实施方式的摄像元件11和光学元件12的截面的一部分的图。
[0086]
在图4中，将摄像元件11和光学元件12的一部分作为摄像单元100进行说明。图4的摄像单元100是应用图2所示的光学元件12并以图2所示的a-a
′
线切断的情况下的剖面图。另外，从图4开始，示出xyz坐标系。xy平面方向相当于摄像元件11、后述的透明基板190等的面方向。以下，除了特别说明的情况以外，“俯视”表示沿z轴方向(例如z轴负方向)观察。“侧视”表示沿x轴方向或y轴方向(例如y轴负方向)观察。在摄像单元100中，用于分离0
°
(横向)和90
°
(纵向)的线偏振光的第一透镜图案区域12-1和用于分离+45
°
(倾斜)和-45
°
(倾斜)的线偏振光的第二透镜图案区域12-2形成组。
[0087]
如图4所示，在摄像单元100中，光学元件12与摄像元件11相对配置。摄像元件11和光学元件12沿z轴正方向依次设置。
[0088]
摄像元件11以二维矩阵状排列有多个分别包含光电转换元件的多个像素130。光电转换元件的例子是光电二极管(pd)。各像素对应于红色(r)、绿色(g)、蓝色(b)。关于红色光的波段的例子，当将波长设为λ0时，600nm＜λ0≤800nm。绿色光的波段的例子为500nm＜λ0≤600nm。蓝色光的波段的例子为小于λ0≤500nm。像素r、像素g、像素b也可以是拜耳排列。或者，像素也可以用于单色图像。
[0089]
入射的光沿着z轴负方向前进，经由光学元件12到达摄像元件11。在摄像元件11的各像素130中产生的电荷通过未图示的晶体管等转换为作为像素信号的基础的电信号，经由配线层输出到摄像单元100的外部。
[0090]
光学元件12配置在来自摄像对象的光入射的一侧。在俯视时，光学元件12以覆盖摄像元件11的方式设置。光学元件12在透明基板190的底面例如周期性地(具有周期构造)由多个构造体160构成。多个构造体160可以为了容易设计等而等间隔配置，也可以不等间隔配置。多个构造体160形成在为了覆盖多个像素而形成于摄像元件11上的透明层150内。
[0091]
透明基板190例如是由sio2(折射率n＝1.45)等材料构成的低折射率的透明基板。透明层150是由空气或sio2等材料构成的低折射率的透明层。透明基板190及透明层150的材料可以是单一的，也可以是多个材料成为层状的材料。多个构造体160在侧视时具有相同的高度。多个构造体160由具有比透明层150的折射率高的折射率的sin或tio2等材料形成的微细构造图案构成。
[0092]
光学元件12的例子为超构(metasurface)表面。超构表面构成为包含俯视时具有光的波长以下的宽度、并且侧视时具有相同高度的多个微细构造体(相当于构造体160)。多个构造体160的利用与xy平面平行的面切断时的各自的截面形状为2次旋转对称形状，通过该形状能够实现偏振依赖性。另外，超构表面可以具有二维结构，也可以具有三维结构。光学元件12仅通过改变该构造体160的参数，就能够根据光的特性(波长、偏振、入射角)来控制相位和光强度。在三维结构的情况下，与二维结构相比，设计自由度提高。
[0093]
光学元件12的成像(聚光)位置根据偏振光方向而不同，在各个聚光点具有根据波长而不同的psf。由此，来自摄像对象1的光通过具有偏振光分离/波长依赖psf功能的光学元件12，以偏振光成分被分离的状态在摄像元件11上的不同位置成像，作为成像特性(模糊程度)根据波长而不同的图像(rgb图像或单色图像)而被取得。
[0094]
例如，如图2所示，光学元件12将用于分离0
°
和90
°
的线偏振光的第一透镜图案区域12-1和用于分离+45
°
和-45
°
的线偏振光的第二透镜图案区域12-2形成为组。形成与0
°
、90
°
、+45
°
、-45
°
这4个偏振光成分对应的图像，在摄像元件11中，分别设定成像与各偏振光成分对应的图像的区域。图4示出了在摄像元件11的区域11-1中形成与0
°
的偏振光成分对应的图像并且在区域11-2中形成与+45
°
的偏振光成分对应的图像的示例。
[0095]
各取得图像对应于利用光学元件12的偏振光分离/波长依赖psf对摄像对象(实际图像)1按每个波长进行光学卷积运算并在像素上沿着波长维度进行积分的结果。摄像单元100取得光学编码和压缩后的状态的图像。另外，在摄像元件11是彩色图像传感器的情况下，在卷积运算之后，在进行了与摄像元件11的r、g、b各自的像素的波长灵敏度对应的乘法运算之后，在像素上沿着波长维度进行积分。
[0096]
这样，在摄像装置10中，仅通过光学元件12，按照每个偏振光成分，将光学编码后的图像成像在摄像元件11上。换句话说，在摄像装置10中，能够通过光学元件12在执行偏振光分离的同时，在光谱图像重构中执行有效的编码。因此，由于摄像装置10仅需要光学元件12、摄像元件11和信号处理部13即可，所以可以实现具有简单的装置配置并且能够取得偏振光信息的高光谱摄像装置。
[0097]
另外，在摄像装置10中，光学元件12与摄像元件11之间的距离与通常的摄像装置同样地，由透镜的焦距决定，因此摄像装置10的尺寸与具有相同的视场f值的通常的相机同
等。
[0098]
而且，在观测过程已知的情况下(在此为光学元件12的psf和传感器的波长灵敏度特性)，在信号处理部13中对光学编码后的图像进行适当的信号处理，由此能够复原实际图像的信息。
[0099]
特别地，摄像装置10使用压缩感测来执行信号处理，该压缩感测是通过使用自然图像所具有的稀疏性来根据少量信息高精度地重构(恢复)对象的方法。摄像装置10能够通过光学元件12所具有的波长依赖psf，对实际图像的各波长成分进行不同的编码，因此通过由信号处理部13进行基于压缩传感的图像的重构处理，能够复原光谱图像。
[0100]
通过将该处理应用于按照每个偏振光成分分离出的各偏振光成分的观测图像，能够生成由各偏振光成分构成的光谱图像(偏振光谱图像)(例如，图3的图像g1
′
～g4
′
)。
[0101]
另外，在本例的情况下，能够根据4个线偏振光成分的信息按每个波长导出记述偏振状态的4个斯托克斯参数(stokes parameters)中的3个参数。另外，根据透镜图案及其组，也能够按照可导出全部斯托克斯参数的4个或6个基底中的每一个基底进行偏振光分离，按每个波长取得全部斯托克斯参数。
[0102]
[图像的重构处理]
[0103]
信号处理部13基于由光学元件12的摄像过程定义的矩阵和在摄像元件11上成像的图像、即卷积了各波长的psf的图像(编码图像)，按每个偏振光成分分别重构图像。图5是说明信号处理部13的图像的重构处理的图。
[0104]
如图5所示，重构处理是对将由光学系统定义的观测矩阵φ和所取得的编码图像g作为输入的最优化问题(例如，图5的式(a))进行求解的处理。
[0105]
在式(a)中，右边的第一项的f表示本来想要复原的图像。观测图像的数据数显著少于想要复原的图像(重构图像)的数据数，因此存在无数个满足φf－g＝0的解，但通过将正则化项作为第二项来添加，容易求出作为复原图像合理的图像(重构图像^f)。
[0106]
关于正则化项，针对光谱图像用提出了各种各样的正则化项，在本实施方式中，对于正则化项的哪个都能够应用。在式(a)的例子中，r对应于基于prior(预见信息：图像可能性)的信号的先验概率，利用与相邻像素的差分小等图像通常具有的稀疏性。此外，τ是平衡参数。另外，在本实施例中，作为正则化项，使用被称为sstv(spatio-spectral total variation)(参考文献1)的项，在图像重构中进行优化以使空间维度以及波长维度的相邻像素的差分最小化。
[0107]
参考文献1：aggarwal，h.k.，&majumdar，a.(2016).hyperspectral image denoising using spatio-spectral total variation.ieee geoscience and remote sensing letters，13(3)，442-446.
[0108]
对于优化问题的解决方法已经提出了各种方法。在本实施方式中，例如使用被称为admm(alternating direction method of multipliers)(参考文献2)的方法。并且，近年来，提出了使用机器学习等将正则化项和最优化问题的参数同时最优化，进行图像重构的方法(参照非专利文献2)。信号处理部13也能够应用该方法。即，信号处理部13也可以使用由神经网络构成的模型以及最优化的重构算法，进行光谱图像的重构。换言之，信号处理部13使用机器学习，使用各种光谱图像事先学习正则化项的形式和最佳化问题的各种参数，使用学习完毕(最佳化完毕)的正则化项和各种参数，进行图像重构。
[0109]
参考文献2：s.boyd，n.parikh，e.chu，b.peleato，and j.eckstein，“distributed optistical learning via the alternating direction method of multipliers，”foundations andtrends in machine learn-ing，vol.3，no.1，pp.1-122，2011.
[0110]
这样，在摄像装置10中，能够通过简单且小型的光学系统(光学元件12)实现对重构有效的观测矩阵φ。
[0111]
[构造体的一例]
[0112]
为了实现构造体160，在本实施方式中，通过设计微细的柱状的构造体160的截面形状来设计任意的空间相位分布，从而实现成像位置根据偏振光信息而不同且成像特性根据波长而不同的偏振光分离/波长依赖psf透镜，即光学元件12。
[0113]
图6及图7是表示构造体160的概略结构的例子的图。图6是俯视时的形状为正方形形状的构造体160的侧视图。图7是图6所示的构造体160的仰视图。
[0114]
构造体160是沿z轴方向延伸的柱状构造体，形成于透明基板190(例如sio2基板(折射率为1.45))的底面。构造体160的材料的例子为sin(折射率n1＝2.05)。构造体160的侧方及下方为空气(air(折射率n0＝1.0))。
[0115]
将各个构造体160的配置周期设为p。配置周期p优选如式(1)那样设定，以使得在透射侧不产生衍射光。
[0116]
[数式1]
[0117]
p≤λ
min
/n0…
(1)
[0118]
λ
min
是受光对象的波段中的最短波长。n0是透射侧的透明层的折射率。例如，λ
min
为420nm，n0为1.0，p＝400nm。
[0119]
构造体160的高度h(z轴方向的长度)恒定。由于优选构造体160对于入射的光、即沿着z轴方向前进的光具有2π以上的光相位延迟量(相位值)，因此若将分离的波长区域的最长波长侧的波长区域中的所希望的中心波长设为λr，则高度h优选如式(2)那样设定。
[0120]
[数式2]
[0121]
h≥λr/(n
1-n0)
…
(2)
[0122]
在式(2)中，n1是构造体160的折射率。在构造体160为sin的情况下，n1＝2.05，高度h例如为1250nm。此外，构造体160可以由tin(折射率为2.40)形成。
[0123]
通过设计(包括尺寸设计)构造体160的截面形状，能够实现能够对各波长的光赋予不同的光相位延迟量的各种组合。通过使构造体160的截面形状多样化，组合增加，设计自由度进一步提高。
[0124]
为了产生偏振依赖性，多个构造体160优选利用与xy平面平行的面切断时的各自的截面形状为2次旋转对称形状。另外，这里所说的偏振依赖性是指能够对正交的线偏振光分别赋予不同的相位延迟量的性质。在本实施方式中，使用依赖于构造体16的截面形状的尺寸参数的、针对各偏振光成分的相位值，设计具有偏振光分离且波长依赖psf的透镜图案。
[0125]
[相位控制的原理]
[0126]
图8是构造体160的仰视图。图9和图10是构造体的侧视图。构造体160由具有比构造体160周围的材料或空间的折射率n0高的折射率n1的材料形成，侧视时的构造体160的高度h恒定。另外，构造体160的底面及上表面为四边形。
[0127]
构造体160通过与构造体160周围的材料或空间的折射率差，能够作为将光封闭在构造内传播的光波导而动作。因此，当光从构造体160的一侧入射时，光在构造内被强烈地封闭的同时传播。此时，入射的光在接受由光波导的有效折射率n
eff
确定的相位延迟效应的同时传播，并且最后从构造体的另一侧输出。
[0128]
在该情况下，在以在构造周围的材料或空间中传播了构造的厚度的量的长度的光的相位为基准时，若将光在真空中的波长设为λ，则基于构造的相位延迟量由式(3)表示。
[0129]
[数式3]
[0130][0131]
已知式(3)中的n
eff
是构造体160的尺寸的函数，并且根据构造体160的形状而产生强的偏振依赖性。如果构造体160具有如图8所示的长方形的构造截面，则能够对正交的入射偏振光独立地赋予不同的n
eff
。
[0132]
在此，将针对图8的横向(x轴方向)的偏振光成分的相位延迟量设为将针对纵向(y轴方向)的偏振光成分的相位延迟量设为将针对横向的偏振光成分的有效折射率设为n
effx
，将针对纵向的偏振光成分的有效折射率设为n
effy
，将与横向平行的方向的柱的宽度设为w1，将与纵向平行的方向的柱的宽度设为w2。
[0133]
此时，已知n
effx
和n
effy
能够通过w1和w2的组合分别控制，分别取n0《n
effx
《n1、和n0《n
effy
《n1的值。
[0134]
因此，能够通过w1和w2的组合分别任意地控制和即，如图11～图16(后述)所例示，通过设计作为构造体160的宽度的w1和w2，能够任意地设定针对各偏振光方向的相位延迟量的和
[0135]
如上所述，在本实施方式中，通过根据平面上的位置分别配置具有适当的宽度的柱状的构造体160，能够对各偏振光方向赋予任意的相位延迟空间分布。其结果，在本实施方式中，能够在设计波长下对各偏振光方向进行任意的波面控制。
[0136]
[相位延迟量]
[0137]
接着，对构造体160的构造宽度及各偏振光中的相位延迟量进行说明。图11～图16是表示各偏振光中的各波长的相位延迟量和构造体160的构造宽度的关系的图。图11～图16表示将柱状的构造体160的构造参数(宽度)在高度恒定的状态下设定为各种值时的波长(450nm、550nm、660nm)的纵偏振光或横偏振光的相位值。
[0138]
图11表示波长450nm下的横偏振光的相位值，图12表示波长450nm下的纵偏振光的相位值。图13表示波长550nm下的横偏振光的相位值，图14表示波长550nm下的纵偏振光的相位值。图15表示波长650nm下的横偏振光的相位值，图16表示波长650nm下的纵偏振光的相位值。
[0139]
如图11～图16所示，通过适当地设计(包括尺寸设计)构造体160的截面形状，能够在各偏振光中以各种设计波长实现0～2π的相位值的各种组合。
[0140]
另外，在图11～图16中，关于横偏振光和纵偏振光说明了相位延迟量与构造体160的构造宽度的关系，但不限于此。在本实施方式中，能够对任意的正交偏振光应用同样的设计。例如，对于+45
°
及-45
°
偏振光的控制，使图6～图10所示的构造体160的组成结构在xy平面上旋转45
°
即可。另外，在图11～图16中，仅示出了3个波长的特性，但在任意的波长下也
能够得到同样的特性。
[0141]
这样，在实施方式中，仅通过二元结构就能够根据设计波长来设计根据任意的正交偏振光方向而不同的空间相位分布，如后所述，能够设计在分离偏振光的同时具有针对每个波长而形状不同的psf的光学元件12。
[0142]
此外，构造体160的截面形状不限于图7及图8所示的长方形的形状。图17是表示构造体160的截面形状的例子的图。构造体160可以具有图17所例示的各种截面形状。例示的形状例如是通过将长方形形状、菱形形状、十字形状以及椭圆形状进行各种组合而得到的二次旋转对称形状。
[0143]
[透镜的设计例1]
[0144]
接着，对作为偏振光分离/波长依赖psf透镜的光学元件12的设计例进行说明。在本实施方式中，按照每个偏振光以不同的位置为中心进行聚光，设计按照每个波长而具有不同形状的psf的透镜相位分布，由柱状的构造体160实现。
[0145]
这里，使用图6～图10所示的sin组成构造的构造体160设计相位分布，实现了具有偏振光分离/波长依赖psf功能的光学元件12。另外，具有按每个波长而不同的形状的psf的透镜能够根据各种相位分布来实现。
[0146]
作为最简单的例子，说明基于与菲涅尔透镜同等的相位分布来设计按每个波长具有不同的psf的光学元件12的情况。在该情况下，例如由式(4)及式(5)表示透镜相对于正交的各偏振光(在此为横偏振光和纵偏振光)的相位分布
[0147]
[数式4]
[0148][0149]
[数式5]
[0150][0151]
在式(4)以及图(5)中，(x，y)是透镜平面上的空间坐标。λd是设计波长。xf是沿着x轴的焦距(偏心量)。zf是沿着z轴的焦距。n是透过透镜后的光传播空间的折射率。c是任意的常数。
[0152]
图18～图23是表示设计为与菲涅尔透镜同等的情况下的构造体160所具有的针对各偏振光的相位分布的例子的图。图18表示波长450nm下的横偏振光的相位分布。图19表示波长450nm下的纵偏振光的相位分布。图20表示波长550nm下的横偏振光的相位分布。图21表示波长550nm下的纵偏振光的相位分布。图22表示波长650nm下的横偏振光的相位分布。图23表示波长650nm下的纵偏振光的相位分布。
[0153]
在图18～图23所示的例子的情况下，利用透镜尺寸为0.5mm
×
1mm、焦距zf为5.0mm、偏心量xf为0.25mm、设计波长为520nm的参数进行了透镜设计。对进行了变换使其收敛于0～2π的范围。例如，-0.5π和2.5π分别变换为1.5π和0.5π。
[0154]
为了实现作为与菲涅尔透镜同等的相位分布的偏振光分离/波长依赖psf透镜，只要根据组成构造所具有的设计波长下的相位延迟量，按每个位置选择并配置最适合式(4)及式(5)的相位分布的构造(各偏振光下的相位误差最小的构造)的构造体160即可。
[0155]
在图18～图23所示的透镜的相位分布的情况下，当将平行光入射到光学元件12时，按照横和纵的每个偏振光成分进行分离，在焦距处分别以不同的1点为中心进行聚光。在该情况下，设计波长的平行光在焦距处分别聚光于1点。即，psf形状为点(准确地说，圆透镜时为高斯函数，正方形透镜时为sinc函数)。
[0156]
其他波长的光通过由相位图案引起的聚光位置的波长依赖性以及相对于组成构造的相位的波长色散，psf的大小依赖于波长而变化。即，产生像的模糊程度根据波长而不同的色差。
[0157]
在本实施方式中，利用该偏振光分离功能和色差，对摄像对象按每个偏振光成分进行排序，一边分别以不同的位置为中心进行摄像，一边对每个波长实施不同的卷积运算，然后取得图像，通过图像重构能够生成光谱图像。
[0158]
在本例中，对横偏振光及纵偏振光的分离进行了记述，但关于+45
°
/-45
°
偏振光的分离也可以是同样的设计，如果将横偏振光
·
纵偏振光分离图案和+45
°
/-45
°
偏振光分离图案排列作为1组，则能够进行4个线偏振光成分的分类及图像化(参照图2)。
[0159]
[透镜的设计例2]
[0160]
对作为波长依赖psf透镜的光学元件12的其他设计例进行说明。在此，以设计成具有螺旋桨形状的psf的相位分布的情况为例进行说明。
[0161]
即，设计具有如下的相位分布的光学元件12：psf的形状根据波长而旋转。在该情况下，若对正交的各偏振光(在此为横偏振光及纵偏振光)分别设定不同的聚光中心位置，则透镜的相位分布例如由式(6)及式(7)表示。
[0162]
[数式6]
[0163][0164]
[数式7]
[0165][0166]
在式(6)、式(7)中，r是透镜平面上的距原点(设计聚光中心位置)的距离。θ是透镜平面上的设计聚光中心位置与坐标所成的角度。c是真空中的光的速度。ω(θ)是θ的位置处的光角频率。ω
min
是设计上最小的光角频率。ω
max
是设计上最大的光角频率。f是焦距。n是透过透镜后的光传播空间的折射率。c是任意的常数。n是叶片的数量。
[0167]
图24～图29是表示以psf成为螺旋桨形状的方式设计的情况下的构造体160具有的针对各偏振光的相位分布的例子的图。图24表示波长450nm下的横偏振光的相位分布。图25表示波长450nm下的纵偏振光的相位分布。图26表示波长550nm下的横偏振光的相位分布。图27表示波长550nm下的纵偏振光的相位分布。图28表示波长650nm下的横偏振光的相位分布。图29表示波长650nm下的纵偏振光的相位分布。
[0168]
在图24～图29所示的例子的情况下，以透镜尺寸为0.5mm
×
1mm、焦距f为5.0mm、叶
片的数量为3、设计波长为420～660nm、聚光位置为横偏振光(+0.25mm，0mm)、纵偏振光(-0.25mm，0mm)的参数进行了透镜设计。对进行了变换使其收敛于0～2π的范围。例如，-0.5π和2.5π分别变换为1.5π和0.5π。
[0169]
为了实现成为具有螺旋桨形状的psf的相位分布那样的偏振光分离/波长依赖psf透镜，根据组成构造所具有的各波长(各角频率)下的相位延迟量，按每个位置选择并配置最适合式(6)、式(7)的相位分布的构造(各偏振光的相位误差最小的构造)的构造体160即可。
[0170]
在图24～图29所示的透镜的相位分布的情况下，当将平行光入射到光学元件12时，按照横和纵的每个偏振光成分进行分离，在焦距处分别以不同的1点为中心进行聚光。并且，如后所述，psf形状成为螺旋桨那样的形状，其叶片的数量与式(7)中的n对应。该psf形状根据波长而旋转，其大小几乎不变化。
[0171]
这起因于透镜的焦距对波长和旋转角θ具有依赖性的相位图案及组成构造针对相位的波长分散。仅将任意的旋转角θ下的设计角频率ω(θ)(设计波长)的光聚光于设计焦距及焦点位置，其他光的焦距前后变化。设计角频率ω(θ)根据旋转角θ而线性地变化，因此生成螺旋桨形状那样的psf，psf依赖于角频率(波长)而旋转。
[0172]
光学元件12能够利用以上的偏振光分离功能和波长依赖psf，对摄像对象1按每个偏振光成分进行排序，一边分别以不同的位置为中心进行摄像，一边按每个波长实施不同的卷积运算，摄像装置10在取得图像后，能够通过图像重构生成光谱图像。
[0173]
此外，如后所述，与菲涅尔透镜型相比，psf的大小大致恒定且波长依赖性以旋转这样的明确的形式产生的螺旋桨型在重构中是有利的，更优选。
[0174]
另外，在此，对横偏振光及纵偏振光的分离进行了记述，但对于+45
°
/-45
°
偏振光的分离也可以是同样的设计，如果将横偏振光
·
纵偏振光分离图案和+45
°
/-45
°
偏振光分离图案排列为1组，则能够进行4个线偏振光成分的分类及图像化(参照图2)。
[0175]
另外，式(6)、式(7)的设计角频率ω根据透镜位置而变化，但将角频率置换为波长也能够得到同样的效果。
[0176]
以下，示出基于螺旋桨透镜型而设计的光学元件12的实施例，但在菲涅尔透镜型这样的其他的波长依赖psf透镜中也同样。
[0177]
[psf形状例]
[0178]
示出本实施方式中的偏振光分离/波长依赖pfs透镜的psf形状的一例。图30～图36是表示根据图24～图29所示的相位分布通过菲涅尔衍射积分求出的各偏振光及各波长下的psf形状的图。在图30～图36所示的例子的情况下，以透镜尺寸为1mm
×
2mm、焦距f为10mm、叶片的数量为3、设计波长为420nm～660nm、聚光位置为横偏振光(+0.5mm，0mm)、纵偏振光(-0.5mm，0mm)的参数进行了透镜设计。
[0179]
图30是波长λ＝600nm的横偏振光的psf形状。图31是波长λ＝600nm的纵偏振光的psf形状。图32～图36是横偏振光以及聚光点附近(+0.5mm，0mm)的横偏振光的psf形状。图32是波长λ＝450nm的psf形状。图33是波长λ＝500nm的psf形状。图34是波长λ＝550nm的psf形状。图35是波长λ＝600nm的psf形状。图36是波长λ＝650nm的psf形状。
[0180]
如图30以及图31所示，可知根据光学元件12，聚光位置根据偏振光而不同，能够实现偏振光分离。并且，根据光学元件12，如图32～图36所示，成为叶片为3片的螺旋桨形状的
psf，根据波长而旋转。如图32～图36所示，与波长的变化无关，psf自身的大小几乎不变化。
[0181]
当用具有这些psf的光学元件12对摄像对象1进行拍摄时，按每个偏振光成分进行排序，用对应的波长的psf对图像进行卷积，其结果是在图像传感器上成像。需要说明的是，在本例中，对横偏振光及纵偏振光的分离进行了记述，但对于+45
°
/-45
°
偏振光的分离也得到了同样的结果。
[0182]
[观测图像例]
[0183]
接着，对利用具有图30～图36的psf的光学元件12拍摄自然图像的模拟结果进行说明。图37是表示模拟结果的图。
[0184]
模拟是按照如下来实施的：对于公开的光谱图像(icvl，boaz arad and ohad ben-shahar.sparse recovery of hyperspectral signal from natural rgb images，in european conference on computer vision，pp.19-34。springer，2016.，〔online〕，〔令和2年12月28日检索〕，互联网＜url：http://icvl.cs.bgu.ac.il/hyperspectral/＞)(波长420nm～660nm：25频带)，利用图30～图36的psf按每个波长进行卷积运算，考虑到一般的彩色图像传感器的rgb像素的灵敏度，沿着波长维度进行积分。另外，图37是对rgb彩色图像进行单色显示的图，左侧的图像是输入光谱图像(实际图像)，右侧的图像是在摄像元件11上成像的卷积后的图像(观测图像)。
[0185]
这对应于使用具有图30～图36的psf的透镜和彩色图像传感器进行摄像，模拟从传感器输出的rgb彩色图像(观测图像)。
[0186]
另外，b光的波长区域为420nm～500nm，g光的波长区域为500nm～600nm，r光的波长区域为600nm～660nm。在图37中，仅将任意一个偏振光成分(横偏振光)的图像示出为观测图像，并且在下文中，示出了与横偏振光的观测图像相对应的重构处理，但是这同样适用于其他偏振光成分。
[0187]
如图37所示，可知观测图像通过基于光学元件12的psf的卷积运算而模糊。另外，观测到的信息量被压缩为实际图像的12％(从25波段变至3色)，通过基于压缩感测的图像重构，将信息从3色复原为25波段。
[0188]
[重构图像]
[0189]
接着，对摄像装置10的重构图像的一例进行说明。图38是表示摄像装置10的重构图像的一例的图。图38示出了使用基于压缩感测的重构处理从图37所示的观察图像生成光谱图像的示例。
[0190]
在此，使用sstv作为正则化项，使用admm作为最优化问题的求解方法。图38还示出了用于比较的实际图像。另外，图38所示的重构图像以及实际图像是25波段的光谱图像，但为了可视化，将以rgb图像显示的图像进行单色显示。
[0191]
利用psnr(peak signal-to-noise ratio)、ssim(structural similarity)、sam(spectral angle mapping)的评价指数对重构图像进行评价。
[0192]
如式(8)及式(9)所示，psnr是评价每一个像素的差的指数，值(db)越大画质越高。计算各波长的图像的psnr，对波长整体取平均，由此应用于光谱图像。
[0193]
[数式8]
[0194][0195]
[数式9]
[0196][0197]
ssim是构造的相似性，如式(10)所示，是包含与周围像素的相关性的指标。ssim越接近1，画质越高。计算各波长的图像的ssim，对波长整体取平均，由此应用于光谱图像。
[0198]
[数式10]
[0199][0200]
sam是波长光谱相似度，越接近0光谱越相似。计算各像素的sam，对图像整体取平均，由此应用于光谱图像。
[0201]
重构图像的psnr为29.10db，ssim为0.9176，sam为0.1874。因此，可知通过摄像装置10高精度地重构了图像。
[0202]
[重构的波长光谱]
[0203]
接着，对重构的波长光谱的例子进行说明。图39是表示图38中的重构图像的
×
点处的波长光谱的图。在图39中，为了比较，与重构图像(reconstructed)一起还示出实际图像(groundtruth)的
×
点处的波长光谱。
[0204]
如图39所示，在重构图像中，得到与实际图像非常一致的光谱，可知通过图像重构，能够执行高精度的信息的复原。此外，重构精度除了光学元件12的psf的形状以外，还根据正则化项、最优化问题的求解方法而变化。
[0205]
[基于psf的形状的重构精度的比较]
[0206]
接下来，示出对光学元件12中的基于psf的形状的重构精度进行比较的结果。图40是表示对光学元件12的psf的每个形状比较重构精度的结果的图。图41是表示基于图40的psf的各形状的观测图像分别重构的重构图像的图。图41所示的重构图像、实际图像以及菲涅尔透镜图像是对以rgb图像显示的图像进行单色显示的图像。
[0207]
在图40中，为了比较，还示出基于菲涅尔透镜型的psf的结果。另外，在图41中，为了比较，还示出实际图像和基于菲涅尔透镜型的重构图像。对于基于菲涅尔透镜型的图像，利用大的色差进行重构。
[0208]
在图40及图41中，作为评价指数，使用了psnr、ssim、sam。图40和图41中的n是叶片的数量。图40及图41是仅假定1个偏振光成分进行计算、评价的结果。另外，关于透镜的参数，透镜尺寸为0.5mm
×
1.0mm，焦距zf为5.0mm，偏心量xf为0.25mm，设计波段为420nm～660nm。
[0209]
如图40及图41所示，任意的评价指数均没有因叶片的数量引起的大的差异，表现出比菲涅尔透镜psf高的精度。换言之，与叶片的数量无关，光学元件12显示出比菲涅尔透
镜psf高的精度。因此，可以说本实施方式的光学元件12比菲涅尔透镜型更优选，构成有利于重构的观测矩阵。
[0210]
[实施方式的效果]
[0211]
这样，在本实施方式的摄像装置10中，仅通过光学元件12，将按照每个偏振光成分光学编码后的图像成像在摄像元件11上。在本实施方式中，高光谱相机光学系统和偏振光信息取得光学系统通过作为超构表面的光学元件12而作为一体的光学元件来实现。换言之，在摄像装置10中，能够仅通过光学元件12进行偏振光分离，并且在光谱图像重构中进行有效的编码。因此，摄像装置10的构成要素可以仅是光学元件12、摄像元件11和信号处理部13，能够实现装置结构简单并且能够取得偏振光信息的高光谱摄像装置。
[0212]
另外，在摄像装置10中，光学元件12与摄像元件11之间的距离与通常的摄像装置同样地，由透镜的焦距决定，因此摄像装置10的尺寸与具有相同的视场f值的通常的相机同等。
[0213]
而且，在观测过程已知的情况下(在此为光学元件12的psf和传感器的波长灵敏度特性)，在信号处理部13中对光学编码后的图像进行适当的信号处理，由此能够复原实际图像的信息。
[0214]
另外，在摄像装置10中，摄像本身(取得分离为各偏振光成分、编码后的图像)可以是单次拍摄，因此没有时间维度的牺牲，如果除去重构处理，则能够实现与通常相机同等的时间分辨率。
[0215]
另外，在摄像装置10中，承担偏振光分离以及编码的光学元件12由微细的二元构造构成，因此与需要多级光刻的一般的衍射光学元件相比，能够削减制作工时，厚度也薄，重量也轻，制作容易。
[0216]
另外，由微细的二元构造构成的光学元件12没有由一般的衍射光学元件产生的阴影效应(衍射光学元件的衍射光因自身的多级构造而反射、散射的现象)引起的光透射率降低、最大透镜数值孔径(na)的限制，因此能够实现更高的na的透镜(光利用效率高的明亮的透镜)。
[0217]
另外，在本实施方式中，示出了基于摄像元件11为彩色图像传感器的情况的实施例，但在单色图像传感器的情况下，除了在取得编码后的图像时3频道(rgb：彩色)成为1cb(单色)以外，其他也是同样的。
[0218]
[实施方式的变形例1]
[0219]
在本变形例1中，对能够减轻摄像元件11的像素上的像的重叠(串扰)的变形例进行说明。
[0220]
在本变形例1中，将摄像元件11和光学元件12的一部分作为摄像单元进行说明。图42是应用了图1所示的光学元件12的摄像单元的俯视图。另外，省略了透明基板190。图43是利用图42的线a-a'将摄像单元切断的剖面图。
[0221]
如图42和图43所示，在相邻的各透镜图案中，有可能在摄像元件11的各像的边界附近(区域11-1和区域11-2的边界附近)产生像的重叠(串扰)。该像的重叠有可能导致重构后的图像的劣化、偏振消光比(期望的偏振光成分/其他偏振光成分)的劣化。
[0222]
图44是实施方式的变形例1的摄像单元的俯视图。另外，省略了透明基板190。图45是利用图44的线b-b'将摄像单元切断的剖面图。
[0223]
如图44和图45所示，在摄像单元200中，为了避免像的重叠，具有如下结构：在光学元件12的第一透镜图案区域12-1和第二透镜图案区域12-2(偏振光分离区域)的边界紧下方设置有屏障壁240。
[0224]
该屏障壁240优选由吸收光而不产生杂散光的材料构成的部件，或者实施了用于附加同样的功能的表面加工的部件。
[0225]
该屏障壁240设置在作为偏振光分离/波长依赖psf透镜的光学元件12与摄像元件11之间。如果屏障壁240完全阻挡了第一透镜图案区域12-1和第二透镜图案区域12-2之间的影响，则能够完全消除像的重叠。
[0226]
此外，即使是局部的屏障壁，也具有能够减轻像的重叠的影响的效果，根据用途、制作、安装工艺来决定屏障壁高度以及位置即可。
[0227]
[实施方式的变形例2]
[0228]
在本变形例2中，对能够减轻摄像元件11的像素上的像的重叠(串扰)且能够提高偏振消光比的变形例进行说明。
[0229]
在本变形例2中，将摄像元件11和光学元件12的一部分作为摄像单元进行说明。图46是应用了图1所示的光学元件12的摄像单元的俯视图。另外，省略了透明基板190。图47是利用图46的线c-c’将摄像单元切断的剖面图。
[0230]
如图46及图47所示，在同一透镜图案(例如，第一透镜图案区域12-1)中，在偏振光分离后，在形成于摄像元件11的成像与0
°
的偏振光成分对应的图像的区域11-1a和成像与90
°
的偏振光成分对应的图像的区域11-1b的两个像中，有可能产生像的重叠(串扰)。该像的重叠有可能导致重构后的图像的劣化、偏振消光比(期望的偏振光成分/其他偏振光成分)的劣化。
[0231]
图48是实施方式的变形例2的摄像单元的俯视图。另外，省略了透明基板190。图49是利用图48的线b-b'将摄像单元切断的剖面图。
[0232]
如图48和图49所示，在摄像单元200a中，为了避免像的重叠，成为如下结构：在光学元件12与摄像元件11之间设置有多个偏振光滤光器250，分别与由光学元件12在空间上偏振光分离的光的成像位置对应。
[0233]
因此，由通过透镜分离的各偏振光成分构成的光必然透过对应的偏振光滤光器。然后，各个光在摄像元件11上成像。此时，使分离后的光的偏振光方向与对应的偏振光滤光器250的偏振光透射轴一致。
[0234]
这样，在摄像单元200a中，在光学元件12与摄像元件11之间设置偏振光滤光器，使位于其紧下方的所述像素所对应的偏振光方向与偏振光透射轴一致。由此，在摄像单元200a中，能够在截止了期望的偏振光成分以外的成分的状态下将光引导到摄像元件11的像素130上，因此能够完全去除由不同的偏振光成分构成的像的边界附近的像的重叠。因此，根据摄像单元200a，能够大幅减轻像的串扰。
[0235]
此外，在摄像单元200a中，光学元件12和偏振光滤光器250执行双重的偏振光滤波。这与提高偏振消光比有关，因此在摄像单元200a中，也能够实现偏振光图像的质量的提高。
[0236]
另外，在并用偏振光滤光器250的摄像单元200a中，能够在保持高的光利用效率的状态下附加上述效果。这是因为，由于在偏振光分离后进行偏振光滤波，因此几乎不会减少
到达像素矩阵上的总光量。
[0237]
另外，摄像单元200a还能够设置图44和图45所示的屏障壁240。通过并用偏振光滤光器250和屏障壁240，能够基本消除各偏振光图像的串扰，生成更高画质的偏振光谱图像。
[0238]
[透镜构造例]
[0239]
光学元件12不限于图3以及图4所示的结构，在构造体160的数量、间隔、构造形状、排列图案中能够采用各种方式。另外，构造体160各自可以连接，另外也可以是埋入到透明材料内的方式。
[0240]
在图3和图4中，光学元件12形成于透明基板190的底面，但不限于此。图50～图55是示意性地表示实施方式的光学元件12的截面的一部分的其他例子的图。
[0241]
如图50所示，光学元件12的构造体160也可以形成于透明基板190a的上表面。在这种情况下，构造体160由透明基板190a支承。构造体160的上方的透明层可以是空气或树脂等保护层，透明层的材料可以是单一的，也可以是多个材料形成为层状。
[0242]
另外，如图51所示，光学元件12的构造体160也可以埋入到透明基板190b内。透明基板190b的材料可以是单一材料，也可以是多个材料形成为层状。
[0243]
另外，如图52所示，光学元件12的构造体160也可以形成于透明基板190c的两面。上述偏振光分离/波长依赖psf功能可以由透明基板190c的两个面上的构造体160实现。此外，波长依赖psf功能可以由透明基板190c的构造体160实现，可以在另一面上实现诸如滤光器、分束器和遮光层等的其它光学功能。构造体160上方的透明层可以是空气，也可以是树脂等保护层，透明层的材料可以是单一的，也可以是多个材料形成为层状。
[0244]
另外，如图53所示，光学元件12的构造体160也可以形成在折射透镜190d上。构造体160被支承在折射透镜190d上。折射透镜190d有利于提高波长依赖聚光特性的聚光性能(高na化等)。另外，以后说明的折射透镜190e、190f也同样。构造体160上方的透明层可以是空气或树脂等的保护层。折射透镜190d的材料可以是单一材料，也可以是多个材料成为层状的材料。
[0245]
另外，如图54所示，光学元件12的构造体160也可以埋入到折射透镜190e内。折射透镜190e的材料可以是单一材料，也可以是多个材料形成为层状。
[0246]
另外，如图55所示，光学元件12的构造体160也可以形成于折射透镜190f的两面。也可以通过折射透镜190f的两面的构造体160来实现上述的波长依赖psf功能。此外，波长依赖psf功能可以通过折射透镜190f的构造体160来实现，也可以在另一个面上实现滤光器、分光器、遮光层等其他光学功能。构造体160上方的透明层可以是空气或树脂等保护层。折射透镜190f的材料可以是单一材料，也可以是多个材料形成为层状。
[0247]
另外，虽然在图50～图55中进行了省略，但也可以在同一平面上或背面施加遮光膜图案等。
[0248]
此外，在实施方式中，作为构造体160的材料，以tio2以及sin为例进行了说明。但是，构造体160的材料并不限定于此。例如，对于波长为380nm～1000nm的光(可见光～近红外光)的光，除了sin以外，也可以使用sic、tio2、gan等作为构造体6的材料。由于折射率高、吸收损失少，因此适合。在使用波长为800～1000nm的光(近红外光)的情况下，可以使用si、sic、sin、tio2、gaas、gan等作为构造体6的材料。由于是低损耗，因此适合。对于长波段的近红外区域(作为通信波长的1.3μm、1.55μm等)的光，除了上述材料以外，还可以使用inp等作
为构造体160的材料。
[0249]
另外，在构造体160通过粘贴、涂布等形成的情况下，作为材料，可举出氟化聚酰亚胺等聚酰亚胺、bcb(苯并环丁烯)、光固化性树脂、uv环氧树脂、pmma等丙烯酸树脂、抗蚀剂整体等聚合物等。
[0250]
另外，在实施方式中，示出了假设sio2和空气层作为透明层150的材料的例子，但不限于此。也包括一般的玻璃材料等，只要具有比构造体160的材料的折射率低的折射率，且对于入射光的波长为低损耗即可。透明层150只要对于应到达对应的像素的光的波长而言损失充分低即可，因此可以是与滤色器同样的材质，例如也可以是树脂等有机材料。在这种情况下，透明层150不仅可以由与滤色器相同的材料制成，而且可以具有与滤色器相同的结构，并且可以被设计为具有与要被引导到对应的像素的光的波长相对应的吸收特性。
[0251]
另外，在实施方式中，作为像素的对应的颜色，以rgb的三原色为例进行了说明，但像素也可以与近红外光以及三原色以外的波长的光(例如，红外光、紫外光等)对应。
[0252]
另外，在实施方式中，对使用具有长方形形状、菱形形状、十字形状以及椭圆形状的截面形状作为构造体160的形状的构造体的例子进行了说明。该形状为一例，可以使用一种构造体(例如仅长方形形状)，也可以使用2种以上的构造体(例如仅长方形形状和十字形状)。
[0253]
以上，基于具体的实施方式对本发明进行了说明，但本发明并不限定于上述实施方式，当然能够在不脱离其主旨的范围内进行各种变更。
[0254]
标号说明
[0255]
1 摄像对象
[0256]
10 摄像装置
[0257]
11 摄像元件
[0258]
12 光学元件
[0259]
13 信号处理部
[0260]
130 像素
[0261]
150 透明层
[0262]
160 构造体
[0263]
190、190a～190c透明基板
[0264]
190d～190f折射透镜

技术特征：
1.一种摄像装置，其特征在于，该摄像装置具有：光学元件，其具有透明基板和多个构造体，所述多个构造体在所述透明基板上或所述透明基板内沿所述透明基板的面方向配置；摄像元件，其配置有包含光电转换元件的多个像素；以及信号处理部，其根据从所述摄像元件得到的电信号生成图像信号，所述光学元件通过以按照每个波长具有不同的点扩散函数的状态输出光，而将卷积了各波长的点扩散函数的图像按照偏振光成分分别成像于与各偏振光成分对应的多个像素，所述多个构造体在侧视时具有相同的高度，所述信号处理部按照每个偏振光成分重构卷积了各波长的点扩散函数的图像。2.根据权利要求1所述的摄像装置，其特征在于，所述信号处理部根据由所述光学元件的摄像过程定义的矩阵和卷积有各波长的点扩散函数的图像，分别按照每个偏振光成分重构图像。3.根据权利要求2所述的摄像装置，其特征在于，所述信号处理部使用由神经网络构成的模型，来求解以通过所述光学元件的摄像过程定义的矩阵和卷积了各波长的点扩散函数的图像作为输入的最优化问题。4.根据权利要求1至3中的任意一项所述的摄像装置，其特征在于，所述多个构造体分别是具有比所述透明层的折射率高的折射率的柱状构造体，所述柱状构造体对入射的光赋予与截面形状对应的光相位延迟量，所述多个构造体按照光相位量延迟分布而设定截面形状，所述光相位量延迟分布是用于将卷积了针对所述像素的所述各波长的点扩散函数的图像根据偏振光成分分别成像于与各偏振光成分对应的多个像素的分布，所述多个构造体按照光相位量延迟分布来配置，所述光相位量延迟分布是用于将卷积了针对所述像素的所述各波长的点扩散函数的图像根据偏振光成分分别成像于与各偏振光成分对应的多个像素的分布。5.根据权利要求1至4中的任意一项所述的摄像装置，其特征在于，所述多个构造体各自的截面形状是二次旋转对称形状。6.根据权利要求1至5中的任意一项所述的摄像装置，其特征在于，在所述光学元件中的偏振光分离区域的边界紧下方设置有吸收光的屏障壁。7.根据权利要求1至6中的任意一项所述的摄像装置，其特征在于，所述摄像装置还包括偏振光滤光器，所述偏振光滤光器设置在所述光学元件和所述摄像元件之间，使位于其紧下方的所述像素所对应的偏振光方向与偏振光透射轴一致。8.一种光学元件，所述光学元件具有：透明基板；以及多个构造体，所述多个构造体在所述透明基板上或所述透明基板内沿所述透明基板的面方向配置，其特征在于，所述光学元件通过以按照每个波长具有不同的点扩散函数的状态输出光，而将卷积了各波长的点扩散函数的图像按照偏振光成分分别成像于摄像元件的与各偏振光成分对应的多个像素，所述多个构造体在侧视时具有相同的高度。

技术总结
摄像装置(10)具有：光学元件(12)，其具有各透明基板和在透明基板上或透明基板内沿透明基板的面方向配置的多个构造体；摄像元件(11)，其配置有包含光电转换元件的多个像素；以及信号处理部(13)，其根据从摄像元件(11)得到的电信号来生成图像信号，光学元件(12)通过以按照每个波长而具有不同的点扩散函数的状态输出光，从而将卷积了各波长的点扩散函数的图像根据偏振光成分分别成像于与各偏振光成分对应的多个像素，多个构造体在侧视时具有相同的高度，信号处理部(13)按照每个偏振光成分重构卷积了各波长的点扩散函数的图像。重构卷积了各波长的点扩散函数的图像。重构卷积了各波长的点扩散函数的图像。


技术研发人员：宫田将司 曽我部阳光 小林史英 杉本志织 根本成 桥本俊和
受保护的技术使用者：日本电信电话株式会社
技术研发日：2021.01.27
技术公布日：2023/9/16