信息处理装置、信息处理方法、程序和成像系统与流程

1.本技术涉及信息处理装置、信息处理方法、程序和成像系统，并且扩展了可以获取事件信息的区域。


背景技术：

2.常规地，非专利文献1公开了称为动态视觉传感器(dvs)的异步成像设备，作为事件驱动的成像设备之一。该异步成像设备将对入射光进行光电转换的像素的亮度变化超过预定的阈值检测为事件，并且用作事件检测设备。这样的异步成像设备(事件检测设备)具有以下优点：可以执行低功率消耗、数据节省量、低延迟、高帧速率成像和高动态范围成像。
3.此外，如非专利文献2中所描述的，可以通过时间上整合事件信息来估计亮度图像。此外，如专利文献1中所描述的，还提出了一种技术，其中提供事件检测设备和普通成像设备(例如，以预定的帧速率执行成像并且为每一帧生成捕获的图像的成像设备)，并且当由事件检测设备检测到事件时，由普通成像设备执行成像，从而利用低功率消耗和数据节省量。
4.引文列表
5.专利文献
6.专利文献1：日本专利申请特许公开第2020-161992号
7.非专利文献
8.非专利文献1:gallego、guillermo、tobi delbruck、garrick orchard、chiara bartolozzi、brian taba、andrea censi、stefanleutenegger等人的2019年.“event-based vision:a survey”，四月。
9.http://arxiv.org/abs/1904.08405.
10.非专利文献2：rebecq、henri、rene'ren'、rene'ranftl、vladlen koltun、和davide scaramuzza，2019年.“high speed and high dynamic range video with an event camera multimedia material”。
11.http://rpg.ifi.uzh.ch/e2vid.


技术实现要素：

12.本发明要解决的问题
13.顺便提及，由于事件检测设备检测到像素值已改变到大于参考值的正面事件以及像素值已改变为小于参考值的负面事件，因此对于像素值的变化小的区域不能获取事件信息。
14.此外，在通过时间上整合事件信息来估计亮度信息的情况下，在没有背景信息的情况下，不能根据事件信息准确地估计亮度信息。例如，在事件检测设备像监测摄像装置那样被固定地安装的情况下，对于移动被摄体的区域可以获取事件信息，但对于静止背景区域不能获取事件信息。此外，由于使用指示移动被摄体的区域的事件信息估计的亮度指示
相对于背景区域的颜色(背景颜色)的相对差异，因此存在被摄体的亮度在背景颜色的影响下与实际亮度不同的情况。
15.此外，在使用事件检测设备和普通成像设备的情况下，缩小尺寸和成本降低是困难的。
16.因此，本技术的目的是提供信息处理装置、信息处理方法、程序和成像系统，其能够扩展可以获取事件信息的区域。
17.问题的解决方案
18.本技术的第一方面是：
19.一种信息处理装置，包括：
20.确定单元，其基于由事件检测单元生成的指示事件的检测结果的事件检测信息来确定是否未检测到事件，该事件检测单元将成像单元中的像素的亮度变化超过预设阈值检测为事件，成像单元对指示被摄体的光学图像进行光电转换；以及
21.移动控制单元，其在由确定单元确定未检测到事件的情况下，移动成像单元中的指示被摄体的光学图像的位置。
22.在本技术中，确定单元基于由事件检测单元生成的指示事件的检测结果的事件检测信息来确定是否未检测到事件，该事件检测单元将成像单元中的像素的亮度变化超过预设亮度阈值检测为事件，成像单元对指示被摄体的光学图像进行光电转换。例如，在存在由事件检测信息指示的事件数目小于预设阈值的事件未检测区域的情况下，在存在未检测到边缘的方向的情况下，在确定事件的运动并存在没有运动的方向的情况下，在事件检测信息的传输中发生通信路径的容量不足等情况下，确定单元确定未检测到事件。此外，确定单元可以对光学图像的区域进行划分，确定划分后的每个区域是否为事件未检测区域，并且在该区域是事件未检测区域的情况下确定该区域为事件未检测区域。
23.在确定未检测到事件的情况下，移动控制单元移动成像单元中的指示被摄体的光学图像的位置，使得可以在未检测到事件的区域中检测到事件。事件检测单元包括成像单元和成像光学系统，该成像光学系统在成像单元的成像面上形成指示被摄体的光学图像，并且移动控制单元通过移动成像光学系统的光轴在成像单元中的位置来移动指示被摄体的光学图像的位置。移动控制单元可以在与成像光学系统的光轴正交的方向上移动成像单元，或者可以相对于成像单元移动成像光学系统的光轴。此外，移动控制单元可以控制包括事件检测单元的移动体的移动。此外，在确定在事件检测信息的传输中发生通信路径的容量不足的情况下未检测到事件的情况下，移动控制单元在检测到的事件减少的方向上移动成像单元。
24.此外，在本技术中，还包括事件信息生成单元，该事件信息生成单元生成事件信息，该事件信息包括由事件检测单元生成的事件检测信息和与指示被摄体的光学图像的位置的移动有关的移动信息。在成像单元在与成像光学系统的光轴正交的方向上移动的情况下，事件信息生成单元使用指示成像单元的移动的信息作为移动信息，并且在成像光学系统的光轴相对于成像单元移动的情况下，使用指示光轴的移动的信息作为移动信息。此外，事件信息生成单元使用由运动传感器生成的运动信息来生成事件信息，运动传感器对包括事件检测单元的移动体的运动进行检测。
25.本技术的第二方面是：
26.一种信息处理方法，包括：
27.由确定单元基于由事件检测单元生成的指示事件的检测结果的事件检测信息来确定是否未检测到事件，该事件检测单元将成像单元中的像素的亮度变化超过预设阈值检测为事件，成像单元对指示被摄体的光学图像进行光电转换；以及
28.由移动控制单元执行控制，以在由确定单元确定未检测到事件的情况下，移动成像单元中的指示被摄体的光学图像的位置。
29.本技术的第三方面是：
30.一种用于使计算机根据由事件检测单元生成的事件的检测结果执行控制的程序，该事件检测单元将在成像单元中的像素的亮度变化超过预设阈值检测为事件，成像单元对指示被摄体的光学图像进行光电转换，
31.程序用于使计算机执行：
32.基于事件检测信息来确定是否未检测到事件的步骤；以及
33.移动成像单元中的指示被摄体的光学图像的位置的步骤。
34.注意，本技术的程序例如是可以通过以计算机可读形式提供的存储介质或通信介质为能够执行各种程序代码的通用计算机提供的程序，存储介质例如光盘、磁盘或半导体存储器，通信介质例如网络。通过以计算机可读形式提供这样的程序，在计算机上实现根据程序的处理。
35.该技术的第四个方面是：
36.一种成像系统，包括：
37.确定单元，其基于由事件检测单元生成的指示事件的检测结果的事件检测信息来确定是否未检测到事件，该事件检测单元将成像单元中的像素的亮度变化超过预设阈值检测为事件，成像单元对指示被摄体的光学图像进行光电转换；
38.移动控制单元，其在由确定单元确定未检测到事件的情况下，移动成像单元中的指示被摄体的光学图像的位置；
39.事件信息生成单元，其生成事件信息，事件信息包括由事件检测单元生成的事件检测信息以及与指示被摄体的光学图像的位置的移动有关的移动信息；以及
40.图像生成单元，其基于由事件信息生成单元生成的事件信息来生成指示被摄体的图像。
附图说明
41.图1是示出第一实施方式的配置的图。
42.图2是示出第一实施方式的操作的流程图。
43.图3是示出事件检测单元的操作的图。
44.图4是示出在事件检测单元中执行移动控制的情况下的操作的图。
45.图5是示出检测区域被划分为小区域的情况的图。
46.图6是示出第二实施方式的配置的图。
47.图7是示出第二实施方式的操作的流程图。
48.图8是示出在移动体(例如，汽车)中设置事件检测单元的情况的图。
49.图9是示出第三实施方式的配置的图。
50.图10是示出第三实施方式的操作的流程图。
51.图11是示出在减少检测到的事件的数目的情况下的操作的图。
52.图12是示出在具有不同亮度阶梯的边缘被移动一个像素的情况下、事件的发生的次数的图。
53.图13是示出在事件信息包括事件检测单元的运动信息的情况下、亮度图像的生成的图。
具体实施方式
54.在下文中，将描述用于实施本技术的实施方式。注意，以下面的顺序给出描述。
55.1.第一实施方式
56.1-1.第一实施方式的配置
57.1-2.第一实施方式的操作
58.2.第二实施方式
59.2-1.第二实施方式的配置
60.2-2.第二实施方式的操作
61.3.第三实施方式
62.3-1.第三实施方式的配置
63.3-2.第三实施方式的操作
64.4.关于图像的生成
65.5.其他实施方式
66.《1.第一实施方式》
67.《1-1.第一实施方式的配置》
68.图1示出了使用本技术的信息处理装置的成像系统的第一实施方式的配置。成像系统10-1包括事件检测单元20和信息处理单元40-1。可以独立地或整体地设置事件检测单元20和信息处理单元40-1。
69.事件检测单元20包括成像光学系统21、成像单元22、事件检测处理单元23和移动处理单元24。
70.使用聚焦透镜、变焦透镜等来配置成像光学系统21。成像光学系统21驱动聚焦透镜、变焦透镜等以在成像单元22的成像面上形成指示被摄体的光学图像(被摄体光学图像)。注意，成像光学系统21可以整体地固定到成像单元22，或者可以可拆卸地固定到成像单元22。
71.成像单元22针对每个像素执行对被摄体光学图像的光电转换，并且生成与亮度对应的像素信号。例如，使用诸如互补金属氧化物半导体(cmos)等的成像传感器来配置成像单元22。虽然未示出，但使用像素阵列单元和像素阵列驱动单元来配置成像单元22。多个像素在像素阵列单元上二维地排列成矩阵。每个像素执行光电转换，以生成指示被摄体光学图像的捕获图像的像素信号。像素阵列驱动单元驱动像素阵列单元，以将为每个像素生成的像素信号输出至事件检测处理单元23。
72.事件检测处理单元23与成像单元22一体地设置，并且基于由成像单元22为每个像素生成的像素信号超过预设阈值(亮度阈值)的变化(亮度变化)是否已发生来检测事件的
存在或不存在。该事件包括例如指示像素信号的变化量超过上限亮度阈值的开启事件(on-event)和指示变化量降至下限亮度阈值以下的关闭事件(off-event)。事件检测信息包括包含光量变化的极性的事件检测结果，例如，指示开启事件的检测结果的一个比特、指示关闭事件的检测结果的一个比特。此外，事件检测信息至少包括事件的检测结果和诸如表示已检测到事件的像素的位置的坐标等的位置信息。
73.此外，只要事件检测信息的输出间隔在事件发生时保持原样，则事件检测信息隐含地包括时间信息，该时间信息指示事件已发生的相对时间。然而，当事件检测信息的时间间隔由于事件检测信息被记录在存储器中等而不能保持处于事件发生时的状态时，隐含地包括的时间信息丢失。因此，事件检测处理单元222可以在事件检测信息中包括诸如时间戳等的时间信息，以能够确定事件发生的定时。
74.作为包括其中检测到事件的像素的位置信息、指示事件发生时的时间的时间信息以及作为事件的光量变化的极性信息的事件检测信息的数据格式，例如，可以采用称为地址事件表示法(aer)的数据格式。事件检测处理单元23将生成的事件检测信息输出至信息处理单元40-1。
75.如稍后所述，基于从信息处理单元40-1的移动控制单元42a供应的控制信号，移动处理单元24移动被摄体光学图像在成像单元22的成像面上的位置。例如，如在成像光学系统21中设置了抖动校正透镜以执行抖动校正的情况下，事件检测单元20驱动抖动校正透镜以移动被摄体光学图像在成像单元22的成像面上的位置。此外，如在与成像光学系统21的光轴正交的方向上移动成像单元22以执行抖动校正的情况下，事件检测单元20可以移动成像单元22以移动被摄体光学图像的位置。
76.信息处理单元40-1包括确定单元41a、移动控制单元42a和事件信息生成单元43。
77.确定单元41a基于由事件检测单元20生成的指示事件的检测结果的事件检测信息来确定是否未检测到事件，并且将确定结果输出至移动控制单元42a。
78.在确定单元41a的确定结果指示未检测到事件的情况下，移动控制单元42a执行移动控制以移动成像单元22中的被摄体光学图像的位置，并且向事件检测单元20的移动处理单元24输出控制信号。此外，移动控制单元42a生成关于被摄体光学图像的位置的移动的移动信息，并且将该移动信息输出至事件信息生成单元43。
79.事件信息生成单元43生成包括由事件检测单元20生成的事件检测信息和由移动控制单元42a生成的移动信息的事件信息，并且将事件信息输出至图像生成单元50、外部设备等。
80.图像生成单元50基于事件信息来生成由事件检测单元20捕获的被摄体图像。
81.《1-2.第一实施方式的操作》
82.接下来，将描述第一实施方式的操作。在成像系统10-1中，基于由事件检测单元20生成的事件检测信息来确定未检测到事件的区域的存在或不存在，并且在确定存在未检测到事件的区域的情况下，移动成像单元中的被摄体光学图像的位置，并且获取未检测到事件的区域的事件检测信息。
83.图2是示出第一实施方式的操作的流程图。在步骤st1中，成像系统10-1通过事件检测单元来执行成像。成像系统10-1的事件检测单元20针对每个像素执行对被摄体光学图像的光电转换以生成像素信号。此外，事件检测单元20基于像素信号，将像素的亮度变化超
过预设亮度阈值检测为事件。事件检测单元20生成指示事件的检测结果的事件检测信息，并且进行至步骤st2。
84.图3示出了事件检测单元的操作。图3的(a)示出了由图像传感器221获取的捕获图像，并且图3的(b)示出了事件检测结果。在图3的(a)中，被摄体oba和obb正在移动，并且背景bg1至bg4是静止的。此外，按照背景bg1、背景bg2、背景bg3和背景bg4的顺序，背景的亮度渐高。在这种情况下，如图3的(b)所示，在包括与被摄体oba和obb的运动方向正交的方向上的分量的边缘部分中，在亮度变化量超过上限亮度阈值的像素中检测到开启事件(白色部分)，并且在亮度变化量降至下限亮度阈值以下的像素中检测到关闭事件(黑色部分)。此外，其中亮度变化量小的区域是未检测到事件的区域(灰色部分)。注意，将在稍后描述图3的(c)。
85.返回至图2，在步骤st2中，成像系统10-1记录事件检测信息。成像系统10-1的信息处理单元40-1将在步骤st1中生成的事件检测信息记录在事件信息生成单元43中，并且进行至步骤st3。
86.在步骤st3中，成像系统10-1执行对事件未检测状态的确定。在成像系统10-1的信息处理单元40-1中，确定单元41a基于在步骤st1中生成的事件检测信息来确定是否存在未检测到事件的区域。在存在未检测到事件的区域的情况下，确定单元41a确定事件未检测状态并且进行至步骤st4，并且在不确定事件未检测状态的情况下，确定单元进行至步骤st8。在存在事件未检测区域的情况下，确定单元41a确定未检测到事件，在该事件未检测区域中由事件检测信息指示的事件的数目小于预设阈值(未检测区域确定阈值)。例如，在捕获的图像为图3的(a)的情况下，由于背景bg1至bg4是静止的，因此在背景bg1至bg4中未检测到事件，如图3的(b)中所示。因此，事件的数目小于未检测区域确定阈值。因此，确定单元41a确定事件未检测状态。
87.此外，当移动控制单元42a在水平方向上移动事件检测单元20时，事件检测单元20检测垂直边缘部分中的事件，并且当事件检测单元20在垂直方向上移动时，事件检测单元20检测水平边缘部分中的事件。因此，确定单元41a可以确定被摄体的光学图像(捕获的图像)中的边缘的方向，确定在存在未检测到边缘的方向的情况下未检测到事件，并且在未检测到边缘的方向上检测边缘部分中的事件。
88.在步骤st4中，成像系统10-1执行事件检测单元的移动控制。成像系统10-1的信息处理单元40-1对事件检测单元20执行移动控制，以能够获取未检测到事件的区域的事件检测信息，向事件检测单元20输出控制信号，移动事件检测单元20的成像单元22中的被摄体光学图像的位置，并且进行至步骤st5。
89.在步骤st5中，成像系统10-1记录移动信息。移动控制单元42a基于控制信号来生成与由事件检测单元20执行的光学图像的位置的移动有关的移动信息(移动量、移动方向等)。例如，在成像单元22在与成像光学系统21的光轴正交的方向上移动的情况下，移动控制单元42a生成指示成像单元22的移动量和移动方向的信息，作为移动信息。此外，在成像光学系统21的光轴相对于成像单元22移动的情况下，移动控制单元42a生成指示成像光学系统21的抖动校正透镜的驱动量和驱动方向的信息作为移动信息。移动控制单元42a使事件信息生成单元43记录所生成的移动信息，并且进行至步骤st6。
90.在步骤st6中，成像系统通过事件检测单元执行成像。成像系统10-1的事件检测单
元20针对每个像素执行对被摄体光学图像的光电转换以生成像素信号。此外，事件检测单元20基于像素信号，将像素的亮度变化超过预设亮度阈值检测为事件。也就是说，事件检测单元20检测与静止被摄体有关的事件，生成指示检测结果的事件检测信息，并且进行至步骤st7。
91.图4示出了在事件检测单元中执行移动控制的情况下的操作。图4的(a)示出了由成像单元22获取的捕获的图像，并且图4的(b)示出了事件检测结果。当执行事件检测单元的移动控制时，背景的位置移动。因此，可以检测到与静止区域有关的事件，例如，在背景bg1至bg4的边界处的事件。注意，将在稍后描述图4的(c)。
92.在步骤st7中，成像系统10-1记录事件检测信息。成像系统10-1的信息处理单元40-1将在步骤st6中生成的事件检测信息记录在事件信息生成单元43中，并且进行至步骤st8。
93.在步骤st8中，成像系统10-1输出事件信息。成像系统10-1的信息处理单元40-1生成事件信息，该事件信息包括在事件信息生成单元43中记录的事件检测信息以及由移动控制单元42a生成的移动信息，并且将该事件信息输出至图像生成单元50、外部设备等。
94.事件检测单元20可以是异步类型或同步类型。此外，事件检测单元20可以生成例如具有矩阵索引的事件检测信息。信息处理单元40-1的事件信息生成单元43可以保持每个矩阵索引的事件数据，或者可以通过划分一定大小的每个区域的矩阵索引来保持事件检测信息。此外，在事件检测单元20是同步类型的情况下，事件信息生成单元43可以例如在以帧为单位添加的状态下保持事件检测信息。
95.可以通过将检测区域划分成小区域并确定针对每个小区域添加的事件的数目是否小于阈值(未检测区域确定阈值)，来执行由确定单元41a对未检测到事件的区域的确定。图5是示出检测区域被划分为小区域的情况的图。在这种情况下，事件检测单元20确定划分后的每个区域是否是未检测到事件的区域。注意，黑框部分是被确定为事件检测区域的区域，而白框部分是被确定为事件未检测区域的区域。
96.此外，移动控制单元42a可以执行移动控制，使得可以检测到更多的边界。例如，如以上所述，当在水平方向上驱动事件检测单元时，可以检测垂直边缘，并且当在垂直方向上移动事件检测单元时，可以检测水平边缘。因此，仅需要事件检测单元首先在水平方向上移动，然后在垂直方向上移动。此外，可以通过在倾斜方向上移动来检测边界。此外，在事件检测单元20中，在移动处理单元24可以基于从移动控制单元42a供应的控制信号以小于一个像素单位(子像素单位)的单位移动被摄体光学图像的位置的情况下，可以进行设置，使得被摄体光学图像以子像素单位逐步移动。
97.此外，事件信息生成单元43可以生成仅指示事件未检测区域的事件信息。例如，事件信息生成单元43可以生成仅指示由图5中的白框指示的事件未检测区域的事件信息。在这种情况下，例如，信息处理单元40-1可以仅检测背景的边缘。
98.如以上所描述的，在第一实施方式中，在确定事件未检测状态的情况下，移动事件检测单元20的成像单元22中的被摄体光学图像的位置，使得也可以针对未发生运动的诸如图4中示出的背景的静止区域，检测到事件。因此，根据第一实施方式，信息处理单元40-1可以扩展其中可以获取事件信息的区域。
99.《2.第二实施方式》
100.接下来，在第二实施方式中，将描述在移动体中设置事件检测单元的情况。
101.《2-1.第二实施方式的配置》
102.图6示出了第二实施方式的配置。成像系统10-2包括事件检测单元20、运动传感器30和信息处理单元40-2。可以独立地或整体地设置事件检测单元20和信息处理单元40-2。此外，运动传感器30与事件检测单元20一体地设置，以能够检测在移动体中设置的事件检测单元20中引起的运动。
103.与第一实施方式类似地，事件检测单元20包括成像光学系统21、成像单元22、事件检测处理单元23和移动处理单元24。
104.成像光学系统21包括聚焦透镜、变焦透镜等，并在成像单元22的成像面上形成被摄体光学图像。
105.成像单元22针对每个像素执行对被摄体光学图像的光电转换，根据亮度来生成像素信号，并且将像素信号输出至事件检测处理单元23。事件检测处理单元23基于从成像单元22输出的像素信号来检测事件的存在或不存在，并且将指示检测结果的事件检测信息输出至信息处理单元40-2。
106.如稍后所述，基于从信息处理单元40-2的移动控制单元42b供应的控制信号，移动处理单元24移动被摄体光学图像在成像单元22的成像面上的位置。
107.运动传感器30检测在事件检测单元20中引起的运动事件检测单元20的运动。运动传感器30使用例如惯性测量单元(imu)等，检测事件检测单元20的运动(位置移动、姿势变化等)，并且将指示检测结果的运动信息输出至信息处理单元40-2。
108.信息处理单元40-2包括确定单元41b、移动控制单元42b和事件信息生成单元43。
109.确定单元41b基于由事件检测单元20生成的事件检测信息和由运动传感器30生成的运动信息来确定是否未检测到事件。例如，确定单元41b基于事件检测信息和运动信息来确定事件的运动，并且在存在没有运动的方向的情况下确定未检测到事件。确定单元41b将关于是否未检测到事件的确定结果输出至移动控制单元42b。
110.在确定单元41b的确定结果指示未检测到事件的情况下，移动控制单元42b执行移动控制以移动成像单元22中的被摄体光学图像的位置，并且向事件检测单元20的移动处理单元24输出控制信号。此外，移动控制单元42b基于从运动传感器30供应的运动信息来执行移动控制。例如，在事件检测单元20被设置在移动体(例如，汽车)中并且仅在第一方向(例如，汽车的前方方向)上移动的情况下，移动控制单元42b确定未获得与第一方向不同的另一方向上的信息，生成控制信号使得可以获取另一方向上的信息，并且将控制信号输出至事件检测单元20的移动处理单元24。此外，移动控制单元42b可以对设置有事件检测单元20的移动体执行移动控制，使得可以获取另一方向上的信息。此外，移动控制单元42b生成与被摄体光学图像的位置的移动有关的移动信息，并且将该移动信息输出至事件信息生成单元43。
111.事件信息生成单元43生成事件信息，该事件信息包括由事件检测单元20生成的事件检测信息、由运动传感器30生成的运动信息以及由移动控制单元42b生成的移动信息的事件信息，并且将该事件信息输出至图像生成单元50、外部设备等。
112.图像生成单元50基于事件信息来生成由事件检测单元20捕获的被摄体图像。
113.《2-2.第二实施方式的操作》
114.接下来，描述第二实施方式的操作。成像系统10-2基于由事件检测单元20生成的事件检测信息和由运动传感器30生成的运动信息，确定其中未测到事件的区域的存在或不存在。在确定存在其中未检测到事件的区域的情况下，成像系统10-2基于事件检测单元20的运动来移动成像单元中的被摄体光学图像的位置，并且获取关于其中未检测到事件的区域的事件检测信息。
115.图7是示出第二实施方式的操作的流程图。在步骤st11中，成像系统10-2通过事件检测单元来执行成像。成像系统10-2的事件检测单元20针对每个像素执行对被摄体光学图像的光电转换以生成像素信号。此外，事件检测单元20基于像素信号，将像素的亮度变化超过预设亮度阈值检测为事件。事件检测单元20生成指示事件的检测结果的事件检测信息，并且进行至步骤st12。
116.在步骤st12中，成像系统10-2记录运动信息和事件检测信息。成像系统10-2的信息处理单元40-2在事件信息生成单元43中记录由运动传感器30生成的运动信息和在步骤st11中生成的事件检测信息，并且进行至步骤st13。
117.在步骤st13中，成像系统10-2执行对事件未检测状态的确定。在成像系统10-2的信息处理单元40-2中，确定单元41b基于从运动传感器30供应的运动信息和在步骤st11中生成的事件检测信息，确定是否存在其中未检测到事件的区域。例如，在由通过运动传感器30生成的运动信息指示的运动方向上移动时，由于在运动方向上延伸的边缘部分中未检测到事件，因此确定单元41b确定存在其中未检测到事件的区域。在存在其中未检测到事件的区域的情况下，确定单元41b确定事件未检测状态并且进行至步骤st14，并且在未确定事件未检测状态的情况下，确定单元进行至步骤st18。
118.在步骤st14中，成像系统10-2执行对事件检测单元20的移动控制。在成像系统10-2的信息处理单元40-2中，移动控制单元42b执行对事件检测单元20的移动控制，使得可以获取其中未检测到事件的区域的事件检测信息。例如，基于从运动传感器30供应的运动信息，移动控制单元42b生成控制信号，使得事件检测单元20可以获取与事件检测单元20的移动方向不同的另一方向上的信息。移动控制单元42b将所生成的控制信号输出至事件检测单元20的移动处理单元24，移动成像单元22中的被摄体光学图像的位置，并且进行至步骤st15。
119.在步骤st15中，成像系统10-2记录移动信息。移动控制单元42b基于控制信号生成关于由事件检测单元20执行的光学图像的位置的移动的移动信息，将移动信息记录在事件信息生成单元43中，并且进行至步骤st16。
120.在步骤st16中，成像系统通过事件检测单元执行成像。成像系统10-1的事件检测单元20针对每个像素执行对被摄体光学图像的光电转换以生成像素信号。此外，事件检测单元20基于像素信号，将像素的亮度变化超过预设亮度阈值检测为事件。事件检测单元20生成指示事件的检测结果的事件检测信息，并且进行至步骤st17。
121.在步骤st17中，成像系统10-2记录运动信息和事件检测信息。成像系统10-2的信息处理单元40-2将从运动传感器30供应的运动信息和在步骤st16中生成的事件检测信息记录在事件信息生成单元43中，并且进行至步骤st18。
122.在步骤st18中，成像系统10-2输出事件信息。成像系统10-2的信息处理单元40-2生成事件信息，该事件信息包括事件检测信息、由移动控制单元42b生成的移动信息以及由
运动传感器30生成的运动信息，被记录在事件信息生成单元43中，并且将事件信息输出至图像生成单元50、外部设备等。
123.图8是示出事件检测单元被设置在移动体(例如，汽车)中的情况的图。图8的(a)示出了由设置在移动体中的事件检测单元20的图像传感器221获取的捕获图像，并且图8的(b)示出常规方法的事件检测结果。当汽车移动时，从前面的中心径向延伸的边界伴随着汽车的移动而有较小的移动，并且其他方向上的边界比从前面的中心径向延伸的边界有较多的移动。因此，通过事件检测检测到街道树木rt，但难以检测到在行驶方向上延伸的道路的边界rb和白线wl。
124.然而，根据第二实施方式，在行驶方向上延伸的道路的边界rb和白线wl的区域被确定为事件未检测区域。在事件检测单元20中，由移动处理单元24基于从移动控制单元42b供应的控制信号移动被摄体光学图像的位置。因此，如图8的(c)所示，在行驶方向上延伸的道路的边界rb和白线wl可以被检测为事件。注意，将在稍后描述图8的(d)和(e)。
125.根据这样的第二实施方式，不仅可以获得与第一实施方式的效果相似的效果，而且对于在事件检测单元20移动时无法获得事件检测信息的区域，也可以获取事件检测信息。例如，即使在由于事件检测单元20在水平方向上以很小的运动移动而不能获得指示垂直边缘的事件检测信息的情况下，光学图像的位置也在水平方向上移动，使得可以获取指示垂直边缘的事件检测信息。
126.此外，通过将由运动传感器30生成的运动信息包括在事件检测信息中，不仅可以存储事件的发生状况，还可以存储事件检测单元20的准确运动。
127.《3.第三实施方式》
128.同时，随着由事件检测单元检测到的事件的数目增加，事件检测信息的信息量也增加。因此，在包括事件检测信息的事件信息被传送至外部设备等的情况下，如果事件的数目增加并且通信路径的容量变得不足，则事件信息丢失。
129.因此，在第三实施方式中，当由事件检测单元检测到的事件处于过多状态时，移动成像单元，使得由事件检测单元检测到的事件的数目减少，并且事件信息的信息量不超过通信容量。
130.《3-1.第三实施方式的配置》
131.图9示出了第三实施方式的配置。成像系统10-3包括事件检测单元20、运动传感器30和信息处理单元40-3。可以独立地或整体地设置事件检测单元20和信息处理单元40-3。此外，运动传感器30与事件检测单元20一体地设置，以能够检测事件检测单元20的运动。
132.与第一实施方式类似地，事件检测单元20包括成像光学系统21、成像单元22、事件检测处理单元23和移动处理单元24。
133.成像光学系统21包括聚焦透镜、变焦透镜等，并在成像单元22的成像面上形成被摄体光学图像。
134.成像单元22针对每个像素执行对被摄体光学图像的光电转换，根据亮度来生成像素信号，并且将像素信号输出至事件检测处理单元23。事件检测处理单元23基于从成像单元22输出的像素信号来检测事件的存在或不存在，并且将指示检测结果的事件检测信息输出至信息处理单元40-3。
135.如稍后所述，基于从信息处理单元40-3的移动控制单元42c供应的控制信号，移动
处理单元24移动被摄体光学图像在成像单元22的成像面上的位置。
136.运动传感器30检测在事件检测单元20中引起的运动事件检测单元20的运动。运动传感器30使用例如惯性测量单元(imu)等，检测事件检测单元20的运动(位置移动、姿势变化等)，并且将指示检测结果的运动信息输出至信息处理单元40-3。
137.信息处理单元40-3包括确定单元41c、移动控制单元42c和事件信息生成单元43。
138.确定单元41c确定是否存在事件过多状态。例如，基于由运动传感器30生成的运动信息和由事件检测单元20生成的事件检测信息，确定单元41c确定在由移动事件检测单元20检测到的事件数目大于预设阈值(过多状态确定阈值)的情况下存在事件过多状态。确定单元41c将事件过多状态的确定结果输出至移动控制单元42c。
139.在确定单元41c的确定结果指示事件过多状态的情况下，移动控制单元42c基于从运动传感器30供应的运动信息和由事件检测单元20生成的事件检测信息，执行移动控制以在检测到的事件的数目减少的方向上移动成像单元22中的被摄体光学图像的位置，并且将控制信号输出至事件检测单元20的移动处理单元24。此外，移动控制单元42c生成与被摄体光学图像的位置的移动有关的移动信息，并且将该移动信息输出至事件信息生成单元43。
140.事件信息生成单元43生成事件信息，该事件信息包括由事件检测单元20生成的事件检测信息、由运动传感器30生成的运动信息以及由移动控制单元42c生成的移动信息的事件信息，并且将该事件信息输出至图像生成单元50、外部设备等。
141.图像生成单元50基于事件信息来生成由事件检测单元20捕获的被摄体图像。
142.《3-2.第三实施方式的操作》
143.图10是示出第三实施方式的操作的流程图。在步骤st21中，成像系统10-3通过事件检测单元来执行成像。成像系统10-3的事件检测单元20针对每个像素执行对被摄体光学图像的光电转换以生成像素信号。此外，事件检测单元20基于像素信号，将像素的亮度变化超过预设亮度阈值检测为事件。事件检测单元20生成指示事件的检测结果的事件检测信息，并且进行至步骤st22。
144.在步骤st22中，成像系统10-3记录运动信息和事件检测信息。成像系统10-3的信息处理单元40-3在事件信息生成单元43中记录由运动传感器30生成的运动信息和在步骤st21中生成的事件检测信息，并且进行至步骤st23。
145.在步骤st23中，成像系统10-3执行对事件过多状态的确定。在成像系统10-3的信息处理单元40-3中，基于从运动传感器30供应的运动信息和在步骤st21中生成的事件检测信息，确定单元41c确定是否存在由移动事件检测单元20检测到的事件数目大于预设事件数目阈值的事件过多状态。在确定不存在事件过多状态的情况下，确定单元41c返回至步骤st21，并且在确定存在事件过多状态的情况下，进行步骤st24。
146.在步骤st24中，成像系统10-3执行对事件检测单元20的移动控制。在成像系统10-3的信息处理单元40-3中，移动控制单元42c对事件检测单元20执行移动控制，以减少检测到的事件的数目。例如，移动控制单元42c生成控制信号，以在由事件检测单元20的移动引起的被摄体在成像单元22的成像面上的移动减少的方向上移动成像单元22中的被摄体光学图像的位置。移动控制单元42c将所生成的控制信号输出至事件检测单元20的移动处理单元24，使事件检测单元20移动被摄体光学图像的位置，并且进行至步骤st25。
147.在步骤st25中，成像系统10-3记录移动信息。移动控制单元42c基于控制信号来生
成关于成像单元22中的被摄体光学图像的位置的移动的移动信息，将移动信息记录在事件信息生成单元43中，并且进行至步骤st26。
148.在步骤st26中，成像系统通过事件检测单元执行成像。成像系统10-3的事件检测单元20针对每个像素执行对被摄体光学图像的光电转换以生成像素信号。此外，事件检测单元20基于像素信号，将像素的亮度变化超过预设亮度阈值检测为事件。事件检测单元20生成指示事件的检测结果的事件检测信息，并且进行至步骤st27。
149.在步骤st27中，成像系统10-3记录运动信息和事件检测信息。成像系统10-3的信息处理单元40-3将从运动传感器30供应的运动信息和在步骤st26中生成的事件检测信息记录在事件信息生成单元43中，并且进行至步骤st28。
150.在步骤st28中，成像系统10-3输出事件信息。成像系统10-3的信息处理单元40-3生成事件信息，该事件信息包括事件检测信息、由移动控制单元42c生成的移动信息以及由运动传感器30生成的运动信息，被记录在事件信息生成单元43中，并且将事件信息输出至图像生成单元50、外部设备等。
151.图11示出了减少检测到的事件数目的情况下的操作。图11的(a)示出了在事件检测单元20在箭头ma的方向上移动的情况下检测到的事件的示例。在第三实施方式中，在存在事件过多状态的情况下，移动控制单元42c移动成像单元22中的被摄体光学图像的位置，使得检测到的事件数目减少。例如，与图11的(a)相比，如图11的(b)所示，移动控制单元42c在箭头mb的方向上移动被摄体光学图像的位置以使检测的事件减少。
152.根据这样的第三实施方式，在存在许多检测到的事件的情况下，可以通过移动成像单元22中的被摄体光学图像的位置来减少检测到的事件数目。此外，由于可以减少事件的数目，因此可以防止由于事件信息的信息量超过通信容量而丢失事件信息。
153.《4.关于图像的生成》
154.接下来，将描述使用在上述实施方式中生成的事件信息生成捕获的图像的图像生成单元50。图像生成单元50可以设置在上述成像系统10-1(10-2、10-3)中，或者可以与成像系统10-1(10-2、10-3)分开设置。此外，在图像生成单元50被设置在成像系统10-1(10-2、10-3)中的情况下，图像生成单元50可以与事件检测单元20和信息处理单元40-1(40-2、40-3)分开设置，或者可以与信息处理单元40-1(40-2、40-3)一体地设置。
155.图像生成单元50基于事件信息来生成指示由事件检测单元20捕获的被摄体之间的亮度上的差异的图像(整合的图像)的图像信号，并且将该图像信号输出至显示设备等。
156.图12示出了在具有不同亮度阶梯的边缘被移动一个像素的情况下的事件的发生次数。
157.被摄体ob在从时间t1到时间t4的时段内移动一个像素。注意，图12的(a)示出了被摄体ob与背景bg之间的亮度差异大的情况，以及图12的(b)示出了被摄体ob与背景bg之间的亮度差异小于图12的(a)中的亮度差异的情况。
158.在被摄体ob与背景bg之间的亮度差大的情况下，例如，像素pt的亮度如图12的(c)中所示的那样改变，并且在从时间t1到时间t4的时段内发生三个事件。此外，在被摄体ob与背景bg之间的亮度差异小的情况下，例如，像素pt的亮度如图12的(d)中所示的那样改变，并且在从时间t1到时间t4的时段内发生一个事件。因此，可以使用事件的发生的次数，基于事件信息来生成亮度图像。
159.在不存在事件检测单元20的运动信息的情况下，图像生成单元50通过使用利用非专利文献2中描述的dnn进行的亮度估计、获得光流和估计亮度的方法等来生成亮度图像。例如，在如在常规情况下那样不移动被摄体光学图像的位置的情况下，如图3的(c)所示的，背景之间的亮度差异不能被再现。然而，如在本技术中，通过在确定处于事件未检测状态的情况下移动被摄体光学图像的位置，可以如图4的(c)所示的那样生成指示背景之间的亮度差异的亮度图像。
160.此外，在事件信息包括运动信息的情况下，图像生成单元50通过使用事件的发生次数和亮度阈值来计算边缘亮度阶梯，并且将边缘亮度阶梯添加到事件检测单元20的运动方向以生成亮度图像。
161.图13示出了在事件信息包括事件检测单元的运动信息的情况下的亮度图像的生成。图13的(a)示出了由事件检测单元20成像的被摄体。事件检测单元20对例如被摄体oba和具有比被摄体oba的亮度高的亮度的被摄体obb进行成像。图13的(b)示出了当事件检测单元20向右移动一个像素时检测到的事件。如图13的(c)所示，图像生成单元50按照从第一线l1到最后线lh的线顺序来计算亮度信息。
162.图13的(d)示出了图13的(c)中的线ln中的事件的发生次数ec，其中，例如，在被摄体oba的左边缘部分中发生两个开启事件，并且例如，在被摄体oba的右边缘部分中发生两个关闭事件。此外，例如，在具有比被摄体oba的亮度高的亮度的被摄体obb的左边缘部分中发生四个开启事件，并且例如，在被摄体obb的右边缘部分中发生四个关闭事件。此外，图13的(e)示出了事件整合结果et。注意，开启事件的发生次数是正值，并且关闭事件的发生次数是负值。
163.图像生成单元50执行表达式(1)中所示的计算，并且生成指示被摄体oba和obb的亮度的图像。表达式(1)表示在位置(x，y)处的事件整合结果et(x，y)。在表达式(1)中，在一条线的像素数目为“w”并且线数目为“h”的情况下，变量x和y是“x＝1、2、......、w，y＝1、2、......、h”。在表达式(1)中，“ec(x，y)”指示在位置(x，y)处发生的事件的发生次数，“tb”指示预设的基本亮度水平，并且“mvp”指示被摄体光学图像的运动量(像素数目)。
164.et(x,y)＝et(x-1,y)+ec(x,y)
×
tb/mvp...(1)
165.图像生成单元50基于由事件检测单元20生成的事件检测信息的位置信息，计算从第一线l1到最后线lh的每个线的事件整合结果，并且如图13的(f)所示，生成指示被摄体oba与obb之间的亮度差异的图像。
166.此外，在被摄体光学图像的位置未被移动的情况下，如上述图8的(d)所示，道路的边界ra、rb和白线wl不能被再现。然而，如在本技术中，在确定事件未检测状态的情况下，通过移动被摄体光学图像的位置，如图8的(e)所示，可以生成再现边界和白线的亮度图像。
167.以这种方式，图像生成单元50可以通过使用包括在事件信息中的事件检测信息、运动信息等，以高准确度和低成本估计亮度，并且可以生成指示被摄体之间的亮度差异的图像。
168.《5.其他实施方式》
169.本技术的实施方式可以是结合了上述实施方式的配置和操作。此外，在事件检测单元20中的成像单元22中，可以在成像面上设置滤色器(例如，红色、绿色、蓝色的马赛克滤波器)。在这种情况下，可以生成每个颜色分量的事件信息。此外，图像生成单元50可以通过
使用每个颜色分量的事件信息来生成指示被摄体的每个颜色分量的亮度上的差异的颜色图像。
170.此外，在事件检测单元20接收用于距离测量的红外线、毫米波等作为入射光的情况下，信息处理单元40-1(40-2、40-3)可以生成事件信息，该事件信息不仅指示到已发生运动的被摄体的距离的变化的发生，而且还指示到未发生运动的被摄体的距离的变化的发生。此外，在事件检测单元20接收用于测量温度的红外线作为入射光的情况下，信息处理单元40-1(40-2、40-3)可以生成事件信息，该事件信息不仅指示已发生运动的被摄体的温度的变化的发生，而且还指示未发生运动的被摄体的温度变化的发生等。此外，如果在事件信息中包括事件检测单元的运动信息，则图像生成单元50可以生成指示到已发生运动的被摄体的距离与到未发生运动的被摄体的距离之间的差异的距离图像，以及指示温度的差异的温度显示图像。
171.说明书中描述的一系列处理可以由硬件、软件或两者的组合配置来执行。在通过软件执行处理的情况下，以处理顺序记录的程序被安装在计算机的专用硬件中所包含的存储器中并且被执行。替选地，可以在能够执行各种处理的通用计算机上安装并执行程序。
172.例如，程序可以被预先记录在作为记录介质的硬盘、固态驱动器(ssd)或只读存储器(rom)中。替选地，程序可以临时地或永久地存储(记录)在可移除记录介质中，可移除记录介质例如软盘、致密盘只读存储器(cd-rom)、磁光(mo)盘、数字多功能盘(dvd)、蓝光光盘(bd)(注册商标)、磁盘、半导体存储卡等。这样的可移除记录介质可以作为所谓的封装软件被提供。
173.此外，除了从可移除记录介质安装在计算机上之外，还可以经由诸如由蜂窝表示的广域网(wan)、局域网(lan)、因特网等网络，从下载站点以有线或无线的方式传输到计算机。在计算机中，可以接收以这种方式传输的程序并将其安装在诸如内置硬盘等的记录介质上。
174.注意，在本说明书中描述的效果仅是示例并且不受限制，并且可能存在未描述的附加效果。此外，本技术不应当被解释为限于本技术的上述实施方式。本技术的实施方式以例示的形式公开了本技术，并且明显的是，在不脱离本技术的主旨的情况下，本领域技术人员可以对实施方式进行修改或替换。也就是说，为了确定本技术的主旨，应当考虑权利要求。
175.此外，本技术的信息处理装置还可以具有以下配置。
176.(1)一种信息处理装置，包括：
177.确定单元，其基于由事件检测单元生成的指示事件的检测结果的事件检测信息来确定是否未检测到事件，事件检测单元将成像单元中的像素的亮度变化超过预设阈值检测为事件，成像单元对指示被摄体的光学图像进行光电转换；以及
178.移动控制单元，其在由确定单元确定未检测到事件的情况下，移动成像单元中的指示被摄体的光学图像的位置。
179.(2)根据(1)的信息处理装置，其中，确定单元在存在事件未检测区域的情况下确定未检测到事件，在事件未检测区域中，由事件检测信息指示的事件数目小于预设阈值。
180.(3)根据(2)的信息处理装置，其中，确定单元对光学图像的区域进行划分，并且确定划分后的每个区域是否为事件未检测区域。
181.(4)根据(1)至(3)中任一项的信息处理装置，其中，确定单元基于事件检测信息来确定光学图像中的边缘的方向，并且在存在未检测到边缘的方向的情况下，确定未检测到事件。
182.(5)根据(1)至(4)中任一项的信息处理装置，其中，确定单元确定事件的运动，并且在存在没有运动的方向的情况下确定未检测到事件。
183.(6)根据(1)至(5)中任一项的信息处理装置，其中，在事件检测信息的传输中发生通信路径的容量不足的情况下，确定单元确定未检测到事件。
184.(7)根据(6)的信息处理装置，其中，在发生容量不足的情况下，移动控制单元在检测到的事件减少的方向上移动成像单元。
185.(8)根据(1)至(7)中任一项的信息处理装置，其中，
186.事件检测单元包括成像单元和成像光学系统，成像光学系统在成像单元的成像面上形成指示被摄体的光学图像，并且
187.移动控制单元通过移动成像光学系统的光轴在成像单元中的位置来移动指示被摄体的光学图像的位置。
188.(9)根据(8)的信息处理装置，还包括事件信息生成单元，事件信息生成单元生成事件信息，事件信息包括由事件检测单元生成的事件检测信息以及与指示被摄体的光学图像的位置的移动有关的移动信息。
189.(10)根据(9)的信息处理装置，其中，移动控制单元在与成像光学系统的光轴正交的方向上移动成像单元。
190.(11)根据(10)的信息处理装置，其中，事件信息生成单元使用指示成像单元的移动的信息作为移动信息。
191.(12)根据(9)的信息处理装置，其中，移动控制单元相对于成像单元移动成像光学系统的光轴。
192.(13)根据(12)的信息处理装置，其中，事件信息生成单元使用指示光轴的移动的信息作为移动信息。
193.(14)根据(9)的信息处理装置，其中，事件信息生成单元将由运动传感器生成的运动信息包括在事件信息中，运动传感器对包括成像单元的移动体的运动进行检测。
194.附图标记列表
195.10-1、10-2、10-3 成像系统
196.20 事件检测单元
197.21 成像光学系统
198.22 成像单元
199.23 事件检测处理单元
200.24 移动处理单元
201.30 运动传感器
202.40-1、40-2、40-3 信息处理单元
203.41a、41b、41c 确定单元
204.42a、42b、42c 移动控制单元
205.43 事件信息生成单元
206.50 图像生成单元
207.221 图像传感器
208.222 事件检测处理单元

技术特征：
1.一种信息处理装置，包括：确定单元，其基于由事件检测单元生成的指示事件的检测结果的事件检测信息来确定是否未检测到事件，所述事件检测单元将成像单元中的像素的亮度变化超过预设阈值检测为所述事件，所述成像单元对指示被摄体的光学图像进行光电转换；以及移动控制单元，其在由所述确定单元确定未检测到事件的情况下，移动所述成像单元中的指示所述被摄体的光学图像的位置。2.根据权利要求1所述的信息处理装置，其中，所述确定单元在存在事件未检测区域的情况下确定未检测到事件，在所述事件未检测区域中，由所述事件检测信息指示的事件的数目小于预设阈值。3.根据权利要求2所述的信息处理装置，其中，所述确定单元对所述光学图像的区域进行划分，并且确定划分后的每个区域是否为所述事件未检测区域。4.根据权利要求1所述的信息处理装置，其中，所述确定单元基于所述事件检测信息来确定所述光学图像中的边缘的方向，并且在存在未检测到所述边缘的方向的情况下，确定未检测到事件。5.根据权利要求1所述的信息处理装置，其中，所述确定单元确定所述事件的运动，并且在存在没有运动的方向的情况下确定未检测到事件。6.根据权利要求1所述的信息处理装置，其中，在所述事件检测信息的传输中发生通信路径的容量不足的情况下，所述确定单元确定未检测到事件。7.根据权利要求6所述的信息处理装置，其中，在发生所述容量不足的情况下，所述移动控制单元在检测到的事件减少的方向上移动所述成像单元。8.根据权利要求1所述的信息处理装置，其中，所述事件检测单元包括所述成像单元和成像光学系统，所述成像光学系统在所述成像单元的成像面上形成指示所述被摄体的光学图像，并且所述移动控制单元通过移动所述成像光学系统的光轴在所述成像单元中的位置，来移动指示所述被摄体的光学图像的位置。9.根据权利要求8所述的信息处理装置，还包括：事件信息生成单元，其生成事件信息，所述事件信息包括由所述事件检测单元生成的所述事件检测信息以及与指示所述被摄体的光学图像的位置的移动有关的移动信息。10.根据权利要求9所述的信息处理装置，其中，所述移动控制单元在与所述成像光学系统的光轴正交的方向上移动所述成像单元。11.根据权利要求10所述的信息处理装置，其中，所述事件信息生成单元使用指示所述成像单元的移动的信息作为所述移动信息。12.根据权利要求9所述的信息处理装置，
其中，所述移动控制单元相对于所述成像单元移动所述成像光学系统的光轴。13.根据权利要求12所述的信息处理装置，其中，所述事件信息生成单元使用指示所述光轴的移动的信息作为所述移动信息。14.根据权利要求9所述的信息处理装置，其中，所述事件信息生成单元将由运动传感器生成的运动信息包括在所述事件信息中，所述运动传感器对包括所述成像单元的移动体的运动进行检测。15.一种信息处理方法，包括：由确定单元基于由事件检测单元生成的指示事件的检测结果的事件检测信息来确定是否未检测到事件，所述事件检测单元将成像单元中的像素的亮度变化超过预设阈值检测为所述事件，所述成像单元对指示被摄体的光学图像进行光电转换；以及由移动控制单元执行控制，以在由所述确定单元确定未检测到事件的情况下，移动所述成像单元中的指示所述被摄体的光学图像的位置。16.一种用于使计算机根据由事件检测单元生成的事件的检测结果执行控制的程序，所述事件检测单元将成像单元中的像素的亮度变化超过预设阈值检测为所述事件，所述成像单元对指示被摄体的光学图像进行光电转换，所述程序用于使所述计算机执行：基于事件检测信息来确定是否未检测到事件的步骤；以及移动所述成像单元中的指示所述被摄体的光学图像的位置的步骤。17.一种成像系统，包括：确定单元，其基于由事件检测单元生成的指示事件的检测结果的事件检测信息，来确定是否未检测到事件，所述事件检测单元将成像单元中的像素的亮度变化超过预设阈值检测为所述事件，所述成像单元对指示被摄体的光学图像进行光电转换；移动控制单元，其在由所述确定单元确定未检测到事件的情况下，移动所述成像单元中的指示所述被摄体的光学图像的位置；事件信息生成单元，其生成事件信息，所述事件信息包括由所述事件检测单元生成的所述事件检测信息以及与指示所述被摄体的光学图像的位置的移动有关的移动信息；以及图像生成单元，其基于由所述事件信息生成单元生成的所述事件信息，来生成指示所述被摄体的图像。

技术总结
事件检测单元20将成像单元中的像素的亮度变化已超过预设阈值检测为事件，成像单元对指示被摄体的光学图像进行光电转换。信息处理单元40-1的确定单元41a基于由事件检测单元20生成的指示事件的检测结果的事件检测信息，确定未检测到事件。当确定单元41a确定未检测到事件时，移动控制单元42a移动指示事件检测单元20的成像单元22中的被摄体的光学图像的位置，使得能够在事件未检测区域检测到事件。事件信息生成单元43生成事件信息，该事件信息包括事件检测信息和与光学图像的位置的移动有关的移动信息。因此，可以获取指示针对比常规区域更宽的区域的事件检测结果的事件信息。区域更宽的区域的事件检测结果的事件信息。区域更宽的区域的事件检测结果的事件信息。


技术研发人员：田谷香织
受保护的技术使用者：索尼集团公司
技术研发日：2022.01.04
技术公布日：2023/10/15