电子设备、信息处理装置、专注度计算程序、专注度计算方法及计算机的学习方法与流程

电子设备、信息处理装置、专注度计算程序、专注度计算方法及计算机的学习方法
1.相关申请的相互参考
2.本技术要求2020年12月3日在日本技术的日本特愿2020-201108的优先权，作为参考，在此援引该在先申请的全部公开内容。
技术领域
3.本发明涉及一种电子设备、信息处理装置、专注度计算程序、专注度计算方法及计算机的学习方法。


背景技术：

4.移动体的安全驾驶要求驾驶员的注意力。因此，一直在研究对驾驶员的注意力进行观察，若注意力降低，则向驾驶员发出警报，或者，进行驾驶辅助。作为对注意力的观察，有方案提出：计算视线与自身车辆周围的对象物体如对向车辆之间的重合度的累计值即累计辨认度，并将其与基准值进行比较(参考专利文献1)。
5.专利文献1：国际公开2008-029802号


技术实现要素：

6.本发明的第一方面的第一方面的电子设备，其中，
7.具备：
8.拍摄部，通过拍摄生成与场景对应的图像；
9.视线检测部，检测对象人员相对于所述场景的视线；
10.控制部，根据所述图像和所述视线，推断所述对象人员的专注度，
11.所述控制部作为低专注热图组推断部和高专注热图推断部发挥作用，
12.所述低专注热图组推断部能够根据所述图像推断低专注热图组，所述低专注热图组推断部由对学习用图像与在对学习用对象人员施加按多个负荷因素使专注力降低的负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，所述低专注热图组按所述负荷因素，表示在施加所述负荷的情况下的构成该图像的各位置上的所述视线的概率，
13.所述高专注热图推断部能够根据所述图像推断高专注热图，所述高专注热图推断部由对学习用图像与在对学习用对象人员解除了所述负荷的情况下或者减轻了所述负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，所述高专注热图表示在解除了所述负荷的情况下或者减轻了所述负荷的情况下的构成该图像的各位置上的所述视线的概率，
14.所述控制部根据所述低专注热图组及所述高专注热图和所述对象人员的视线，推断该对象人员的专注度。
15.第二方面的信息处理装置，其中，
16.具备：
17.获取部，获取与场景对应的图像和对象人员相对于所述场景的视线；
18.控制部，根据所述图像和所述视线，推断所述对象人员的专注度；
19.输出部，输出所述专注度，
20.所述控制部作为低专注热图组推断部和高专注热图推断部发挥作用，
21.所述低专注热图组推断部能够根据所述图像推断低专注热图组，所述低专注热图组推断部由对学习用图像与在对学习用对象人员施加按多个负荷因素使专注力降低的负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，所述低专注热图组按所述负荷因素表示在施加所述负荷的情况下的构成该图像的各位置上的所述视线的概率，
22.所述高专注热图推断部能够根据所述图像推断高专注热图，所述高专注热图推断部由对学习用图像与在对学习用对象人员解除了所述负荷的情况下或者减轻了所述负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，所述高专注热图表示在解除了所述负荷的情况下或者减轻了所述负荷的情况下的构成该图像的各位置上的所述视线的概率，
23.所述控制部根据所述低专注热图组及所述高专注热图和所述对象人员的视线，推断该对象人员的专注度。
24.第三方面的专注度计算程序，其中，
25.使计算机作为拍摄部、视线检测部、控制部发挥作用，
26.所述拍摄部通过拍摄生成与场景对应的图像，
27.所述视线检测部检测对象人员相对于所述场景的视线，
28.所述控制部根据所述图像和所述视线，推断所述对象人员的专注度，
29.所述控制部作为低专注热图组推断部和高专注热图推断部发挥作用，
30.所述低专注热图组推断部能够根据所述图像推断低专注热图组，所述低专注热图组推断部由对学习用图像与在对学习用对象人员施加按多个负荷因素使专注力降低的负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，所述低专注热图组按所述负荷因素表示在施加所述负荷的情况下的构成该图像的各位置上的所述视线的概率，
31.所述高专注热图推断部能够根据所述图像推断高专注热图，所述高专注热图推断部由对学习用图像与在对学习用对象人员解除了所述负荷的情况下或者减轻了所述负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，所述高专注热图表示在解除了所述负荷的情况下或者减轻了所述负荷的情况下的构成该图像的各位置上的所述视线的概率，
32.所述控制部根据所述低专注热图组及所述高专注热图和所述对象人员的视线，推断该对象人员的专注度。
33.第四方面的专注度计算方法，其中，
34.包括：
35.拍摄工序，通过拍摄生成与场景对应的图像；
36.视线检测工序，检测对象人员相对于所述场景的视线；
37.推断工序，根据所述图像和所述视线，推断所述对象人员的专注度，
38.所述推断工序由对学习用图像与在对学习用对象人员施加按多个负荷因素使专注力降低的负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，根据所述图像推断低专注热图组，所述低专注热图组按所述负荷因素表示在施加所述负荷的情况下的构成该图像的各位置上的所述视线的概率，
39.所述推断工序由对学习用图像与在对学习用对象人员解除了所述负荷的情况下或者减轻了所述负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，根据所述图像推断高专注热图，所述高专注热图表示在解除了所述负荷的情况下或者减轻了所述负荷的情况下的构成该图像的各位置上的所述视线的概率，
40.根据所述低专注热图组及所述高专注热图和所述对象人员的视线，计算该对象人员的专注度。
41.第五方面的学习方法，其中，
42.为了根据任意的图像推断低专注热图组和高专注热图，对学习用图像与在对学习用对象人员施加按多个负荷因素使专注力降低的负荷的情况下的对该学习用图像的视线之间的关系进行机器学习，并且，
43.对学习用图像与在对学习用对象人员解除了所述负荷的情况下或者减轻了所述负荷的情况下的对该学习用图像的视线之间的关系进行机器学习，
44.所述低专注热图组按多个所述负荷因素表示在施加所述负荷的状态下的构成该图像的各位置上的视线的重合的概率，所述高专注热图表示在解除了所述负荷的状态下的构成该图像的各位置上的所述视线的概率。
附图说明
45.图1是表示第一实施方式的电子设备的示意性结构的框图。
46.图2是用以说明视线检测部检测到的视线与图像之间的关系的图。
47.图3是表示低专注热图组推断部对图像推断出的低专注热图组的具体例子的图。
48.图4是用以说明第一实施方式中图1的控制部所执行的推断处理的流程图。
49.图5是用以说明第二实施方式中图1的控制部所执行的推断处理的流程图。
50.图6是表示第一实施方式和第二实施方式的变形例即信息处理装置的示意性结构的框图。
具体实施方式
51.下面，参考附图对应用本发明的电子设备的实施方式进行说明。需要说明的是，下述的说明也用作对应用本发明的信息处理装置、专注度计算方法、学习方法以及专注度计算程序的说明。
52.本发明第一实施方式的电子设备例如设置在移动体上。移动体例如可以包括车辆、船舶和航空器等。车辆例如可以包括汽车、工业车辆、铁路车辆、生活车辆和在跑道上行驶的固定翼飞机等。汽车例如可以包括乘用车、卡车、公共汽车、两轮车和无轨电车等。工业车辆例如可以包括农业用工业车辆和建设用工业车辆等。工业车辆例如可以包括叉车和高尔夫球车等。农业用工业车辆例如可以包括拖拉机、耕作机、移植机、割捆机、联合收割机和
割草机等。建设用工业车辆例如可以包括推土机、铲土机、挖掘机、吊车、翻斗车和压路机等。车辆可以包括靠人力行驶的车辆。车辆的分类并不限于上述例子。例如，汽车可以包括能够在道路上行驶的工业车辆。多个分类可以包括相同车辆。船舶可以包括诸如水上喷气式飞机、小艇和油轮等。航空器可以包括诸如固定翼飞机和旋转翼飞机等。
53.如图1所示，本发明第一实施方式的电子设备10包括拍摄部11、视线检测部12、存储器13和控制部14。
54.拍摄部11例如以能够拍摄移动体的前进方向的场景的方式设置在移动体上。拍摄部11例如是能够以30fps的速度进行拍摄的照相机。拍摄部11通过拍摄生成与场景对应的图像。
55.视线检测部12例如以能够检测到坐在移动体驾驶座上的对象人员的视线的方式设置在移动体上。视线检测部12例如是接触型的眼动仪(eye lacquer)和非接触型的眼动仪中的任意一种，检测对象人员相对于场景的视线。如图2所示，视线ls例如被表示为，在与拍摄部11拍摄生成的图像im相同的坐标系中的与位置pe相当的视线ls的方向。
56.视线检测部12也可以检测时间序列的视线ls的视线数据作为视线数据。更具体地说，视线检测部12可以按时间在图像im上检测视线ls的位置pe，并输出该一系列的时间序列的视线ls的位置pe作为视线数据。视线检测部12可以比拍摄部11快速地、换言之以高频率来检测视线ls，并将检测到的该一系列的时间序列的视线ls的位置pe作为一个图像im的视线ls的路径进行累计并输出。
57.存储器13例如包括ram(random access memory：随机存取存储器)和rom(read only memory：只读存储器)等任意的存储设备。存储器13存储使控制部14发挥作用的各种程序，以及控制部14要使用的各种信息。
58.控制部14包括一个以上的处理器和存储器。处理器可以包括读取特定程序并执行特定功能的通用处理器和专用于特定处理的专用处理器。专用处理器可以包括专用集成电路(asic；application specific integrated circuit)。处理器可以包括可编程逻辑器件(pld；programmable logic device)。pld可以包括fpga(field-programmable gate array：现场可编程门阵列)。控制部14可以是一个或多个处理器协作的soc(system-on-a-chip：片上系统)和sip(system ina package：系统级封装)中的任意一个。控制部14控制电子设备10的各构成部件的动作。
59.在通常时，控制部14使拍摄部11以诸如30fps的速度进行连续拍摄，连续地获取图像im作为信息。控制部14使视线检测部12检测当拍摄部11进行拍摄时的对象人员的视线ls，并获取与图像im的拍摄时刻实质相同的时期的视线ls作为信息。所谓与图像im的拍摄时刻实质相同的时期可以包括单一的检测时刻，也可以包括从图像im的最近拍摄的前一个拍摄时刻到最近的拍摄时刻之间的多个检测时刻。在包括视线ls的单一的检测时刻的情况下，与图像im的拍摄时刻实质相同的时期可以不是严格的同一时刻，也可以包括在与图像拍摄相同的周期的视线检测中最接近拍摄时的时刻中的检测时刻。控制部14使图像im和在与图像im的拍摄时刻实质相同的时期所检测的视线ls相关联，并存储于存储器13。
60.控制部14可以对所获取的图像im实施图像处理。在利用已实施规定的图像处理的图像im进行后述的推断部的学习的结构中，控制部14对获取的图像im实施该规定的图像处理，将其与视线ls相关联并存储于存储器13。规定的图像处理例如可以是基于获取的图像
im的语义分割图像的生成处理。语义分割图像是将标签或类别与图像im中的全部像素相关联而成的图像。
61.控制部14基于拍摄时刻和检测时期实质相同的图像im和视线ls，推断对象人员的专注度。更具体地说，控制部14通过发挥低专注热图组推断部15和高专注热图推断部16的作用，从而推断对象人员的专注度。
62.低专注热图组推断部15根据图像im，推断在对对象人员施加特定负荷因素的负荷的情况下的第一低专注热图。低专注热图组推断部15针对多个负荷因素的每一个来推断低专注热图。分别与多个负荷因素对应的多个低专注热图构成低专注热图组。负荷因素是对于普通对象人员对驾驶等行动的专注施加负荷的各种因素，例如是与同乘者的对话、免提对话、广播声音的倾听、沉思、困倦、疲劳等。
63.如图3所示，所谓低专注热图mp
lc
是二维图，该二维图在构成与特定的场景对应的图像im的各个位置上，表示在对普通对象人员施加了特定负荷因素的负荷的情况下注视该场景的各个位置的概率，即与视线重合的概率。在本实施方式中，低专注热图mp
lc
包括：对应于沉思的第一低专注热图mp
lc1
、对应于与同乘者对话的第二低专注热图mp
lc2
、对应于困倦的第三低专注热图mp
lc3
、对应于疲劳的第四低专注热图mp
lc4
。
64.高专注热图推断部16根据图像im，推断在解除了对对象人员的全部特定负荷因素的情况下的高专注热图。高专注热图是二维图，该二维图在构成与特定的场景对应的图像im的各个位置上，表示在对普通对象人员解除了上述全部特定负荷因素的负荷的情况下注视该场景的各个位置的概率，即与视线重合的概率。
65.低专注热图组推断部15和高专注热图推断部16例如由多层结构的神经网络构成。低专注热图组推断部15和高专注热图推断部16如后述那样，通过进行机器学习构建而成。
66.如后述那样，在通过使用连续拍摄到的多个学习用图像的学习来构建低专注热图组推断部15的结构中，控制部14可以根据连续拍摄的多个图像im，来推断单一的低专注热图组。如后述那样，在通过使用连续拍摄到的多个学习用图像的学习来构建高专注热图推断部16的结构中，控制部14可以根据多个图像im来推断单一的高专注热图。控制单元14例如可以根据从最新图像im起追溯规定时间间隔而得到的范围内的帧的图像im，来推断单一的低专注热图组和单一的高专注热图。
67.控制部14可以在连续拍摄的多个图像im中，排除视线ls的移动速度大于或等于阈值的图像im，推断单一的低专注热图组和单一的高专注热图。更具体地说，在任意检测时的视线ls从前一检测时的视线ls移动的移动量超过阈值的情况下，控制部14可以排除与该任意检测时的视线ls的检测时相关联的图像im。换言之，控制部14可以排除扫视过程中的信息。排除的理由是，扫视是向下一个注视点移动过程中的动作，扫视中的视线ls的位置pe不具有作为注视点的意义。控制部14可以通过视线ls的位置pe的移动速度等来判断是否处于扫视过程。
68.如以下举例说明的那样，控制部14根据推断出的低专注热图组及高专注热图和对象人员的视线ls，计算对象人员的专注度。
69.控制部14可以读取第一低专注热图mp
lc1
中与对象人员的视线ls对应的位置pe的概率。与第一低专注热图mp
lc1
中的概率的读取相类似地，控制单元14可以读取第二低专注热图mp
lc2
、第三低专注热图mp
lc3
、第四低专注热图mp
lc4
和高专注热图中与对象人员的视线
ls对应的位置pe的概率。取代概率的读取，控制部14可以计算以对象人员的视线ls的位置pe为基准的规定范围的概率的平均值，取代以下说明中的概率来使用。控制部14可以计算单一的低专注热图组所包括的多个低专注热图mp
lc
和高专注热图中的对象人员的视线ls的路径中的概率的累计值，取代以下说明中的概率来使用。
70.控制部14可以从低专注热图组和高专注热图中选择读取的概率最大的热图。控制部14可以根据对已选择的热图确定的基准值来计算专注度。
71.例如，对于构成低专注热图组的全部低专注热图mp
lc
，可以在0％以上且小于50％的专注度范围内确定基准值。例如，对于高专注热图，可以在50％以上100％以下的专注范围内确定基准值。若与视线ls对应的位置pe的概率最大的热图是某一个低专注热图mp
lc
，则控制部14可以计算针对低专注热图mp
lc
确定的基准值作为对象人员的专注度。若与视线ls对应的位置pe的概率最大的热图是低专注热图mp
lc
，则控制部14可以识别与该低专注热图对应的负荷因素。若与视线ls对应的位置pe的概率最大的热图是高专注热图，则控制部14可以计算针对高专注热图所确定的基准值作为对象人员的专注度。
72.控制部14不仅可以根据所选择的热图的种类，还可以根据该热图中与视线ls对应的位置pe的概率来计算专注度。例如，对于低专注热图mp
lc
，可以以概率越大则计算出的专注度越小的方式来设定函数或表格。另外，例如，对于高专注热图，可以以概率越大则计算出的专注度越大的方式来设定函数或表格。控制部14可以根据与视线ls对应的位置pe的概率，利用对所选择的热图设定的函数或表格，来计算专注度。
73.控制部14可以根据高专注热图中的概率以及低专注热图组中概率最大的低专注热图中的概率，来计算专注度。控制部14例如可以计算平均值作为专注度，所述平均值是对高专注热图的基准值和概率最大的低专注热图mp
lc
的基准值，进行与各自的概率相应的加权而得到的值。
74.控制部14可以向外部设备17输出计算出的专注度。外部设备17是基于专注度进行规定动作的装置。外部设备17例如是在专注度小于或等于警报阈值的情况下向对象人员发出警报的警报装置、基于专注度进行移动体的驾驶辅助的驾驶辅助装置、基于专注度进行移动体的驾驶的驾驶装置等。
75.若与对象人员的视线ls对应的位置pe处的概率为最大的热图是低专注热图mp
lc
，则控制部14可以将如上述那样识别出的负荷因素与专注度一同输出。
76.低专注热图组推断部15由对学习用图像与在对学习用对象人员施加降低专注力的负荷情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成。另外，低专注热图组推断部15由按多个负荷因素进行机器学习而得到的各负荷因素的学习数据构建而成。
77.通过使学习用对象人员进行诸如一位数的四则运算的心算，并观看学习用图像，从而收集针对沉思的负荷的学习用图像和视线。例如，通过使合作者与学习用对象人员进行气候、兴趣、健康等日常对话，并观看学习用图像，从而收集针对与同乘者对话的负荷的学习用图像和视线。例如，通过使起床20小时后的学习用对象人员观看学习用图像，从而收集针对困倦的负荷的学习用图像和视线。或者，例如，通过收集眨眼次数、perclos(percent of eyelid closure：眼睑闭合百分比)等与困倦相关的生物体信息，并使学习用对象人员观看学习用图像，且选择基于该生物体信息的专注度相当于不注意状态时的学习用图像和
视线，从而收集针对困倦的负荷的学习用图像和视线。例如，通过使刚经过1小时循环训练的学习用对象人员观看学习用图像，从而收集针对疲劳的负荷的学习用图像和视线。或者，通过收集与心率、脑波等的疲劳相关的生物体信息，并使学习用对象人员观看学习用图像，且选择基于该生物体信息的疲劳度相当于不注意状态时的学习用图像和视线，从而收集针对疲劳的负荷的学习用图像和视线。
78.低专注热图组推断部15根据学习用图像与施加了特定负荷因素的负荷的学习用对象人员的视线之间的关系，推断构成任意图像im的每个像素或者由多个像素构成的每个区域与视线ls重合的概率。低专注热图组推断部15按负荷因素生成低专注热图mp
lc
，所述低专注热图mp
lc
二维地表示施加了特定负荷因素的负荷情况下的构成任意图像im的每个位置的该概率。
79.并且，还可以通过对连续拍摄到的多个学习用图像和施加特定负荷因素的负荷的学习用对象人员的实际视线的机器学习来构建低专注热图组推断部15。更具体地说，低专注热图组推断部15可以针对连续拍摄到的多个学习用图像的每一个，根据施加了特定负荷因素的负荷的学习用对象人员的视线的位置，推断构成任意的单一图像im的每个像素或者由多个像素构成的每个区域与视线ls重合的概率。并且，低专注热图组推断部15还可以通过针对连续拍摄到的多个学习用图像的视线的移动速度小于阈值的学习用图像和视线来构建。
80.通过对学习用图像与在解除了对学习用对象人员的负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据，来构建高专注热图推断部16。高专注热图推断部16根据学习用图像与解除了负荷或减轻了负荷的学习用对象人员的视线ls之间的关系，推断构成任意图像im的每个像素或者由多个像素构成的每个区域与视线ls重合的概率。高专注热图推断部16生成高专注热图，所述高专注热图二维地表示在解除了负荷的情况下或者减轻了负荷的情况下的构成任意图像im的每个位置的该概率。
81.并且，还可以通过对连续拍摄到的多个学习用图像和解除了负荷或减轻了负荷的学习用对象人员的实际视线进行机器学习，来构建高专注热图推断部16。更具体地说，高专注热图推断部16可以针对连续拍摄到的多个学习用图像的每一个，根据解除或减轻了负荷的学习用对象人员的视线的位置，推断构成任意的单一图像im的每个像素或者由多个像素构成的每个区域与视线ls重合的概率。并且，高专注热图推断部16还可以通过针对连续拍摄到的多个学习图像的视线的移动速度小于阈值的学习图像和视线来构建。
82.学习图像和视线例如可以通过以下负荷试验方法来收集。在负荷试验中，可以使被测者驾驶移动体。可以使被测者以解除了负荷的状态在指定区间行驶之后，以施加了下面示例的不同因素的负荷的状态，在同一区间行驶。可以连续进行两次解除了负荷的行驶和施加了负荷的行驶，收集移动体前方的场景作为学习用图像，收集视线作为对学习用图像的视线。另外，可以将试验中的负荷设置为作为驾驶行为可发生的范围内的负荷。可以不将未设想发生在驾驶过程中的高负荷用作试验中的负荷。需要将视线从前方移开的负荷也可以不用于试验，这是因为，需要移开视线的负荷显然是危险的，缺乏用于专注度检测的必要性。
83.负荷试验中的负荷可以包括一位数计算、对话、收听收音机、双反运算、困倦和疲劳。在负荷试验中，可以单独应用所示例的各个负荷，或者，组合应用所示例的多个负荷。
84.一位数运算可以是一位数的加法运算和减法运算中的至少一种。可以通过录音询问被测者一位数运算。在进行一位数运算的情况下，若被测者不能按时作答，则可以询问下一个问题。对一位数运算的回答正确率大于或等于阈值的情况下，可以收集前方场景和视线用于学习。通过限定于回答正确率大于或等于阈值，从而，能够收集因对运算的专注而使对前方场景的识别的专注降低的负荷下的视线。两位数以上的运算因负荷过大，可不用于负荷试验。
85.对话例如可以由被测者和操作员等合作者以工作、兴趣等内容为主题来进行。收听收音机例如可以应用广播对话等内容的节目。双反运算可以是对于连续询问的一位数字，回答前两个数字的运算。对于两位数的双反运算和回答前三个数字的三反运算，由于其负荷具有挑战性，所以可以不用于负荷试验。困倦的负荷状态，可以是被测者自觉困倦的状态，也可以是根据瞳孔的大小、眼睑的张开情况等一般困倦指标而认定为困倦的状态。疲劳的负荷状态，可以是刚运动完的状态。
86.接着，使用图4的流程图对第一实施方式中控制部14所执行的推断处理进行说明。每当控制部14获取1帧图像im和视线ls，便开始推断处理。
87.在步骤s100中，控制部14通过与刚刚之前获取的视线ls的位置pe进行比较，来计算所获取的视线ls的移动速度。计算后，过程进入步骤s101。
88.在步骤s101中，控制部14判断步骤s101中计算出的移动速度是否大于或等于阈值。若大于或等于阈值，则过程进入步骤s102。若小于阈值，则过程进入步骤s103。
89.在步骤s102中，控制单元14废弃开始推断处理时所获取的图像im和视线ls。废弃后，过程进入步骤s104。
90.在步骤s103中，控制部14将开始推断处理时所获取的图像im和视线ls相互关联地存入存储器13。存储后，过程进入步骤s104。
91.在步骤s104中，控制部14从存储器13读取在追溯规定时间间隔而得到的范围内所存储的图像im和视线ls的组合中的图像im。读取后，过程进入步骤s105。
92.在步骤s105中，控制部14根据步骤s104中读取的组合中所包括的多个图像im，推断单一低专注热图组和单一高专注热图。推断后，过程进入步骤s106。
93.在步骤s106中，控制部14根据步骤s105中推断出的低专注热图组及高专注热图、和开始推断处理时所获取的视线ls，选择与视线ls对应的位置pe的概率最大的热图。控制部14计算针对所选择的热图所确定的基准值作为对象人员的专注度。计算后，过程进入步骤s107。
94.在步骤s107中，控制部14向外部设备17输出步骤s106中计算出的专注度。输出后，推断处理结束。
95.在具有上述这样的结构的第一实施方式的电子设备10中，控制部14作为低专注热图组推断部15和高专注热图推断部16发挥作用，所述低专注热图组推断部15能够根据图像im来推断低专注热图组，所述低专注热图组按多个负荷因素表示在施加负荷的情况下的构成该图像im的各个位置上的视线ls的概率，所述高专注热图推断部16能够根据图像im来推断高专注热图，所述高专注热图表示在解除了负荷的情况下的构成该图像im的各个位置上的视线ls的概率，所述控制部根据推断出的低专注热图组和高专注热图、以及视线ls，来推断对象人员的专注度。例如，对于高速公路、主要城区、郊外、住宅区等各种场景，注视的对
象和方向等通常会发生变化。另外，因负荷的种类不同，人注视的对象物体的倾向性也会发生变动。因此，仅检测视线ls的变化难以提高专注度的推断精度。另一方面，通过上述这样的结构，电子设备10已经学习了对于各种场景按多个负荷因素施加了负荷的人注视的对象物体的倾向性、以及解除了负荷的人注视的对象物体的倾向性，因此能够根据与当时场景对应的图像im和视线ls，推断得到高精度的专注度。因为人的注意力受专注度影响，所以电子设备10能够提高各种情况下的对象人员的注意力的推断精度。
96.另外，若与对象人员的视线ls对应的位置pe的概率为最大的热图是低专注热图组中的任意一个低专注热图mp
lc
，则第一实施方式的电子设备10将与该低专注热图mp
lc
对应的负荷因素与专注度一起输出。通过这样的结构，电子设备10能够基于对象人员的状态，向能够执行各种动作的外部设备17提供有用信息。
97.另外，第一实施方式的电子设备10根据连续拍摄的多个图像im来计算对象人员的专注度。通过这样的结构，由于电子设备10已经学习了各种负荷因素或无负荷状态的人对变动场景的视线ls，所以能够根据与该变动过程中的场景对应的图像im，来计算出更高精度的专注度。
98.另外，第一实施方式的电子设备10在连续拍摄的多个图像im中，排除视线ls的移动速度超过阈值的图像im，来计算对象人员的专注度。场景中对象人员所注视的物体被认为是对专注度影响大的因素。因此，可以认为像扫视这样，在视线ls从任意物体向其他物体快速转变的期间的视线ls，对专注度的影响小。因此，由于具有上述结构的电子设备10排除了被认为对专注度的影响小的图像im，所以能够计算得到更高精度的专注度。
99.接着，对本发明的第二实施方式的电子设备10进行说明。在第二实施方式中，专注度的计算方法与第一实施方式不同。下面，以其与第一实施方式不同点为中心，对第二实施方式进行说明。需要说明的是，对与第一实施方式具有相同结构的部位赋予相同的标记。
100.如图1所示，第二实施方式的电子设备10包括拍摄部11、视线检测部12、存储器13和控制单元14。第二实施方式中的拍摄部11、视线检测部12和存储器13的结构和功能与第一实施方式相同。第二实施方式中的控制部14的结构与第一实施方式相同。
101.在第二实施方式中，与第一实施方式相同地，控制部14根据图像im来推断低专注热图组和高专注热图。在第二实施方式中，与第一实施方式不同地，控制部14可以在根据连续拍摄的多个图像im分别推断的多个低专注热图mp
lc
中，按负荷因素计算与对该多个图像im的视线ls对应的位置pe的概率的累计值。另外，控制部14可以在根据连续拍摄的多个图像im分别推断的多个高专注热图中，计算与对该多个图像im中的每一个的视线ls对应的位置pe的概率的累计值。控制部14例如可以对分别与从最新图像im起追溯规定时间间隔而得到的范围内的帧的图像im对应的低专注热图组和高专注热图计算累计值。
102.在第二实施方式中，与第一实施方式类似地，控制部14可以从连续拍摄的多个图像im中排除视线ls的移动速度大于或等于阈值的图像im，分别对低专注热图组和高专注热图计算累计值。
103.在第二实施方式中，与第一实施方式不同地，控制部14可以如下述示例说明的那样，根据分别对低专注热图组和高专注热图计算出的累计值，计算专注度。
104.控制部14可以从低专注热图组和高专注热图中选择累计值最大的热图。在第二实施方式中，与第一实施方式类似地，控制部14可以根据对所选出的热图确定的基准值来计
算专注度。基准值可以与第一实施方式相同也可以不同。
105.在第二实施方式中，与第一实施方式类似地，在所选出的热图是低专注热图的情况下，控制部14可以以计算出的累计值越大则专注度越小的方式使用函数或表格进行计算专注度。在第二实施方式中，与第一实施方式类似地，在所选出的热图是高专注热图的情况下，控制部14可以以计算出的累计值越大则专注度越大的方式使用函数或表格来进行计算专注度。
106.控制部14可以根据高专注热图的累计值以及低专注热图组中累计值最大的低专注热图的累计值，来计算专注度。控制部14例如可以计算平均值作为专注度，所述平均值是对高专注热图的基准值和累计值最大的低专注热图mp
lc
的基准值，进行与各自的累计值相应的加权而得到的平均值。
107.在第二实施方式中，与第一实施方式相同地，控制部14可以向外部设备17输出计算出的专注度。
108.接着，使用图5的流程图对在第二实施方式中控制部14所执行的推断处理进行说明。每当控制部14获取1帧图像im和视线ls，便开始推断处理。
109.在步骤s200中，控制部14通过与刚刚之前获取的视线ls的位置pe进行比较，来计算所获取的视线ls的移动速度。计算后，过程进入步骤s201。
110.在步骤s201中，控制部14判断步骤s200中计算出的移动速度是否大于或等于阈值。若大于或等于阈值，则过程进入步骤s202。若小于阈值，则过程进入步骤s203。
111.在步骤s202中，控制单元14废弃开始推断处理时所获取的图像im和视线ls。废弃后，过程进入步骤s206。
112.在步骤s203中，控制部14根据开始推断处理时所获取的图像im，推断低专注热图组和高专注热图。推断后，过程进入步骤s204。
113.在步骤s204中，控制部14读取步骤s203中推断出的低专注热图组和高专注热图中的、与开始推断处理时所获取的视线ls对应的位置pe的概率。读取后，过程进入步骤s205。
114.在步骤s205中，控制部14将步骤s204中所确定的针对低专注热图组和高专注热图的概率存入存储器13。存储后，进入步骤s206。
115.步骤s206中，控制部14从存储器13读取基于从开始推断处理时起追溯规定的时间间隔内的多个图像im的低专注热图组和高专注热图各自的概率。读取后，过程进入步骤s207。
116.在步骤s207中，控制部14通过按低专注热图组中所包括的多个低专注热图且按高专注热图，来对步骤s206中所读取的概率进行累计，从而计算累计值。累计后，进入步骤208。
117.在步骤s208中，控制部14根据步骤s207中计算出的累计值来计算专注度。计算后，过程进入步骤s209。
118.在步骤s209中，控制部14向外部设备17输出步骤s208中计算出的专注度。输出后，推断处理结束。
119.本领域技术人员可以基于本发明，对本发明的内容进行各种变形和修改。因此，这些变形和修改包括在本发明的范围内。例如，在各实施方式中，能够以逻辑上互不矛盾的方式，将各功能部、各单元、各步骤等添加到其他实施方式中，或者，替换其他实施方式的各功
能部、各单元、各步骤等。另外，在各实施方式中，能够将多个各功能部、各单元、各步骤等组合成一个或分割。另外，上述本发明的各实施方式，并不限于严格按照分别说明的各实施方式来实施，也能够适当地组合各个特征或省略部分特征地实施。
120.例如，在第一实施方式和第二实施方式中，电子设备10包括拍摄部11和视线检测部12，并且控制单元14获取用于推断专注度的图像im和视线ls，但并不限于这样的结构。如图6所示，例如，与电子设备10类似地，云服务器等信息处理装置18可以根据图像im和视线ls来推断专注度。在这样的结构中，信息处理设备18可以通过获取部20从搭载有拍摄部11和视线检测部12的移动体19获取图像im和视线ls作为信息。信息处理设备18可以通过输出部21向该移动体19的外部设备17输出所推断的专注度。
121.本发明内容的诸多方面被表示为由能够执行程序指令的计算机系统等的硬件执行的一系列动作。计算机系统等的硬件包括例如通用计算机、pc(个人计算机)、专用计算机、工作站、pcs(personal communications system，个人移动通信系统)、移动(蜂窝)电话机、具有数据处理功能的移动电话、rfid接收机、游戏机、电子笔记本电脑、膝上型计算机、gps(global positioning system：全球定位系统)接收器或其他可编程数据处理设备。需要注意的是，在各实施方式中，各种动作由通过程序指令(软件)安装的专用电路(例如，为了执行特定功能而相互连接的单独的逻辑门)，或者，由一个或多个处理器所执行的逻辑块，或者，程序模块等来执行。执行逻辑块或程序模块等的一个或多个处理器例如包括：一个或多个微处理器、cpu(中央运算处理单元)、asic(application specific integrated circuit：专用集成电路)、dsp(digital signal processor：数字信号处理器)、pld(programmable logic device：可编程逻辑器件)、fpga(field programmable gate array：现场可编程门阵列)、处理器、控制器、微控制器、微处理器、电子设备、设计为能够执行本发明所记载的功能的其他设备和/或它们的任意组合。这里所示的实施方式例如通过硬件、软件、固件、中间设备、微代码或它们的任意组合来实现。指令可以是用于执行必要任务的程序代码或代码段。并且，指令能够存入机器可读取的非临时性存储介质等介质。代码段可以表示顺序、函数、子程序、程序、例程、子例程、模块、软件包、类或指令、数据结构或程序语句的任意组合。代码段与其他代码段或硬件电路进行信息、数据自变量、变量或存储内容的发送和/或接收，由此，代码段与其他代码段或硬件电路相连接。
122.机器可读取的非临时性存储介质还可以构成为由固态存储器、磁盘及光盘等构成的计算机可读取的有形的载体(介质)，在该介质中存储用于使处理器执行本发明所公开的技术的程序模块等计算机指令的适当的组或数据结构。计算机可读介质包括具有一条或多条布线的电连接、磁盘存储介质、盒式磁带、磁带、其他磁性及光学存储装置(例如，cd(compact disk)、激光盘、dvd(digital versatile disc)、软盘及蓝光光盘、便携式计算机磁盘、ram(random access memory：随机存取存储器)、rom(read-only memory：只读存储器)、eprom、eeprom、或闪存等可重写可编程的rom)、或者可存储信息的其他有形存储介质或它们的任意组合。存储器能够设置在处理器/处理单元的内部和/或外部。如本发明中所使用的那样，术语“存储器”是指所有种类的用于长期存储、用于短期存储、易失性、非易失性等存储器，并不限制特定种类、存储器的数量或存储数据的介质的种类。
123.另外，需要注意的是，本发明公开了具有执行特定功能的各种模块和/或单元的系统，为了简略地说明其功能性，示意性地表示了这些模块和单元，并非一定表示特定的硬件
和/或软件。在此意义上，这些模块、单元和其他构成部件是以实质上执行本发明所说明的特定功能的方式安装的硬件和/或软件即可。不同构成部件的各种功能可以通过硬件和/或软件的任意组合或分开使用来实现，能够单独或组合使用这些功能。另外，包括但不限于键盘、显示器、触摸屏、指示设备等的输入/输出或i/o设备或用户界面能够直接与系统连接或者经由其间的i/o控制器来连接。如此，本发明的内容的各个方面可以通过诸多不同的方式来实施，这些方式都包括在本发明内容的范围内。
124.附图标记说明
125.10电子设备
126.11 拍摄部
127.12 视线检测部
128.13 存储器
129.14 控制部
130.15 低专注热图组推断部
131.16 高专注热图推断部
132.17 外部设备
133.18 信息处理装置
134.19 移动体
135.20 获取部
136.21 输出部
137.im 图像
138.ls 视线
139.mp
lc 低专注热图
140.pe与视线的方向相当的位置

技术特征：
1.一种电子设备，其中，具备：拍摄部，通过拍摄生成与场景对应的图像；视线检测部，检测对象人员相对于所述场景的视线；控制部，根据所述图像和所述视线，推断所述对象人员的专注度，所述控制部作为低专注热图组推断部和高专注热图推断部发挥作用，所述低专注热图组推断部能够根据所述图像推断低专注热图组，所述低专注热图组推断部由对学习用图像与在对学习用对象人员施加按多个负荷因素使专注力降低的负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，所述低专注热图组按所述负荷因素，表示在施加所述负荷的情况下的构成该图像的各位置上的所述视线的概率，所述高专注热图推断部能够根据所述图像推断高专注热图，所述高专注热图推断部由对学习用图像与在对学习用对象人员解除了所述负荷的情况下或者减轻了所述负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，所述高专注热图表示在解除了所述负荷的情况下或者减轻了所述负荷的情况下的构成该图像的各位置上的所述视线的概率，所述控制部根据所述低专注热图组及所述高专注热图和所述对象人员的视线，推断该对象人员的专注度。2.根据权利要求1所述的电子设备，其中，在所述低专注热图组和所述高专注热图中与所述对象人员的视线对应的位置上的概率最大的热图，是所述低专注热图组的任意一个低专注热图的情况下，所述控制部将与该低专注热图对应的负荷因素和专注度一同输出。3.根据权利要求1或2所述的电子设备，其中，所述控制部根据连续拍摄的多个所述图像，计算所述对象人员的专注度。4.根据权利要求3所述的电子设备，其中，所述控制部在所述连续拍摄的多个所述图像中，排除视线相对于多个所述图像的的移动速度超过阈值的图像，计算所述对象人员的专注度。5.一种信息处理装置，其中，具备：获取部，获取与场景对应的图像和对象人员相对于所述场景的视线；控制部，根据所述图像和所述视线，推断所述对象人员的专注度；输出部，输出所述专注度，所述控制部作为低专注热图组推断部和高专注热图推断部发挥作用，所述低专注热图组推断部能够根据所述图像推断低专注热图组，所述低专注热图组推断部由对学习用图像与在对学习用对象人员施加按多个负荷因素使专注力降低的负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，所述低专注热图组按所述负荷因素表示在施加所述负荷的情况下的构成该图像的各位置上的所述视线的概率，所述高专注热图推断部能够根据所述图像推断高专注热图，所述高专注热图推断部由
对学习用图像与在对学习用对象人员解除了所述负荷的情况下或者减轻了所述负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，所述高专注热图表示在解除了所述负荷的情况下或者减轻了所述负荷的情况下的构成该图像的各位置上的所述视线的概率，所述控制部根据所述低专注热图组及所述高专注热图和所述对象人员的视线，推断该对象人员的专注度。6.一种专注度计算程序，其中，使计算机作为拍摄部、视线检测部、控制部发挥作用，所述拍摄部通过拍摄生成与场景对应的图像，所述视线检测部检测对象人员相对于所述场景的视线，所述控制部根据所述图像和所述视线，推断所述对象人员的专注度，所述控制部作为低专注热图组推断部和高专注热图推断部发挥作用，所述低专注热图组推断部能够根据所述图像推断低专注热图组，所述低专注热图组推断部由对学习用图像与在对学习用对象人员施加按多个负荷因素使专注力降低的负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，所述低专注热图组按所述负荷因素表示在施加所述负荷的情况下的构成该图像的各位置上的所述视线的概率，所述高专注热图推断部能够根据所述图像推断高专注热图，所述高专注热图推断部由对学习用图像与在对学习用对象人员解除了所述负荷的情况下或者减轻了所述负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，所述高专注热图表示在解除了所述负荷的情况下或者减轻了所述负荷的情况下的构成该图像的各位置上的所述视线的概率，所述控制部根据所述低专注热图组及所述高专注热图和所述对象人员的视线，推断该对象人员的专注度。7.一种专注度计算方法，其中，包括：拍摄工序，通过拍摄生成与场景对应的图像；视线检测工序，检测对象人员相对于所述场景的视线；推断工序，根据所述图像和所述视线，推断所述对象人员的专注度，所述推断工序由对学习用图像与在对学习用对象人员施加按多个负荷因素使专注力降低的负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，根据所述图像推断低专注热图组，所述低专注热图组按所述负荷因素表示在施加所述负荷的情况下的构成该图像的各位置上的所述视线的概率，所述推断工序由对学习用图像与在对学习用对象人员解除了所述负荷的情况下或者减轻了所述负荷的情况下的对该学习用图像的视线之间的关系进行机器学习而得到的学习数据构建而成，根据所述图像推断高专注热图，所述高专注热图表示在解除了所述负荷的情况下或者减轻了所述负荷的情况下的构成该图像的各位置上的所述视线的概率，根据所述低专注热图组及所述高专注热图和所述对象人员的视线，计算该对象人员的专注度。
8.一种计算机的学习方法，其中，为了根据任意的图像推断低专注热图组和高专注热图，对学习用图像与在对学习用对象人员施加按多个负荷因素使专注力降低的负荷的情况下的对该学习用图像的视线之间的关系进行机器学习，并且，对学习用图像与在对学习用对象人员解除了所述负荷的情况下或者减轻了所述负荷的情况下的对该学习用图像的视线之间的关系进行机器学习，所述低专注热图组按多个所述负荷因素表示在施加所述负荷的状态下的构成该图像的各位置上的视线的重合的概率，所述高专注热图表示在解除了所述负荷的状态下的构成该图像的各位置上的所述视线的概率。

技术总结
电子设备10具有拍摄部11、视线检测部12和控制部14。控制部14作为低专注热图组推断部15和高专注热图推断部16发挥作用。低专注热图组推断部15能够根据图像推断低专注热图组。高专注热图推断部16能够根据图像推断高专注热图。控制部14根据低专注热图组、高专注热图和视线来计算对象人员的专注度。通过按负荷因素对学习用图像与视线之间的关系进行机器学习得到的学习数据，来构建低专注热图组推断部15。通过对学习用图像与在解除负荷或减轻负荷的情况下的视线之间的关系进行学习得到的学习数据，来构建高专注热图推断部16。来构建高专注热图推断部16。来构建高专注热图推断部16。


技术研发人员：篠崎教志
受保护的技术使用者：京瓷株式会社
技术研发日：2021.12.01
技术公布日：2023/8/14