信息处理装置、信息处理方法及程序

1.本发明涉及信息处理装置、信息处理方法及程序。


背景技术：

2.作为现有技术，例如有识别猫等动物的个体并对个体的生物体信息进行处理的技术(例如专利文献1等)。现有技术文献专利文献
3.专利文献1：日本特开2018-007625号公报


技术实现要素：

(发明要解决的课题)
4.但是，上述文献中的现有技术，虽然能以非接触的方式测量动物的生物体数据，但无法对应在有不断移动的动物或多个动物存在的情况下进行个体识别。此外，现有技术在处理个体的生物体信息时，为了确认经个体识别的动物的健康状态，除照相机外还需要热成像等，因此成本昂贵。另外，上述文献中并未提及健康状态的管理以外的用途。
5.本发明是鉴于这种情况而完成的，旨在能够辨别出在一定行动范围内活动的一个以上小鼠的个体。(用于解决课题的技术方案)
6.为了实现上述目的，本发明的一种方式的信息处理装置包括：图像获取单元，用于获取分析对象的图像，该分析对象的图像是对一个以上动物在一定行动范围内活动的情形进行拍摄而获得，且由多个单位图像在时间方向上排列所构成；外廓检测单元，针对前述多个单位图像的每一个，使用骨骼推估模型来检测前述一个以上动物各自的身体外廓，该骨骼推估模型在输入单位图像时推估并输出动物的身体骨骼；个体识别单元，根据将由前述外廓检测单元从前述多个单位图像的每一个检测到的前述一个以上动物各自的身体的前述外廓的时间序列输入到个体识别模型而获得的输出，来识别前述多个单位图像的每一个中的前述一个以上动物的各个个体，该个体识别模型在输入前述动物身体的一个以上外廓的时间序列时输出该动物的个体；指定单元，用于指定针对前述分析对象的前述图像的分析属性；以及模型选择单元，根据由前述指定单元指定的前述图像的前述分析属性，从多种前述骨骼推估模型中选择适用于前述外廓检测单元的对象，并从多种前述个体识别模型中选择适用于前述个体识别单元的对象。这样，预先准备多种骨骼推估模型及多种个体识别模型，根据由指定单元指定的
图像的分析属性，从多种骨骼推估模型中选择适用于外廓检测单元的对象的骨骼推估模型，并从多种个体识别模型中选择适用于个体识别单元的对象的个体识别模型。然后，通过分析指示，针对图像所包括的多个单位图像的每一个，检测一个以上动物各自的身体外廓，按时间序列分析检测到的外廓，根据该分析结果识别一个以上动物的各个个体，由此可从对在一定行动范围内活动的一个以上动物进行拍摄而得的图像中辨别出动物的个体。
7.也提供与本发明的一种方式的上述信息处理装置对应的信息处理方法及程序作为本发明的一种方式的信息处理方法及程序。(发明效果)
8.根据本发明，可辨别出在一定行动范围内活动的一个以上小鼠的个体。
附图说明
9.图1是表示包括本发明的信息处理装置的一种实施方式所涉及的图像处理装置的信息处理系统的构成示例的图。图2是表示图1的信息处理系统中本发明的信息处理装置所涉及的图像处理装置的硬件构成的一例的框图。图3是表示图1的信息处理系统的第1实施方式，即图2的图像处理装置的功能构成的第1实施方式的功能框图。图4是表示具有图3的功能构成的图像处理装置的动作流程图。图5是表示从影像取得的单位图像的一例的图。图6是表示在图5的单位图像之后从影像取得的单位图像的一例的图。图7是表示在图6的单位图像之后从影像取得的单位图像的一例的图。图8是表示从图5的单位图像中识别出个体的情形的图。图9是表示从图8的单位图像中检测出部位的情形的图。图10是表示将图9的部位提取出的情形的图。图11是表示对分别从图5至图7的单位图像中所提取的部位进行跟踪的情形的图。图12是表示对图7的时刻t3的时点的单位图像加以标记而成的跟踪图像的图。图13是表示小鼠的饮水行为的检测例的图。图14是表示小鼠的进食行为的检测例的图。图15是表示小鼠彼此的相互干扰行为的检测例的图。图16是表示图1的信息处理系统的第2实施方式，即图2的图像处理装置的功能构成的第2实施方式的功能框图。图17是表示具有图16的功能构成的图像处理装置的动作流程图。图18是表示从影像取得的单位图像的一例的图。图19是表示在图18的单位图像之后从影像取得的单位图像的一例的图。图20是表示从图18的单位图像中检测出外廓的情形的图。图21是表示从图19的单位图像中检测出外廓的情形的图。图22是表示抓挠行为的检测例的图。图23是表示将图1的信息处理系统进行商用的商业模式概要的图。
图24是表示图1的信息处理系统的第3实施方式，即以图3的图像处理装置的功能构成作为图像分析部的服务器与请求者侧pc的功能构成的功能框图。图25是表示图24的pc上显示的检索画面的图。图26是表示图25的检索画面上弹出显示的分析数据追加画面的图。图27是表示图25的检索画面上弹出显示的动态图像确认画面的图。图28是表示由动态图像生成的报告的一例的图。图29是表示形成强安全性的专用网络连接的构成示例的图。图30是表示本信息处理系统的控制板画面的图。图31是表示从测量开始到初始移动的1320frame(44秒)为止存在于笼子内的小鼠的位置及其移动轨迹的图表。图32是将图31的图表接着描绘至18030frame(约10分钟)时的图表。图33是表示从测量开始到初始移动的1320frame(44秒)为止将笼子内地板面划分为9个区域(0至8)而成的每个区域中小鼠的位置分布的图表。图34是将图33的图表接着描绘至18030frame(约10分钟)时的图表。图35是表示从测量开始到初始移动的1320frame(44秒)为止将笼子内地板面划分为9个区域而成的每个区域中小鼠的存在时间的条形图。图36将图35的图表接着描绘至18030frame(约10分钟)时的条形图。图37是表示从测量开始到初始移动的1320frame(44秒)为止将笼子的中央附近(第4区域)与其他区域(边缘部附近)进行区分的情况下小鼠的存在时间的图表。图38是将图37的图表接着描绘至18030frame(约10分钟)时的图表。图39是表示从测量开始到初始移动的1320frame的期间与小鼠每1秒(30frame)的移动距离的关系的图表。图40是将图39的图表接着描绘至18030frame(约10分钟)时的图表。图41是表示从测量开始到初始移动的1320frame的期间与笼子内小鼠的瞬间身体朝向的关系的图表。图42是将图41的图表接着描绘至18030frame(约10分钟)时的图表。图43是表示从测量开始到初始移动的1320frame(44秒)为止的时间与小鼠的总移动距离(总移动量)的关系的图表。图44是将图43的图表接着描绘至18030frame(约10分钟)时的图表。图45是表示从测量开始到初始移动的1320frame(44秒)为止的时间与小鼠的转动行为(角速度)的关系的图表。图46是将图45的图表接着描绘至18030frame(约10分钟)时的图表。图47是表示从测量开始到初始移动的1320frame(44秒)为止的时间与小鼠移动的速度的关系的图表。图48是将图47的图表接着描绘至18030frame(约10分钟)时的图表。图49是表示从测量开始到初始移动的1320frame(44秒)为止的时间与小鼠移动的角速度的关系的图表。图50是将图49的图表接着描绘至18030frame(约10分钟)时的图表。图51是表示利用照相机拍摄笼子内而获得的动态图像(原始动态图像)的某个时
刻的单位图像的图。图52是表示从单位图像中识别出的多个(两只)小鼠各自的外廓(轮廓)的图。图53是表示两只小鼠中一只小鼠的朝向(从身体中心到鼻尖的方向)的图。图54是表示两只小鼠中另一只小鼠的朝向(从身体中心到鼻尖的方向)的图。
具体实施方式
10.以下，利用附图对本发明的实施方式进行说明。图1是表示包含本发明的信息处理装置的一种实施方式所涉及的图像处理装置的信息处理系统的构成的图。
11.(第1实施方式)图1所示的信息处理系统包括照相机1、以及经由网络n与该照相机1连接的图像处理装置2，该照相机1以从上方拍摄收容有一个以上小鼠(图1的示例中为小鼠x1、x2)的笼子c的方式设置(配置)。网络n除包括有线网络外，还包括无线网络等。笼子c是用于让动物在一定行动范围内活动的收容单元。
12.照相机1例如为拍摄动态图像的数码照相机、网络照相机等，将从上方拍摄笼子c内所得的动态图像输出到图像处理装置2。此处，动态图像是指多个单位图像在时间方向上排列而构成的图像，也称为影像。单位图像有时也会采用场图像，但在此采用帧图像。
13.图像处理装置2使用从照相机1取得的动态图像、以及存储在模型db42中的学习模型(详细内容后述)，来识别动态图像中作为被摄体包括的多个小鼠x1、x2的个体。图像处理装置2进一步从分别被识别为个体的小鼠x1、x2的行为模式(习惯等)，检测出各个小鼠x1、x2的社会性、存在于相同行动范围内的小鼠x1、x2彼此的相互作用、小鼠x1、x2之间的关系等成为行为基础的要素(原因)。图像处理装置2生成跟踪图像并将其输出到显示器等输出部16，该跟踪图像赋予有从动态图像提取的帧图像所包括的一个以上小鼠的身体骨骼的部分部位(跟踪点)或个体id(identification)等标记、以及用于在视觉上识别各个小鼠外廓(与周围的轮廓)的客体中的至少一者。于图像处理装置2连接打印机作为输出部16的话，也可印刷跟踪图像。客体为表示小鼠个体的外廓的轮廓线、掩模图像等。标记例如包括圆形、三角形、方形等图形表示的跟踪点、字母数字等表示的个体id等。另外，参照图3之后的附图于后叙述图像处理装置2的功能构成、处理的详细内容。
14.图2是表示图1的信息处理系统中本发明的信息处理装置所涉及的图像处理装置的硬件构成的一例的框图。
15.图像处理装置2包括cpu(central processing unit)11、rom(read only memory)12、ram(random access memory)13、总线14、输入/输出接口15、输出部16、输入部17、存储部18、通信部19、以及驱动器20。
16.cpu11根据记录在rom12中的程序、或从存储部18加载到ram13的程序来执行各种处理。
ram13中还适当存储有cpu11执行各种处理所需的数据等。
17.cpu11、rom12及ram13通过总线14相互连接。该总线14也与输入/输出接口15连接。输入/输出接口15与输出部16、输入部17、存储部18、通信部19、以及驱动器20连接。输出部16由显示器、扬声器等构成，输出图像、声音。输入部17由键盘、鼠标等构成，根据用户的指示操作输入各种信息。存储部18由硬盘等构成，存储各种信息的数据。
18.通信部19控制经由网络n与其他通信对象(例如图1的照相机1)之间进行的通信。驱动器20上适当安装由磁盘、光盘、磁光盘、或半导体存储器等构成的可移动介质21。由驱动器20从可移动介质21读取的程序根据需要安装在存储部18。此外，可移动介质21也可与存储部18同样地存储存储部18所存储的各种数据。
19.图3是表示图1的信息处理系统的第1实施方式，即图2的图像处理装置2的功能构成的第1实施方式的功能框图。
20.图2所示的图像处理装置2的存储部18中存储有图像db41、模型db42、以及材料db43。
21.图像db41中存储有从照相机1取得的动态图像的数据、构成该动态图像的多个帧图像的数据(静止图像的数据)、对帧图像赋予动物跟踪用的客体、表示个体的标记等而成的跟踪图像的数据、以及表示小鼠x1、x2的部位位置信息推移的表格(数据帧)。
22.模型db42中存储有多个学习模型。具体而言，模型db42中存储有用于推估每个动物(小鼠、大鼠等)各自的骨骼的多种(1种以上)骨骼推估模型、用于识别动物(如果有两只相同的动物，则将各个动物识别为不同的个体)的各个个体的多种(1种以上)个体识别模型、用于进行动物各个个体的行为判定的多种(1种以上)数理模型等。骨骼推估模型是设计为当输入动物的图像时，会输出动物的骨骼的学习模型。个体识别模型是设计为当输入动物身体一个以上部位的时间序列时，会输出该动物的个体的学习模型。数理模型是一种进行动物行为分析的模型，其设计为当输入按时间序列变化的动物的一个以上图像时，会输出指示动物的行为为何种行为的信息。对预先准备的每个动物个体的动态图像及静止图像进行机械学习及更新的结果，会存储学习完成的学习数据，用于在输入新的动态图像或静止图像时，根据输入图像进行作为动物的识别、个体的识别，进而分析各个个体的行为并输出分析结果。本说明书中将这种学习完成的学习数据称为“学习模型”。
23.具体而言，根据对作为动物的一个例子的小鼠活动的情形进行拍摄所获得的动态图像，预先选择的小鼠用骨骼推估模型推估一个以上小鼠的头、颈、臂、脚、尾部等骨头的配置(骨骼)，根据从该动物的骨骼所提取的特征点(小鼠的眼睛、鼻子、耳朵、脚趾等身体部位)的位置、移动，预先选择的小鼠用个体识别模型进行个体识别，输出数理模型所判定该个体行为的结果。即该第1实施方式中的学习模型是使用骨骼推估、个体识别、行为推估的技术来分析动物的个体、个体的行为的学习模型。此外，上述模型组中，例如在骨骼推估模型的内部，以图像内的任意像素(使用cnn的模型中为所有像素)的数据作为输入，按照每个动物的模型计算适当的值(鼻子位置的坐
标、鼻子坐标的概率)。此外，cnn是指以卷积层、池化层为中心构成的神经网络。
24.模型db42中所存储的学习模型是通过学习装置(未示出)预先使用一个以上(多个)的学习用数据进行机械学习而生成的参照用学习模型，也会追加新学习的数据。
25.机械学习例如可应用卷积学习型神经网络等。此外，卷积学习型神经网络只不过是一个例子，也可应用除此以外的机械学习方法。进一步，学习模型不限于机械学习的模型，也可采用通过预定算法来识别动物的个体的识别器。即学习模型只要是以下列方式学习并生成的模型即可：当输入图像，图像所包括的各个小鼠的骨骼或外廓、移动与已知小鼠匹配时，赋予其属性并输出。
26.材料db43中存储有作为用于确定基于学习模型识别的小鼠的行为理由、社会性等的材料的数据。材料db43的数据是将小鼠的行为和源自该行为的社会性或与其他小鼠的关系相关联的数据，可利用于对于小鼠行为的各种习性、习惯、生态等的判定。是例如不仅可导出小鼠的移动，还可导出做出这种移动的小鼠具有这样的社会性、与其他小鼠具有这样的关系等习性的数据。材料db43中存储有将小鼠发生行为的条件与由条件所导出的小鼠的行为模式相对应的数据。即材料db43中存储有作为判断材料的数据，该判断材料用于数理模型判断从图像检测到的小鼠行为是怎样的行为。作为判断材料的数据例如存储有探索行为、进食饮水、跑步行走、睡眠、抓挠、梳毛、打斗等行为数据。
27.如图3所示，图像处理装置2具有图像获取部51、部位提取部52、数据帧生成部53、个体识别部54、标记图像生成部55、以及行为判定部56等。
28.图像获取部51获取对一个以上小鼠x1、x2等动物在一定行动范围内活动的情形进行拍摄而得到的影像。
29.图像获取部51具有动态图像获取部61与单位图像生成部62。动态图像获取部61获取由照相机1拍摄的影像(动态图像)。单位图像生成部62根据由动态图像获取部61取得的影像(动态图像)，生成多个单位图像在时间方向上排列所构成的分析对象的图像，并存储到图像db41中。即单位图像生成部62根据动态图像生成以帧为单位的多个单位图像(静止图像)组(帧图像)。
30.部位提取部52使用从模型db42的多种骨骼推估模型中选择的骨骼推估模型，针对多个单位图像的每一个提取一个以上动物各自的身体部位。即部位提取部52依次读取图像db41的多个帧图像，并从各个帧图像所包括的单位图像中识别单独行动的动物的图像区域。即分离帧图像的背景部分与动物身体的轮廓部分，识别出动物身体的图像区域。身体的部分部位例如为左右眼、鼻子、左右耳、左右前脚尖、左右后脚尖、尾尖、骨头或关节的接缝、身体的重心中的一个以上的特征点。单位图像除了包括上述帧图像外，还包括1个像素(pixel)、多个像素组等。
31.部位提取部52包括个体辨识部71与部位检测部72。个体辨识部71针对帧图像所包括的多个单位图像的每一个，将存在变化(移动)的单位图像辨识为一个行为个体的一部分。具体而言，个体辨识部71将单位图像二值化并将不同于背景图像的颜色辨识为行为个体的一部分。个体辨识部71将与时间序列前后的帧图像相比颜色发生变化的部分作为区域的边界。部位检测部72针对多个单位图像的每一个，在被辨识为行为个体的一部分的单位
图像的区域叠加由骨骼推估模型输出的骨骼，提取动物的身体部位，并将该部位作为跟踪点(tracking point)。会检测到鼻子、左右眼等至少一个以上的身体部位。此外，在该实施方式中，通过包括个体辨识部71与部位检测部72的部位提取部52和骨骼推估模型的组合，从图像提取一个以上动物各自的身体部位，但也可预先将当输入单位图像时会输出动物身体部位的部位提取模型存储在模型db42中，通过将单位图像输入到模型db42中来提取动物的身体部位。
32.数据帧生成部53将由部位提取部52提取的身体部位进行数据帧化。数据帧生成部53针对动物各自的每个区域，利用表示距图像中预定基准点的距离的坐标来确定动物特定部位(眼睛、鼻子、耳朵、脚、尾部、骨骼等)的位置。具体而言，数据帧生成部53生成使由部位提取部52提取的身体部位与以帧图像或行为个体的一部分所包括的笼子c中的某个基准点作为基准的二维(平面)坐标系(x轴、y轴等)表示该部位的位置信息相对应的表格。生成的表格称为数据帧。x轴是二维(平面)坐标系的横轴，y轴是平面的纵轴。即数据帧生成部53生成表示伴随动物的行为而变化的前述部位的位置推移的数据帧。此外，获取空间位置作为跟踪点(tracking point)时，成为三维(立体)坐标系(x轴、y轴、z轴)。z轴是三维(立体)坐标系的深度轴。
33.个体识别部54根据将由部位提取部52从多个单位图像的每一个所提取的一个以上动物各自的身体部位的时间序列输入到从模型db42的多种个体识别模型中选择的个体识别模型而获得的输出，来识别多个单位图像的每一个中的一个以上动物的各个个体。具体而言，个体识别部54使用从多种类型中选择用于图像的个体识别模型，按时间序列分析由部位提取部52从多个单位图像的每一个所提取的一个以上部位，根据该分析结果来识别多个单位图像的每一个中的一个以上小鼠x1、x2的各个个体。个体识别部54分析部位的位置坐标随时间经过而推移的情形，并根据该分析结果识别帧图像所包括的一个以上的各个动物(分类为不同的个体)。即个体识别部54识别一个以上部位是哪种动物的部位、以及具有该部位的动物个体是哪一个。
34.具体而言，个体识别部54参照模型db42，按时间序列分析由数据帧生成部53生成的数据帧，根据该分析结果识别多个数据帧的每一个中的一个以上小鼠x1、x2的各个个体，并将识别出的小鼠x1、x2的个体id赋予跟踪点(tracking point)。
35.个体识别部54例如将于任意时点各个个体的各部位的位置关系或满足一定条件的频率予以数据化。此处，一定条件例如是某一部位与其他部位的位置在一定期间内存在于预定坐标位置(预定范围)，或与其他个体的部位的距离为零或接近于零的状态在一定期间内持续的情况等。
36.个体识别部54指示标记图像生成部55，生成将表示由个体识别部54识别出的小鼠x1、x2的跟踪点(tracking point)的标记与用于在视觉上识别小鼠x1、x2的个体的客体中的至少一者叠加于该单位图像而成的图像，并将获得的带标记的图像(跟踪图像)输出到输出部16。
37.标记图像生成部55生成带标记的图像，该带标记的图像将由部位提取部52提取的小鼠x1、x2各自的身体部位与表示由个体识别部54识别出的小鼠x1、x2的个体的标记相对应。具体而言，标记图像生成部55生成将可目视识别由个体识别部54识别出的小鼠x1、x2的个体的标记附加到该单位图像而得的带标记的图像(跟踪图像)。标记例如为每个个体的个体id(文字)、跟踪点。客体为对每个个体用不同颜色进行着色的轮廓线或框、掩模图像等。
38.行为判定部56判定由个体识别部54识别出的一个以上小鼠x1、x2的行为。此处，行为除了包括各个小鼠x1、x2的行为外，也包括单位图像内存在的多个小鼠x1、x2彼此的相关行为等。即当数据帧中部位的位置推移满足预先设定的一个以上条件中的任一条件时，行为判定部56判定与满足的条件对应的行为。
39.具体而言，行为判定部56根据从模型db42的多种数理模型中选择的数理模型及材料db43的材料数据，针对由个体识别部54识别(分类)的每个动物，判定部位的坐标推移是否符合预先设定的条件，将与符合的条件对应的动物的行为标签(抓挠行为为“01”，睡眠中为“02”，梳毛行为为“03”等)赋予给包括该部位的图像帧的时刻信息(时间戳)或数据帧。
40.由此，例如在笼子c内收容有两只小鼠x1、x2并处于活动的环境下，一只小鼠x1的鼻子(部位)与另一只小鼠x2的鼻子(部位)接触的频率在一定期间内超过预定次数时，可导出个体之间试图建立友好关系的梳毛行为、或雌雄的情况下试图进入繁殖行为等。
41.行为判定部56具有行为检测部81与行为预测部82。当满足规定了动物的部位与其他特定部位(饮水处、食物处、其他动物的部位)的位置关系的条件时，行为检测部81检测与该位置关系相关联的行为。具体而言，行为检测部81参照模型db42及材料db43，确认数据帧中任意时点小鼠x1、x2彼此的部位的位置关系或小鼠x1、x2与笼子c内的其他生活相关部件(饮水处、食物处等)的位置关系是否满足材料db43的条件，并检测与所满足条件对应的行为。检测各个小鼠x1、x2的社会性、存在于相同行动范围内的小鼠x1、x2彼此的相互作用、小鼠x1、x2之间的关系中的至少一项。
42.行为预测部82根据由行为检测部81检测到的小鼠x1、x2之间的关系，预测该小鼠x1、x2今后将如何生活。
43.然后，参照图4对由信息处理装置执行的图像处理进行说明。图4是表示由具有图3的功能构成的信息处理装置所执行的图像处理的流程的一例的流程图。第1实施方式的信息处理系统中，在笼子c中活动的一个以上小鼠x1、x2通过照相机1拍摄，其动态图像输入到图像处理装置2，图像处理装置2如下述执行图像处理，以辅助识别一个以上小鼠x1、x2的各个个体及判断各个小鼠x1、x2的个性、社会性等。
44.步骤s11中，图像获取部51获取图像(例如动态图像等)，该图像是对一个以上动物在一定行动范围内活动的情形进行拍摄所获得，且由多个单位图像在时间方向上排列所构成。
45.步骤s12中，部位提取部52针对所获取的动态图像包括的多个单位图像的每一个，提取一个以上动物各自的身体的部分部位(眼睛、鼻子、耳朵、脚、骨头或关节的一部分、身
体的重心等)。
46.步骤s13中，个体识别部54按时间序列分析由部位提取部52从多个单位图像的每一个提取的多个部位，并根据该分析结果识别多个单位图像的每一个中的一个以上动物的各个个体。
47.所谓识别个体，是指例如就如图1及图3所示收容在笼子c中的小鼠x1、x2，对小鼠x1的部位赋予例如“0”等个体id以将其识别为“0”的个体，对小鼠x2的部位赋予例如“1”等个体id以将其识别为“1”的个体。
48.步骤s14中，行为判定部56判定由个体识别部54识别出的一个以上小鼠x1、x2的行为。
49.行为判定部56中，行为检测部81根据任意时点小鼠x1、x2的部位之间的位置关系，来检测各个小鼠x1、x2的社会性、存在于相同行动范围内的小鼠x1、x2彼此的相互作用、小鼠x1、x2之间的关系中的至少一项。
50.这样，根据图像处理装置2的动作，由拍摄到两只小鼠x1、x2在笼子c内活动的情形的动态图像提取各个小鼠x1、x2的身体的部分部位，按时间序列分析所提取的部位，识别小鼠x1、x2的各个个体，并显示对每个识别出的个体赋予个体id、跟踪点等标记、个体识别用的客体而成的跟踪图像，因此可辨别存在于相同图像中并处于活动状态的小鼠x1、x2的各个个体。此外，就小鼠x1、x2彼此的行为，例如检测小鼠x1与小鼠x2的社会性、存在于相同行动范围内的小鼠x1、x2彼此的相互作用、小鼠x1、x2之间的关系等，因此可考察小鼠x1与小鼠x2的主从关系(支配力、从属性等)、习性、生态等。
51.接着，参照图5至图11对该信息处理系统中的图像处理装置2的图像处理步骤进行说明。图5是表示从影像取得的帧图像的一例的图。图6是表示在图5的帧图像之后从影像取得的帧图像的一例的图。图7是表示在图6的帧图像之后从影像取得的帧图像的一例的图。图8是表示从图5的帧图像中识别出个体的情形的图。图9是表示从图8的帧图像中检测出部位的情形的图。图10是表示将图9的部位提取出的情形的图。图11是表示对分别从图5至图8的帧图像中所提取的部位进行跟踪的情形的图。图12是表示对图7的时刻t3的时点的帧图像加以标记而成的跟踪图像的图。
52.该信息处理系统中，利用照相机1拍摄笼子c内，拍摄到的动态图像被发送至图像处理装置2。图像处理装置2中，通过图像获取部51从由照相机1所输入的动态图像，如图5至图7所示，以时刻t1、t2、t3的顺序按照时间序列获取帧图像g1、g2、g3。
53.接着，部位提取部52中，通过个体辨识部71将例如时刻t1的帧图像g1所包括的单位图像(像素)予以二值化，以区划出背景(笼子的部分)与白色小鼠x1、x2的身体部分，并按个体辨识区域。该示例中，如图8所示，辨识到小鼠x1的身体部分的区域81-1、以及小鼠x2的身体部分的区域91-1。
54.然后，如图9所示，从各个区域81-1、91-1中，通过部位检测部72检测出一个以上的各个区域81-1、91-1的部位82-1、92-1作为用于跟踪行为的跟踪点。
55.图9的示例中，通过部位检测部72运算区域81-1的重心，并检测表示帧图像g1中区
域81-1的重心的部位82-1的二维坐标(x1,y1)作为跟踪点。部位82-1被赋予“0”作为个体id。
56.针对区域91-1，同样地运算重心，并检测表示帧图像g1中区域91-1的重心的部位92-1的二维坐标(x2，y2)作为跟踪点。部位92-1被赋予“1”作为个体id。以此方式，检测动物的一个以上部位，并根据作为检测结果获得的部位将身体的移动予以数据化。
57.此外，如本实施方式那样求出区域的重心并将该位置作为跟踪点的方法是其中一个例子，除此以外，也可检测动物的左右眼、鼻子、左右前脚、左右后脚、各个脚的关节、耳朵的轮廓或中心、脊柱、尾部的中心、发际、前端等中的一者以上作为跟踪点。
58.这样，通过检测动物的一个以上部位，按时间序列跟踪该部位，并与模型db42的学习模型进行比较，可确定具有以这种方式移动的骨骼的动物，即识别个体，例如识别该动物是什么动物。
59.提取以此种方式检测到的身体部位(跟踪点)，如图10所示，生成包括所提取的部位82-1、92-1、个体id的跟踪数据101。
60.通过对帧图像g2、g3也进行上述生成跟踪数据101的处理，并按时间序列分析，可在任意时点将各小鼠x1、x2的个体的各部位的位置关系、满足一定条件的频率予以数据化。
61.例如，如图11所示，通过叠加具有对应于帧图像g1至g3生成的部位的跟踪数据101，可获得动物的行为所伴随的行动轨迹。即小鼠x1的行动轨迹是以表示部位82-1、82-2、82-3移动的轨迹的矢量数据111-1、111-2的形式获得的。此外，小鼠x2的行动轨迹是以表示部位92-1、92-2、92-3移动的轨迹的矢量数据112-1、112-2的形式获得的。
62.另外，标记图像生成部55通过将表示动物的部位的标记、个体id等叠加在单位图像上来生成图像，从而如图12所示显示跟踪图像g3a。该跟踪图像g3a中，例如，对时刻t3的时点的帧图像g3(参照图7)赋予表示小鼠x1的部位82-3的标记(圆形标记)、个体id“0”、以及轨迹线120。此外，跟踪图像g3a中显示有表示小鼠x2的部位92-3的标记(三角标记)、个体id“1”、以及轨迹线121。
63.通过使从帧图像g1、g2的时刻t1、t2开始的轨迹线120、121保持预定时间(例如0.5秒左右)来再现跟踪图像，可保持显示轨迹线120、121以再现小鼠x1、x2移动的动态图像。
64.此处，参照图13至图15说明根据小鼠的一个以上部位的位置关系判定小鼠的各个个体的行为，并检测社会性、相互作用、关系性的几个示例。图13是表示小鼠的饮水行为的检测例的图。图14是表示小鼠的进食行为的检测例的图。图15是表示小鼠彼此的相互干扰行为的检测例的图。
65.如图13所示，图像处理装置2中，从利用照相机1拍摄收容有小鼠的笼子而得的动态图像，提取小鼠的特定部位(该示例中为鼻子与左右眼的部位)作为跟踪点，按时间序列跟踪该跟踪点的位置(坐标x,y)，结果就小鼠的每个个体获得了在每一帧图像中表示小鼠的鼻子与左右眼部位的位置的坐标。
66.图像处理装置2中，行为判定部56根据动物的预定部位的位置的时间序列变化是否符合预定条件来判定该动物的行为。具体而言，当某多个帧，例如图13的帧no.150至156({括号的部分)中，小鼠的鼻子
位置(坐标)与安装于笼子壁面的饮水口位置(坐标)之间的距离为零或接近零的接近状态持续时，行为判定部56判定为小鼠的饮水行为。
67.另外，图14的帧no.150至156({括号的部分)中，当小鼠的鼻子位置(坐标)与配置于笼子内的食物处位置(坐标)的距离为零或接近零的接近状态持续时，行为判定部56判定为小鼠的进食行为。
68.此外，图15的帧no.150至156({括号的部分)中，小鼠的鼻子位置(坐标)与小鼠的鼻子位置(坐标)之间的距离为零或接近零的接近状态持续时，行为判定部56判定为小鼠彼此的相互干扰行为。
69.如上所述，根据第1实施方式的信息处理系统中的图像处理装置2，从拍摄到两只小鼠x1、x2在笼子c中活动的情形的动态图像，提取小鼠x1、x2各自的身体的部分部位，按时间序列分析所提取的部位的位置来识别小鼠x1、x2的各个个体，因此能够从对在一定行动范围内活动的小鼠x1、x2进行拍摄而得的动态图像中辨识出小鼠x1、x2的各个个体。此外，判定小鼠的行为，例如小鼠的饮水行为、进食行为、存在于相同行动范围内的小鼠彼此的相互干扰行为等，因此可考察小鼠的习性、生态、小鼠之间的主从关系(支配力、从属性等)等。个体识别部54中，在前后帧之间部位位置相距不远的前提下，可根据前段所提取的部位位置的连续性来正确地识别个体。个体识别部54中，根据外廓、部位的位置信息来识别个体，因此可正确地识别个体而不依赖于拍摄环境的明亮度或背景。
70.接着，参照图16对第2实施方式进行说明。此外，在说明该第2实施方式时，就与图3所示的第1实施方式的功能构成相同的构成标注相同的符号，并省略其说明。图16是表示图1的信息处理系统的第2实施方式，即图2的图像处理装置2的功能构成的第2实施方式的功能框图。
71.图像处理装置2包括外廓检测部57。外廓检测部57使用从模型db42的多种骨骼推估模型中选择的骨骼推估模型，针对多个单位图像的每一个，检测一个以上动物各自的身体外廓(身体的轮廓等)。外廓检测部57包括个体辨识部91与外廓特定部92。个体辨识部91针对多个单位图像的每一个，将包括存在变化(移动)的单位图像的区域识别为一个行为个体。具体而言，个体辨识部91将每个单位图像二值化，并将与背景图像不同颜色的部分辨识为行为个体的一部分。优选将与时间序列前后的帧图像相比颜色发生变化的部分作为区域的边界。外廓特定部92针对多个单位图像的每一个，将包括被辨识为一个行为个体的部分的区域确定为一个以上小鼠x1、x2各自的身体外廓(身体的轮廓等)。数据帧生成部53生成表示动物的行为所伴随的外廓变化为特定行为的概率的数据帧(参照图22)。
72.个体识别部54根据将由外廓检测部57从多个单位图像的每一个检测到的一个以上动物各自的身体外廓的时间序列输入到模型db42的骨骼推估模型而获得的输出，来识别多个单位图像的每一个中的一个以上动物的各个个体。
个体识别部54按时间序列分析由外廓检测部57从多个单位图像的每一个检测到的一个以上外廓，并根据该分析结果识别多个单位图像的每一个中的一个以上动物的各个个体。具体而言，个体识别部54通过参照模型db42按时间序列分析从多个帧图像的每一个检测到的一个以上外廓，来识别小鼠x1、x2的各个个体，并将识别结果得到的小鼠x1、x2的个体信息(个体id与外廓的位置等)输出到行为判定部56。即个体识别部54识别所检测到的外廓是笼子内的两只小鼠x1、x2中的哪一只小鼠的。
73.该第2实施方式中的模型db42的学习模型针对预先准备的小鼠的每个个体的动态图像及静止图像进行机械学习的结果，会存储学习完成的学习数据，用于在输入新的动态图像或静止图像时，由此识别小鼠并输出识别结果的个体信息(个体id与外廓的位置等)。
74.具体而言，例如，将对各个小鼠活动的情形进行拍摄而获得的动态图像输入到模型db42的话，会输出动态图像所包括的一个以上小鼠各自的个体id、具有该个体id的小鼠的动态图像中的外廓(身体的轮廓)位置。即通过使用该第2实施方式中的学习模型，成为使用了骨骼推估方法的学习模型，能够从识别出的各个个体的区域检测个体的外廓位置。
75.行为判定部56根据由个体识别部54输入的个体信息，例如将于任意时点各个个体的一般行为或满足一定条件的频率予以数据化，并将个体行为或条件与材料db43的数据进行对照。具体而言，数据帧中为特定行为的概率值满足预先设定的一个以上条件中的任一条件时，行为判定部56判定与满足的条件对应的行为。此处，一个以上条件是指：例如一只小鼠在做出蜷缩身体的一般行为后，另一只小鼠做出依偎在身体蜷缩的小鼠身体上的一般行为，并且其频率为几次以上的条件。行为判定部56参照材料db43，在由个体识别部54识别出的小鼠的行为满足该条件时，判定小鼠之间的关系良好且配成对。
76.如上所述，根据第2实施方式的信息处理系统中的图像处理装置2的功能构成，除了获得与第1实施方式同样的效果外，还可获得如下效果。即从拍摄到收容在笼子c中并处于活动的两只小鼠x1、x2的情形的动态图像中，检测各个小鼠x1、x2的身体外廓，按时间序列分析检测到的外廓，并识别小鼠x1、x2的各个个体，因此可辨别存在于相同图像中并处于活动状态的小鼠x1、x2的各个个体。
77.(第2实施方式)接着，参照图17说明由具有图16的第2实施方式的功能构成的信息处理装置所执行的图像处理动作。此外，在说明第2实施方式的图像处理动作时，对与图4所示的第1实施方式的动作相同的动作标注与图4相同的步骤编号，并省略其说明。图17是表示由具有图16的功能构成的信息处理装置所执行的图像处理的流程的一例的流程图。
78.第2实施方式的情况下，步骤s21中从照相机1获取动态图像时，在步骤s22中，外廓检测部57针对所获取的动态图像所包括的多个帧图像各自的每个单位图像，检测一个以上动物各自的身体外廓(身体的轮廓等)。
79.在步骤s23中，个体识别部54按时间序列分析由外廓检测部57从多个单位图像的每一个所提取的外廓，并根据该分析结果识别多个单位图像的每一个中的一个以上动物的
各个个体。步骤s24之后的处理与第1实施方式(图4)同样。
80.根据具有第2实施方式的功能构成的图像处理装置2的动作，通过针对从照相机1取得的动态图像所包括的多个帧图像各自的每个单位图像，检测小鼠x1、x2各自的身体外廓，并分析外廓伴随小鼠x1、x2的行为而随时间序列变化的情形，由此识别小鼠x1、x2的各个个体，因此可辨别映在相同图像中的小鼠x1、x2的各个个体。此外，监测所识别出的小鼠x1、x2的外廓随时间序列变化的情形，通过满足预定条件，来检测小鼠x1、x2的特定行为，因此不仅可发现现有的生态，还可发现新的生态。
81.接着，参照图18至图22对该信息处理系统中的信息处理装置的图像处理步骤进行说明。图18是表示从影像取得的帧图像的一例的图。图19是表示在图18的帧图像之后从影像取得的帧图像的一例的图。图20是表示在图18的时刻t4的时点的帧图像附加表示外廓的客体与个体标记而成的跟踪图像的图。图21是表示在图19的时刻t5的时点的帧图像附加表示外廓的客体与个体标记而成的跟踪图像的图。图22是表示抓挠行为的检测例的图。此外，在说明图18至图21时，针对帧图像中映出的两只小鼠中的一只小鼠，将时刻t4的帧图像g4所包括的小鼠设为小鼠x1-1，时刻t5的帧图像g5所包括的小鼠设为小鼠x1-2进行说明。其他小鼠x2-1、小鼠x2-2也同样。
82.该信息处理系统中，利用照相机1拍摄笼子c内，拍摄到的动态图像被发送至图像处理装置2。图像处理装置2中，利用图像获取部51由从照相机1输入的动态图像，按时间序列依次取得图18所示的时刻t4的帧图像g4、以及图19所示的时刻t5的帧图像g5。
83.接着，外廓检测部57中，利用个体辨识部91将例如于时刻t4的帧图像g4所包括的单位图像予以二值化，背景(笼子的部分)与白色小鼠的身体部分成为颜色不同的区域，按每个个体辨识区域。结果分别辨识到两只小鼠中每只小鼠的身体部分的区域。
84.图20表示经个体识别的跟踪图像g4a的显示例，该跟踪图像g4a的显示例中，小鼠x1-1的外廓(身体的轮廓)上显示蓝色的客体121-1，小鼠x2-1的外廓(身体的轮廓)上显示红色的客体122-1。此外，同一跟踪图像g4a中显示“mouse(小鼠)0.996”作为用于识别小鼠x1-1的个体的个体id、以及围绕个体的框体131-1等标记。另外，同一跟踪图像g4a中显示“mouse(小鼠)0.998”作为用于识别小鼠x2-1的个体的个体id、以及围绕个体的框体132-1等标记。
85.于时刻t5的帧图像g5中，也同样将单位图像(像素)予以二值化，区划出背景(笼子的部分)与白色小鼠的身体部分，按每个个体识别区域。
86.图21的经个体识别的跟踪图像g5a的示例中，小鼠x1-2的外廓(身体的轮廓)上显示蓝色的客体121-2，小鼠x2-2的外廓(身体的轮廓)上显示红色的客体122-2。此外，同一跟踪图像g5a中显示“mouse(小鼠)0.996”作为用于识别小鼠x1-2的个体的个体id、以及围绕个体的框体131-2等标记。另外，同一跟踪图像g5a中显示“mouse(小鼠)0.998”作为用于识别小鼠x2-2的个体的个体id、以及围绕个体的框体132-2等标记。
87.这样，检测两只小鼠的身体部分的外廓，根据该外廓随时间序列变化的状况识别
小鼠的个体，并在各个个体于任意时点满足预定条件时判定小鼠的特定行为，因此可得知各个小鼠行为的理由。
88.此处，参照图22对根据小鼠的外廓的位置关系来判定小鼠的各个个体的行为，并检测社会性、相互作用、关系的示例进行说明。图22为抓挠行为的检测例。从图22的帧no.1开始按顺序取得帧图像，对小鼠进行个体识别之后，行为判定部56针对每个帧图像计算小鼠是否正在进行特定行为的概率，并就每个帧图像将作为计算结果获得的概率进行数据帧化。然后，基于数据帧的概率，对小鼠的行为进行标记(分类)，将其识别信息赋予给该数据帧，并存储到图像db41中。
89.例如图22的帧no.4502至4507的数据帧中，算出的概率超过一定的阈值时，行为判定部56判定小鼠进行了特定行为，并对该帧no.4502至4507的数据帧赋予表示特定行为的识别信息(例如预测(predict)“1”等)，同时当小鼠外廓的时间序列的变化(小鼠的行为)符合预先设定在材料db43中的条件时，判定为由该条件所导出的小鼠的特定行为，例如小鼠抓笼子地板面的行为，即抓挠行为。
90.根据第2实施方式的图像处理装置2，针对每个帧图像计算经个体识别的小鼠是否正在进行特定行为的概率，根据作为计算结果获得的概率，对小鼠做出特定行为的时点的数据帧进行标记，因此不仅可检测小鼠的既定行为，还可检测意料外的行为。结果可辨别并观察收容在笼子中的多个小鼠中的每一个小鼠，同时可发现各小鼠进行的一般行为、新行为。
91.(第3实施方式)然后，参照图23至图30对第3实施方式进行说明。上述第1实施方式及第2实施方式中，仅针对特定的动物种类、行为(小白鼠、抓挠行为等)、拍摄环境构建模型，且仅限于以raw数据(各部位的位置信息等)的形式输出、进行条件判定程序的构建，但该第3实施方式中将应用扩大到多种动物种类、行为、拍摄环境，提高了实用性。第3实施方式中，进行了用于获取raw数据的注释(创建用于判定获取部位的位置的教师数据)，并使用raw数据来进行各行为判定条件(数理模型)的构建、用于应用化的程序化及模组化、用于检测小白鼠的移动、进食、饮水的程序的扩展等。
92.此外，上述第1实施方式及第2实施方式中，在自身的硬件和软件环境中实现了最低限度的必要任务，但在第3实施方式中，为了提高通用性并使it素养不高的一般用户也能稳定地使用，构建了与业务流程一致、易于操作的用户界面环境(以下称为“ui环境”)。此外，假设系统的执行环境也不依赖于使用者(请求者)侧的条件而稳定地运行，并根据执行任务的频率、负载优化规格、成本，从而构建了云服务化，即作为服务器客户端系统的系统。
93.首先，参照图23对第3实施方式的信息处理系统的概要进行说明。图23是信息处理系统的第3实施方式，是表示将第1实施方式及第2实施方式的信息处理系统扩展为商用的商业模式概要的图。
94.如图23所示，第3实施方式的信息处理系统构成为请求者y的客户端300侧的设备
与承接请求的承包商的服务器200通信。服务器200收到来自请求者y的请求后，分析请求者y上传的动态图像，并将分析结果发送给请求者y。
95.客户端300侧的设备包括构成动物的拍摄环境的照相机310、笼子311、以及收集由照相机310拍摄的分析对象的动态图像的客户端计算机320(以下称为“pc320”)。笼子311是用于让动物在一定范围内活动的容器。照相机310拍摄在笼子311内活动的动物。该动物的拍摄环境可根据请求内容适当变更。
96.pc320取得由照相机310拍摄的动态图像(图像)数据，并保存在本地(内部存储器等)。pc320将保存在本地的动态图像数据321上传至服务器200，并请求对动态图像所包括的动物的行为进行分析。pc320针对请求取得来自服务器200的分析结果信息(csv文件330)、于动物眼睛的位置附加标记m并加工而成的动态图像数据(加工动态图像331)。pc320创建用于分析csv文件330的数据的资料(图表322)，或将加工动态图像331作为分析资料的一部分。
97.服务器200包括图像分析部450、网络服务部451、存储器410、以及数据仓库411(以下称为“dwh411”)。图像分析部450包括第1实施方式中所示的图3的功能构成、第2实施方式中所示的图16的功能构成，并执行图像的分析处理。
98.网络服务部451具有认证从pc320输入的登录信息的功能、检索分析对象的功能、输出检索结果的功能、追加分析数据的功能、以及显示分析结果的功能。具体的功能构成于后叙述。此外，网络服务部451具有进行加密通信、访问源ip通信、专用线通信等的功能，从而实现安全对策。即网络服务部451实现与pc320的接口。
99.存储器410存储通过网络服务部451请求分析的动态图像数据、正在分析的动态图像数据。dwh411存储各种相关数据，并系统地存档与存储器410的数据协作处理的结果。由此，可重复使用数据，并减少动物实验数量。
100.此处，对该第3实施方式的信息处理系统的数据处理步骤(流程)进行说明。步骤s101中，以动态图像形式拍摄动物在笼子311内活动的情形，并将该动态图像数据321保存在pc320的本地。步骤s102中，请求承包商进行动态图像的分析时，将保存在pc320中的动态图像数据321上传至服务器200。
101.服务器200中，网络服务部451将从pc320上传的动态图像数据321保存在存储器410中。此外，步骤s101、s102中，拍摄到的动态图像数据321暂时保存在pc320中，然后上传至服务器200，24小时连续拍摄的动态图像的情况下，也可如步骤s103那样将由照相机310拍摄的动态图像数据321直接上传到服务器200。
102.步骤s104中，在服务器200中，图像分析部450读取保存在存储器410中的动态图像
数据，执行所请求的动态图像数据321的分析，将分析时加工动态图像所生成的加工动态图像331及其分析结果的csv文件330保存在存储器410中，并将分析完成通知输出到pc320。收到分析完成通知的pc320中显示检索画面，当指定分析对象的动态图像数据时，在步骤s105中网络服务部451检索所指定的动态图像数据，将加工动态图像331及其分析结果的csv文件330下载到pc320。
103.步骤s106中，pc320使用从服务器200下载的加工动态图像331及其分析结果的csv文件330制作用于分析的图表322，并附加加工动态图像331作为图表322的支持材料。
104.此外，上述步骤s105、s106中，将分析结果的csv文件330(数值数据)下载到pc320中，根据csv文件330创建图表322，但除此之外，例如也可如步骤s107那样，根据请求内容，在服务器200中根据csv文件330创建图表322，并将作为分析结果的图表322下载到pc320。
105.然后，参照图24对图23的第3实施方式的信息处理系统的功能构成进行说明。图24是表示图23的第3实施方式的信息处理系统的功能构成的功能框图。此外，在说明第3实施方式的信息处理系统的功能构成时，对与图3所示的第1实施方式的功能构成、以及图16所示的第2实施方式的功能构成相同的构成标注相同的符号，并省略其说明。
106.如图24所示，服务器200的存储部18的一个区域中存储有认证db44。认证db44中存储有供请求者y登录到服务器200的认证信息。认证信息是作为识别请求者y的识别信息的登录id及密码等。此外，模型db42中预先存储有通过机械学习等生成或更新的多种学习模型。学习模型例如为骨骼推估模型、个体识别模型等及数理模型。多种学习模型例如依分析对象的动物的每个种类、图像的每个拍摄方向、动物的每种颜色设置。
107.当执行与图23的步骤s101至s107对应的处理时，在服务器200的cpu11中，图像分析部450、网络服务部451、以及处理部452发挥功能。图像分析部450使用针对根据来自请求者y的请求所取得的动态图像数据321中指定的图像数据选择的模型，来执行图像的分析处理。图像分析部450从图像db41读取由指定部471指定的分析对象的图像，使用由模型选择部472从多种学习模型中选择且从模型db42提取的学习模型(骨骼推估模型、个体识别模型、数理模型等)来执行该图像的分析处理。图像分析部450所执行的图像处理为第1实施方式、第2实施方式中所示的动态图像中的动物的个体识别、外廓识别及行为分析等处理。当请求者y登录到服务器200时，网络服务部451进行登录认证、请求者y所请求的动态图像分析结果的检索、检索结果的输出、分析数据的追加、分析结果的显示控制等。
108.网络服务部451具有认证部461、检索部462、检索结果输出部463、分析数据追加部464、分析结果显示控制部465等。
109.认证部461将输入的登录信息与认证db的认证信息进行对照而执行用户认证。当相互信息对照的结果为信息一致时，认证部461许可请求者y登录到服务器200。
110.检索部462在经认证的请求者y的pc320上显示检索画面251(参照图25)，根据来自检索画面251的检索要求，在图像db41中检索分析结果，并将检索结果传送到检索结果输出部463。在检索画面251中，可进行检索结果一览、分析数据的追加、分析结果的显示等。
111.检索结果输出部463将由检索部462检索到的检索结果输出到pc320，并一览显示在pc320的检索画面251上。
112.分析数据追加部464通过在检索画面251中进行分析数据的追加操作，而在pc320上显示分析数据追加画面261(参照图26)。通过来自该分析数据追加画面261的分析数据追加操作，将分析对象的动态图像数据上传至图像处理装置2。图像处理装置2中，上传的分析对象的动态图像数据被追加登录到图像db41中。上传后，分析数据追加画面261中，可对追加到图像db41中的新文件进行分析条件的指定。
113.分析数据追加部464具有指定部471及模型选择部472。指定部471指定针对分析对象的图像的分析属性(分析对象的种类(例如小鼠、大鼠等)、分析对象的拍摄方向(例如上方、斜上方、横向等)、分析对象的颜色(例如白色、黑色等))。
114.具体而言，指定部471显示图26的分析数据追加画面261。分析数据追加画面261中设置有文件栏与设定栏。文件栏中设置有分析对象的图像的文件的图标、以及表示分析进展状况(进度状况)的条形图。设定栏中设置有单选按钮(指定按钮)，供请求者y指定分析对象的图像所包括的动物种类(例如小鼠、大鼠等)、分析对象的动物的拍摄方向(例如上方、斜上方、横向等)、分析对象的动物的颜色(例如白色、黑色等)等分析属性。
115.请求者y将分析对象的图像上传至图像处理装置2时，分析数据追加画面261的文件栏中显示上传的追加对象的图像文件的图标。
116.然后，请求者y利用设置在图像文件的图标下对应的设定栏中的单选按钮，来进行图像的设定(分析对象的图像所包括的动物种类、分析对象的动物的拍摄方向、分析对象的动物的颜色等)，由此可改善图像分析时的图像分析精度，并可正确地进行图像所包括的动物种类或个体的识别、行为分析等。
117.模型选择部472根据由指定部471指定的图像的分析属性，从存储在模型db中的多种骨骼推估模型中选择适用于图3的部位提取部52或图16的外廓检测部57的模型，并从存储在模型db中的多种个体识别模型中选择适用于个体识别部54的模型。分析结果显示控制部465显示从服务器200下载的分析结果的csv文件330、加工动态图像331等。
118.处理部452管理分析用图像数据、未处理数据。处理部452具有上传数据管理部491、以及未处理数据管理部492。上传数据管理部491将从pc320上传的图像数据移动到图像db41中并更新管理文件。此外，上传数据管理部491具备基于cron每分钟启动的功能、防止重复启动的功能等。
119.未处理数据管理部492确认管理文件中的未处理数据。未处理数据管理部492复制未处理数据。未处理数据管理部492进行处理目录中的ai处理。未处理数据管理部492将结果文件存储在对应的目录下。未处理数据管理部492创建分析结果的csv文件330并存储在对应的目录下。此外，与上传数据管理部491同样，未处理数据管理部492具备基于cron每分钟启动的功能、防止重复启动的功能、管理文件的更新功能等。
120.当执行与图23的步骤s101至s107对应的处理时，在pc320的cpu141中，登录管理部421、画面控制部422、分析请求部423、以及分析结果显示控制部424发挥功能。登录管理部421在pc320上显示登录画面，将由请求者y输入至登录画面的登录信息发送到服务器200，并请求登录认证。画面控制部422在pc320上显示检索画面，将由请求者y输入至检索画面的检索关键字发送到服务器200，并请求检索，将针对请求的检索结果显示在检索画面上。检索画面中显示检索结果一览。此外，在检索画面中可追加分析数据，或显示分析结果等。分析请求部423在pc320上显示分析数据追加画面，将由请求者y在分析数据追加画面中指定的文件、分析条件发送到服务器200，并请求分析。分析结果显示控制部424在pc320上显示分析结果显示画面，并在分析结果显示画面上显示从服务器200下载的分析结果的csv文件330、加工动态图像331。
121.以下，参照图25至图27对第3实施方式的信息处理系统的动作进行说明。图25是表示pc上显示的检索画面的图。图26是表示检索画面上弹出显示的分析数据追加画面的图。图27是表示检索画面上弹出显示的动态图像确认画面的图。
122.图25所示的检索画面显示在pc320(参照图24)上。检索画面251中设置有用于输入关键字、期间等检索条件的输入栏、分析数据列表、分析数据追加按钮、动态图像确认按钮、csv输出按钮等。分析数据列表是通过分析数据的文件名、登录者、日期时间、分析等各项目将分析数据列表化而得的。分析的项目表示分析数据的当前分析状态，例如表示“分析完成”、“执行中”等。分析数据列表的左侧设置有用于选择各分析数据的选择按钮，通过对所选择的分析数据的按钮操作，可进行分析数据的追加、动态图像的确认、csv输出等。
123.该检索画面251中，当在服务器200中登录有多个分析数据时，利用检索条件筛选分析数据，显示于分析数据列表中，再使用选择按钮选择(指定)分析数据后，按下分析数据追加按钮、动态图像确认按钮、csv输出按钮中的任一个，由此可进行与按钮操作对应的处理(分析数据的追加、动态图像的确认、csv输出等)。
124.(分析数据追加)在图25的检索画面251中，利用选择按钮选择(指定)期望的分析数据后，例如按下分析数据追加按钮时，图26所示的分析数据追加画面261弹出显示在检索画面251上。
125.分析数据追加画面261中设置有追加的对象的分析数据的文件、用于设定(指定)各个文件所包括的动态图像是什么样的分析属性设定栏、返回按钮、取消按钮、登录按钮等。分析属性设定栏中例如设置有选择动物的种类、动物的拍摄方向、动物的颜色等的按钮，可通过各个按钮进行设定(指定)。该分析数据追加画面261中，通过对作为新的分析数据上传的动态图像数据进行用于作为分析对象的文件选择及设定，可自动地执行之后的分析数据的分析。此时，根据在分析数据追加画面261中被设定为分析属性的动物的种类、动物的拍摄方向、动物的颜色等，从存储在模型db42中的多种学习模型(骨骼推估模型、个体识别模型及数理模型)中选择使用于分析对象的动物的学习模型。
126.(动态图像确认)
在图25的检索画面251中，利用选择按钮选择(指定)期望的分析数据后，例如按下动态图像确认按钮的话，图27所示的动态图像确认画面271弹出显示在检索画面251上。动态图像确认画面271中设置有再现追加的对象的分析数据的再现区域、返回按钮、下载按钮等。再现区域中设置有所选择的分析数据(动态图像数据)停止的图像(静止图像)与再现按钮(三角图标)，通过单击再现按钮(三角图标)，静止图像开始移动并以动态图像的形式再现。该动态图像确认画面271中，对于作为新的分析数据上传的动态图像数据，仅靠文件名难以判别是分析对象的数据还是分析完成的加工动态图像等时，可再现动态图像来进行确认。此外，通过按下下载按钮，可下载再现区域所显示的分析数据。该下载功能在希望于pc320侧利用加工动态图像331时有效。
127.(使用本信息处理系统的优点)参照图28对使用本信息处理系统的优点进行说明。图28是表示由动态图像生成的报告的一例的图。本信息处理系统中，可输出目视无法确认的小鼠眼睛开闭的详细定量数据，从而可确认前所未有的精度、无法掌握的内容。例如如图28所示，当从请求者y的pc320上传拍摄有小鼠的动态图像数据281到服务器200，并请求分析小鼠的眼睛的情形时，通过部位检测部72在小鼠的眼睛位置设定标记m，识别小鼠睁眼时眼睛的面积变宽，闭眼时面积变窄的情况，即识别眼睛的开闭，从而作为报告282例如可创建眼睛的面积随着时刻变化而变化的图表283并提供给请求者y。报告282中，例如可输出每一定时间的闭眼次数、闭眼持续时间(1分钟闭眼几次)、以及其他与请求内容对应的数据。即本信息处理系统中，可定量地补足部位的极微小变化。能自动地处理长时间的动态图像。可改善总处理能力。
128.(强安全性)参照图29对本信息处理系统的安全性进行说明。图29是表示形成强安全性的专用网络连接的构成示例的图。本信息处理系统可因应使用者侧的策略与成本选择安全级别来构成。此外，通信的加密是必须的，以https为前提。因应安全级别的系统构成示例，例如有“梅”、“竹”、“松”。“梅”只能通过公司内代理的gip进行访问。“竹”可经由利用客户端证书的反向代理进行访问。“松”通过dx(直接连接)与公司内环境进行专用网络连接。上述“松”的专用网络连接的构成示例示于图29。
129.(本信息处理系统的深化)参照图30对本信息处理系统的深化进行说明。图30是表示本信息处理系统的控制板画面的图。如图30所示，本信息处理系统具有显示容易进行信息管理的控制板画面500的功能。控制板画面500具有如下特征：可因应动物种类、实验环境进行扩展，能以实验报
告以外的形式输出，能够利用人工智能发现或通知人类没有意识到的特征点等。
130.具体而言，控制板画面500中，作为实验实施所需的各种资料，例如可创建饲料储存设施设置批准申请表、动物实验计划、动物实验结果报告、自检或评价项目等。通过根据业务量身定制，可进行适用动物、实验内容的扩展。能以实验报告以外的形式输出。
131.此外，控制板画面500中，可通过机械学习深化来扩展“发现”。例如人类认知范围内的“发现”或超越人类认知范围的“发现”都是可能的。机械学习、功能深化可扩展适用动物、实验内容。能够利用人工智能发现或通知人类没有意识到的特征点。
132.总之，第3实施方式的信息处理系统中，指定针对分析对象的图像的分析属性((分析对象的种类(例如小鼠、大鼠等)、分析对象的拍摄方向(例如上方、斜上方、横向等)、分析对象的颜色(例如白色、黑色等))时，模型选择部472根据所指定的分析对象的图像的分析属性，从模型db42的多种骨骼推估模型中选择适用于图3的部位提取部52、图16的外廓检测部57的对象的骨骼推估模型，并从多种个体识别模型中选择适用于图3、图16的个体识别部54的对象的个体识别模型，并依图像的分析指示，使用所选择的骨骼推估模型及个体识别模型分析图像，因此能够使用适合分析对象的模型来正确地识别动物的种类，并得到动物的行为等的分析结果。此外，可适用于多种动物种类、实验内容，且通过服务器200中具备分析数据的管理、下载等功能可重复使用分析数据，能够大幅减少实际在实验中使用的动物个体。此外，还具有如下效果。例如根据指定的分析属性等自动地对分析数据进行标记(附加标记)，因此重复使用分析结果时可从标记进行检索，从而容易检索分析数据。对多个分析属性等仅使用单一模型时，为了更新现有的模型，需要再学习、再次检查其精度，但通过对多个分析属性等保持多个模型，当新的属性出现时创建新模型，因此可紧凑地进行模型学习。
133.上述一系列处理可由硬件来执行，也可由软件来执行。换句话说，图3、图16、图24的功能构成仅为例示，并没有特别限定。即信息处理系统只要具有能够整体执行上述一系列处理的功能即可，为了实现该功能而使用什么样的功能块及数据库并不特别限定于图3、图16、图24的示例。此外，功能块及数据库的位置也不特别限定于图3、图16、图24，可以是任意的。图像处理装置2、服务器200的功能块及数据库也可移至照相机1、pc320等。进一步，图像处理装置2与照相机1、pc320可为相同的硬件。
134.此外，例如由软件执行一系列处理时，构成该软件的程序从网络、记录介质安装到计算机等中。计算机可为内置在专用硬件中的计算机。此外，计算机也可为可通过安装各种程序来执行各种功能的计算机，例如除服务器外，也可为通用的智能手机、个人计算机。
135.此外，例如包括这种程序的记录介质不仅由与装置主体分开配置以向用户提供程序的可移动介质(未示出)构成，还可由以预安装在装置主体中的状态提供给用户的记录介质等构成。
136.此外，在本说明书中，描述记录介质所记录的程序的步骤不仅包括依其顺序按时间序列进行的处理，还包括不一定按时间序列进行处理，而是并行地或个别地执行的处理。此外，在本说明书中，用语“系统”是指由多个装置、多个单元等构成的整体装置。
137.此外，上述实施方式中，虽将标记设为三角、圆形的形状，但限于这些示例，也可为其他形状。此外，表示身体外廓的客体也同样。上述实施方式中，针对行为判定部56判定是否满足规定了动物的部位与其他特定部位(饮水处、食物处、其他动物的部位)的位置关系的条件进行了说明，但规定了动物的部位与其他特定部位的位置关系的条件被存储部18存储在材料db43中，行为判定部56从材料db43读取上述条件。此外，也可与材料db43分开设置行为数据库，并将上述条件存储在行为数据库中。上述实施方式中，采用了机械学习的方法，但也可设定其他规则，例如将离重心最远的部位设为鼻子等。上述实施方式中，检测(提取)重心作为身体的部位，但除此之外，例如也可检测(提取)眼睛、鼻子、耳朵、脚、骨头或关节中特定的一部分(眼睛、鼻子、耳朵等)。上述实施方式中，就个体识别的对象以小鼠作为一例进行了说明，但通过扩充模型db42、材料db43的数据，例如大鼠、仓鼠、豚鼠、兔子等也可作为分析对象。此外，还能以猪、牛、羊、鸡等家畜、甚至狗、猫、猴子、人类等各种动物作为对象。上述实施方式中，针对多个单位图像的每一个提取一个以上动物各自的身体的部分部位，按时间序列分析所提取的多个部位，根据该分析结果识别多个单位图像的每一个中的一个以上动物的各个个体，但该顺序是一个例子，例如也可在个体辨识(识别)之后提取单体的部位。此外，也可同时进行个体识别与部位提取。个体辨识(识别)之后提取单体的部位时，首先推断出分别存在于图像的哪个部分，进行裁剪，之后提取单体的部位。此外，多个个体的部位检测之后识别个体时，多次检测图像中特定部位在何处，然后根据“这些位置在时间方向上如何变化”的推测，来判定各部位属于哪个集合(此时，为特定的一个体的部位集合)。即只要包括了解动物的部位位置、在此基础上识别个体、以及其结果了解个体的社会性的步骤即可。
138.以下，参照图31至图54对与各种指标(分别就将小鼠放入笼子后不久的初始移动期间、以及直至稳定为止的期间，对移动轨迹、每个区域的存在位置分布、每个区域的存在时间、移动距离、总移动量、身体的朝向、速度、角速度等)相关联的数据进行说明，以了解从动态图像(按照时间轴顺序排列的多个单位图像)提取的小鼠(动物)身体的部分部位(眼睛、鼻子等)的位置、重心位置、外廓(轮廓)随时间序列变化时的移动范围、移动量、行为习惯、节奏等。此外，以下所说明的图表显示了一对从测量开始到初始移动的1320frame(44秒)为止的图表、以及从测量开始到18030frame(约10分钟)为止的图表。
139.首先，参照图31、图32对笼子内小鼠的位置与其移动轨迹的关系进行说明。图31是表示从测量开始到初始移动的1320frame(44秒)为止存在于笼子内的小鼠的位置及其移动轨迹的图表。图32是将图31的图表接着描绘至18030frame(约10分钟)时的
图表。
140.图31及图32的纵轴以像素数(pixel)表示笼子地板面的深度方向的长度，纵轴以像素数(pixel)表示笼子地板面的宽度方向的长度。图31的初始移动的1320frame的图表中，小鼠避开笼子的中心部而在边缘侧移动，可以看出它感到不安。图32的从测量开始到10分钟为止的图表中，就笼子的中心部与边缘侧，在边缘侧移动的小鼠个数仍较多，另一方面，也可以看到呈直线移动的移动线、移动线交织的部分。可知在移动线交织部分，小鼠停留在该位置并进行了某种行为(梳毛等)。通过利用ai学习这些信息，可确定小鼠的行为、精神疾病等。
141.然后，参照图33、图34对将笼子地板面划分为9个区域而成的每个区域中小鼠的存在分布进行说明。图33、34的纵轴与横轴表示像素(pixel)。图33是表示从测量开始到初始移动的1320frame(44秒)为止将笼子内地板面划分为9个区域(0至8的编号)而成的每个区域中小鼠的存在位置分布的图表。图34是将图33的图表接着描绘至18030frame(约10分钟)时的图表。
142.图33、34是每1秒绘制小鼠在笼子内的位置的图，通过对划分为9个区域的笼子的地板面存在有小鼠的位置的坐标信息赋予包括该坐标的区域的识别信息来进行管理，而创建图33、34的图表。图33的初始移动的1320frame的图表中，在笼子的边缘部附近的区域(0、5、6、8号等)绘图数量较多，可知小鼠在边缘部附近的时间较多。之后接着描绘至约10分钟为止的图34的图表中，虽然仍大多在边缘部附近，但中央部的第4区域的绘图有增加，可知小鼠在笼子的中央部移动的频率变多。可以说比起初始移动时，小鼠的心情更加平静。
143.然后，参照图35、图36对上述每个区域(0至8)中小鼠的存在时间进行说明。图35是表示从测量开始到初始移动的1320frame(44秒)为止将笼子内地板面划分为9个区域而成的每个区域中小鼠的存在时间的条形图。图36是将图35的图表接着描绘至18030frame(约10分钟)时的条形图。
144.图35、36的纵轴表示绘图数量(counts)，横轴表示区域(region)。横轴的数值与图33的各区域的编号(0至8)对应。图35、36是针对每个区域就存在有小鼠的绘图数量进行计数，即针对每个区域累积小鼠存在的图表。图33、34的绘图(点)增加1时，图35、36中对应编号的区域的条形图增加1计数。从这些图33至36，可在视觉上(外观上)得知小鼠在笼子的哪个区域停留较多(或较少)。
145.然后，参照图37、图38对小鼠在笼子的边缘部附近及中央附近的存在时间进行说明。图37是表示从测量开始到初始移动的1320frame(44秒)为止将笼子的中央附近(图33所示的第4区域)与边缘部附近(第4区域以外的区域)进行区分的情况下小鼠的存在时间的图表。图38是将图37的图表接着描绘至18030frame(约10分钟)时的图表。
146.图37、38的纵轴表示绘图数量(counts)，横轴表示区域(region)。区域(region)分为2个区域：中央附近(第4区域)及边缘部附近(第4区域以外的区域)。图37的初始移动时的图表中，可知小鼠大多在边缘部附近(第4区域以外的区域)。图38的图表中，可知虽然小鼠压倒性地多在边缘部附近(第4区域以外的区域)，但比起初始移动时，小鼠在中央附近(第4区域)的频率变高。
147.然后，参照图39、图40对小鼠每1秒(30frame)的移动距离进行说明。图39是表示从测量开始到初始移动的1320frame的期间与小鼠每1秒(30frame)的移动距离的关系的图表。图40是将图39的图表接着描绘至18030frame(约10分钟)时的图表。
148.图39、图40的纵轴表示距离(pixel)，横轴表示时间(frame)。图39、图40的图表表示每30帧即每1秒小鼠的过去位置与当前位置之间的长度(图像上为pixel)。即图39、图40的图表表示小鼠每1秒的移动距离，在纵向方向摆动得越高，表示在短时间内的移动距离越长，纵轴的数值越接近0，则表示停留在该位置。此外，图39、图40的各图表中，各振幅的中央附近呈现的折线表示移动平均。这样，通过在具有一定宽度的时间内取平均值，可得知小鼠的移动速度。
149.由于这些图表是每个时间序列的图表，例如如图40的图表那样在后半段小鼠平静下来的话，则会较少移动。其中，以一定速度持续移动的小鼠可以说是心平气和的。另一方面，可以假设突然开始奔跑或停止的时间异常长的小鼠的精神状态出现了异常。
150.然后，参照图41、图42对笼子内小鼠的身体朝向进行说明。图41是表示从测量开始到初始移动的1320frame的时间与笼子内小鼠的瞬间身体朝向的关系的图表。图42是将图41的图表接着描绘至18030frame(约10分钟)时的图表。
151.图39、图40的纵轴表示角度(degree)，横轴表示时间(frame)。图39、图40的图表的情况下，将某一任意时间小鼠的身体朝向设为笔直(图表的纵轴的0度)时，从该时点起，例如小鼠朝向右方时，图41、图42的图表向负方向摆动。例如小鼠向后转等时，身体朝向会变化150度以上，因此图表剧烈摆动。
152.然后，参照图43、图44对笼子内小鼠的总移动距离(总移动量)进行说明。图43是表示从测量开始到初始移动的1320frame(44秒)为止的时间与小鼠的总移动距离的关系的图表。图44是将图43的图表接着描绘至18030frame(约10分钟)时的图表。
153.图43、图44的纵轴表示距离(pixel)，横轴表示时间(frame)。图43的图表是总距离(总移动距离)，是累计上述移动距离而成的图表，将测量开始时点设为0，加上小鼠移动的距离，最终表示从测量开始起的移动距离。图43、图44的图表中，在上述移动速度的图表(图39的图表)中，难以了解瞬间的状态，但通过对照该总移动距离的图表与移动速度的图表，可得知停留在这一瞬间等的情况。该图表中，最终可知移动距离的多少，也可得知在中途的哪个时刻移动量突然增加之类的情况。即通过这些图表，可在速度与移动量两方面掌握小鼠的行为。例如在图39的图表中，前端的红点(图中的圆点)随时间经过而上下摆动，但红点横向移动时，则表示小鼠未移动，在图39的速度图表中为接近0的值。
154.然后，参照图45、图46对小鼠在笼子内转动的行为进行说明。图45是表示从测量开始到初始移动的1320frame(44秒)为止的时间与小鼠的转动行为(角速度)的关系的图表。图46是将图45的图表接着描绘至18030frame(约10分钟)时的图表。
155.图45、46的纵轴表示距离
×
角度(pixel
×
rad)，横轴表示时间(frame)。图45、46的图表表示身体朝向的变化，是按时间序列将身体朝向变化的角度予以图表化，且是通过将移动距离乘以身体朝向变化的角度，例如20度、30度等角度而获得。图45、46的图表中，只是单纯地停留在原地并转动的话，则值为0，边改变身体朝向还边移动的话，则图表会大幅上下摆动。从图45、46的图表可看出，例如只是身体朝向改变的话，可认定为四处张望的行为，但若停留在原地改变身体朝向，并转来转去的话，可看出其拼命想要确认周围状况的精神状态。通过不仅将小鼠的行为与之前身体的朝向进行比较，还考虑到移动，从而可看到另外的行为。
156.然后，参照图47、图48对小鼠在笼子内移动的速度进行说明。图47是表示从测量开始到初始移动的1320frame(44秒)为止的时间与小鼠移动的速度的关系的图表。图48是将图47的图表接着描绘至18030frame(约10分钟)时的图表。
157.图47、图48的纵轴表示距离/时间(pixel/sec)，横轴表示时间(frame)。图47、图48的图表是在概念上类似于图39、图40的移动速度图表的图表。图39、图40的图表测量每30帧的距离。例如在0帧、30帧、以及60帧之间也存在数据，但图39、图40的图表中仅比较0帧与30帧、30帧与60帧来计算移动速度，在该图47、图48的图表中，通过取0帧与1帧之间的差并将其除以时间来计算速度，可以说是更详细的速度指标。小鼠与人类的时间流逝速度不同，人类的1秒相当于小鼠的零点几秒。图39、图40的图表输出每1秒的速度，但这是针对人类感官的，在图47、图48的图表中，通过以小鼠更细微的感官输出速度，小鼠的行为得以更好地表现。
158.然后，参照图49、图50对小鼠在笼子内转动的角速度进行说明。图49是表示从测量开始到初始移动的1320frame(44秒)为止的时间与小鼠移动的角速度的关系的图表。图50是将图49的图表接着描绘至18030frame(约10分钟)时的图表。
159.图49、50的纵轴表示角度/时间(degree/sec)，横轴表示时间(frame)。图45、图46的图表显示小鼠的身体朝向与距离的关系，而图49、图50的图表是将图45、图46的图表的数值除以时间来计算出的。图45、图46的图表中，将小鼠身体角度的变化予以数值化，但图49、50的图表是对角度的变化进行时间微分而得，和前述速度与移动距离(移动量)的关系同样，表示角度与角速度的关系，因此与图45、图46的图表一起进行比较，例如可验证小鼠是否瞬间停留等。即图45、图46的图表中，可同时看到移动速度与移动量。例如如果有瞬间弹升的数值，该弹升的高度越高，则可知小鼠越快地转动且移动的状况。另一方面，数值越低(数值越接近0)，则可以说是越缓慢地转动且移动。
160.接着，参照图51至图54对包括从动态图像检测小鼠的外廓、身体朝向的动作进行说明。
图51是表示利用照相机拍摄笼子内而获得的动态图像(原始动态图像)的某个时刻的单位图像的图。图52是表示从单位图像中识别出的多个(两只)小鼠各自的外廓(轮廓)的图。图53是表示两只小鼠中一只小鼠的朝向(从身体中心到鼻尖的方向)的图。图54是表示两只小鼠中另一只小鼠的朝向(从身体中心到鼻尖的方向)的图。
161.上述第1实施方式及第2实施方式中，说明了分别进行外廓(轮廓)检测处理、以及身体部位提取处理的例子，通过组合这些处理，可更详细地分析小鼠的行为。
162.这种情况下，在原始动态图像的某个时刻，提取图51所示的单位图像，对所提取的单位图像进行图像分析，进行个体识别后，如图52所示，将多个(两只)白色小鼠各自的外廓(轮廓)分为例如红色与蓝色等不同颜色输出。此外，如图53所示，检测两只小鼠中一只小鼠(图52上侧的外廓(红色)的小鼠)的重心，并根据耳朵、眼睛、鼻尖的位置关系检测身体的朝向，通过从重心到鼻尖的方向画一条线段，来检测小鼠脸的朝向(鼻尖的方向)。
163.同样，如图54所示，检测两只小鼠中另一只小鼠(图52下侧的外廓(蓝色)的小鼠)的重心，并根据耳朵、眼睛、鼻尖的位置关系检测身体的朝向，通过从重心到鼻尖画一条线段，来检测小鼠脸的朝向(鼻尖的方向)。
164.这样，通过组合外廓识别与部位提取的各个处理，可检测小鼠脸的朝向(鼻尖的方向)，能够更详细地分析停留在原地状态下的转动行为、前进、后退等小鼠行为。
165.换句话说，本发明适用的信息处理装置可采用具有如下构成的各种实施方式。信息处理装置对应于具有第2实施方式中说明的图16的功能构成的图像处理装置2及具有第3实施方式中说明的图24的功能构成的服务器200。即本发明适用的第2信息处理装置(例如图16的图像处理装置2、图24的服务器200等)包括：图像获取单元(例如图16的图像获取部51)，用于获取分析对象的图像(例如动态图像等影像)，该分析对象的图像是对一个以上动物在一定行动范围内活动的情形进行拍摄而获得，且由多个单位图像在时间方向上排列所构成；外廓检测单元(例如图16的外廓检测部57)，针对前述多个单位图像的每一个，使用骨骼推估模型来检测前述一个以上动物各自的身体外廓(身体的轮廓等)，该骨骼推估模型在输入单位图像时推估并输出动物的身体骨骼；个体识别单元(例如图16的个体识别部54)，根据将由前述外廓检测单元(例如图16的外廓检测部57)从前述多个单位图像的每一个检测到的前述一个以上动物各自的身体的前述外廓(身体的轮廓等)的时间序列输入到个体识别模型而获得的输出，来识别前述多个单位图像的每一个中的前述一个以上动物的各个个体，该个体识别模型在输入前述动物身体的一个以上外廓的时间序列时输出该动物的个体；指定单元(例如图24的指定部471等)，用于指定针对前述分析对象的前述图像的分析属性(分析对象的种类(例如小鼠、大鼠等)、分析对象的动物的拍摄方向(例如上方、斜上方、横向等)、分析对象的动物的颜色(例如白色、黑色等))；以及模型选择单元(例如图24的模型选择部472等)，根据由前述指定单元指定的前述图像的前述分析属性，从多种前述骨骼推估模型中选择适用于前述外廓检测单元(例如图16的外廓检测部57)的对象，并从多种前述个体识别模型中选择适用于前述个体识别单元
(例如图16的个体识别部54)的对象。在以这种方式构成的信息处理装置中，预先准备多种骨骼推估模型、个体识别模型，当指定针对分析对象的图像的分析属性时，根据指定的图像的分析属性，从多种骨骼推估模型中选择适用于外廓检测单元(例如图16的外廓检测部57)的对象，并从多种个体识别模型中选择适用于个体识别单元(例如图16的个体识别部54)的对象。然后，当有图像的分析指示时，使用所选择的动物的骨骼推估模型及个体识别模型，按时间序列分析从该图像的多个单位图像的每一个所提取的多个外廓，根据该分析结果识别一个以上动物的各个个体，因此能从拍摄有在一定行动范围内活动的一个以上动物(例如小鼠等)的图像中正确辨别出小鼠的各个个体。另外，第2信息处理装置(例如图16等的图像处理装置2、图24的服务器200等)还包括：生成单元(例如图16的数据帧生成部53)，生成表示伴随前述动物的行为而变化的前述外廓为特定行为的概率的数据帧；以及行为判定单元(例如图16的行为判定部56)，当前述数据帧中为前述特定行为的概率的值满足预先设定的一个以上条件中的任一条件时，判定与满足的前述条件对应的行为。通过这种构成，当伴随变化的小鼠外廓为特定行为的概率的值满足条件时，判定与该条件对应的行为，因此可得知在一定行动范围内行动的各个小鼠的行为理由。前述行为判定单元(例如图16的行为判定部56)还包括行为检测单元(例如图16的行为检测部81)，其在满足规定了前述动物的外廓与其他部位(其他动物的外廓、笼子的角落)的位置关系的条件时，检测与该位置关系相关联的行为(抓挠行为、梳毛等)。由此，可得知当动物在有限行动范围内行动时，例如因抓挠行为而感到压力等的行为理由。此外，可得知对其他动物进行梳毛行为时，是试图与其他动物建立关系等的行为理由。前述行为包括与各个前述动物的社会性相关的行为、与存在于相同行动范围内的动物彼此的相互作用相关的行为、与动物之间的关系相关的行为中的至少一种。由此，可得知动物的行为理由是与社会性相关的行为、还是与存在于相同行动范围内的动物彼此的相互作用相关的行为、或是与动物之间的关系相关的行为。包括标记图像生成单元(例如图16的标记图像生成部55)，用于生成带标记的图像，该带标记的图像是将由前述外廓检测单元(例如图16的外廓检测部57)检测到的前述动物各自的身体外廓与表示由前述个体识别单元(例如图16的个体识别部54)识别出前述动物的个体的标记相对应。由此，通过显示带标记的图像，可利用标记辨别图像中所存在的一个以上动物。此外，在辨别动物后，可检测这些个体的外廓，为它们的变化(身体的移动)赋予意义并进行评价。第2信息处理装置(例如图16等的图像处理装置2、图24的服务器200等)包括：图像获取单元(例如图16的图像获取部51)，用于获取多个图像组(动态图像)，该多个图像组是对一个以上动物在一定行动范围内活动的情形进行拍摄而获得的多个单位图像(像素)所构成的帧图像在时间方向上排列而成；
判定单元(图16的个体辨识部91等)，用于判定前述各单位图像属于前述一个以上动物各自的哪个区域；特定单元(例如图16的数据帧生成部53)，针对前述动物的每个区域，利用表示距前述图像中预定基准点的距离的坐标来确定前述动物的外廓(身体的轮廓等)位置；以及个体识别单元(例如图16的个体识别部54)，分析由前述特定单元所确定的前述外廓的位置、范围随时间经过而变化的情形，并根据该分析结果识别(分类)前述图像所包括的前述一个以上的各个前述动物。此外，还包括行为判定单元(例如图16的行为判定部56)，针对由前述个体识别单元(例如图16的个体识别部54)所识别(分类)的每个动物，判定前述外廓的变化是否符合预先设定的条件，并将与符合的前述条件对应的前述动物的行为标签(抓挠行为、睡眠中、梳毛行为等)赋予给包括该部位的前述图像的时刻信息(时间戳)。由此，可得知动物的行为属于抓挠行为、睡眠中、梳毛行为等中的哪种行为。(符号说明)
[0166]1…
照相机、2
…
信息处理装置、11
…
cpu、41
…
图像db、42
…
模型db、43
…
材料db、51
…
图像获取部、52
…
部位提取部、53
…
数据帧生成部、54
…
个体识别部、55
…
标记图像生成部、56
…
行为判定部、57
…
外廓检测部、61
…
动态图像获取部、62
…
单位图像生成部、81
…
行为检测部、82
…
行为预测部、71、91
…
个体辨识部、72
·
…
部位检测部、92
…
外廓特定部、450
…
图像分析部、451
…
网络服务部、452
…
处理部、461
…
认证部、462
…
检索部、463
…
检索结果输出部、464
…
分析数据追加部、465
…
分析结果显示控制部、471
…
指定部、472
…
模型选择部、491
…
上传数据管理部、492
…
未处理数据管理部。

技术特征：
1.一种信息处理装置，包括：图像获取单元，用于获取分析对象的图像，所述分析对象的图像是对一个以上动物在一定行动范围内活动的情形进行拍摄而获得，且由多个单位图像在时间方向上排列所构成；外廓检测单元，针对所述多个单位图像的每一个，使用骨骼推估模型来检测所述一个以上动物各自的身体外廓，所述骨骼推估模型在输入单位图像时推估并输出动物的身体骨骼；个体识别单元，根据将由所述外廓检测单元从所述多个单位图像的每一个检测到的所述一个以上动物各自的身体的所述外廓的时间序列输入到个体识别模型而获得的输出，来识别所述多个单位图像的每一个中的所述一个以上动物的各个个体，所述个体识别模型在输入所述动物的身体的一个以上外廓的时间序列时输出所述动物的个体；指定单元，用于指定针对所述分析对象的所述图像的分析属性；以及模型选择单元，根据由所述指定单元指定的所述图像的所述分析属性，从多种所述骨骼推估模型中选择适用于所述外廓检测单元的对象，并从多种所述个体识别模型中选择适用于所述个体识别单元的对象。2.根据权利要求1所述的信息处理装置，其中，所述信息处理装置还包括：生成单元，生成表示伴随所述动物的行为而变化的所述外廓的位置推移的数据帧；以及行为判定单元，当所述数据帧中所述外廓的位置推移满足预先设定的一个以上条件中的任一条件时，判定与满足的所述条件对应的行为。3.根据权利要求2所述的信息处理装置，其中，所述行为判定单元还包括行为检测单元，其在满足规定了所述动物的外廓与其他特定部位的位置关系的条件时，检测与所述位置关系相关联的行为。4.根据权利要求3所述的信息处理装置，其中，所述行为包括与各个所述动物的社会性相关的行为、与存在于相同行动范围内的动物彼此的相互作用相关的行为、与动物之间的关系相关的行为中的至少一种。5.一种信息处理方法，由信息处理装置所执行，包括下列步骤：图像获取步骤，用于获取图像，所述图像是对一个以上动物在一定行动范围内活动的情形进行拍摄而获得，且由多个单位图像在时间方向上排列所构成；外廓检测步骤，针对所述多个单位图像的每一个，使用骨骼推估模型来检测所述一个以上动物各自的身体外廓，所述骨骼推估模型在输入单位图像时推估并输出动物的身体骨骼；个体识别步骤，根据将从所述多个单位图像的每一个检测到的所述一个以上动物各自的身体的所述外廓的时间序列输入到个体识别模型而获得的输出，来识别所述多个单位图像的每一个中的所述一个以上动物的各个个体，所述个体识别模型在输入所述动物的身体的一个以上外廓的时间序列时输出所述动物的个体；指定步骤，用于指定针对所述分析对象的所述图像的分析属性；以及模型选择步骤，根据指定的所述图像的所述分析属性，从多种所述骨骼推估模型中选
择适用于所述外廓检测步骤的对象，并从多种所述个体识别模型中选择适用于所述个体识别步骤的对象。6.一种程序，用于使控制信息处理装置的计算机执行控制处理，所述控制处理包括下列步骤：图像获取步骤，用于获取图像，所述图像是对一个以上动物在一定行动范围内活动的情形进行拍摄而获得，且由多个单位图像在时间方向上排列所构成；外廓检测步骤，针对所述多个单位图像的每一个，使用骨骼推估模型来提取所述一个以上动物各自的身体外廓，所述骨骼推估模型在输入单位图像时推估并输出动物的身体骨骼；个体识别步骤，根据将从所述多个单位图像的每一个检测到的所述一个以上动物各自的身体的所述外廓的时间序列输入到个体识别模型而获得的输出，来识别所述多个单位图像的每一个中的所述一个以上动物的各个个体，所述个体识别模型在输入所述动物的身体的一个以上外廓的时间序列时输出所述动物的个体；指定步骤，用于指定针对所述分析对象的所述图像的分析属性；以及模型选择步骤，根据指定的所述图像的所述分析属性，从多种所述骨骼推估模型中选择适用于所述外廓检测步骤的对象，并从多种所述个体识别模型中选择适用于所述个体识别步骤的对象。

技术总结
本发明的课题是：能够从对在一定行动范围内活动的一个以上小鼠进行拍摄所得的图像中辨别出小鼠的各个个体。图像处理装置(2)包括图像获取部(51)、部位提取部(52)、以及个体识别部(54)。图像获取部(51)获取对一个以上动物在一定行动范围内活动的情形进行拍摄所获得的动态图像。外廓检测部(57)针对动态图像所包括的多个单位图像的每一个检测一个以上动物各自的身体外廓。个体识别部(54)按时间序列分析由外廓检测部(57)从多个单位图像的每一个检测到的多个外廓，并根据该分析结果识别多个单位图像的每一个中的一个以上动物的各个个体。由此解决课题。由此解决课题。由此解决课题。


技术研发人员：村田幸久 小林幸司 松下诚司 清水直行 汤浅智之 港高志
受保护的技术使用者：国立大学法人东京大学
技术研发日：2021.12.20
技术公布日：2023/8/24