一种观察影像记录、评估的方法及系统与流程

1.本发明属于幼儿互联网教育技术领域，具体涉及一种观察影像记录、评估的方法及系统。


背景技术：

2.为了“不让孩子输在起跑线上”，人们对幼儿成长的重视程度在不断提升，幼儿已成为当今社会最为核心的关注对象，如何让幼儿有个快乐的童年并使其健康成长，不但是家庭的关注焦点，更是祖国和民族未来的希望。幼儿园作为幼儿成长的基地，肩负起了幼儿快乐成长的重任。在传统方式下，幼儿的成长中的管理，包括：教学，兴趣爱好，游戏，膳食，卫生保健等诸多环节，这些管理多半釆用人工管理和记录，这种方式一来是浪费财力，二来效率低下，同时也使对幼儿成长过程中的查找和量化幼儿工作带来了不变。随着信息技术的日益发展，幼儿成长的管理应更多的釆用信息化网络化技术，挖掘幼儿成长的快乐过程，量化幼儿成长中的管理指标。
3.现有技术中，如申请号为201110567984.0的中国专利申请文件公开了一种幼儿成长档案的电子化收集、分类和归档系统及方法，包括老师客户端、家长客户端、后台存储模块和后台处理模块；其中老师客户端包括：类型选择模块ⅰ，幼儿选择模块，内容记录模块ⅰ；家长客户端包括：类型选择模块ⅱ，内容记录模块ⅱ，标签加注模块ⅱ，档案上传模块ⅱ；后台存储模块，用于存储老师客户端和家长客户端上传的记录档案；后台处理模块根据幼儿判断模块判断的结果对后台存储模块内的记录档案按幼儿、记录类型和标签三个维度进行分类归档。
4.其记录的文档类型包括照片、视频、贴纸、评语、健康记录和作品收集中的一种或几种，但是其缺乏对幼儿的各个成长阶段的是视频所反映出来的情绪以及成长健康状况的评价方法和指标，无法量化反应幼儿的成长管理是否达标。


技术实现要素：

5.本发明针对上述缺陷，提供一种观察影像记录、评估的方法及系统。本发明可以全方位立体化地反应该次采集时一天内的不同时间段幼儿生活的情绪变化。本发明提供如下技术方案：一种观察影像记录、评估的方法，方法包括以下步骤：
6.步骤1)、采用摄像头定期采集幼儿生活的观察影像；
7.步骤2)、将采集到的观察影像上传至云存储器中；
8.步骤3)、将每个时段的观察影像进行分类，并与实时位置进行关联进行标记，并对在每个时段内的观察影像内进行位置细分分类；
9.步骤4)、对步骤3)细分得到的与位置关联的每个时段的观察影像中的特定语音进行识别，并对其中每一帧图像进行特定情绪表情、特定动作识别；
10.步骤5)、根据识别得到的特定语音、情绪表情以及特定动作进行评估，判断幼儿生活的情绪状态。
11.进一步地，采用摄像头采集幼儿生活的观察影像的频率为每隔2-3天一次。
12.进一步地，步骤3)中对观察影像进行分类的时段分别为早餐时间段、早读时间段、早间体育活动时间段、午餐时间段、下午课时间段和下午体育活动时间段。
13.进一步地，步骤4)中的特定语音包括幼儿哭闹、大叫和摔东西声音。
14.进一步地，步骤4)中的特定情绪表情为张嘴大喊、哭泣和惊恐中的一种或多种，步骤4)中的特定动作为摔东西、打人中的一种。
15.进一步地，步骤5)中根据识别得到的特定语音、情绪表情以及特定动作进行评估的公式如下：
[0016][0017]
其中，ω1为特定语音系数，ω2为特定情绪表情系数，ω3为特定动作系数，ω1＝0.6，ω2+ω3＝0.4；a1为特定语音识别值，若识别得到特定语音，则a1＝1，否则a1＝0；a2为特定情绪表情识别值，若识别得到特定情绪表情，则a2＝1，否则a2＝0；a3为特定动作识别值，若识别得到特定动作，则a3＝1，否则a3＝0。
[0018]
进一步地，步骤5)中判断幼儿生活的情绪状态的阈值为0.88，若f(x)＞0.88，则表明幼儿生活情绪状态处于焦躁不安状态，否则表明幼儿生活情绪状态良好。
[0019]
本发明还提供采用如上方法的一种观察影像记录、评估系统，包括摄像头，还包括云存储器、实时gps定位模块、分类关联模块、识别模块和幼儿评估模块；
[0020]
摄像头，用于定期采集幼儿生活的观察影像；
[0021]
云存储器，用于存储摄像头采集到的观察影像；
[0022]
实时gps定位模块，用于实时识别被监测幼儿所在地理位置；
[0023]
分类关联模块，用于将每个时段的观察影像进行分类，并与实时位置进行关联进行标记，并对在每个时段内的观察影像内进行位置细分分类；
[0024]
识别模块，用于对细分得到的与位置关联的每个时段的观察影像中的特定语音进行识别，并对其中每一帧图像进行特定情绪表情、特定动作识别；
[0025]
幼儿评估模块，用于根据识别得到的特定语音、情绪表情以及特定动作进行评估，判断幼儿生活的情绪状态。
[0026]
本发明还提供一种电子设备，包括：
[0027]
存储器，用于存储计算机程序；
[0028]
处理器，用于调用计算机程序，使得电子设备执行如上任一项的一种观察影像记录、评估的方法。
[0029]
本发明还提供一种计算机介质，计算机介质包括计算机指令，当计算机指令在电子设备上运行时，电子设备执行如上任一项的一种观察影像记录、评估的方法。
[0030]
本发明的有益效果为：
[0031]
1、本发明提供的观察影像记录、评估的方法可以通过摄像头有规律地设置采集摄像头采集幼儿生活影像，在一次的采集过程中分为一天中的几个不同时间段对幼儿生活的影像均进行采集，可以全方位立体化地反应该次采集时一天内的不同时间段幼儿生活的情绪变化。
[0032]
2、本发明提供的观察影像记录、评估的方法将采集到的影像上传至云存储器内与
幼儿所在地理位置进行关联，并对每个时段内的观察影像内进行位置细分分类，便于后期的幼儿成长电子档案的制作过程中，对关键时间点的影像进行精确提取，避免了在众多的电子影像记录中逐一打开查看查找的时间浪费。
[0033]
3、本发明提供的观察影像记录、评估的方法通过对幼儿生活影像中细分得到的与位置关联的每个时段的观察影像中的特定语音进行识别，并对其中每一帧图像进行特定情绪表情、特定动作识别；再根据识别得到的特定语音、情绪表情以及特定动作进行评估，判断幼儿生活的情绪状态；从能够反映幼儿情绪的特定语音、情绪表情和特定动作等方面全面立体化地精准捕捉了幼儿生活的不稳定情绪的变化，有效提高了观察影像的评估准确度和立体性。
附图说明
[0034]
在下文中将基于实施例并参考附图来对本发明进行更详细的描述。其中：
[0035]
图1为本发明提供的一种观察影像记录、评估的方法流程示意图；
[0036]
图2为本发明提供的一种观察影像记录、评估系统结构示意图；
[0037]
图3为采用本发明提供的一种观察影像记录、评估的方法的电子设备结构示意图。
具体实施方式
[0038]
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
[0039]
如图1所示，为本发明提供的一种观察影像记录、评估的方法，方法包括以下步骤：
[0040]
步骤1)、采用摄像头定期采集幼儿生活的观察影像；
[0041]
步骤2)、将采集到的观察影像上传至云存储器中；
[0042]
步骤3)、将每个时段的观察影像进行分类，并与实时位置进行关联进行标记，并对在每个时段内的观察影像内进行位置细分分类；
[0043]
步骤4)、对步骤3)细分得到的与位置关联的每个时段的观察影像中的特定语音进行识别，并对其中每一帧图像进行特定情绪表情、特定动作识别；
[0044]
步骤5)、根据识别得到的特定语音、情绪表情以及特定动作进行评估，判断幼儿生活的情绪状态。
[0045]
进一步地，采用摄像头采集幼儿生活的观察影像的频率为每隔2-3天一次。通过间歇性地2-3天采集一次幼儿生活的观察影像，不至于使云存储器内存储的影像数量过多，例如每天都采集幼儿生活影像时，相邻两次采集的幼儿生活影像不能明显地区分出有什么特别的成长区别，也会导致占用过多云存储空间以及浪费采集人员的工作时间。因此，设置采用摄像头采集幼儿生活的观察影像的频率为2-3天一次可以有效地区分出相邻两次采集幼儿生活的观察影像中同一个幼儿的成长中的情绪变化等不同。
[0046]
进一步地，步骤3)中对观察影像进行分类的时段分别为早餐时间段、早读时间段、早间体育活动时间段、午餐时间段、下午课时间段和下午体育活动时间段。本发明提供的观察影像记录方法从以上各个时间段分别对被采集幼儿生活的一天内可能发生情绪波动的
关键时间段分别进行影像采集，有利于对一天内的情绪波动进行纵向统计以及在一个阶段内的多天内的生活影像中同一采集时间段内的情绪波动进行横向统计，有效提高了统计的全面立体程度以及分析的覆盖面，提高了评估的立体化程度。
[0047]
进一步地，步骤4)中的特定语音包括幼儿哭闹、大叫和摔东西声音。
[0048]
进一步地，步骤4)中的特定情绪表情为张嘴大喊、哭泣和惊恐中的一种或多种，步骤4)中的特定动作为摔东西、打人中的一种。
[0049]
幼儿发生情绪波动的特定语音以及情绪表情、动作可以有效通过摄像头摄像的影片中的语音以及每一帧图像中的变化精准捕捉幼儿的情绪波动。
[0050]
进一步地，步骤5)中根据识别得到的特定语音、情绪表情以及特定动作进行评估的公式如下：
[0051][0052]
其中，ω1为特定语音系数，ω2为特定情绪表情系数，ω3为特定动作系数，ω1＝0.6，ω2+ω3＝0.4；a1为特定语音识别值，若识别得到特定语音，则a1＝1，否则a1＝0；a2为特定情绪表情识别值，若识别得到特定情绪表情，则a2＝1，否则ω2＝0；a3为特定动作识别值，若识别得到特定动作，则a3＝1，否则a3＝0。
[0053]
进一步地，步骤5)中判断幼儿生活的情绪状态的阈值为0.88，若f(x)＞0.88，则表明幼儿生活情绪状态处于焦躁不安状态，否则表明幼儿生活情绪状态良好。
[0054]
如图2所示，本发明还提供采用如上方法的一种观察影像记录、评估系统，包括摄像头，还包括云存储器、实时gps定位模块、分类关联模块、识别模块和幼儿评估模块；
[0055]
摄像头，用于定期采集幼儿生活的观察影像；
[0056]
云存储器，用于存储摄像头采集到的观察影像；
[0057]
实时gps定位模块，用于实时识别被监测幼儿所在地理位置；
[0058]
分类关联模块，用于将每个时段的观察影像进行分类，并与实时位置进行关联进行标记，并对在每个时段内的观察影像内进行位置细分分类；
[0059]
识别模块，用于对细分得到的与位置关联的每个时段的观察影像中的特定语音进行识别，并对其中每一帧图像进行特定情绪表情、特定动作识别；
[0060]
幼儿评估模块，用于根据识别得到的特定语音、情绪表情以及特定动作进行评估，判断幼儿生活的情绪状态。
[0061]
如图3所示，本发明还提供一种电子设备，包括：
[0062]
存储器，用于存储计算机程序；
[0063]
处理器，用于调用计算机程序，使得电子设备执行如上任一项的一种观察影像记录、评估的方法。
[0064]
在一些实施例中，电子设备10是一种能够按照事先设定或存储的指令，自动进行数值计算和/或信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路、可编程门阵列、数字处理器及嵌入式设备等。
[0065]
电子设备10还可包括客户设备，客户设备包括但不限于任何一种可与客户通过键盘、鼠标、遥控器、触摸板或声控设备等方式进行人机交互的电子产品，例如，个人计算机、平板电脑、智能手机、数码相机等。
[0066]
需要说明的是，电子设备10仅为举例，其他现有的或今后可能出现的电子产品如可适应于本技术，也应包含在本技术的保护范围以内，并以引用方式包含于此。
[0067]
在一些实施例中，存储器14用于存储程序代码和各种数据，例如虚拟影像观察记录、评估处理装置，并在电子设备10的运行过程中实现高速、自动地完成程序或数据的存取。
[0068]
存储器14包括只读存储器(read-only memory，rom)、可编程只读存储器(programmable read-only memory，prom)、可擦除可编程只读存储器(erasable programmable read-only memory，eprom)、一次可编程只读存储器(one-time programmable read-only memory，otprom)、电子擦除式可复写只读存储器(electrically-erasable programmable read-only memory，eeprom)、只读光盘(compact disc read-only memory，cd-rom)或其他光盘存储器、磁盘存储器、磁带存储器、或者能够用于携带或存储数据的计算机可读的任何其他介质。
[0069]
在一些实施例中，至少一个处理器11可以由集成电路组成，例如可以由单个封装的集成电路所组成，也可以是由多个相同功能或不同功能封装的集成电路所组成，包括一个或者多个中央处理器(central processing unit，cpu)、微处理器、数字处理芯片、图形处理器及各种控制芯片的组合等。
[0070]
至少一个处理器11是电子设备10的控制核心(control unit)，利用各种接口和线路连接整个电子设备10的各个部件，通过运行或执行存储在存储器14内的程序或者模块，以及调用存储在存储器14内的数据，以执行电子设备10的各种功能和处理数据。
[0071]
在一些实施例中，至少一条通信总线13被设置为实现存储器14以及至少一个处理器11等之间的连接通信。
[0072]
在一些实施例中，通信接口12使用任何收发器一类的装置，用于与其它设备或通信网络通信，如以太网，无线接入网(ran)，无线局域网(wireless local area networks，wlan)等。
[0073]
尽管未示出，电子设备10还可以包括给各个部件供电的电源(比如电池)，可选地，电源可以通过电源管理装置与至少一个处理器11逻辑相连，从而通过电源管理装置实现管理充电、放电、以及功耗管理等功能。电源还可以包括一个或一个以上的直流或交流电源、再充电装置、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
[0074]
电子设备10还可以包括多种传感器、蓝牙模块等。
[0075]
可以理解，实施例仅为说明之用，在专利申请范围上并不受此结构的限制。上述以软件功能模块的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，电子设备，或者网络设备等)或处理器(processor)执行本技术各个实施例方法的部分。
[0076]
在本技术所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0077]
进一步地，计算机可读存储介质可以是非易失性，也可以是易失性。
[0078]
进一步地，计算机可读存储介质主要包括存储程序区和存储数据区，其中，存储程
序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据区块链节点的使用所创建的数据等。
[0079]
作为分离部件说明的模块可以是或者也可以不是物理上分开的，作为模块显示的部件可以是或者也可以不是物理单元，既可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。
[0080]
另外，在本技术各个实施例中的各功能模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能模块的形式实现。
[0081]
本技术领域的普通技术人员应当认识到，以上的实施方式仅是用来说明本技术，而并非用作为对本技术的限定，只要在本技术的实质精神范围之内，对以上实施例所作的适当改变和变化都落在本技术要求保护的范围之内。
[0082]
本发明还提供一种计算机介质，计算机介质包括计算机指令，当计算机指令在电子设备上运行时，电子设备执行如上任一项的一种观察影像记录、评估的方法。
[0083]
可以理解的是，上述提供的方法实施例与上述的系统实施例对应，相应的具体内容可以相互参考，在此不再赘述。
[0084]
本领域内的技术人员应明白，本技术的实施例可提供为方法、系统、或计算机程序产品。因此，本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器和光学存储器等)上实施的计算机程序产品的形式。
[0085]
本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0086]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令方法的制造品，该指令方法实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0087]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0088]
以上，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。因此，本发明的保护范围应以权利要求的保护范围为准。

技术特征：
1.一种观察影像记录、评估的方法，方法包括以下步骤：步骤1)、采用摄像头定期采集幼儿生活的观察影像；其特征在于，方法还包括以下步骤：步骤2)、将采集到的观察影像上传至云存储器中；步骤3)、将每个时段的观察影像进行分类，并与实时位置进行关联进行标记，并对在每个时段内的观察影像内进行位置细分分类；步骤4)、对步骤3)细分得到的与位置关联的每个时段的观察影像中的特定语音进行识别，并对其中每一帧图像进行特定情绪表情、特定动作识别；步骤5)、根据识别得到的特定语音、情绪表情以及特定动作进行评估，判断幼儿生活的情绪状态。2.根据权利要求1的一种观察影像记录、评估的方法，其特征在于，采用摄像头采集幼儿生活的观察影像的频率为每隔2-3天一次。3.根据权利要求1的一种观察影像记录、评估的方法，其特征在于，步骤3)中对观察影像进行分类的时段分别为早餐时间段、早读时间段、早间体育活动时间段、午餐时间段、下午课时间段和下午体育活动时间段。4.根据权利要求1的一种观察影像记录、评估方法，其特征在于，步骤4)中的特定语音包括幼儿哭闹、大叫和摔东西声音。5.根据权利要求1的一种观察影像记录、评估方法，其特征在于，步骤4)中的特定情绪表情为张嘴大喊、哭泣和惊恐中的一种或多种，步骤4)中的特定动作为摔东西、打人中的一种。6.根据权利要求1的一种观察影像记录、评估方法，其特征在于，步骤5)中根据识别得到的特定语音、情绪表情以及特定动作进行评估的公式如下：其中，ω1为特定语音系数，ω2为特定情绪表情系数，ω3为特定动作系数，ω1＝0.6，ω2+ω3＝0.4；a1为特定语音识别值，若识别得到特定语音，则a1＝1，否则a1＝0；a2为特定情绪表情识别值，若识别得到特定情绪表情，则a2＝1，否则ω2＝0；a3为特定动作识别值，若识别得到特定动作，则a3＝1，否则a3＝0。7.根据权利要求6的一种观察影像记录、评估方法，其特征在于，步骤5)中判断幼儿生活的情绪状态的阈值为0.88，若f(x)＞0.88，则表明幼儿生活情绪状态处于焦躁不安状态，否则表明幼儿生活情绪状态良好。8.采用如权利要求1-7任一项方法的一种观察影像记录、评估系统，包括摄像头，其特征在于，还包括云存储器、实时gps定位模块、分类关联模块、识别模块和幼儿评估模块；摄像头，用于定期采集幼儿生活的观察影像；云存储器，用于存储摄像头采集到的观察影像；实时gps定位模块，用于实时识别被监测幼儿所在地理位置；分类关联模块，用于将每个时段的观察影像进行分类，并与实时位置进行关联进行标记，并对在每个时段内的观察影像内进行位置细分分类；识别模块，用于对细分得到的与位置关联的每个时段的观察影像中的特定语音进行识
别，并对其中每一帧图像进行特定情绪表情、特定动作识别；幼儿评估模块，用于根据识别得到的特定语音、情绪表情以及特定动作进行评估，判断幼儿生活的情绪状态。9.一种电子设备，其特征在于，包括：存储器，用于存储计算机程序；处理器，用于调用计算机程序，使得电子设备执行如权利要求1-7任一项的一种观察影像记录、评估的方法。10.一种计算机介质，其特征在于，计算机介质包括计算机指令，当计算机指令在电子设备上运行时，电子设备执行如权利要求1-7任一项的一种观察影像记录、评估的方法。

技术总结
本发明提供一种观察影像记录、评估的方法，方法包括以下步骤：采用摄像头定期采集幼儿生活的观察影像；将采集到的观察影像上传至云存储器中；将每个时段的观察影像进行分类，并与实时位置进行关联进行标记，并对在每个时段内的观察影像内进行位置细分分类；对细分得到的与位置关联的每个时段的观察影像中的特定语音进行识别，并对其中每一帧图像进行特定情绪表情、特定动作识别；根据识别得到的特定语音、情绪表情以及特定动作进行评估，判断幼儿生活的情绪状态。本发明在一次的采集过程中分为一天中的几个不同时间段对幼儿生活的影像均进行采集，可以全方位立体化地反应该次采集时一天内的不同时间段幼儿生活的情绪变化。集时一天内的不同时间段幼儿生活的情绪变化。集时一天内的不同时间段幼儿生活的情绪变化。


技术研发人员：孙苏良 章家琪
受保护的技术使用者：上海呈合信息科技有限公司
技术研发日：2023.06.16
技术公布日：2023/10/6