干预效果评估方法、装置、终端设备及存储介质
未命名
07-27
阅读:216
评论:0

1.本技术属于干预评估技术领域,尤其涉及干预效果评估方法、装置、终端设备及计算机可读存储介质。
背景技术:
2.孤独症谱系障碍(asd,autistic spectrum disorder)又称自闭症,起病于婴幼儿期,是一系列复杂的神经发展障碍性疾病,会影响儿童的社交、行为和交流能力。孤独症的核心症状主要体现为:社会交流障碍、语言交流障碍和重复刻板行为。
3.如果早期能够识别出孤独症儿童的症状并实施高质量的干预,将可以显著改善这些孤独症儿童的发育结果。例如,在早期,对孤独症儿童进行一段时间交流技能和适应性技能的训练,并且,后续继续进行大量、长期的干预和训练才能让孤独症儿童过渡到成年期。即只有对孤独症儿童进行早期且长期的干预,效果才能更显著,然而社会资源面临着目前的服务配置无法满足需求的问题。
4.目前的干预方法中,主要依赖于专业医师现场采用一次性的评估表对孤独症儿童进行预后评估。由于现有的干预方法对医师的专业性的依赖性较强,因此,采用现有的干预方法所得到的评估结果的主观性较强,难以保证评估结果的准确性。
5.故需要提供一种新的干预效果评估方法以解决上述技术问题。
技术实现要素:
6.本技术实施例提供了干预效果评估方法、装置、终端设备及存储介质,可以提高干预效果的评估结果的准确性。
7.第一方面,本技术实施例提供了一种干预效果评估方法,包括:
8.获取目标人员在运动测试过程中的第一目标数据,所述目标人员为经过干预的孤独症人员,所述第一目标数据包括第一视频数据和第一运动轨迹;
9.获取所述目标人员和参与人员在互动测试过程中的第二目标数据,所述参与人员为所述互动测试过程中与所述孤独症人员进行互动的人员,所述第二目标数据包括第二视频数据和所述目标人员的生理数据;
10.对所述第一目标数据进行分析,得到第一分析结果,以及,对所述第二目标数据进行分析,得到第二分析结果,所述第一分析结果用于指示所述目标人员的运动能力,所述第二分析结果用于指示所述目标人员的社交能力;
11.根据所述第一分析结果和所述第二分析结果评估所述目标人员的干预效果。
12.第二方面,本技术实施例提供了一种干预效果评估装置,包括:
13.第一目标数据获取模块,用于获取目标人员在运动测试过程中的第一目标数据,所述目标人员为经过干预的孤独症人员,所述第一目标数据包括第一视频数据和第一运动轨迹;
14.第二目标数据获取模块,用于获取所述目标人员和参与人员在互动测试过程中的
第二目标数据,所述参与人员为所述互动测试过程中与所述孤独症人员进行互动的人员,所述第二目标数据包括第二视频数据和所述目标人员的生理数据;
15.分析模块,用于对所述第一目标数据进行分析,得到第一分析结果,以及,对所述第二目标数据进行分析,得到第二分析结果,所述第一分析结果用于指示所述目标人员的运动能力,所述第二分析结果用于指示所述目标人员的社交能力;
16.评估模块,用于根据所述第一分析结果和所述第二分析结果评估所述目标人员的干预效果。
17.第三方面,本技术实施例提供了一种干预效果评估系统,包括行为观察记录仪和数据处理平台,所述行为观察记录仪包括摄像设备和多模态手环;
18.所述行为观察记录仪,用于:
19.通过所述摄像设备采集目标人员在运动测试过程中的第一视频数据,以及,采集所述目标人员和参与人员在互动测试过程中的第二视频数据,所述目标人员为穿戴有所述多模态手环的经过干预的孤独症人员;
20.通过所述多模态手环采集所述目标人员在所述运动测试过程中的第一运动轨迹,以及,采集所述目标人员在所述互动测试过程中的生理数据;
21.所述数据处理平台,用于对所述第一视频数据和所述第一运动轨迹进行分析,得到第一分析结果,以及,对所述第二视频数据和所述生理数据进行分析,得到第二分析结果,所述第一分析结果用于指示所述目标人员的运动能力,所述第二分析结果用于指示所述目标人员的社交能力;
22.所述数据处理平台,还用于根据所述第一分析结果和所述第二分析结果评估所述目标人员的干预效果。
23.第四方面,本技术实施例提供了一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述第一方面所述的干预效果评估方法的步骤。
24.第五方面,本技术实施例提供了一种计算机可读存储介质,所述计算机存储介质存储有计算机程序,所述计算机程序被处理器执行时实现上述第一方面中所述的干预效果评估方法的步骤。
25.第六方面,本技术实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行上述第一方面中任一项所述的干预效果评估方法。
26.本技术实施例与现有技术相比存在的有益效果是:
27.本技术实施例中,第一目标数据包括目标人员在运动测试过程中的第一视频数据和第一运动轨迹,第二目标数据包括目标人员和参与人员在互动测试过程中的第二视频数据和该目标人员的生理数据,由于第一目标数据和第二目标数据均为目标人员在动作过程中获取到的动态数据,因此,基于第一目标数据和第二目标数据进行分析,能够根据第一视频数据和第二视频数据分析作过程中目标人员的具体行为表现,以及通过可量化的第一运动轨迹和生理数据在动态维度上评估目标人员的干预效果,从而提高评估得到的干预效果的准确度。同时,由于第一运动轨迹能够反映目标人员在运动过程中的动作特征,而获取到的互动测试过程中目标人员的生理数据能够反映目标人员在互动过程中的情绪变化,能够更为客观地评估目标人员的干预效果,减少主观因素影响,从而提高评估的准确性。另外,
由于第一视频数据和第二视频数据为目标人员在运动测试和互动测试过程中的视频数据,因此,后续基于第一视频数据和第二视频数据进行分析,能够更直观地评估目标人员的运动能力和社交能力,且不需要专业医师现场进行评估,减少对专业医师的依赖性。
附图说明
28.为了更清楚地说明本技术实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍。
29.图1是本技术一实施例提供的一种干预效果评估方法的流程示意图;
30.图2是本技术实施例提供的一种运动测试的测试项目表;
31.图3是本技术实施例提供的一种眼动数据的数据流示意图;
32.图4是本技术实施例提供的一种运动测试的评估细则表;
33.图5是本技术实施例提供的干预效果评估装置的结构示意图;
34.图6是本技术实施例提供的一种干预效果评估系统的结构示意图;
35.图7是本技术实施例提供的终端设备的结构示意图。
具体实施方式
36.以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本技术实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本技术的描述。
37.应当理解,当在本技术说明书和所附权利要求书中使用时,术语“包括”指示所描述特征、整体、步骤、操作、元素和/或组件的存在,但并不排除一个或多个其它特征、整体、步骤、操作、元素、组件和/或其集合的存在或添加。
38.还应当理解,在本技术说明书和所附权利要求书中使用的术语“和/或”是指相关联列出的项中的一个或多个的任何组合以及所有可能组合,并且包括这些组合。
39.另外,在本技术说明书和所附权利要求书的描述中,术语“第一”、“第二”等仅用于区分描述,而不能理解为指示或暗示相对重要性。
40.在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此,在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例,而是意味着“一个或多个但不是所有的实施例”,除非是以其他方式另外特别强调。
41.实施例一:
42.图1示出了本发明实施例提供的一种干预效果评估方法的流程示意图,详述如下:
43.步骤s101,获取目标人员在运动测试过程中的第一目标数据,上述第一目标数据包括第一视频数据和第一运动轨迹。
44.上述目标人员为经过干预的孤独症人员,其中,这里的干预可以是教育干预、行为途径干预、药物干预等一种或多种干预治疗的组合,即,上述目标人员可以是进行了任意孤独症干预治疗(如药物干预)的孤独症人员。
45.可选地,由于孤独症人员的孤独症症状通常在持续进行一定次数的干预治疗后,其干预效果较为明显,因此,为了提高干预效果的评估效率,将每进行指定次数(如每隔20次)的干预治疗的孤独症人员作为目标人员进行干预效果的评估,即,将在进行了指定次数的干预治疗的孤独症人员作为目标人员,并对目标人员进行干预效果的评估。
46.本技术实施例中,考虑到孤独症通常起病于婴幼儿期,且孤独症儿童普遍存在运动障碍或运动发育迟缓,而基本的精细动作和大运动技能发展构成了儿童未来进行体育活动的基础,提高精细动作和大动作能力还可以促进孤独症儿童的社会适应能力和思维能力,因此,本技术实施例中,在评估孤独症人员进行干预治疗后的干预效果时,对孤独症人员进行运动测试,即根据预先设定的各个运动项目,指示孤独症人员分别执行各个运动项目,并采用摄像设备在该运动测试过程中进行全程录像,得到上述的第一视频数据。同时,获取目标人员在运动测试过程中的运动轨迹,得到第一运动轨迹。其中,在获取目标人员的第一运动轨迹时,可以通过对第一视频数据进行目标人员的运动轨迹的分析,得到目标人员的第一运动轨迹,也可以通过目标人员身上穿戴的可记录目标人员身体部位(如手、脚等)的运动轨迹的可穿戴设备(如智能手环),记录目标人员在进行该运动测试过程中其身体部位的运动轨迹(如手部的运动轨迹和/或腿部的运动轨迹等),得到第一运动轨迹,而第一运动轨迹能够直观地表示目标人员的身体部位在动作过程中的细节表现(如是否刻板地重复某个动作、重复某动作的次数和动作过程中是否存在抖动等),使得后续基于第一视频数据和第一运动轨迹能够较为客观地评估目标人员的运动能力,从而提高评估的准确性。
47.可选地,在对目标人员进行运动测试时,对目标人员进行大运动和精细运动的测试,大动作是指跑、跳、投、怕、走、坐等动作,精细运动是指手、脚、口、舌等部位的小动作,如手指捏合能力。其中,在对目标人员进行大动作和精细动作的测试时,可以根据需求设定各个运动项目,以测试目标儿童的一个或多个大动作、精细动作的能力。例如,为了测试目标人员的站、走、跳、投、接等大动作能力,以及测试目标人员手部的精细动作能力,假设设定了如图2所示的运动项目,指示目标人员分别进行各个运动项目的测试。其中,由于孤独症的特点,目标人员可能存在无法完成运动项目或不配合测试的情况,因此,大动作的各个测试项目设定存在两次测试机会,以减小偶然性的影响。
48.可选地,在指示目标人员进行运动测试的过程中,还记录目标人员对各个测试项目的配合度(如拒绝测试记为r,不配合记为i),在后续进行分析时,可将该配合度记录与目标人员的对应的历史配合度进行比较,分析目标人员进行运动测试的配合度是否提升,若目标人员的配合度提升,即表示目标人员愿意做自己不想做的事情,情感性水平提升,即社交互动能力增强。
49.可选地,为了更好地体现干预治疗的效果,每次进行干预效果评估时,对同一个目标人员采用相同的运动测试项目进行运动测试,从而能够根据目标人员每一次干预效果评估时的第一分析结果、第二分析结果和评估结果等数据直观地了解到目标人员的干预治疗的整体效果,以及基于目标人员的具体的干预效果可以针对性地制定后续的干预治疗,提高干预治疗效率。
50.本技术实施例中,由于孤独症人员普遍存在运动障碍或运动发育迟缓的情况,因此,对进行干预治疗后的孤独症人员进行包括大动作和精细动作的运动测试,并获取运动测试过程中的第一视频数据和目标人员的第一运动轨迹,使得后续能够客观地对孤独症人
员的运动能力进行分析评估,从而提高干预效果的评估结果的准确性。
51.步骤s102,获取上述目标人员和参与人员在互动测试过程中的第二目标数据。
52.上述第二目标数据包括第二视频数据和上述目标人员的生理数据。
53.上述参与人员为上述互动测试过程中与上述孤独症人员进行互动的人员,在一次互动测试过程中,可以只设置一个参与人员,也可以设置多个参与人员与目标人员进行互动。可选地,由于孤独症人员本身即存在一定的社会交往障碍、交流障碍,与其它陌生人员进行互动沟通会存在一定难度,使得互动测试较难进行且对互动测试的测试结果存在一定的影响,因此,上述参与人员通常为孤独症人员的监护人(如孤独症人员的父母)、家人等与孤独症人员较为熟悉的人员,以便能够较好地进行互动测试和运动测试。
54.具体地,由于孤独症人员最普遍的症状即社会交往障碍和交流障碍,分析孤独症人员的社会交往能力和交流能力能够较好地反映孤独症人员在进行干预治疗后的干预效果,因此,本技术实施例中,由至少一个参与人员和目标人员进行互动测试,以通过互动测试分析目标人员的互动能力(即社会交往能力和交流能力)。在互动测试的过程中,参与人员与目标人员进行互动,并通过摄像设备在该互动测试过程中进行全程录像,以获取目标人员与参与人员在互动过程中的全方位的声像数据,得到第二视频数据。同时,获取目标人员在互动测试过程中的生理数据(如心率、皮肤电和/或血压等),以便后续根据量化的生理数据分析目标人员的情绪变化。其中,在获取目标人员的生理数据时,可以通过目标人员身上穿戴的可记录目标人员的生理数据的可穿戴设备采集目标人员在进行该互动测试过程中的生理数据,也可以通过生理数据采集仪等仪器采集目标人员的生理数据,或者结合可穿戴设备和生理数据采集仪共同获取目标人员的生理数据(其中,在根据可穿戴设备和生理数据采集仪共同获取生理数据时,可穿戴设备和生理数据采集仪所采集的具体的生理数据不同),使得后续能够根据量化的生理数据客观分析目标人员在互动过程中的情绪变化。
55.可选地,由于皮肤电反映具有稳定、采集简便和灵敏度高等优势,是反映人交感神经兴奋性变化的最有效、最敏感的生理参数,因此,本技术实施例中,在互动测试过程中所采集的目标人员的生理数据至少包括目标人员的皮肤电,为了增加数据的多样性和提高评估的准确性,上述生理数据还可以包括目标人员的心跳、心率、血压等一个或多个生理数据。
56.本技术实施例中,由于孤独症人员的经典症状包括社会交往障碍和交流障碍,因此,为了评估干预治疗对目标人员的社会交往能力和交流能力的影响,对目标人员进行互动测试,并获取目标人员在互动测试过程中的全程录像及生理数据,使得后续能够基于动态维度的数据分析目标人员的社交行为,并结合量化的生理数据分析目标人员的情绪变化,减少主观分析导致的差异,提高干预效果评估的准确性。
57.步骤s103,对上述第一目标数据进行分析,得到第一分析结果,以及,对上述第二目标数据进行分析,得到第二分析结果,上述第一分析结果用于指示上述目标人员的运动能力,上述第二分析结果用于指示上述目标人员的社交能力。
58.具体地,由于第一目标数据和第二目标数据是根据评估需求对目标人员进行不同的测试所得到的对应的测试数据,因此,对第一目标数据和第二目标数据进行对应的数据分析所得到的分析结果能够反映目标人员相应的能力评估的结果,本技术实施例中,根据第一目标数据中的第一视频数据和第一运动轨迹进行各项运动项目所对应的运动能力分
析,从而得到能够指示目标人员的运动能力的第一分析结果,以及,根据第二目标数据中的第二视频数据和目标人员的生理数据分析互动测试过程中目标人员的互动能力以及互动过程中的情绪变化,得到能够指示目标人员的社交能力的第二分析结果。
59.本技术实施例中,分别对不同测试所得的第一目标数据和第二目标数据进行对应的分析,从而得到能够指示目标人员的运动能力的第一分析结果,和得到能够指示目标人员的社交能力的第二分析结果,以便后续确定目标人员当前的干预效果。
60.步骤s104,根据上述第一分析结果和上述第二分析结果评估上述目标人员的干预效果。
61.具体地,在分别对第一目标数据和第二目标数据进行分析,得到其对应的分析结果(即第一分析结果和第二分析结果)之后,存储该第一分析结果和第二分析结果,并将得到的第一分析结果与已存储的第一历史数据(即该目标人员的历史第一分析结果,可能包括一次或多次评估的第一分析结果)进行比较,将第二分析结果与已存储的第二历史数据(该目标人员的历史第二分析结果)进行比较,基于目标人员的历史数据评估目标人员当前的干预效果,能够更加直观、清晰地了解目标人员的孤独症干预效果,也更加方便针对目标人员的干预治疗情况制定后续的干预治疗方案,从而提高干预治疗的效率。
62.在一些实施例中,为了更直观地了解目标人员的干预效果,将第一分析结果、第二分析结果与目标人员在进行干预前的数据(如干预前医师作出的运动能力、社交能力等评估数据)、干预过程中的干预效果评估数据(即干预过程中每次评估的第一分析结果、第二分析结果、评估结果等数据)评估标准数据等数据进行比较,评估目标人员当前的干预效果。
63.本技术实施例中,由于结合目标人员对应的历史分析结果和当前的分析结果来评估目标人员当前的干预效果,因此,能够结合目标人员自身具体状况进行针对性的干预效果的评估,从而提高干预评估的评估结果的准确性。
64.本技术实施例中,由于所获取的第一目标数据和第二目标数据均为目标人员在动作过程中获取到的动态数据,且其对应的测试为根据孤独症的评估需求所进行的动作测试和互动测试,因此,基于第一目标数据和第二目标数据进行分析和干预效果的评估,能够在动态维度上评估目标人员的干预效果,从而提高得到的干预评估效果的准确性。同时,由于第一运动轨迹为能够反映目标人员在运动测试过程中的动作特征的可量化数据,而获取到的互动测试过程中的目标人员的生理数据为能够反映目标人员的情绪变化的可量化数据,结合第一运动轨迹和生理数据及其对应的视频数据进行分析,能够更为客观地对目标人员的干预效果进行评估,从而提高干预效果评估的准确度。
65.在一些实施例中,上述步骤s103中对第二目标数据进行分析,得到第二分析结果,包括:
66.a1、对上述第二视频数据进行互动分析,得到上述目标人员和上述参与人员之间的互动次数,并根据上述第二视频数据和上述互动次数对上述目标人员进行社交能力分析,得到社交能力指标。
67.具体地,由于第二视频数据为目标人员进行互动测试的视频数据,而互动测试主要确定目标人员的互动能力,因此,本技术实施例中,根据第二视频数据进行互动分析,确定在互动测试过程中目标人员和参与人员进行互动的次数,这里的互动是指目标人员和参
与人员之间一次来回之间的互动交流(如参与人员示意目标人员做某个动作,目标人员根据示意做出该动作,或者,参与人员呼唤目标人员的名字,目标人员回应参与人员等),再根据互动测试过程中目标人员互动的次数以及每次互动的具体表现分析目标人员的社交能力,得到能够反映目标人员的互动能力的社交能力指标。
68.可选地,为了更为准确地对第二视频数据进行分析,在一些实施例中,还捕捉第二视频数据中目标人员的面部表情,并对其进行面部表情分析,将得到的面部表情分析结果结合对应时刻的第二视频数据进行互动分析。
69.可选地,为了减少人工评估的主观性,得到较为准确的分析结果,在一些实施例中,对第二视频数据进行编码处理,通过预训练的机器学习模型分析第二视频数据中目标人员和参与人员之间的互动次数,以及根据该互动次数结合该第二视频数据分析目标人员的互动能力,输出得到的社交能力指标,从而实现第二视频数据的自动分析,提高评估的效率和准确度。
70.a2、通过预训练的分类器对上述生理数据进行分类,得到生理指标。
71.具体地,由于人在情绪变化时,总会伴随着一系列相关生理数据的变化,而生理数据通常为量化或者可量化的数据,因此,本技术实施例中,在根据生理数据分析目标人员在互动测试过程中的情绪变化时,直接采用经过预训练的分类器对生理数据中的各项数据(如血压、心率等)进行分类,得到对应的生理指标。这里的生理指标是指分类器根据各项数据的数值进行分类得到各项数据所对应的等级指标(如对心率进行分类,心率在60至100次/分钟为心率正常,心率小于50为心率过低,心率在101至130次/分钟为心率偏快,心率大于130次/分钟为心率过快)。例如,假设第二目标数据中的生理数据包括心率、血压、皮肤电、体温,将生理数据输入到经训练的分类器,分类器分别对心率、血压、皮肤电和体温进行分类,得到心率指标、血压指标、皮肤电指标以及体温指标。
72.a3、根据上述社交能力指标和上述生理指标确定第二分析结果。
73.具体地,在分别得到目标人员的社交能力指标和生理指标后,再根据社交能力指标和生理指标综合分析互动过程中目标人员在进行各个互动时的具体表现,确定用于指示目标人员的社交能力的第二分析结果。
74.本技术实施例中,由于第二视频数据为目标人员进行互动测试的视频数据,因此,通过对第二视频数据确定在测试过程中目标人员参与互动的次数以及结合生理数据分析目标人员在参与互动过程中的情绪变化,从而能够较为准确地评估目标人员的社交能力,得到第二分析结果。
75.在一些实施例中,上述第二目标数据还包括目标人员的第一眼动数据和参与人员的第二眼动数据,第二分析结果还包括共同参与时长,上述步骤s103中对第二目标数据进行分析,还包括:
76.b1、根据上述第一眼动数据和上述第二眼动数据确定目标眼动数据,上述目标眼动数据为:上述第一眼动数据中和上述第二眼动数据在同一时刻存在相同注视点的眼动数据。
77.b2、根据上述目标眼动数据确定上述共同参与时长。
78.具体地,由于眼动数据能够反映目标的视野,从而反映目标的关注情况,因此,为了进一步提高干预效果的评估的准确性,本技术实施例中,还分别获取目标人员和参与人
员的眼动数据,再分别将第一眼动数据(即目标人员的眼动数据)和第二眼动数据(即参与人员的眼动数据)进行对应的处理,将其转换为可视、量化的眼动数据,再根据转换后的第一眼动数据和第二眼动数据来确定所需的目标眼动数据,其中,该目标眼动数据是指在第一眼动数据中的与第二眼动数据在同一时刻存在相同的注视点的眼动数据,即,在目标人员的眼动数据中,目标人员和参与人员在同一时刻存在相同的注视点(即共同注意,如同一时刻所注视的物体相同)的部分眼动数据。由于目标眼动数据相当于目标人员和参与人员进行互动时的眼动数据,因此,在确定所需的目标眼动数据之后,根据目标眼动数据所对应的总的时长,能够确定目标人员和参与人员在互动测试过程中总的共同参与时长,从而通过该共同参与时长反映互动测试过程中目标人员和参与人员的互动情况。
79.可选地,在互动测试过程中,通过至少两个眼动仪分别获取目标人员和参与人员的眼动数据。在根据获取到的第一眼动数据和第二眼动数据确定目标眼动数据时,先确定一个固定参照点(如摄像设备),并基于该固定参照点建立空间坐标系,以确定互动双方(即目标人员和参与人员)的视线所聚焦的对象的空间位置(即注视点的空间位置),并采用不同的十字准线(如十字准线a和十字准线b)分别表示目标人员和参与人员的视线所聚焦的对象(即注视点所对应的物体),若两个十字准线在同一时刻所聚焦的对象重合,则说明目标人员和参与人员的注视点相同,即目标人员和参与人员处于共同参与的状态,则将该时刻的第一眼动数据作为目标眼动数据。
80.例如,如图3所示的眼动数据的数据流,假设该眼动数据的数据流对应一次互动测试过程中的第一眼动数据和第二眼动数据,第一眼动数据和第二眼动数据经处理后,表现为如图3所示的数据流形式,其中,第一眼动数据和第二眼动数据的时间同步,数据流中不同的颜色分别表示注视点所注视的不同物体,第一行为目标人员的第一眼动数据,第二行为一个参与人员的第二眼动数据,第三行则为根据第一眼动数据和第二眼动数据各个时刻相同的注视点所确定的目标眼动数据,根据该目标眼动数据可以确定目标人员和参与人员存在共同注意的时间(如某个具体的实际时间12:25:30,或互动测试过程中的第3分钟56秒至第第4分钟01秒等),以及确定整个互动测试过程中目标人员和参与人员的共同注意的总时长,如根据第三行所示的目标眼动数据,将其每个数据流段所对应的时间相加得到互动测试过程中总的共同参与时长。
81.本技术实施例中,由于眼动数据能够客观、清晰地反映目标人员的眼睛所注视的物体,因此,在获取第一眼动数据和第二眼动数据后,根据其存在相同注视点的眼动数据确定目标人员和参与人员在互动测试过程中共同注意到的对象,从而确定目标人员与参与人员共同注意的时长,即共同参与时长,进而能够根据共同参与时长客观地分析目标人员和参与人员的互动情况,提高后续干预效果评估的准确性。
82.在一些实施例中,上述第二目标数据还包括目标人员的第一语音数据和参与人员的第二语音数据,第二分析结果还包括沟通能力,上述步骤s103中对上述第二目标数据进行分析,还包括:
83.根据上述第一语音数据、上述第二语音数据和上述第二视频数据统计交流次数和有效交流次数,上述交流次数是指上述目标人员和上述参与人员任一方提出交流的总的次数,上述有效交流次数为上述目标人员提出交流或回应的总的次数。
84.根据上述有效交流次数和上述交流次数分析上述目标人员的上述沟通能力。
85.具体地,由于目标人员和参与人员进行互动时,可能存在仅进行语言方面的互动沟通,即只通过视频数据中的视频画面可能并不能统计到互动测试过程中的语言互动,因此,为了较好地分析目标人员的社交能力,本技术实施例中,在获取第二目标数据时,还获取互动测试过程中目标人员的第一语音数据和参与人员的第二语音数据,再根据第一语音数据、第二语音数据和第二视频数据进行沟通能力分析,即将第一语音数据、第二语音数据和第二视频数据的时间进行同步,基于同步时间后的第一语音数据、第二语音数据和第二视频数据,根据在同一时刻或同一时间段内所对应的第一语音数据、第二语音数据和第二视频数据分析每一次交流的开始时间和结束时间,从而统计得到在互动测试过程中目标人员和参与人员任意一方提出交流的次数,即交流次数,并根据对应的交流的结束时间确定各次交流的持续时间,结合第一语音数据和第二视频数据分析每一次交流中目标人员是否通过语音或者身体动作提出交流或进行回应(如通过分析目标人员所发出的语音数据是否符合交流的内容、身体动作是否与交流内容相关等确定其是否有提出交流或进行回应),以得到有效交流次数。在得到互动测试过程中的总的交流次数和有效交流次数之后,再根据有效交流次数和总的交流次数分析目标人员的沟通能力。可选地,在根据有效交流次数和总的交流次数分析目标人员的沟通能力时,还可以结合互动测试过程中交流的持续时间的分布(如互动分析进行的总的交流中,交流持续时间在一分钟内的交流的次数,交流持续时间大于或大于一分钟的交流的次数)或交流的持续时间总和分析目标人员的沟通能力(即听懂参与人员所发出的语音数据的能力)。
86.可选地,上述第一语音数据和第二语音数据可以是根据第二视频数据中的语音数据进行对应的识别处理后得到的目标人员的语音数据和参与人员的语音数据,也可以是采用独立的语音采集设备(如麦克风阵列、高灵敏度的拾音器等)采集现场的语音数据,以得到质量较好的语音数据,再对其进行语音识别等处理得到目标人员的第一语音数据和参与人员的第二语音数据,还可以通过至少两个独立的可穿戴的语音采集设备(如可穿戴麦克风、拾音器)分别采集目标人员和参与人员的语音数据,得到目标人员的第一语音数据和参与人员的第二语音数据,以减少数据处理步骤。
87.可选地,在一些实施例中,在根据第二目标数据中的第一语音数据、第二语音数据和第二视频数据分析目标人员的沟通能力时,还可以对第一语音数据和第二语音数据进行语言分析,根据目标人员在互动过程中的语言表达分析目标人员的语言发展能力和语言表达能力,以便能够结合目标人员的语言发展能力和语言表达能力更好地评估目标人员的干预效果。
88.本技术实施例中,由于在互动过程中目标人员可能通过语言或者动作来表达其意愿,因此,在分析目标人员的沟通能力的过程中,结合语音数据和视频数据共同分析目标人员是否存在进行沟通交流的行为,从而提高目标人员的沟通能力的分析结果的准确性,进而提高目标人员的干预评估的准确性。
89.在一些实施例中,在对第二目标数据进行分析时,可以根据第一语音数据、第二语音数据和第二视频数据进行互动分析,即分析目标人员和参与人员确定互动测试过程中目标人员和参与人员的互动的次数,即目标人员和参与人员之间一次来回之间的互动交流(如参与人员示意目标人员做某个动作,目标人员根据示意做出该动作,或者,参与人员呼唤目标人员的名字,目标人员回应参与人员等)的次数,再根据互动测试过程中目标人员互
动的次数以及每次互动的具体表现分析目标人员的社交能力指标。
90.在一些实施例中,上述干预效果评估方法还包括:
91.根据上述第一运动轨迹和/或第二运动轨迹,确定上述目标人员在预设时长内的各个动作的重复次数。
92.上述第二运动轨迹为目标人员在上述互动测试过程中的运动轨迹,即,所获取到的目标人员和参与人员在互动测试过程中的第二目标数据还包括目标人员的第二运动轨迹。可选地,在互动测试过程中采集目标人员的第二运动轨迹时,可以采用与采集第一运动轨迹相同的方式采集第二运动轨迹,如对第二视频数据进行目标人员的运动轨迹的分析、可穿戴设备等进行采集,此处不再赘述。
93.根据上述重复次数确定上述目标人员的刻板行为指标,上述刻板行为指标用于指示上述目标人员的运动轨迹的重合程度。
94.具体地,由于行为方式刻板也是孤独症人员存在的经典的症状之一,因此,为了能够更为客观地分析目标人员存在的刻板行为,本技术实施例中,在对第一目标数据进行分析的过程中,还根据运动测试过程中获取到的第一运动轨迹进行目标人员的刻板行为分析,得到能够指示目标人员的运动轨迹的重合程度的刻板行为指标,或者,在对第二目标数据进行分析的过程中,根据互动测试过程中获取到的第二运动轨迹进行目标人员的刻板行为分析,得到其刻板行为指标,又或者,在根据第一目标数据进行分析和根据第二目标数据进行分析的过程中,根据第一运动轨迹以及第二运动轨迹一起进行刻板行为分析,以基于更多的运动轨迹数据进行分析,进一步提高得到的刻板行为指标的准确性。
95.对应地,在根据第一分析结果和第二分析结果评估目标人员的干预效果时,还结合刻板行为指标来进行评估,即,根据第一分析结果、第二分析结果和刻板行为指标来评估目标人员的干预效果。
96.在一些实施例中,在根据第一运动轨迹和/或第二运动轨迹进行刻板行为分析时,具体分析步骤如下:
97.根据第一运动轨迹进行刻板行为分析时,根据运动测试过程中获取到的第一运动轨迹分析目标人员在预设时长(如运动测试所对应的时长、运动测试的一个测试项目所对应的时长等)内存在的重复动作,以及各个重复动作的重复次数,再确定目标人员在该预设时长内所进行的所有动作的个数,得到总动作次数,根据各个重复动作的重复次数和总动作次数确定目标人员的刻板行为指标,该刻板行为指标可以是各个重复动作的重复次数的总和(即每个重复动作的重复次数相加)在总动作次数中的占比,也可以是根据不同的重复次数设定对应的权重(例如,根据目标人员的运动轨迹确定某一重复动作为目标人员的无目的的重复动作时,由于无目的的重复动作更能反映目标人员的刻板行为,则将无目的的重复动作的权重设为较大值(如0.7),将有目的的重复动作的权重设置为较小值(如0.3)),然后根据各个重复动作的重复次数及其对应的权重和总动作次数计算确定目标人员的刻板行为指标,或者采用机器学习模型根据其各个重复动作的重复次数和总动作次数进行分类,输出对应的刻板行为指标。
98.等同地,在根据第二运动轨迹进行刻板行为分析时,与根据第一运动轨迹进行刻板行为分析是同样的步骤,即根据第二运动轨迹来分析目标人员在预设时长内存在的重复动作、各个重复动作的重复次数和总动作次数,以确定目标人员的刻板行为指标。
99.在根据目标人员在运动测试过程中的第一运动轨迹和互动测试过程中的第二运动轨迹来进行刻板行为分析时,可以分别对第一运动轨迹和第二运动轨迹进行刻板行为分析,即对第一运动轨迹和第二运动轨迹分别进行分析,从而得到目标人员在预设时长内存在的重复动作、各个重复动作的重复次数,以及运动测试和互动测试两个测试过程的总动作次数(两个测试过程中的动作次数的和),从而根据两个测试过程中的重复动作确定目标人员的刻板行为指标。
100.本技术实施例中,由于根据可量化的第一运动轨迹和/或第二运动轨迹分析目标人员在动作测试和/或运动测试过程中的重复动作和各个重复动作的重复次数来确定目标人员的运动轨迹的重合程度,来分析目标人员的刻板行为表现,从而提高刻板行为分析的准确度,进而提高干预效果评估的准确度。
101.在一些实施例中,上述步骤s103中对第一目标数据进行分析,得到第一分析结果,包括:
102.根据上述第一运动轨迹以及上述第一视频数据对上述目标人员进行运动协调性分析,得到运动协调性分析结果,上述运动协调性分析包括平衡性分析、姿势分析和轨迹分析。
103.将上述运动协调性分析结果和预设的运动标准数据进行比较,得到上述目标人员的第一分析结果。
104.具体地,由于仅基于视频数据分析孤独症人员的运动协调性时,可能存在主观差异,使得分析结果存在一定的偏差,因此,本技术实施例中,根据运动测试所对应的第一视频数据,以及运动测试过程中目标人员的身体部位的运动轨迹来分析目标人员的运动协调性。其中,在对目标人员进行协调性分析时,主要对目标人员在执行测试项目的过程中的平衡性、姿势和轨迹进行分析,在得到目标人员的运动协调性分析的各项分析项目的分析结果,并根据运动协调性分析的各项分析项目的分析结果确定运动协调性分析结果之后,再将得到的运动协调性分析结果与预设的运动标准数据进行比较,分析目标人员的运动发展水平相比于运动标准数据所存在的差异,从而得到能够指示目标人员的运动能力发展是否存在哪一项的障碍的第一分析结果。例如,如图4所示的评估细则表,在分析目标人员的运动协调性时,根据该评估细则表对大动作和精细动作中各项运动项目进行目标人员的运动协调性分析,例如,通过结合第二视频数据和第一运动轨迹,分析跳跃的运动项目的过程中,根据目标人员的身体倾向分析目标人员的跳跃姿势和跳跃轨迹是否准确,跳跃过程中手部位置自然下垂或根据姿势调整互动,得到目标人员的姿势分析和轨迹分析的分析结果,并根据目标人员起跳和落地是否平稳、身体摆动情况,得到目标人员的平衡性分析结果。
105.例如,假设目标人员进行包括a、b、c三项运动项目的运动测试,得到该运动测试所对应的第一视频数据和第一运动轨迹,根据得到的第一视频数据和第一运动轨迹进行动作协调性分析,得到对应的协调性分析结果,根据运动项目a所得的动作协调性分析结果为:平衡性较差、轨迹正常,根据运动项目b所得的动作协调性分析结果为:平衡性正常,轨迹正常,姿势较差,根据运动测试项目c所得的动作协调性分析结果为:平衡性较差,轨迹较差,姿势较差,将其与对应的预设的运动标准数据进行比较,得到如下的第一分析结果:目标人员的平衡性较差,则认为目标人员的平衡性方面存在障碍,需要提升目标人员的平衡性。
106.本技术实施例中,结合第一运动轨迹分析目标人员的第二运动轨迹进行目标人员的运动协调性分析,减少了视频评估的主观性,从而提高得到的第一分析结果的准确度。
107.以下说明在一些实施例中,上述干预效果评估方法的一种评估流程:
108.一、运动测试及分析
109.指示目标人员进行运动测试,采集运动测试过程中的数据得到第一目标数据,再对第一目标数据进行分析,得到第一分析结果。其中,运动测试的数据采集以及分析的步骤具体如下:
110.首先,根据预先设定的各个运动项目指示目标人员进行运动测试,其中,采用摄像设备对目标人员进行运动测试的全过程进行全方位录像,并采用多模态手环采集目标人员在运动测试过程中其手部的运动轨迹,得到第一目标数据:第一视频数据以及第一运动轨迹。其中,预先设定的各个运动项目如图2所示。
111.在得到第一目标数据之后,基于第一目标数据进行目标人员的运动协调性分析和刻板行为分析:
112.运动协调性分析包括平衡性分析、姿势分析以及轨迹分析,即,在基于第一目标数据进行运动协调性分析时,结合第一视频数据和第一运动轨迹,根据预设的评估细则针对各个运动项目分别分析目标人员在执行运动项目的过程中的平衡性、姿势变化和轨迹变化,以得到目标人员的各个运动项目的运动协调性分析结果,再根据各个运动项目的运动协调性分析结果综合确定运动测试的运动协调性分析结果,最后将得到的运动协调性分析结果与预设的运动标准数据进行比较,分析目标人员的运动发展水平相对于标准运动发展水平所存在的差异,从而得到能够指示目标人员的运动发展能力的第一分析结果。其中,各个运动项目对应的预设的评估细则如图4所示。
113.在进行刻板行为分析时,根据第一运动轨迹分析目标人员在预设时长(如运动测试所对应的时长、运动测试的一个测试项目所对应的时长等)内存在的重复动作,以及各个重复动作的重复次数,再确定目标人员在该预设时长内所进行的所有动作的个数,得到总动作次数,根据各个重复动作的重复次数和总动作次数确定目标人员的第一刻板行为指标。
114.二、互动测试及分析
115.在预设时间段内,参与人员(此处设定一个)和目标人员进行互动测试,采集互动测试过程中的数据,得到第二目标数据,再对第二目标数据进行分析,得到第二分析结果。其中,互动测试的数据采集以及分析的步骤具体如下:
116.首先,参与人员根据预先设定的互动项目(如接龙游戏等)与目标人员进行互动测试,其中,在互动测试过程中,通过以下步骤采集得到第二目标数据:
117.采用摄像设备对目标人员和参与人员进行全方位录像,得到第二视频数据;
118.采用多模态手环采集目标人员的生理数据(包括皮肤电、心率和血压),以及目标人员手部的运动轨迹,得到第二运动轨迹;
119.采用眼动仪采集目标人员的眼动数据,得到第一眼动数据,并采用另一部眼动仪采集参与的眼动数据,得到第二眼动数据;
120.采用拾音器单独采集目标人员的语音数据,得到第一语音数据,并采用另一拾音器单独采集参与人员的语音数据,得到第二语音数据;
121.至此,得到互动测试所对应的第二目标数据(即第二视频数据、生理数据、第二运动轨迹、第一眼动数据、第二眼动数据、第一语音数据以及第二语音数据)。
122.在得到第二目标数据之后,基于第二目标数据中的各类数据进行目标人员的社交能力分析、共同参与能力分析、情绪分析、沟通能力分析以及刻板行为分析。其中,各项分析的分析步骤具体如下:
123.在进行社交能力分析时,首先根据第二视频数据进行互动分析,确定互动测试过程中目标人员与参与人员进行互动的次数,再根据第二视频数据中每一次互动过程中目标人员的具体行为表现和面部表情分析目标人员的社交能力,得到社交能力指标。
124.在进行共同参与能力分析时,由于眼动仪捕捉的眼动数据能够反映人的注视点所在,因此,根据目标人员的第一眼动数据和第二眼动数据确定在互动测试过程中目标人员和参与人员存在相同的注视点的时刻,得到目标眼动数据(即目标人员与参与人员存在相同注视点的眼动数据),再确定目标眼动数据所对应的时长,得到能够反映目标人员参与能力的共同参与时长。
125.在进行情绪分析时,采用预训练的分类器对目标人员的生理数据进行分类,得到分类器输出的情绪分析结果(如开心、平静等)。
126.在进行沟通能力分析时,根据第一语音数据和第二语音数据确定互动测试过程中存在的交流,得到总交流次数,并根据第一语音数据和第二视频数据分析每一次交流过程中目标人员的语音和/或行为表现,从而确定目标人员是否提出交流或进行回应,得到有效交流次数,再根据总交流次数、有效交流次数以及每一次交流的交流时长分布情况确定目标人员的沟通能力指标。
127.在进行刻板行为分析时,根据第二运动轨迹分析目标人员在预设时长(如互动测试所对应的时长、运动测试的一个互动项目所对应的时长等)内存在的重复动作,以及各个重复动作的重复次数,再确定目标人员在该预设时长内所进行的所有动作的个数,得到总动作次数,根据各个重复动作的重复次数和总动作次数确定目标人员的第二刻板行为指标。
128.在得到各项分析的分析结果之后,再结合社交能力指标、共同参与时长、情绪分析结果、沟通能力指标以及第二刻板行为指标对第二视频数据进行同步分析,分析各互动项目过程中目标人员的整体的互动表现,得到互动整体指标。
129.至此,得到第二目标数据所对应的第二分析结果(包括社交能力指标、共同参与时长、情绪分析结果、沟通能力指标以及互动整体指标)以及刻板行为指标。
130.三、干预效果评估
131.在得到第一分析结果、第二分析结果以及两个测试过程中对应的刻板行为指标(第一刻板行为指标和第二刻板行为指标)之后,存储该第一分析结果、第二分析结果以及刻板行为指标,并基于目标人员的当前数据和历史数据进行评估,即,将得到的第一分析结果与已存储的第一历史数据(即该目标人员的历史第一分析结果,可能包括一次或多次评估的第一分析结果)进行比较,将第二分析结果与已存储的第二历史数据(该目标人员的历史第二分析结果)进行比较,以及,将刻板行为指标与已存储的目标人员的历史刻板行为指标进行比较,从而评估得到目标人员当前的干预效果。需要指出的是,本技术实施例中,为了提高干预评估的准确性,目标人员的每一次评估,都是进行相同项目的运动测试和互动
测试,基于相同的分析得到对应的分析结果,从而基于相同测试和相同的分析过程得到的分析结果进行评估,以进一步提高干预效果评估的准确性。
132.需要说明的是,本技术实施例中提供的干预效果评估方法不仅可以应用于孤独症人员的干预效果评估,也可以应用于如21三体综合症等全面性发育障碍儿童的干预效果的评估,可以理解,当本技术实施例中的干预效果评估方法应用于其它发育障碍儿童的干预效果的评估时,目标人员为对应的发育障碍儿童,运动测试和互动测试的具体测试项目可根据目标人员的具体状况进行设定,此处不作限制。
133.应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本技术实施例的实施过程构成任何限定。
134.实施例二:
135.对应于上文实施例所述的干预效果评估方法,图5示出了本技术实施例提供的干预效果评估装置的结构框图,为了便于说明,仅示出了与本技术实施例相关的部分。
136.参照图5,该装置包括:第一目标数据获取模块51、第二目标数据获取模块52、分析模块53、评估模块54。其中,
137.第一目标数据获取模块51,用于获取目标人员在运动测试过程中的第一目标数据,所述目标人员为经过干预的孤独症人员,所述第一目标数据包括第一视频数据和第一运动轨迹;
138.第二目标数据获取模块52,用于获取所述目标人员和参与人员在互动测试过程中的第二目标数据,所述参与人员为所述互动测试过程中与所述孤独症人员进行互动的人员,所述第二目标数据包括第二视频数据和所述目标人员的生理数据;
139.分析模块53,用于对所述第一目标数据进行分析,得到第一分析结果,以及,对所述第二目标数据进行分析,得到第二分析结果,所述第一分析结果用于指示所述目标人员的运动能力,所述第二分析结果用于指示所述目标人员的社交能力;
140.评估模块54,用于根据所述第一分析结果和所述第二分析结果评估所述目标人员的干预效果。
141.本技术实施例中,由于所获取的第一目标数据和第二目标数据均为目标人员在动作过程中获取到的动态数据,且其对应的测试为根据孤独症的评估需求所进行的动作测试和互动测试,因此,基于第一目标数据和第二目标数据进行分析和干预效果的评估,能够在动态维度上评估目标人员的干预效果,从而提高得到的干预评估效果的准确性。同时,由于第一运动轨迹为能够反映目标人员在运动测试过程中的动作特征的可量化数据,而获取到的互动测试过程中的目标人员的生理数据为能够反映目标人员的情绪变化的可量化数据,结合第一运动轨迹和生理数据及其对应的视频数据进行分析,能够更为客观地对目标人员的干预效果进行评估,从而提高干预效果评估的准确度。
142.在一些实施例中,上述分析模块53包括:
143.对上述第二视频数据进行互动分析,得到上述目标人员和上述参与人员之间的互动次数,并根据上述第二视频数据和上述互动次数对上述目标人员进行社交能力分析,得到社交能力指标。
144.通过预训练的分类器对上述生理数据进行分类,得到生理指标。
145.根据上述社交能力指标和上述生理指标确定第二分析结果。
146.在一些实施例中,上述分析模块53还包括:
147.根据上述第一眼动数据和上述第二眼动数据确定目标眼动数据,上述目标眼动数据为:上述第一眼动数据中和上述第二眼动数据在同一时刻存在相同注视点的眼动数据。
148.根据上述目标眼动数据确定上述共同参与时长。
149.在一些实施例中,上述分析模块53还包括:
150.根据上述第一语音数据、上述第二语音数据和上述第二视频数据统计交流次数和有效交流次数,上述交流次数是指上述目标人员和上述参与人员任一方提出交流的总的次数,上述有效交流次数为上述目标人员提出交流或回应的总的次数。
151.根据上述有效交流次数和上述交流次数分析上述目标人员的上述沟通能力。
152.在一些实施例中,上述分析模块53还包括:
153.根据上述第一运动轨迹以及上述第一视频数据对上述目标人员进行运动协调性分析,得到运动协调性分析结果,上述运动协调性分析包括平衡性分析、姿势分析和轨迹分析。
154.根据上述运动协调性分析结果和预设的运动标准数据进行比较,得到上述目标人员的第一分析结果。
155.在一些实施例中,上述干预效果评估装置还包括:
156.根据上述第一运动轨迹和/或上述第二运动轨迹,确定上述目标人员在预设时长内的各个动作的重复次数。
157.根据上述重复次数确定上述目标人员的刻板行为指标,上述刻板行为指标用于指示上述目标人员的运动轨迹的重合程度。
158.对应的,上述根据上述第一分析结果和上述第二分析结果评估上述目标人员的干预效果,包括:
159.根据上述第一分析结果、第二分析结果以及所述刻板行为指标评估所述目标人员的干预效果。
160.需要说明的是,上述装置/单元之间的信息交互、执行过程等内容,由于与本技术方法实施例基于同一构思,其具体功能及带来的技术效果,具体可参见方法实施例部分,此处不再赘述。
161.实施例三:
162.对应于上文实施例上述的干预效果评估方法,图6示出了本技术实施例提供的干预效果评估系统的结构示意图,为了便于说明,仅示出了与本技术实施例相关的部分。
163.参照图6,该干预效果评估系统包括:行为观察记录仪61和数据处理平台62,行为观察记录仪61包括摄像设备611和多模态手环612,其中,
164.行为观察记录仪61用于:
165.通过摄像设备611,用于采集目标人员在运动测试过程中的第一视频数据,以及,采集上述目标人员和参与人员在互动测试过程中的第二视频数据,上述目标人员为穿戴有上述多模态手环612的经过干预的孤独症人员。
166.具体地,在指示目标人员进行运动测试和互动测试的过程中,采用行为观察记录仪来记录测试过程中目标人员和参与人员(参与人员为互动测试中与目标人员进行互动的
人员)的声像、运动轨迹以及生理数据等各类数据。其中,可根据以下步骤进行采集:
167.通过摄像设备611采集目标人员进行运动测试的全过程的视频数据,得到目标人员的第一次视频数据,以及,采用摄像设备611采集目标人员和参与人员进行互动测试的全过程的视频数据,得到第二视频数据。可选地,为了较好地采集运动测试和互动测试过程中的全方位影像,以便后续更好地对第一视频数据和第二视频数据进行分析,可以采用球形摄像机作为摄像设备611进行第一视频数据和第二视频数据的采集,摄像设备611可以包括至少两个摄像机,通过至少两个摄像机从不同的拍摄角度进行第一视频数据和第二视频数据的采集。
168.通过多模态手环612采集上述目标人员在上述运动测试过程中的第一运动轨迹,以及,采集上述目标人员在上述互动测试过程中的生理数据。
169.具体地,目标人员穿戴有多模态手环612,在目标人员进行运动测试时,同步启动多模态手环612,通过多模态手环612采集目标人员在运动测试过程中其手部的第一运动轨迹,并在目标人员进行互动测试时,同步启动多模态手环612,通过多模态手环612采集目标人员在互动测试过程中的生理数据。
170.可选地,在一些实施例中,上述多模态手环612还用于采集目标人员在上述互动测试过程中的第二运动轨迹。
171.数据处理平台62,和行为观察记录仪61(即摄像设备611以及多模态手环612)相连接(如通过网络连接),用于对上述第一视频数据和上述第一运动轨迹进行分析,得到第一分析结果,以及,对上述第二视频数据和上述生理数据进行分析,得到第二分析结果,上述第一分析结果用于指示上述目标人员的运动能力,上述第二分析结果用于指示上述目标人员的社交能力。
172.具体地,分别由于第一目标数据和第二目标数据是根据评估需求对目标人员进行不同的测试所得到的对应的测试数据,因此,对第一目标数据和第二目标数据进行对应的数据分析所得到的分析结果能够反映目标人员相应的能力评估的结果,本技术实施例中,数据处理平台62在获取到摄像设备611所采集的第一目标数据和多模态手环所采集的第二目标数据之后,对第一目标数据中的第一视频数据和第一运动轨迹进行各项运动项目所对应的运动能力分析,从而得到能够指示目标人员的运动能力的第一分析结果,以及,根据第二目标数据中的第二视频数据以及目标人员的生理数据分析互动测试过程中目标人员的互动能力以及互动时的情绪变化,得到能够指示目标人员的社交能力的第二分析结果。
173.上述数据处理平台62,还用于根据上述第一分析结果和上述第二分析结果评估上述目标人员的干预效果。
174.具体地,目标人员在分别对第一目标数据和第二目标数据进行分析,得到其对应的分析结果(即第一分析结果和第二分析结果)之后,存储该第一分析结果和第二分析结果,并将得到的第一分析结果与已存储的第一历史数据(即该目标人员的历史第一分析结果,可能包括一次或多次评估的第一分析结果)进行比较,将第二分析结果与已存储的第二历史数据(该目标人员的历史第二分析结果)进行比较,基于目标人员的历史数据评估目标人员当前的干预效果,能够更加直观、清晰地了解目标人员的孤独症干预效果,也更加方便针对目标人员的干预治疗情况制定后续的干预治疗方案,从而提高干预治疗的效率。
175.本技术实施例中,由于摄像设备611和多模态手环612在目标人员进行运动测试和
互动测试过程中采集动态数据,且多模态手环612所采集到的第一运动轨迹和生理数据为可量化数据,因此,能够在基于动态数据进行目标人员的干预效果的评估的同时,基于可量化数据进行评估,从而提高干预效果评估的准确度。
176.在一些实施例中,上述干预评估装置还包括:
177.至少两个眼动仪,用于采集互动测试过程中目标人员的眼动数据,得到第一眼动数据,以及,采集互动测试过程中参与人员的眼动数据,得到第二眼动数据。
178.在一些实施例中,上述干预评估装置还包括:
179.至少两个拾音器,用于采集互动测试过程中目标人员的语音数据,得到第一语音数据,以及,采集互动测试过程中参与人员的语音数据,得到第二语音数据。
180.实施例四:
181.图7为本技术一实施例提供的终端设备的结构示意图。如图7所示,该实施例的终端设备7包括:至少一个处理器70(图7中仅示出一个处理器)、存储器71以及存储在所述存储器71中并可在所述至少一个处理器70上运行的计算机程序72,所述处理器70执行所述计算机程序72时实现上述任意各个方法实施例中的步骤。
182.所述终端设备7可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。该终端设备可包括,但不仅限于,处理器70、存储器71。本领域技术人员可以理解,图7仅仅是终端设备7的举例,并不构成对终端设备7的限定,可以包括比图示更多或更少的部件,或者组合某些部件,或者不同的部件,例如还可以包括输入输出设备、网络接入设备等。
183.所称处理器70可以是中央处理单元(central processing unit,cpu),该处理器70还可以是其他通用处理器、数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
184.所述存储器71在一些实施例中可以是所述终端设备7的内部存储单元,例如终端设备7的硬盘或内存。所述存储器71在另一些实施例中也可以是所述终端设备7的外部存储设备,例如所述终端设备7上配备的插接式硬盘,智能存储卡(smart media card,smc),安全数字(secure digital,sd)卡,闪存卡(flash card)等。进一步地,所述存储器71还可以既包括所述终端设备7的内部存储单元也包括外部存储设备。所述存储器71用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等,例如所述计算机程序的程序代码等。所述存储器71还可以用于暂时地存储已经输出或者将要输出的数据。
185.所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将所述装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。另外,各功能单元、模块的具体名称也只是为了便于相互区分,并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。
186.本技术实施例还提供了一种网络设备,该网络设备包括:至少一个处理器、存储器以及存储在所述存储器中并可在所述至少一个处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现上述任意各个方法实施例中的步骤。
187.本技术实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,所述计算机程序被处理器执行时实现可实现上述各个方法实施例中的步骤。
188.本技术实施例提供了一种计算机程序产品,当计算机程序产品在终端设备上运行时,使得终端设备执行时实现可实现上述各个方法实施例中的步骤。
189.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个计算机可读取存储介质中。基于这样的理解,本技术实现上述实施例方法中的全部或部分流程,可以通过计算机程序来指令相关的硬件来完成,所述的计算机程序可存储于一计算机可读存储介质中,该计算机程序在被处理器执行时,可实现上述各个方法实施例的步骤。其中,所述计算机程序包括计算机程序代码,所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质至少可以包括:能够将计算机程序代码携带到拍照装置/终端设备的任何实体或装置、记录介质、计算机存储器、只读存储器(rom,read-only memory)、随机存取存储器(ram,random access memory)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区,根据立法和专利实践,计算机可读介质不可以是电载波信号和电信信号。
190.在上述实施例中,对各个实施例的描述都各有侧重,某个实施例中没有详述或记载的部分,可以参见其它实施例的相关描述。
191.本领域普通技术人员可以意识到,结合本文中所公开的实施例描述的各示例的单元及算法步骤,能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行,取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能,但是这种实现不应认为超出本技术的范围。
192.在本技术所提供的实施例中,应该理解到,所揭露的装置/网络设备和方法,可以通过其它的方式实现。例如,以上所描述的装置/网络设备实施例仅仅是示意性的,例如,所述模块或单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口,装置或单元的间接耦合或通讯连接,可以是电性,机械或其它的形式。
193.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
194.以上所述实施例仅用以说明本技术的技术方案,而非对其限制;尽管参照前述实施例对本技术进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改
或者替换,并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围,均应包含在本技术的保护范围之内。
技术特征:
1.一种干预效果评估方法,其特征在于,包括:获取目标人员在运动测试过程中的第一目标数据,所述目标人员为经过干预的孤独症人员,所述第一目标数据包括第一视频数据和第一运动轨迹;获取所述目标人员和参与人员在互动测试过程中的第二目标数据,所述参与人员为所述互动测试过程中与所述孤独症人员进行互动的人员,所述第二目标数据包括第二视频数据和所述目标人员的生理数据;对所述第一目标数据进行分析,得到第一分析结果,以及,对所述第二目标数据进行分析,得到第二分析结果,所述第一分析结果用于指示所述目标人员的运动能力,所述第二分析结果用于指示所述目标人员的社交能力;根据所述第一分析结果和所述第二分析结果评估所述目标人员的干预效果。2.如权利要求1所述的干预效果评估方法,其特征在于,所述对所述第二目标数据进行分析,得到第二分析结果,包括:对所述第二视频数据进行互动分析,得到所述目标人员和所述参与人员之间的互动次数,并根据所述第二视频数据和所述互动次数对所述目标人员进行社交能力分析,得到社交能力指标;通过预训练的分类器对所述生理数据进行分类,得到生理指标;根据所述社交能力指标和所述生理指标确定第二分析结果。3.如权利要求1所述的干预效果评估方法,其特征在于,所述第二目标数据还包括所述目标人员的第一眼动数据和所述参与人员的第二眼动数据,所述第二分析结果还包括共同参与时长,所述对所述第二目标数据进行分析,还包括:根据所述第一眼动数据和所述第二眼动数据确定目标眼动数据,所述目标眼动数据为:所述第一眼动数据中和所述第二眼动数据在同一时刻存在相同注视点的眼动数据;根据所述目标眼动数据确定所述共同参与时长。4.如权利要求1所述的干预效果评估方法,其特征在于,所述第二目标数据还包括所述目标人员的第一语音数据和所述参与人员的第二语音数据,所述第二分析结果还包括沟通能力,所述对所述第二目标数据进行分析,还包括:根据所述第一语音数据、所述第二语音数据和所述第二视频数据统计交流次数和有效交流次数,所述交流次数是指所述目标人员和所述参与人员任一方提出交流的总的次数,所述有效交流次数为所述目标人员提出交流或回应的总的次数;根据所述有效交流次数和所述交流次数分析所述目标人员的所述沟通能力。5.如权利要求1所述的干预效果评估方法,其特征在于,所述干预效果评估方法还包括:根据所述第一运动轨迹和/或第二运动轨迹,确定所述目标人员在预设时长内的各个动作的重复次数,所述第二运动轨迹为所述目标人员在所述互动测试过程中的运动轨迹;根据所述重复次数确定所述目标人员的刻板行为指标,所述刻板行为指标用于指示所述目标人员的运动轨迹的重合程度;对应的,所述根据所述第一分析结果和所述第二分析结果评估所述目标人员的干预效果,包括:根据所述第一分析结果、第二分析结果以及所述刻板行为指标评估所述目标人员的干
预效果。6.如权利要求1至5任一项所述的干预效果评估方法,其特征在于,所述对所述第一目标数据进行分析,得到第一分析结果,包括:根据所述第一运动轨迹以及所述第一视频数据对所述目标人员进行运动协调性分析,得到运动协调性分析结果,所述运动协调性分析包括平衡性分析、姿势分析和轨迹分析;将所述运动协调性分析结果和预设的运动标准数据进行比较,得到所述目标人员的第一分析结果。7.一种干预效果评估装置,其特征在于,包括:第一目标数据获取模块,用于获取目标人员在运动测试过程中的第一目标数据,所述目标人员为经过干预的孤独症人员,所述第一目标数据包括第一视频数据和第一运动轨迹;第二目标数据获取模块,用于获取所述目标人员和参与人员在互动测试过程中的第二目标数据,所述参与人员为所述互动测试过程中与所述孤独症人员进行互动的人员,所述第二目标数据包括第二视频数据和所述目标人员的生理数据;分析模块,用于对所述第一目标数据进行分析,得到第一分析结果,以及,对所述第二目标数据进行分析,得到第二分析结果,所述第一分析结果用于指示所述目标人员的运动能力,所述第二分析结果用于指示所述目标人员的社交能力;评估模块,用于根据所述第一分析结果和所述第二分析结果评估所述目标人员的干预效果。8.一种干预效果评估系统,其特征在于,包括行为观察记录仪和数据处理平台,所述行为观察记录仪包括摄像设备和多模态手环;所述行为观察记录仪,用于:通过所述摄像设备采集目标人员在运动测试过程中的第一视频数据,以及,采集所述目标人员和参与人员在互动测试过程中的第二视频数据,所述目标人员为穿戴有所述多模态手环的经过干预的孤独症人员;通过所述多模态手环采集所述目标人员在所述运动测试过程中的第一运动轨迹,以及,采集所述目标人员在所述互动测试过程中的生理数据;所述数据处理平台,用于对所述第一视频数据和所述第一运动轨迹进行分析,得到第一分析结果,以及,对所述第二视频数据和所述生理数据进行分析,得到第二分析结果,所述第一分析结果用于指示所述目标人员的运动能力,所述第二分析结果用于指示所述目标人员的社交能力;所述数据处理平台,还用于根据所述第一分析结果和所述第二分析结果评估所述目标人员的干预效果。9.一种终端设备,包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至6任一项所述的方法。10.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至6任一项所述的方法。
技术总结
本申请适用于干预评估技术领域,提供了干预效果评估方法、装置、终端设备及存储介质,包括:获取目标人员在运动测试过程中的第一目标数据,所述第一目标数据包括第一视频数据和第一运动轨迹;获取所述目标人员和参与人员在互动测试过程中的第二目标数据,参与人员为所述互动测试过程中与所述孤独症人员进行互动的人员,所述第二目标数据包括第二视频数据和所述目标人员的生理数据;对所述第一目标数据进行分析,得到第一分析结果,以及,对所述第二目标数据进行分析,得到第二分析结果;根据所述第一分析结果和所述第二分析结果评估所述目标人员的干预效果。本申请可以提高干预效果的评估准确度。评估准确度。评估准确度。
技术研发人员:赵朔 曾圆悦
受保护的技术使用者:深圳大学
技术研发日:2023.03.22
技术公布日:2023/7/25
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/