一种用于婴儿早期神经功能评测的智能诊断设备的制作方法

1.本发明涉及一种用于婴儿早期神经功能评测的智能诊断设备,是一种供医疗机构用于基于婴儿自发行为进行早期神经发育状态筛查的诊断设备，属于医疗器械范畴。


背景技术：

2.由于婴儿的大脑发育不成熟，以及基于在婴儿影像学诊断的安全性考虑，婴儿早期识别神经功能障碍或认知障碍风险仍然是医学领域的一个挑战。而且，大脑结构改变与认知缺陷之间的明确关联仍然很少，目前尚未检测到基于神经影像学扫描的病理结果与认知功能之间的明确关联。自发运动、自由发声是婴儿早期的自发行为，现代医学研究发现，异常的自发运动和异常发声等是婴儿神经发育障碍最可靠的早期标志之一。婴儿自发运动是指不受外界刺激或诱发状态下的活动，包括躯干运动（扭身）、颈部转动、四肢运动等。从胎儿早期到足月后第二个月末，围绕肢体轴的转身运动（扭动运动）开始出现。在产后 6-9 周时，扭动运动逐渐消失，烦躁运动运动出现，烦躁运动的特征是颈部、躯干和四肢在各个方向上的微小运动，并且加速度可变，四肢动作协调。比如，在婴儿的自发运动中，如果动作单调，缺乏变化性和复杂性；肢体动作僵硬，动作缺乏流畅性；并且，四肢和躯干肌肉几乎同时收缩或同时放松，自发运动的强度、速度和范围缺乏正常的可变性等，这些异常的自发运动特征，表明婴儿可能会出现严重的神经功能障碍，例如脑瘫（cp）。同时，超过足月年龄的婴儿单调机械僵硬的运动以及 3-5 个月时的运动姿势异常，还表明随后出现认知功能障碍的风险很高，比如自闭症。大约在 4-5 个月大的时候，婴儿开始探索他/她的发声器官的全部潜力，发声、尖叫、哭声和更复杂的咿呀声成为通过早期非典型特性，这些声学参数（频率或持续时间），可用于识别自闭症谱系障碍(asd)或雷特综合征(rtt)的婴儿。
3.因此，研究婴儿自发运动、发声等特异性指标，可成为早期识别神经功能障碍或认知障碍一个重要的敏感指标，为医学提供新的诊断技术方向。但目前分析婴儿自发运动和声学特征主要依赖医护人员感官和量表方式，评测过程中不仅需要训练有素的专业评测人员，而且需要连续观察、记录，存在评测结果主观性较大、观察者易疲劳等不足。为此，本发明提出一种基于人工智能识别技术，提供连续、客观和定量评估的评测工具。


技术实现要素：

4.本发明提出了一种用于婴儿早期神经功能评测的智能诊断设备，主要由控制主板、图像采集单元、动作传感单元、声学采集单元、数据分析软件以及人机交互界面组成，对婴儿自发运动、声学特征相关的一项或多项参数进行采集，运用数据分析软件发现特异性指标，用于婴儿早期神经功能疾病的筛查和诊断，适用的早期神经功能疾病包括脑瘫 (cp) 、自闭症谱系障碍(asd)以及雷特综合征(rtt)。
5.所述的控制主板是基于核心处理器构建的集成电路，控制主板包含核心处理器、电源管理模块、存储模块、通讯模块等。其中，核心处理器通常采用中央处理器（cpu）、单片机（mcu）或可编程逻辑控制器（plc）中的任意一种；存储模块包括sd卡、tf卡或电脑磁盘的
任意一种；所述的通讯模块用于与上位机通讯以及监测数据或者诊断结果的发送，比如，发送到医学终端、医护人员手持终端或者患者家属手机等。通讯模块采用传统的蓝牙、wifi、zigbee、或者rf等方式不限。控制主板的存储模块中还设有嵌入式软件，嵌入式软件主要用于硬件驱动、程序控制和信息输出等。
6.所述的图像采集单元与控制主板连通，图像采集单元主要由数码摄像机和摄影光源组成，数码摄像机和摄影光源安装在测试台的上方，并有效采集区域覆盖婴儿测试台。在评测婴儿自发运动过程中，将婴儿平放在测试台上，图像采集单元将婴儿的肢体动作、躯体动作和面部表情进行完整记录，形成视频文件，并传输到控制主板的存储模块内保存。
7.所述的动作传感单元主要由惯性传感器和通讯模块组成，动作传感单元与控制主板连接和通讯，用于采集婴儿自发运动轨迹信号。惯性传感器采用包括3轴加速度计+3轴陀螺仪的六自由度传感器、电磁运动跟踪传感器；通讯模块包括蓝牙、wifi等。在评测过程中，动作传感单元制备为穿戴式传感元件，贴附或捆绑固定在婴儿的被监测部位，比如，动作传感单元固定在婴儿左右手臂腕关节、左右小腿的踝关节或脚掌、前额叶，动作传感单元采集到的运动轨迹信号包括头部转动轨迹、四肢运动轨迹、扭体运动轨迹，运动轨迹信号通过蓝牙或wifi传输控制主板的存储模块内保存。
8.所述的声学采集单元主要由拾音器和音频信号处理器组成，声学采集单元与控制主板连通。声学采集单元安装在测试台的上方或四周，在评测过程中，声学采集单元将婴儿的声学特征进行完整记录，包括咿呀发生、笑声、哭声，形成音频文件并传输到控制主板的存储模块内保存。
9.所述的数据分析软件安装在控制主板的存储模块中，数据分析软件对图像采集单元获取的视频文件、动作传感单元获取的运动轨迹信号、声学采集单元获取的音频文件分别进行归类。其中，数据分析软件按照婴儿情绪和运动曲目，将视频文件分为面部特征、头部运动、上肢运动、躯干运动和下肢运动五大类；按照婴儿的运动曲目，将运动轨迹信号分为头部运动、上肢运动、躯干运动和下肢运动四大类；按照婴儿的声音特征，将音频文件曲目分为类语音和非语音两大类。
10.数据分析软件还包含人工智能(artificial intelligence，ai)分析单元，人工智能分析单元是一种经过预训练的神经网络算法模型，能够对分类的视频文件、运动轨迹信号和音频文件分别单独进行人工智能分析，自动给出分类诊断的结果。上述神经网络算法模型包括三维特征提取模型、位置检测模型、特征分割模型、分类模型等模型，这些模型经过预先经过训练得到，具备对应的特定功能。
11.人工智能分析单元还将视频文件、运动轨迹信号及音频文件进行多维度综合分析，自动给出综合诊断的结果，提高医护人员的工作效能。
12.比如，图像采集单元获取了婴儿自发运动的视频文件，人工智能分析单元根据视频文件自动给出分类诊断的结果。人工智能分析单元采用预先经过训练得到的神经网络模型，通过基于三维(3d)卷积神经网络模型(3d convnet，3d cnn，c3d)的三维特征提取模型，对图像采集单元获取的1000例健康婴儿视频文件中，提取婴儿情绪和运动曲目的时空特征。根据该视频的时空特征，对视频中的动作进行分类和标记，包括对婴儿笑、哭、发呆、惊讶等面部特征的情绪分类标记。还包括婴儿头部运动、上肢运动、躯干运动和下肢运动的分类标记，具体包括对头部、颈部、双肩、躯干、胳膊、腿的位置进行识别，并在双眼、嘴巴、颈
部、左肩、右肩、躯干、左手肘关节、右手肘关节、左手掌、右手掌、裆部、左腿膝关节、右腿膝关节、左脚掌/右脚掌分别进行标记。其次，以骨骼模型的形式恢复婴儿的完整姿势，根据骨骼的运动特征进行分类，识别典型动作后，提取典型动作并分割为单帧图像，对该帧单帧图像进行识别和标记，建立动作识别神经网络模型。动作识别神经网络模型建立完成后，对婴儿自发运动过程中输入的视频文件自动进行分类识别，包括表情是否僵化、肢体动作是否存在不对称、不协调等异常，观察和判断婴儿的扭体动作是否自然流畅，以及头部转动、颈部转动、四肢运动是否协调等，进行婴儿的肢体运动协调性分析，并给出结果提示，供医护人员参考，判断婴儿是否存在神经功能障碍，例如脑瘫（cp）。
13.比如，动作传感单元获取了婴儿自发运动的运动轨迹信号，人工智能分析单元根据运动轨迹信号自动给出分类诊断的结果。动作传感单元能够感应婴儿头部或四肢不显眼的动作变化，包括头部运动、上肢运动、躯干运动和下肢运动，并实时记录运动数据，弥补图像采集单元获取不显眼的动作变化中存在的不足。人工智能分析单元结合获取的视频文件、运动轨迹信号，更加全面评价婴儿自发运动状态，对婴儿的肢体运动协调性分析，并给出综合分析结果。
14.人工智能分析单元在视频文件、运动轨迹信号综合分析诊断的基础上，还将音频文件纳入综合分析要素。早期发声是婴儿神经发育状态的敏感指标，与具有典型发育的同龄人相比，患有自闭症谱系障碍（asd）的学龄前儿童会产生更高水平的非语言类、非典型发声。人工智能分析单元在评测婴儿自发运动的同时，对获取的音频文件进行评价，包括婴儿的咿呀声、具有语音质量的辅音-元音音节以及封闭音节（辅音-元音-辅音）。如果婴儿的音频文件中辅音和规范音节的发生少，只有更多的非言语发声行为，则今后出现自闭症症状的可能性更大。这种视频文件、运动轨迹信号结合音频文件的综合分析，对有asd风险的婴儿的自发运动和声音行进行直接和详细的分析，比单一维度的评价提供更加丰富的信息，提高诊断的信效度。
15.所述的人机交互界面主要由显示器、操作功能键以及防护外壳组成，人机交互界面与控制主板连通。人机交互界面主要用于实现开/关机操作、功能设置、参数设置、信息读出以及打印等其他辅助功能。
16.一种用于婴儿早期神经功能评测的智能诊断设备，其有益的效果是，提供一种多角度监测、多参数诊断的婴儿早期神经发育评测设备，避免了现有感官监测和量表评价存在的不足，填补了这一技术领域的空白，具有很好的临床意义和使用价值。
附图说明
17.图1是本公开实施例的工作原理框图。
18.图2是本公开实施例的外部结构示意图。
19.图中所示：图像采集单元（1）、动作传感单元（2）、声学采集单元（3）、人机交互界面（4）、测试台（5）。
实施方式
20.下面结合附图和实施例具体地说明本发明。
21.实施例1：基于对图像采集单元获取的视频文件人工智能分析
1、视频文件获取根据标准要求，采集年龄为6个月婴儿的自发运动的视频图像，样本数量不低于1000例，具体标准要求为：（1）婴儿仰卧，完全清醒，情绪安静，没有激动、哭闹或被惊吓；（2）室内温度适宜，保持26℃左右，周围环境安静并处于不受干扰的状态；（3）婴儿穿着单薄，身体可自由活动身体，四肢及关节裸露，肉眼清晰可见；（4）采用rgb相机采集图像，视频长度10分钟，至少应有连续3分钟的视频中包含肢体动作。
22.2、视频文件标记（1）将视频文件编码后，将每个视频分割成等长的视频段，每段10秒；（2）使用姿势估计算法软件alphapose（基于卷积神经网络架构开发的预训练姿势估计模型），从获取的自发运动视频中自动提取十二个关节的位置坐标，获取婴儿头部、躯干、手臂和腿部的时空数据，包括左右分别标记的头部、肩部、肘部、手腕、臀部、膝盖和脚踝，在每一帧生成每个关节的位置坐标，置信度从0到1，置信水平《 0.5。
23.3、算法模型训练由专业医护人员将分割好的编码视频段进行人工标记，评价自发运动的协调性。对头部、躯干、手臂和腿部运动协调性分别进行评分，比如：协调，+1分；不协调，-1分；无法判断，0分。
24.然后，将提取的骨骼点坐标输入神经网络进行训练，通过深度学习的算法提取上面视频段中婴儿全身的骨骼点坐标序列。
25.建立算法模型后，在临床诊断过程中，只要将采集的婴儿视频文件中每隔多输入训练好的神经网络，便能够自动输出哪一段视频中运动不协调，并具体标记是上肢动作不协调，还是下肢动作不协调等自动判断结果。
26.实施例2：采用动作传感单元采集1、数据采集采用三轴加速度计、陀螺仪和蓝牙为主要元器件，制备6个动作传感单元，体积不大于60mm*40mm*20mm，每个传感单元重量不高于50g。分别固定在婴儿的前额叶、左/右手腕、左/右脚踝和肚脐位置，采集30分钟婴儿自发运动的运动轨迹信号，样本量不低于500组。在婴儿平静仰卧状态下，将肚脐位置的陀螺仪为参考坐标，每个部位的三轴加速度计动态计算运动参数 (x,y,z)，合成线性加速度，具体计算公式为：
27.再通过减去中值以去除重力分量和嵌入信号中的任何稳定噪声或偏移，从而消除合成加速度的趋势。
28.2、算法性能验证根据分布在每个位置的动作传感单元采集的运动轨迹数据，分别计算头部、左/右手臂、左/右腿的运动频率。然后，使用同步的视频文件，专业观察员将本算法形成的运动频率数据和同步的视频文件进行比对，记录各部位运动次数，与采用动作传感单元采集的运动轨迹数据计算的进行运动频率比较，验证本算法的信效度，动作识别的准确率应不低于95%。
29.实施例3：基于声学采集单元获取的音频文件的人工智能分析1、音频文件的获取和存储：从6个月—12 个月的有早产儿或脑损伤的高危新生儿发病史的婴儿群体中，采用声学采集单元从定时的亲子互动中收集婴儿发生的音频文件样本，与孩子玩耍和互动时间10分钟，将声学采集单元的麦克风放置在靠近孩子嘴巴的位置，优选的是，采用耳麦式麦克风。每人选取声学特征丰富的音频文件一段，每段不低于5分钟，获取音频文件的样本数量不低于5000段。
30.2、分类：将婴儿的音频文件分为两类，即类语音和非语音。类似语音的类别包括以产生辅音和/或元音为特征的发声，这些辅音和/或元音可以用语音符号表示，并包含类似语音的声音质量，因此它们类似于典型的咿呀声。非语音类别包括非语音共振和声音质量（例如，尖叫、叫喊、咆哮）为特征的发声，而没有可识别的辅音。
31.3、标记：音频文件以6个月、9个月、12 个月作为年龄界别，随机分为三组，两名训练有素的医学评分者，对所有分类的音频文件进行标记和编码，所有编码类别的点对点可靠性不低于95%。
32.4、算法建立：采用opensmile 软件，从每个标记和编码的分段发声中提取一组声学参数，包括发声的速率、发声的频率（例如算术平均值、标准差、高阶矩、频谱带能量、谐波噪声比等），建立声学特征库。
33.跟踪5000段编码音频文件的婴儿发育进程至年龄30个月，采用自闭症幼儿的检查量表mchat诊断，最终被确诊为自闭症谱系障碍（asd）的编码音频文件命名为阳性（+），健康婴儿的编码音频文件命名为阴性（-）。与阴性（-）婴儿相比，被诊断为阳性（+）的婴儿的典型咿呀声（产生辅音和/或元音为特征的发声）比阴性（-）婴儿显著降低，被诊断为阳性（+）婴儿的较低的音量总发声比阴性（-）婴儿显著减少，而被诊断为阳性（+）的婴儿尖叫、叫喊、咆哮等非语音特征的发声比阴性（-）婴儿显著增多。根据声学特征库内阳性（+）婴儿与阴性（-）婴儿这些不同的声学参数特征，分别进行特征提取，基于人工智能算法中模板的方法和概率统计的方法，归一化后建立人工智能分析的算法常模，通过将待识别婴儿音频文件样本与已知的模板进行匹配，获得人工智能识别诊断结果。
34.上述附图及实施例仅用以说明本发明的技术方案而非限制，尽管参照较佳实施例对本发明进行了详细说明，本领域的普通技术人员应当理解，可以对本发明的技术方案进行修改或者等同替换，而不脱离本发明技术方案的宗旨和范围，其均应涵盖在本发明的权利要求范围当中，对本发明的保护范围不构成任何限制。

技术特征：
1.一种用于婴儿早期神经功能评测的智能诊断设备，主要由控制主板、图像采集单元（1）、动作传感单元（2）、声学采集单元（3）、数据分析软件以及人机交互界面（4）组成，对婴儿自发运动、声学特征相关的一项或多项参数进行采集，运用数据分析软件发现特异性指标，用于婴儿早期神经功能疾病的筛查和诊断；其特征在于：所述的图像采集单元（1）与控制主板连通，图像采集单元（1）主要由数码摄像机和摄影光源组成，数码摄像机和摄影光源安装在测试台（5）的上方，并有效采集区域覆盖婴儿测试台（5）；动作传感单元（2）与控制主板连接和通讯，用于采集婴儿自发运动轨迹信号；声学采集单元（3）安装在测试台（5）的上方或内周，在评测过程中，声学采集单元（3）将婴儿的声学特征进行完整记录；数据分析软件对图像采集单元（1）获取的视频文件、动作传感单元（2）获取的运动轨迹信号、声学采集单元（3）获取的音频文件分别进行归类，数据分析软件还包含人工智能分析单元，人工智能分析单元是一种经过预训练的神经网络算法模型，能够对分类的视频文件、运动轨迹信号和音频文件分别单独进行人工智能分析，自动给出分类诊断的结果。2.根据权利要求1所述的一种用于婴儿早期神经功能评测的智能诊断设备，其特征还在于：动作传感单元（2）主要由惯性传感器和通讯模块组成，惯性传感器采用包括3轴加速度计+3轴陀螺仪的六自由度传感器、电磁运动跟踪传感器。3.根据权利要求1所述的一种用于婴儿早期神经功能评测的智能诊断设备，其特征还在于：动作传感单元（2）固定在婴儿左右手臂腕关节、左右小腿的踝关节或脚掌、前额叶，动作传感单元（2）采集的运动轨迹信号包括头部转动轨迹、四肢运动轨迹、扭体运动轨迹。4.根据权利要求1所述的一种用于婴儿早期神经功能评测的智能诊断设备，其特征还在于：数据分析软件按照婴儿情绪和运动曲目，将视频文件分为面部特征、头部运动、上肢运动、躯干运动和下肢运动五大类；按照婴儿的运动曲目，将运动轨迹信号分为头部运动、上肢运动、躯干运动和下肢运动四大类；按照婴儿的声音特征，将音频文件曲目分为类语音和非语音两大类。5.根据权利要求1所述的一种用于婴儿早期神经功能评测的智能诊断设备，其特征还在于：人工智能分析单元还将视频文件、运动轨迹信号及音频文件进行多维度综合分析，自动给出综合诊断的结果。6.根据权利要求1所述的一种用于婴儿早期神经功能评测的智能诊断设备，其特征还在于：适用的早期神经功能疾病包括脑瘫 (cp) 、自闭症谱系障碍(asd)以及雷特综合征(rtt)。

技术总结
本发明提出了一种用于婴儿早期神经功能评测的智能诊断设备，主要由控制主板、图像采集单元、动作传感单元、声学采集单元、数据分析软件以及人机交互界面组成。其有益的效果是，提供一种多角度监测、多参数诊断的婴儿早期神经发育评测设备，避免了现有感官监测和量表评价存在的不足，填补了这一技术领域的空白，具有很好的临床意义和使用价值。有很好的临床意义和使用价值。有很好的临床意义和使用价值。


技术研发人员：阮雪红 陈旭良 崔伟伟 张丹 阮东耀 代莎 杨鸿章
受保护的技术使用者：西安汇智医疗集团有限公司
技术研发日：2023.03.20
技术公布日：2023/7/11