一种心电图分类方法、系统、介质、设备及终端

1.本发明属于计算机辅助ecg分析技术领域，尤其涉及一种心电图分类方法、系统、介质、设备及终端。


背景技术：

2.目前，心电图(electrocardiogram，ecg)是记录人体心脏活动的可视化时间序列，它已经在临床上广泛用于心脏相关疾病的检查，并且形成了比较完善的ecg判断标准。计算机辅助ecg分析在面向基层医疗的云计算服务平台和可穿戴ecg设备等方面有着重要的应用价值，对于及时有效地预防和控制心脏疾病、挽救病人生命具有极大的意义。当前，计算机辅助ecg诊断方法主要分为两类：一类是基于浅层模型的ecg分类方法，该方法依赖于手工提取的ecg特征；另一类是基于深度学习的方法，是端对端的ecg分类方法，它可以有效地自动提取ecg抽象特征。
3.卷积神经网络(convolutional neural network，cnn)擅长提取局部特征，但在捕获全局特征表示方面存在一定的局限性。transformer通过自注意力模块可以捕获长距离的特征依赖，但会忽略局部特征的细节。
4.通过上述分析，现有技术存在的问题及缺陷为：现有基于浅层模型的ecg分类方法依赖手工提取的ecg特征，而基于transformer模型的ecg分类方法则易忽略局部特征的细节。


技术实现要素：

5.针对现有技术存在的问题，本发明提供了一种心电图分类方法、系统、介质、设备及终端，尤其涉及一种基于卷积神经网络和transformer融合的心电图分类方法、系统、介质、设备及终端。
6.本发明是这样实现的，一种心电图分类方法，心电图分类方法包括：对原始ecg数据进行预处理；使用卷积神经网络模型分析心电信号的形态特征，通过短时傅里叶变换提取心电信号的时频特征，使用transformer模型分析心电信号的时间序列特征；使用融合器融合分类结果，得到最终的心电图分类结果。
7.进一步，心电图分类方法包括以下步骤：
8.步骤一，对原始心电图数据集进行心拍截取和去噪预处理；
9.步骤二，使用cnn分类器和transformer分类器学习预处理后的数据；
10.步骤三，使用融合器对分类器的学习结果进行融合，得到心电图分类结果。
11.进一步，步骤一中的原始心电图数据集使用mit-bih心率失常数据集；
12.对原始心电图数据集进行心拍截取和去噪预处理包括：经过带通滤波器和小波变换滤波器去除原始心拍中的基线漂移和工频干扰噪声；使用mit-bih数据集标记的r波位置定位r波，并截取r波前133个采样点、r波所在采样点和r波后266个采样点组成完整的心拍；提取rr特征并获取心拍对应标签。
13.进一步，步骤二中，心电图分类模型包括6条通道，前5条通道为使用不同卷积核大小的深度神经网络通道；其中，通道3和通道5使用两层卷积，通道1、2和4使用单层卷积；在每个卷积层后使用修正线性单元方法和最大池化层，并使用矩阵拼接方法拼接结果。
14.第六个通道为模型的时间维度特征处理通道，使用短时傅里叶变换提取原始心电信号的时频特征，再进入transformer模型进行学习，心电图分类模型使用融合器融合卷积神经网络和transformer模型的结果。
15.进一步，融合器由通道注意力机制和空间注意力机制构成，通道注意力机制的作用是融合来自transformer分支的全局信息；空间注意力机制的作用是增强卷积神经网络分支信息的局部细节并抑制不相关的区域。
16.进一步，对于transformer模型，input embedding的嵌入输出大小为64，位置编码使用正弦函数表示；多头注意力机制的头数为8，注意力模块层数为6。
17.本发明的另一目的在于提供一种应用所述的心电图分类方法的心电图分类系统，心电图分类系统包括：
18.ecg数据预处理模块，用于对原始心电图数据进行心拍截取和去噪预处理；
19.分类学习模块，用于使用cnn分类器和transformer分类器学习ecg数据；
20.心电图分类模块，用于使用融合器对分类器的学习结果进行融合。
21.本发明的另一目的在于提供一种计算机设备，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的心电图分类方法的步骤。
22.本发明的另一目的在于提供一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行所述的心电图分类方法的步骤。
23.本发明的另一目的在于提供一种信息数据处理终端，信息数据处理终端用于实现所述的心电图分类系统。
24.结合上述的技术方案和解决的技术问题，本发明所要保护的技术方案所具备的优点及积极效果为：
25.第一，针对上述现有技术存在的技术问题以及解决该问题的难度，紧密结合本发明的所要保护的技术方案以及研发过程中结果和数据等，详细、深刻地分析本发明技术方案如何解决的技术问题，解决问题之后带来的一些具备创造性的技术效果。具体描述如下：
26.本发明提出了基于卷积神经网络cnn和transformer相结合的心电图ecg分类方法，该方法首先对原始ecg数据进行心拍截取和预处理，然后分别使用卷积神经网络分类器和transformer分类器对处理后的数据进行学习，最后使用融合器对不同分类器的学习结果进行融合，最终得到心电图的分类结果。
27.本发明使用卷积神经网络模型分析心电信号的形态特征，通过短时傅里叶变换提取心电信号的时频特征后使用transformer模型分析心电信号的时间序列特征，再使用融合器融合两个维度的分类结果，提升心电图分类的整体准确率。传统的机器学习和深度学习方法都是依赖数据的不同特征进行分类，本发明选用卷积神经网络，可以省去传统机器学习方法手动提取的步骤，自动提取每种数据类型的不同特征；cnn还具有局部连接和权值共享的特征，5条使用不同卷积核大小的通道相当于被赋予了不同大小的感受野，可以多尺度地学习心电信号的形态特征，而融合通道后拼接rr特征使特征的丰富度进一步扩充。
28.本发明分为三步，第一步进行去噪和预处理操作，第二步使用提出的方法进行学习，第三步在测试集上预测结果并使用指标分析。本发明在采用融合方法诊断时所涉及到的心电图特征如心拍长度、心拍标签和rr特征已经提取到，rr特征包括四种分别是rr前期特征、rr后期特征、rr前后期比率特征和附近十个心拍rr间期平均值特征，对qrs波起止点及r波的提取方法不做限制。
29.本发明在mit-bih数据集中(https://www.physionet.org/content/mitdb/1.0.0/)以三种数据集划分方式，测试集为54713个心拍、41494个心拍和49607个心拍的情况下分别取得99.42％，98.87％和97.38％的总体准确率；同时，对s类和v类也保持着较好的分类效果。从表5来看，虽然实验三同样具有较高的总体准确率，但是在s类和v类上的约登指数和f1不及前两者；对比之下，使用深度神经网络和transformer融合的模型能够提升心电图分类任务的性能。
30.第二，把技术方案看做一个整体或者从产品的角度，本发明所要保护的技术方案具备的技术效果和优点，具体描述如下：
31.本发明充分考虑了卷积神经网络及transformer的各自优势，分别将它们作为基分类器分类，然后使用融合模块将两种分类器的分类结果进行融合，从而获得一个比较好的心电图五分类结果；不同卷积核的多通道神经网络模型提供了不同的感受野以充分学习心电图形态特征；短时傅里叶变换提取了心电信号的时频特征，使模型可以学习心电图的形态和时频信息，提升整体分类性能。
32.第三，作为本发明的权利要求的创造性辅助证据，还体现在以下几个重要方面：
33.(1)本发明的技术方案转化后的预期收益和商业价值为：
34.可应用于便携式心电监测设备，实现医生对患者病情的实时监护，从而进行有效预防和干预；计算机辅助心电图诊断的应用使医生从海量的心电图分析中解放出来，提高效率和诊断准确率。
35.(2)本发明的技术方案填补了国内外业内技术空白：
36.使用两种基分类器获取心电图不同维度的特征，加入心电图的rr特征，使用融合模块融合这些特征，使模型能更全面的学习心电图的特征，以达到更好的分类效果。
附图说明
37.为了更清楚地说明本发明实施例的技术方案，下面将对本发明实施例中所需要使用的附图做简单的介绍，显而易见地，下面所描述的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下还可以根据这些附图获得其他的附图。
38.图1是本发明实施例提供的心电图分类方法流程图；
39.图2是本发明实施例提供的融合模型分类流程图；
40.图3是本发明实施例提供的分类模型结构图；
41.图4是本发明实施例提供的cnn block结构图；
42.图5是本发明实施例提供的心电图分类系统信息交互图。
具体实施方式
43.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合实施例，对本发明进行进一步详细说明。应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
44.针对现有技术存在的问题，本发明提供了一种心电图分类方法、系统、介质、设备及终端，下面结合附图对本发明作详细的描述。
45.如图1所示，本发明实施例提供的心电图分类方法包括以下步骤：
46.s101，对原始心电图数据集进行心拍截取和去噪预处理；
47.s102，使用cnn分类器和transformer分类器学习预处理后的数据；
48.s103，使用融合器对分类器的学习结果进行融合，得到心电图分类结果。
49.作为优选实施例，如图2所示，本发明实施例提供的心电图分类方法具体包括以下步骤：
50.1.预处理
51.数据集使用mit-bih心率失常数据集，首先，经过带通滤波器和小波变换滤波器去除原始心拍中的基线漂移、工频干扰等噪声；然后，使用mit-bih数据集标记的r波位置定位r波，并截取r波前133个采样点、r波所在采样点和r波后266个采样点组成一个完整的心拍；最后，提取rr特征并获取心拍对应标签。
52.2.模型方法
53.对于传统的机器学习和深度学习方法，都是依赖数据的不同特征进行分类。选用卷积神经网络，可以省去传统机器学习方法手动提取的步骤，自动提取每种数据类型的不同特征。此外，cnn还具有局部连接和权值共享的特征。5条使用不同卷积核大小的通道相当于被赋予了不同大小的感受野，可以多尺度地学习心电信号的形态特征。融合通道后拼接rr特征使特征的丰富度进一步扩充。
54.短时傅里叶变换(stft)是在信号做傅里叶变换之前乘一个时间有限的窗函数h(t)，并假定非平稳信号在分析窗的短时间隔内是平稳的，通过窗函数h(t)在时间轴上的移动，对信号进行逐段分析得到信号的一组局部“频谱”。由于心电信号属于时间序列，分析“频谱”有利于提升分类效果。
55.transformer是2017年提出的一种新的模型，它是在seq2seq任务上的创新。其在nlp领域的重大成功展示了它对时序数据的强大建模能力，在transformer的基础上构建时序预测模型可以突破以往的诸多限制，最明显的一个增益点是transformer可以基于multi-head attention结构具备同时建模长期和短期时序特征的能力。
56.分类模型结构图如图3和图4所示，完整模型包括6条通道。前5条通道为使用不同卷积核大小的深度神经网络通道，其中通道3和通道5使用两层卷积，通道1、2和4使用单层卷积。在每个卷积层后使用修正线性单元(relu)方法增加神经网络各层之间的非线性关系，然后使用最大池化层(max pooling)在保留主要特征的同时减少参数和计算量，防止模型过拟合，提高模型泛化能力，最后使用矩阵拼接方法(concat)拼接结果；第六个通道为模型的时间维度特征处理通道，首先使用短时傅里叶变换提取原始心电信号的时频特征，然后进入transformer模型进行学习。模型最后使用融合器融合卷积神经网络和transformer模型的结果。融合器主要由通道注意力机制和空间注意力机制构成，通道注意力机制的作
用是融合来自transformer分支的全局信息。空间注意力机制的作用是增强卷积神经网络分支信息的局部细节并抑制不相关的区域。卷积神经网络模型的参数如表1所示。对于transformer模型，input embedding的嵌入输出大小为64，位置编码(positional encoding)使用正弦函数表示。多头注意力机制(multi-head selfattention)的头数为8，注意力模块(attention module)层数为6。
57.表1cnn block的参数
[0058][0059]
如图5所示，本发明实施例提供的心电图分类系统包括：
[0060]
ecg数据预处理模块，用于对原始心电图数据进行心拍截取和去噪预处理；
[0061]
分类学习模块，用于使用cnn分类器和transformer分类器学习ecg数据；
[0062]
心电图分类模块，用于使用融合器对分类器的学习结果进行融合。
[0063]
为了证明本发明的技术方案的创造性和技术价值，该部分是对权利要求技术方案进行具体产品上或相关技术上的应用实施例。
[0064]
实施例一：用来验证模型在患者内数据上的分类效果，即用于模型训练和测试的数据可能来自同一个患者。
[0065]
实施例二：用来验证模型在患者间数据上的分类效果，因为不同的记录来自不同的患者，获得更接近应用场景的模型。
[0066]
实施例三：用来验证模型在患者间数据上的分类效果，与实列二使用不同的记录号，测试模型在s类和v类的分类结果。
[0067]
上述实施例均是在一台配备了英特尔12700cpu和一个nvidia gtx 3060ti gpu的工作站上进行训练的，计算机的内存为16gb。
[0068]
1.实验设置
[0069]
三个实验均使用交叉熵损失函数和adam优化器，batch size大小为32。使用动态学习率，将初始学习率设置为0.0001，每5个epoch学习率减小10％。为了保存训练效果最好的模型加入早停机制，若连续10个epoch在校验集上的损失没有明显下降则停止训练。初始epoch大小设置为500。
[0070]
值的说明的是：由于本发明为一个五分类问题，可以使用整体准确率(overall accuracy)来度量分类效果的优劣，一般来说整体准确率越高，分类系统的整体分类性能越
好。此外，本发明还单独计算了s类和v类的各项指标，以比较模型对s类和v类的分类效果，具体包括以下五种指标：
①
准确率(acc)，用于评估模型对该类的分类准确性；
②
灵敏度(sen)，用于衡量分类器对正例的识别能力；
③
特异性(spe)，用于衡量分类器对负例的识别能力；
④
ppr；
⑤
f1 score(f1)。其中，二分类的混淆矩阵如表2所示。
[0071]
表2混淆矩阵
[0072][0073][0074]
在二分类中分类结果分为以下几种：
[0075]
①
true positive(tp)：正样本成功预测为正；
[0076]
②
true negative(tn)：负样本成功预测为负；
[0077]
③
false positive(fp)：负样本错误预测为正；
[0078]
④
false negative(fn)：正样本错误预测为负。
[0079]
则各个指标的定义如下所示：
[0080]
n＝tp+tn+fp+fn (1)
[0081]
acc＝(tp+tn)/n (2)
[0082]
sen＝tp/(tp+fn) (3)
[0083]
spe＝tn/(tn+fp) (4)
[0084]
ppr＝tp/(tp+fp) (5)
[0085]
f1＝(2
×
sen
×
ppr)/(sen+ppr) (6)
[0086]
多分类任务可以看作特殊的二分类来计算各项指标。
[0087]
2.实施案例
[0088]
1)实验所用数据来源于美国麻省理工学院提供的mit-bih心律失常数据库(https://www.physionet.org/content/mitdb/1.0.0/)。为了进行去噪预处理，ecg记录首先经过0.1～100hz的带通滤波，然后以360hz的采样频率进行数字化。
[0089]
2)心电图的分类实验方式主要分为患者内(intra-patient)实验，即随机分配一部分为训练集，其余数据为测试集；患者间(inter-patient)实验，即以整条记录为单位划分训练集和测试集。虽然患者内分类精确度高，但它是通过训练同一个病人的部分心拍，再对同一个病人的其余心拍进行测试，来实现的高精确度分类。因此这种方式是不合理的。患者间实验则更具有现实意义。
[0090]
本发明对预处理后的数据使用三种不同的数据集划分方式以对应三个实验：
[0091]
实验一(exp1)：实验一为患者内的数据集划分，随机提取数据的50％作训练集，剩下50％为训练集。即训练集和测试集均有54713个心拍；
[0092]
实验二(exp2)：实验二为患者间的数据集划分，根据aami标准，将48条记录中的44
条取出，22条作为训练集(ds1)，22条作为测试集(ds2)，并且将测试集每条记录的前五分钟加入训练集辅助训练。即训练集包含59156个心拍，测试集包含41494个心拍，具体如表3所示。
[0093]
表3实验二数据划分
[0094][0095]
实验三(exp3)：实验三为患者间的数据集划分，取出20条记录作为训练集(ds1)，剩下24条记录作为验证集(ds2)。即训练集包含41068个心拍，测试集包含49607个心拍，具体如表4所示。
[0096]
表4实验三数据划分
[0097][0098]
上述三种划分后的数据集均复制心拍进行数据增强并在训练时随机从训练集中划分20％作校验集。
[0099]
3)实验流程为先将训练样本和验证样本分别输入所提出的模型进行训练，运用早停机制将训练结果较好的模型参数保存，再使用测试集评估得到泛化误差。使用三种数据集分别进行三种实验，得到实验结果，具体如表5所示。
[0100]
表5实验结果
[0101][0102]
利用表5分析了三种实验的整体准确率，并详细计算模型对每种数据划分方式的s类和v类的分类指标。由表5可知，当前模型在三种数据划分方式下都能达到较好的结果，但模型对实验三的分类效果还有提升的空间。因此，为了进一步提升分类性能，加深模型深度，本发明引用长短期记忆网络，或在模型中加入注意力机制等方法。
[0103]
应当注意，本发明的实施方式可以通过硬件、软件或者软件和硬件的结合来实现。硬件部分可以利用专用逻辑来实现；软件部分可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域的普通技术人员可以理解上述的设备和方法可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本发明的设备及其模块可以由诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用由各种类型的处理器执行的软件实现，也可以由上述硬件电路和软件的结合例如固件来实现。
[0104]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，都应涵盖在本发明的保护范围之内。

技术特征：
1.一种心电图分类方法，其特征在于，心电图分类方法包括：对原始ecg数据进行预处理；使用卷积神经网络模型分析心电信号的形态特征，通过短时傅里叶变换提取心电信号的时频特征，使用transformer模型分析心电信号的时间序列特征；使用融合器融合分类结果，得到最终的心电图分类结果。2.如权利要求1所述的心电图分类方法，其特征在于，心电图分类方法包括以下步骤：步骤一，对原始心电图数据集进行心拍截取和去噪预处理；步骤二，使用cnn分类器和transformer分类器学习预处理后的数据；步骤三，使用融合器对分类器的学习结果进行融合，得到心电图分类结果。3.如权利要求2所述的心电图分类方法，其特征在于，步骤一中的原始心电图数据集使用mit-bih心率失常数据集；对原始心电图数据集进行心拍截取和去噪预处理包括：经过带通滤波器和小波变换滤波器去除原始心拍中的基线漂移和工频干扰噪声；使用mit-bih数据集标记的r波位置定位r波，并截取r波前133个采样点、r波所在采样点和r波后266个采样点组成完整的心拍；提取rr特征并获取心拍对应标签。4.如权利要求2所述的心电图分类方法，其特征在于，步骤二中，心电图分类模型包括6条通道，前5条通道为使用不同卷积核大小的深度神经网络通道；其中，通道3和通道5使用两层卷积，通道1、2和4使用单层卷积；在每个卷积层后使用修正线性单元方法和最大池化层，并使用矩阵拼接方法拼接结果；第六个通道为模型的时间维度特征处理通道，使用短时傅里叶变换提取原始心电信号的时频特征，再进入transformer模型进行学习，心电图分类模型使用融合器融合卷积神经网络和transformer模型的结果。5.如权利要求4所述的心电图分类方法，其特征在于，融合器由通道注意力机制和空间注意力机制构成，通道注意力机制的作用是融合来自transformer分支的全局信息；空间注意力机制的作用是增强卷积神经网络分支信息的局部细节并抑制不相关的区域。6.如权利要求4所述的心电图分类方法，其特征在于，对于transformer模型，inputembedding的嵌入输出大小为64，位置编码使用正弦函数表示；多头注意力机制的头数为8，注意力模块层数为6。7.一种应用如权利要求1～6任意一项所述的心电图分类方法的心电图分类系统，其特征在于，心电图分类系统包括：ecg数据预处理模块，用于对原始心电图数据进行心拍截取和去噪预处理；分类学习模块，用于使用cnn分类器和transformer分类器学习ecg数据；心电图分类模块，用于使用融合器对分类器的学习结果进行融合。8.一种计算机设备，其特征在于，计算机设备包括存储器和处理器，存储器存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～6任意一项所述的心电图分类方法的步骤。9.一种计算机可读存储介质，存储有计算机程序，计算机程序被处理器执行时，使得处理器执行如权利要求1～6任意一项所述的心电图分类方法的步骤。10.一种信息数据处理终端，其特征在于，信息数据处理终端用于实现如权利要求7所述的心电图分类系统。

技术总结
本发明属于计算机辅助ECG分析技术领域，公开了一种心电图分类方法、系统、介质、设备及终端，对原始ECG数据进行预处理；使用卷积神经网络模型分析心电信号的形态特征，通过短时傅里叶变换提取心电信号的时频特征，使用Transformer模型分析心电信号的时间序列特征；使用融合器融合分类结果，得到最终的心电图分类结果。本发明充分考虑卷积神经网络和Transformer的优势，使用融合模块将两种分类器的分类结果进行融合，从而获得比较好的心电图五分类结果；不同卷积核的多通道神经网络模型提供了不同的感受野以充分学习心电图形态特征；短时傅里叶变换使模型可以学习心电图的形态和时频信息，提升整体分类性能。提升整体分类性能。提升整体分类性能。


技术研发人员：周飞燕 王剑男
受保护的技术使用者：广西师范大学
技术研发日：2023.05.09
技术公布日：2023/8/24