一种面向计算机编程试题的多模态特征融合知识追踪方法

1.本发明属于智能教育技术领域，具体涉及一种面向计算机编程试题的多模态特征融合知识追踪方法。


背景技术：

2.智能教育技术的快速发展，促使传统教育向个性化智能教育逐步转变，这需要及时了解每个学生的知识状态水平，知识追踪(knowledge tracing,kt)应运而生。知识追踪是对学生一段时间的做题记录进行建模，以刻画该学生在这段时间内的知识点掌握情况。近年来在智能教育领域，国内外不少研究者提出了许多知识追踪模型，主要分两大类，一类是基于传统机器学习的方法，一类是基于深度学习的方法。
3.在传统的方法中，基于贝叶斯网络的知识追踪模型(bayesian knowledge tracing,bkt)应用相对广泛，通过构建隐马尔可夫模型，学习潜在变量以表示不断变化的学生知识状态，跟踪学生知识状态的变化，预测学生掌握知识点的概率。bkt模型假定学生的知识状态是一组二元变量，表示学生对特定知识点掌握与否，变量的更新取决于学生做题行为的更新，即学生正确回答了给定知识点的题目或者错误回答了给定知识点的题目。
4.深度学习技术快速发展，在知识追踪领域，也涌现了许多基于深度学习的模型。知识追踪任务中通过学生的做题记录对学生的知识状态建模，其难点在于学生与试题知识点的关系具有高度的复杂性，且学生的做题行为是一个十分复杂的过程。基于深度学习的模型由于参数量巨大且模型更深更复杂，更适合于复杂模型的建立。dkt是第一个基于深度学习的知识追踪模型，dkt模型基于rnn循环神经网络(recurrent neural networks)，将学生在时间序列上的做题记录作为模型输入，通过独热编码或者压缩感知算法将其转化为特征向量表示，并通过隐藏层对学生不断变化的知识状态进行建模，最终输出预测的学生答题情况。它充分地利用了时间序列信息，此外，基于rnn的模型相较于隐藏马尔可夫模型，具有高纬度的、连续的、潜在状态特征表示，因此在处理知识追踪任务时，有很好的适用性。eernn是一个基于长短期记忆网络(long short-term memory,lstm)的带有注意力机制的知识追踪模型，通过注意力机制计算当前时刻输入与历史时刻输入之间的相似性，目的在于捕捉到当前时刻试题与历史做题记录中的试题的关联性，通过与之前不同时刻输入的相似性分数给予不同的权重来融合信息表示，帮助模型预测学生的表现，因为在教育领域，学生在训练试题时答题表现如何，在很大程度上是与之前在相似试题上的表现有关的。动态键值对记忆网络(dynamic key-value memory networks,dkvmn)是一种记忆增强的神经网络知识追踪模型，它使用了一个静态矩阵key存储知识点的特征表示，动态矩阵value存储更新的学生对相应知识点的掌握程度，模型刻画了学生对每个概念的掌握程度。sakt是一个利用了自注意力层(self-attention layer)的知识追踪模型。在每个自注意力层的计算中，试题信息嵌入向量作为查询query向量，试题信息与学生答题记录的嵌入向量作为键向量key和值向量value。saint是一个基于transformer的知识追踪模型，它的结构是由堆叠的包含了自注意力层的编码器——解码器组成，将试题信息作为编码器输入部分，将编码
器输出、学生答题情况等作为解码器输入，最终输出学生答对试题的概率作为预测值。
5.综上，知识追踪的主要任务是根据学生的做题记录来追踪学生的知识状态，以预测其在未来试题中的答题表现，这种任务的基本想法与各个领域的典型序列挖掘相似。此外在建模的过程中，面对大量的不同类型或不同模态的时间序列数据，需要使用能够较好的融合这些特征的方法帮助模型提升预测准确率，更好地刻画学生对于知识点的掌握状态。


技术实现要素：

6.发明目的：针对目前知识追踪没有专门针对计算机编程试题的研究，现有的知识追踪模型不能很好地刻画编程试题的特点，而且面对不同类型不同模态的数据，很难有效利用并充分融合这些多模态数据以提升模型预测准确率的问题，本发明提出了一种面向计算机编程试题的多模态特征融合知识追踪方法(transformer based knowledge tracing using multi-modality fusion,tktmf)，有效融合了计算机编程试题与学生做题记录中的多模态信息，帮助知识追踪模型提高性能，分析学生的知识状态并且预测学生答题情况。
7.技术方案：为实现本发明的目的，本发明所采用的技术方案是：一种面向计算机编程试题的多模态特征融合知识追踪方法，包含如下步骤：
8.步骤1，构建数据集：收集整理高校计算机编程试题以及学生的做题记录、人工标记标签，构造编程试题知识追踪数据集buddy；
9.步骤2，融合计算机编程试题多模态信息：设计超图网络结构融合试题中存在的试题文本语义信息以及试题所包含的多知识点标签信息；
10.步骤3，融合学生在编程试题上的做题记录中的教育学依赖关系信息：采用关系图网络刻画学生、试题与知识点之间的教育学关系，通过网络的迭代更新获取这三种对象融合了依赖关系的特征表示；
11.步骤4，构建融合多模态特征的知识追踪模型：运用自注意力机制进行多模态特征的有效融合，并整合到知识追踪模型中，分析学生知识状态并预测答题表现。
12.进一步的，在步骤4中，以自注意力变换网络transformer为基础，构建编码器——解码器结构的知识追踪模型，包括以下步骤：
13.步骤4-1，输入数据：编码器部分的原始输入是由试题编号、知识点、学生编号以及学生答题情况组成的嵌入向量；解码器部分的原始输入是学生答题情况的嵌入向量；
14.步骤4-2，融合相对位置编码的多头自注意力机制：每个时刻输入的输入部分的相对位置编码信息通过线性投影直接输入到编码器与解码器的多头注意力机制模块中；
15.步骤4-3，预测学生答题表现并分析学生知识状态：将解码器部分的输出特征通过线性层转变为学生的知识状态特征向量，将知识状态的特征向量与计算机编程试题知识点的multi-hot编码信息做点积，预测学生在特定知识点上的做题表现，公式表示如下：
[0016][0017]
其中h
t
为知识状态向量，t表示转置，s
t
为当前t时刻的试题知识点的multi-hot编码，为预测的学生在t时刻答对试题的概率。
[0018]
进一步的，在步骤2中，融合计算机编程试题多模态信息时，设计使用超图网络结构获取试题特征表示，步骤包括：
[0019]
步骤2-1，超图构建：在数据集buddy中对计算机编程试题从试题文本信息以及所包含的知识点集合这两种角度来描述，即试题文本信息的bert向量与试题的多知识点信息特征向量，作为从不同角度刻画的模态信息来构建超图，生成试题的两种关联矩阵h1与h2，通过拼接两个模态的关联矩阵h1与h2得到超图的最终表现形式h；
[0020]
步骤2-2，超图网络卷积：在数据的超图结构形成之后，将超图关联矩阵h和节点特征q＝[q1,
…
,qn]
t
作为输入，通过图卷积运算来处理特征学习过程中的数据相关性；卷积层的公式如下：
[0021][0022]
其中q
(l)
和q
(l+1)
分别是第l层和第l+1层的试题特征，σ表示非线性激活函数，h是超图关联矩阵，θ是可学习的滤波矩阵；dv和de分别表示超图顶点和超边的对角矩阵，w是一个单位矩阵，表示所有的超边的权重相同。
[0023]
进一步的，在步骤3中，融合学生在编程试题上的做题记录中的教育学依赖关系信息时，利用关系图网络结构获取学生、试题以及知识点的嵌入表示，包括以下步骤：
[0024]
步骤3-1，初始化学生、试题以及知识点的节点嵌入表示：嵌入层利用d维可训练矩阵对学生和知识点进行编码，其中n和k分别是学生和知识点的数量；将步骤2中试题通过超图网络结构更新之后的特征表示，作为关系图中试题节点的嵌入表示；
[0025]
步骤3-2，描述三张本地地图：根据buddy数据集构建知识点依赖图、试题——知识点相关图和学生——试题交互图；
[0026]
步骤3-3，更新学生、试题以及知识点的节点嵌入表示：利用关系图网络中实现了多级注意力结构的融合层，在多层关系图之间平衡信息，学习嵌入表示。
[0027]
进一步的，运用自注意力机制进行多模态特征的融合，并整合到知识追踪模型中，具体包括：
[0028]
将学生、试题以及知识点在数据集中的原始编号通过可学习的矩阵得到各自的嵌入表示0、qi以及ci；通过关系图网络得到的更新之后的学生、试题以及知识点的嵌入表示0
′
、q1′
以及c1′
；
[0029]
将0、q1、c1、u
′
、q1′
以及ci′
与回答情况的嵌入表示拼接起来作为特征融合的输入，再经过线性层的映射，残差连接与层归一化的处理以及带上三角掩码的多头注意力机制，最终得到知识追踪模型中每个时刻t上融合了不同模态信息的输入嵌入表示input
t
。
[0030]
有益效果：与现有技术相比，本发明的技术方案具有以下有益的技术效果：
[0031]
首先，本发明提出的模型可以运用在计算机编程试题上的知识追踪任务。通过对学生在计算机编程试题上的做题记录进行建模，可以分析学生的知识状态并且预测学生的答题表现；
[0032]
然后，本发明挖掘计算机编程试题和学生做题记录中的多模态信息，设计了适用的超图网络结构以及关系图网络结构，获取有效的特征表示；
[0033]
最后，本发明通过设计多模态特征融合网络将学生、试题以及知识点这三种不同对象的多模态信息，并整合进知识追踪模型中，实现更好的模型性能，具有良好的使用价值。
附图说明
[0034]
图1为本发明的整体流程图；
[0035]
图2为本发明的基础知识追踪模型示意图；
[0036]
图3(a)为本发明的超图网络结构的构建模块超边示意图；
[0037]
图3(b)为本发明的超图网络结构的构建模块关联矩阵示意图；
[0038]
图4为本发明的超图网络结构的卷积模块示意图；
[0039]
图5为本发明的多模态特征融合网络示意图；
[0040]
图6为本发明的面向计算机编程试题的多模态特征融合知识追踪方法示意图；
[0041]
图7为知识追踪模型分析学生能力的雷达图；
[0042]
图8为知识追踪模型分析学生能力的热力图。
具体实施方式
[0043]
下面结合附图和实施例对本发明的技术方案作进一步的说明。
[0044]
如图1所示，本发明公开了一种面向计算机编程试题的多模态特征融合知识追踪方法，包括以下步骤：
[0045]
步骤1，构建数据集：收集整理高校计算机编程试题以及学生的做题记录、人工标记标签，构造数据集buddy。
[0046]
本发明的数据集所利用的信息是从一款在线编程学习网站上得到的。利用爬虫技术获取试题的文本信息，并人工标记试题知识点标签信息，学生的做题记录通过将后台管理员提供的数据制作成时间序列数据。
[0047]
每道试题由题目描述、输入格式以及输出格式组成，本发明将这三部分的文字内容组合到一起组成了每道试题的文本信息。
[0048]
本发明通过整理所有编程试题所考察的知识点内容，划分出以下18个知识点类型：数组、字符串、排序算法、动态规划、搜索、贪心算法、查找算法、树、栈与队列、堆、图、链表、集合、位运算、数学、博弈、类以及程序基本结构。
[0049]
每个学生的做题记录用json格式数据呈现，其中内容包含了学生的编号，学生做题数量，以及学生的做题记录。其中做题记录包含了每道试题的编号，回答正确性，知识点标签数组，提交时间。
[0050]
buddy数据集中试题数量为274道，总共包含了18个考察的计算机编程知识点。有1016位学生有计算机编程试题的做题记录，一共有82011条做题记录，平均每位学生的做题记录长度为80.7，因此在后续实验设置中本发明将模型的输入长度统一设置为80，对于不足长度80的输入数据通过空白填充项填充，对于超过长度80的输入数据，将其长序列输入分割为多个上限为80的输入。
[0051]
本发明的基础知识追踪模型通过对学生做题记录建模，分析学生知识状态并且预测学生做题表现。示意图如图2所示。
[0052]
步骤2，融合计算机编程试题多模态信息：设计超图网络结构融合试题中存在的试题文本语义信息以及试题所包含的多知识点标签信息。
[0053]
超图构建模块如图3(a)以及图3(b)所示。超图定义为包括顶点集合超边集合ε，权重矩阵w。超图g可以用关联矩阵h表示，在关联矩阵中若顶点在
此超边中，则对应项的值等于1，否则等于0。其中的每一个元素的计算如下公式所示：
[0054][0055]
如图3(a)，在知识追踪任务中，每个试题可以被视为一个顶点，.道试题可以被表示为q＝[q1,
…
,qn]
t
，根据顶点之间的欧几里得距离d(qi,qj)可以建立超边＝1，每个超边由一个顶点与其k个最近邻连接而成，超边中为1的项表示对应的节点在超边中。对于顶点它的度(degree)的定义为d(v)＝∑
e∈ε
ω(e)g(v,e)，对于超边＝∈ε，它的度被定义为δ(e)＝∑
v∈v
g(v,e)。
[0056]
由于在数据集buddy中可以对计算机编程试题从试题文本信息以及试题所包含的知识点集合这两种角度来描述，即试题文本信息的bert向量与试题的多知识点标签向量，它们分别作为不同的模态信息构建超图结构，因此可以生成试题的两种关联矩阵结构h1与h2，它们是通过将超边组合形成的。为了利用试题的多模态数据特征，再通过拼接两个关联矩阵h1与h2得到超图的最终表现形式h，如图3(b)所示。
[0057]
超图卷积模块如图4所示。在数据的超图结构形成之后，将超图关联矩阵h和节点特征q＝[q1,
…
,qn]
t
作为输入，通过图卷积运算来处理特征学习过程中的数据相关性。卷积层的公式如下：
[0058][0059]
其中q
(l)
和q
(l+1)
分别是第l层和第l+1层的试题特征，σ表示非线性激活函数，h是超图关联矩阵，θ是可学习的滤波矩阵；dv和de分别表示超图顶点和超边的对角矩阵，在方程中起到归一化的作用，w是一个单位矩阵，表示所有的超边的权重相同。
[0060]
通过图卷积计算得到综合了每道试题不同模态信息之后的特征表示，有效地提取了计算机编程试题数据的高阶相关性。
[0061]
步骤3，融合学生在编程试题上的做题记录中的教育学依赖关系信息：采用关系图网络刻画学生、试题与知识点之间的教育学关系，通过网络的迭代更新获取这三种对象融合了依赖关系的特征表示。
[0062]
嵌入层利用d维可训练矩阵对学生和知识点进行编码。其中n和k分别是学生和知识点的数量。对于学生sz，他的嵌入表示是通过将他的one-hot向量xz与可训练矩阵s相乘得到的，也即学生嵌入矩阵s的第z行的转置。同样，相关知识点ck的嵌入是矩阵c的第k行的转置。嵌入层建模公式如下所示：
[0063][0064]
在本发明嵌入层的工作中，学生节点以及知识点节点这两种对象的编码是通过可训练的矩阵得到，而因为考虑到了在适用于知识追踪的计算机编程试题数据集buddy中存在着丰富的试题文本信息以及试题的多知识点标签，将步骤2中得到的试题通过超图网络更新之后的特征表示，作为关系图中试题节点的嵌入表示，进一步增强效果。在得到了学生、试题、知识点的嵌入表示之后，利用关系图网络中实现了多级注意力结构的融合层，在多层关系图之间平衡信息，以学习有效的嵌入表示，最终得到更新之后的学生、试题以及知识点的节点嵌入表示。
[0065]
步骤4，构建融合多模态特征的知识追踪模型：运用自注意力机制进行多模态特征的有效融合，并整合到知识追踪模型中，分析学生知识状态并预测答题表现。以自注意力变换网络transformer为基础，构建编码器——解码器结构的知识追踪模型，具体包括：
[0066]
步骤4-1，输入数据：编码器部分的原始输入是由试题编号、知识点、学生编号以及学生答题情况组成的嵌入向量；解码器部分的原始输入是学生答题情况的嵌入向量；
[0067]
步骤4-2，融合相对位置编码的多头自注意力机制：每个时刻输入的输入部分的相对位置编码信息通过线性投影直接输入到编码器与解码器的多头注意力机制模块中；
[0068]
步骤4-3，预测学生答题表现并分析学生知识状态：将解码器部分的输出特征通过线性层转变为学生的知识状态特征向量，将知识状态的特征向量与计算机编程试题知识点的multi-hot编码信息做点积，预测学生在特定知识点上的做题表现，公式表示如下：
[0069][0070]
其中h
t
为知识状态向量，t表示转置，s
t
为当前t时刻的试题知识点的multi-hot编码，为预测的学生在t时刻答对试题的概率。
[0071]
学生、试题以及知识点这三种不同的对象可以通过它们的原始编号通过可学习的矩阵得到各自对应的嵌入表示u、q1以及c1。在步骤2中利用超图网络结构对计算机编程试题中存在的多模态信息进行提取，将得到更新之后的试题特征表示作为步骤3中利用的关系图网络中试题节点的特征表示。步骤3中，考虑了在计算机编程教育上学生、试题以及知识点之间存在的关系，利用关系图网络建模，得到了这三种不同对象融合了批次之间关系的特征表示，分别是u
′
、q1′
以及c1′
。在设计的多模态特征融合网络之中，本发明将学生、试题以及知识点这三种不同对象各自的通过可学习矩阵得到的嵌入表示以及通过超图网络、关系图网络更新之后得到的增强的嵌入表示与回答情况的嵌入表示拼接起来作为特征融合的输入，再经过线性层的映射，残差连接与层归一化的处理以及带上三角掩码的多头注意力机制等，最终得到时间序列中每个时刻4上融合了不同模态信息的模型输入嵌入表示inpu4
t
，如图5所示。
[0072]
如图6所示，本发明通过超图网络结构以及关系图网络结构建模了数据集中存在的多模态信息，并通过设计的多模态特征融合网络得到的融合之后的嵌入表示，将它作为原始输入输入到设计的知识追踪模型的编码器与解码器部分中，得到最终融合了多模态特征的知识追踪方法，更好地分析学生知识状态以及预测学生答对试题的概率。
[0073]
实验设置中采用adamw优化器，batch size设置为32。模型的输入序列长度统一设置为80，原始输入序列最小长度设置为10，原始输入序列不足长度80的通过空白填充项填充，超过长度80的输入序列本发明将其长序列输入分割为多个上限为80的输入序列。将数据集按照7:3的比例划分训练集与测试集。编码器与解码器均堆叠4块，多头注意力机制的head数量设定为8，采用dropout方法，值设定为0.1，模型特征向量的维度设定为256，学习率设定为0.0002。超图网络中利用k近邻算法构建超边的参数k设置为5。
[0074]
表1对比实验
[0075][0076]
在表1中，本发明将基于rnn(lstm)的dkt模型、eernnm模型、基于transformer模型的saint模型与本发明模型tktmf进行比较，可以看出tktmf模型在知识追踪任务中的预测效果好于其他模型。tktmf的auc更高，相较于前一章的tkt模型提升了2.41个百分点，并且mse、mae最低。可以表明，融合了多种模态信息帮助模型得到更好的特征表示，帮助模型获得更高的准确率，以帮助预测学生在当前时刻的答题情况。
[0077]
模型输出的可视化结果主要是学生知识状态的雷达图表示以及热力图表示。分别如图7和图8所示。其中雷达图主要刻画的是学生在做题行为序列始末时刻的一个阶段性的比较刻画。雷达图极坐标的每个轴代表的是一种知识点，雷达图中实线代表的是学生初始时刻对于各个知识点的掌握程度，虚线是学生最新时刻的对于各个知识点的掌握程度。其值都在0～1之问变化，数值越大代表掌握的程度越高。热力图主要展现的是学生在一段连续的时间段内的知识点掌握程度的连续变化。可以让每位学生了解自身各个知识点的水平，从而进行针对性的练习。热力图的每一行显示的是该学生对于某个知识点掌握程度的时间变化，热力图的每一列显示的是某个时刻学生所有知识点的掌握程度。其中纵轴上的标记表示知识点的序号，横轴上的标记(c,r)表示在当前时刻做的试题的主要知识点是c，答题情况是r。
[0078]
以上对本发明所提供的一种面向计算机编程试题的多模态特征融合知识追踪方法进行了详细介绍。值得注意的是，具体实现该技术方案的方法和途径有很多，以上所述仅是本发明的优选实施方式，只用于帮助理解本发明的方法及核心思想；同时，对于本领域的一般技术人员，在本发明核心思想的基础上，做出的修改和调整都将视为本发明的保护范围。综上所述，本说明书内容不应理解为对本发明的限制，本发明的保护范围应由所附的权利要求来限定。

技术特征：
1.一种面向计算机编程试题的多模态特征融合知识追踪方法，其特征在于，包括以下步骤：步骤1，构建数据集：收集整理高校计算机编程试题以及学生的做题记录、人工标记标签，构造数据集buddy；步骤2，融合计算机编程试题多模态信息：设计超图网络结构融合试题中存在的试题文本语义信息以及试题所包含的多知识点标签信息；步骤3，融合学生在编程试题上的做题记录中的教育学依赖关系信息：采用关系图网络刻画学生、试题与知识点之间的教育学关系，通过网络的迭代更新获取这三种对象融合了依赖关系的特征表示；步骤4，构建融合多模态特征的知识追踪模型：运用自注意力机制进行多模态特征的融合，并整合到知识追踪模型中，分析学生知识状态并预测答题表现。2.根据权利要求1所述的一种面向计算机编程试题的多模态特征融合知识追踪方法，其特征在于，在步骤4中，以自注意力变换网络transformer为基础，构建编码器——解码器结构的知识追踪模型，包括以下步骤：步骤4-1，输入数据：编码器部分的原始输入是由试题编号、知识点、学生编号以及学生答题情况组成的嵌入向量；解码器部分的原始输入是学生答题情况的嵌入向量；步骤4-2，融合相对位置编码的多头自注意力机制：每个时刻输入的输入部分的相对位置编码信息通过线性投影直接输入到编码器与解码器的多头注意力机制模块中；步骤4-3，预测学生答题表现并分析学生知识状态：将解码器部分的输出特征通过线性层转变为学生的知识状态特征向量，将知识状态的特征向量与计算机编程试题知识点的multi-hot编码信息做点积，预测学生在特定知识点上的做题表现，公式表示如下：其中h
t
为知识状态向量，t表示转置，s
t
为当前t时刻的试题知识点的multi-hot编码，为预测的学生在t时刻答对试题的概率。3.根据权利要求1所述的一种面向计算机编程试题的多模态特征融合知识追踪方法，其特征在于，在步骤2中，融合计算机编程试题多模态信息时，设计使用超图网络结构获取试题特征表示，步骤包括：步骤2-1，超图构建：在数据集buddy中对计算机编程试题从试题文本信息以及所包含的知识点集合这两种角度来描述，即试题文本信息的bert向量与试题的多知识点信息特征向量，作为从不同角度刻画的模态信息来构建超图，生成试题的两种关联矩阵h1与h2，通过拼接两个模态的关联矩阵h1与h2得到超图的最终表现形式h；步骤2-2，超图网络卷积：在数据的超图结构形成之后，将超图关联矩阵h和节点特征q＝[q1,
…
,q
n
]
t
作为输入，通过图卷积运算来处理特征学习过程中的数据相关性；卷积层的公式如下：其中q
(l)
和q
(l+1)
分别是第l层和第l+1层的试题特征，σ表示非线性激活函数，h是超图关联矩阵，θ是可学习的滤波矩阵；d
v
和d
e
分别表示超图顶点和超边的对角矩阵，w是一个单位矩阵，表示所有的超边的权重相同。
4.根据权利要求1所述的一种面向计算机编程试题的多模态特征融合知识追踪方法，其特征在于，在步骤3中，融合学生在编程试题上的做题记录中的教育学依赖关系信息时，利用关系图网络结构获取学生、试题以及知识点的嵌入表示，包括以下步骤：步骤3-1，初始化学生、试题以及知识点的节点嵌入表示：嵌入层利用d维可训练矩阵对学生和知识点进行编码，其中n和k分别是学生和知识点的数量；将步骤2中试题通过超图网络结构更新之后的特征表示，作为关系图中试题节点的嵌入表示；步骤3-2，描述三张本地地图：根据buddy数据集构建知识点依赖图、试题——知识点相关图和学生——试题交互图；步骤3-3，更新学生、试题以及知识点的节点嵌入表示：利用关系图网络中实现了多级注意力结构的融合层，在多层关系图之间平衡信息，学习嵌入表示。5.根据权利要求1-4任一所述的一种面向计算机编程试题的多模态特征融合知识追踪方法，其特征在于，运用自注意力机制进行多模态特征的融合，并整合到知识追踪模型中，具体包括；将学生、试题以及知识点在数据集中的原始编号通过可学习的矩阵得到各自的嵌入表示u、q
i
以及c
i
；通过关系图网络得到的更新之后的学生、试题以及知识点的嵌入表示u
′
、q
′
i
以及c
′
i
；将u、q
i
、c
i
、u
′
、q
′
i
以及c
′
i
与回答情况的嵌入表示拼接起来作为特征融合的输入，再经过线性层的映射，残差连接与层归一化的处理以及带上三角掩码的多头注意力机制，最终得到知识追踪模型中每个时刻4上融合了不同模态信息的输入嵌入表示input
t
。

技术总结
本发明公开了一种面向计算机编程试题的多模态特征融合知识追踪方法，属于智能教育领域。包含以下步骤：(1)收集整理高校计算机编程试题以及学生的做题记录、人工标记标签，构造编程试题知识追踪数据集Buddy。(2)设计超图网络结构融合试题中丰富的文本信息以及多知识点标签信息。(3)利用关系图网络刻画学生、试题与知识点之间的教育学关系，通过网络的迭代更新获取这三种对象融合了依赖关系的特征表示。(4)运用自注意力机制进行多模态特征的有效融合，并整合到自行设计的知识追踪模型中，分析学生知识状态并预测答题表现。本发明方法通过融合计算机编程试题以及学生做题记录中的多模态信息，以帮助模型提高性能，具有较高的使用价值。用价值。用价值。


技术研发人员：杨琬琪 吴晨 谢雨荃 唐宇萌 杨明
受保护的技术使用者：南京师范大学
技术研发日：2023.05.31
技术公布日：2023/8/28