数据处理方法、装置、电子设备、存储介质及芯片与流程
未命名
09-22
阅读:65
评论:0

1.本公开涉及集成电路技术领域,具体而言,涉及一种数据处理方法、装置、电子设备、存储介质及芯片。
背景技术:
2.随着深度学习的研究与发展,神经网络被应用于各大领域;比如人脸识别领域、指纹识别领域等。其中,神经网络中的连接层是将多个输入特征数据按照通道维度或数量维度进行级联,得到级联特征数据。
3.一般的,连接层的输入特征数据和输出特征数据的数据量较大,会占用较多的片上存储器的容量,以及片上存储器需要对多个输入特征数据进行数据排布,存在无效计算操作,增加了芯片系统的功耗,降低了芯片系统的性能。
技术实现要素:
4.有鉴于此,本公开至少提供一种数据处理方法、装置、电子设备、存储介质及芯片。
5.第一方面,本公开提供了一种数据处理方法,包括:
6.获取多个待处理特征数据;其中,所述多个待处理特征数据为神经网络中连接层对应的输入特征数据;
7.按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将所述多个待处理特征数据存储在片上存储器;其中,第一数据存储格式与所述连接层对应的存储格式相匹配;
8.基于数据读取指令,读取所述片上存储器存储的特征数据,并将读取到的所述特征数据按照第二数据存储格式存储至内部存储器;其中,读取到的特征数据与所述多个待处理特征数据级联后得到的级联特征数据相匹配。
9.上述方法中,通过按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将多个待处理特征数据存储在片上存储器,由于第一数据存储格式与连接层对应的存储格式相匹配,无需额外对输入特征数据进行无效操作,即可实现数据排布,缓解了片上存储器对输入特征数据进行无效操作时造成的功耗增加问题。再基于数据读取指令,读取片上存储器存储的特征数据,以及可以将读取到的特征数据按照第二数据存储格式存储至内部存储器;其中,读取到的特征数据与多个待处理特征数据级联后得到的级联特征数据相匹配。由于在连接层的前一网络层完成计算操作后,按照第一数据存储格式指示的各个特征维度的处理顺序,将输出数据存储在片上存储器,减少了访问内部存储器的次数,也减少了片上存储器容量的占用,提高了系统性能。
10.一种可能的实施方式中,所述按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将所述多个待处理特征数据存储在片上存储器,包括:
11.在所述第一数据存储格式指示的各个特征维度的处理顺序包括通道维度、宽度维度、高度维度和批数量维度的情况下,确定所述待处理特征数据包括的任一通道上各个特
征位置对应的位置顺序;
12.基于所述位置顺序,从未处理的特征位置中确定当前特征位置,并针对所述当前特征位置,按照确定的所述多个待处理特征数据对应的通道顺序,从所述多个待处理特征数据包括的每个通道中,提取位于所述当前特征位置上的特征值,且将提取到的所述特征值存储至所述片上存储器,直至遍历未处理的特征位置为止。
13.这里,在获取多个待处理特征数据之后,按照确定的第一数据存储格式指示的各个特征维度的处理顺序,直接将多个待处理特征数据存储在片上存储器,无需先存储至内部存储器,再从内部存储器中加载到片上存储器进行数据排布,可以减少访问内部存储器的次数,降低芯片系统的功耗。
14.一种可能的实施方式中,所述基于数据读取指令,读取所述片上存储器存储的特征数据,并将读取到的所述特征数据按照第二数据存储格式存储至内部存储器,包括:
15.基于所述数据读取指令,读取所述片上存储器的第一存储地址中存储的特征数据;其中,所述数据读取指令携带有与所述第一数据存储格式匹配的输入数据格式、和与所述第二数据存储格式匹配的输出数据格式;
16.基于所述输入数据格式和所述输出数据格式,将读取到的所述特征数据按照所述第二数据存储格式存储至所述内部存储器。
17.这里,数据读取指令携带有与第一数据存储格式匹配的输入数据格式、和与第二数据存储格式匹配的输出数据格式,通过基于输入数据格式和输出数据格式,可以读取片上存储器的第一存储地址中存储的特征数据,并可以按照第二数据存储格式,较准确的将读取到的特征数据存储至内部存储器,实现了连接层的级联操作。
18.一种可能的实施方式中,所述基于所述输入数据格式和所述输出数据格式,将读取到的所述特征数据按照所述第二数据存储格式存储至所述内部存储器,包括:
19.基于所述输入数据格式,确定读取到的所述特征数据中每个特征值对应的特征维度信息;其中,所述特征维度信息用于指示所述特征值在所述级联特征数据上所处位置;
20.基于每个特征值对应的所述特征维度信息和所述输出数据格式,确定所述特征值在所述内部存储器上的存储位置;
21.按照每个所述特征值对应的所述存储位置,将各个所述特征值存储至所述内部存储器。
22.由于通过输入数据格式,可以确定读取到的特征数据中每个特征值对应的特征维度信息;通过输出数据格式,可以确定每个特征维度上相邻特征值之间的地址间隔;因此可以实现按照输入数据格式读取特征数据,并按照输出数据格式存储数据,实现多个待处理特征数据对应的级联特征数据的存储。
23.一种可能的实施方式中,所述输入数据格式指示:读取到的所述特征数据在通道维度上相邻特征值的地址间隔为1,在宽度维度上相邻特征值的地址间隔为所述级联特征数据包括的通道数量c,在高度维度上相邻特征值的地址间隔为c
×
w;其中,w为所述级联特征数据的任一通道中宽度维度上包括的特征值数量;c、w为正整数。
24.这里,可以基于输入数据格式指示的各个特征值之间的地址间隔,确定各个特征值对应的特征维度信息,便于后续可以基于各个特征值对应的特征维度信息,确定存储至内部存储器时的存储位置。
25.一种可能的实施方式中,所述输出数据格式指示:在第一通道维度上相邻特征值的地址间隔为1,在宽度维度上相邻特征值的地址间隔为第一通道维度包括的通道数量c1,在高度维度上相邻特征值的地址间隔为w
×
c1,在第二通道维度上相邻特征值的地址间隔为h
×w×
c1,其中,w和h为所述级联特征数据的任一通道中宽度维度和高度维度上分别包括的特征值数量;c1、h、w为正整数。
26.第二方面,本公开提供了一种芯片,所述芯片包括:片上存储器和内部存储器;
27.所述片上存储器,用于获取多个待处理特征数据,并按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将所述多个待处理特征数据进行数据存储;
28.所述内部存储器,用于基于数据读取指令,读取所述片上存储器存储的特征数据,并将读取到的所述特征数据按照第二数据存储格式进行存储。
29.以下装置、电子设备等的效果描述参见上述方法的说明,这里不再赘述。
30.第三方面,本公开提供了一种数据处理装置,包括:
31.获取模块,用于获取多个待处理特征数据;其中,所述多个待处理特征数据为神经网络中连接层对应的输入特征数据;
32.第一存储模块,用于按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将所述多个待处理特征数据存储在片上存储器;其中,第一数据存储格式与所述连接层对应的存储格式相匹配;
33.第二存储模块,用于基于数据读取指令,读取所述片上存储器存储的特征数据,并将读取到的所述特征数据按照第二数据存储格式存储至内部存储器;其中,读取到的特征数据与所述多个待处理特征数据级联后得到的级联特征数据相匹配。
34.第四方面,本公开提供一种电子设备,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如上述第一方面或任一实施方式所述的数据处理方法的步骤,或者如第二方面所述的芯片。
35.第五方面,本公开提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如上述第一方面或任一实施方式所述的数据处理方法的步骤。
36.为使本公开的上述目的、特征和优点能更明显易懂,下文特举较佳实施例,并配合所附附图,作详细说明如下。
附图说明
37.为了更清楚地说明本公开实施例的技术方案,下面将对实施例中所需要使用的附图作简单地介绍,此处的附图被并入说明书中并构成本说明书中的一部分,这些附图示出了符合本公开的实施例,并与说明书一起用于说明本公开的技术方案。应当理解,以下附图仅示出了本公开的某些实施例,因此不应被看作是对范围的限定,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其他相关的附图。
38.图1示出了本公开实施例所提供的一种连接层的执行过程的示意图;
39.图2示出了本公开实施例所提供的一种数据处理方法的流程示意图;
40.图3示出了本公开实施例所提供的一种数据处理方法中,多个待处理特征数据的
示意图;
41.图4示出了本公开实施例所提供的一种数据处理方法中,多个待处理特征数据、和级联特征数据的示意图;
42.图5a示出了本公开实施例所提供的一种数据处理方法中,片上存储器存储的特征数据的示意图;
43.图5b示出了本公开实施例所提供的一种数据处理方法中,内部存储器存储的特征值的示意图;
44.图6示出了本公开实施例所提供的一种芯片的结构示意图;
45.图7示出了本公开实施例所提供的一种数据处理装置的架构示意图;
46.图8示出了本公开实施例所提供的一种电子设备的结构示意图。
具体实施方式
47.为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本公开一部分实施例,而不是全部的实施例。通常在此处附图中描述和示出的本公开实施例的组件可以以各种不同的配置来布置和设计。因此,以下对在附图中提供的本公开的实施例的详细描述并非旨在限制要求保护的本公开的范围,而是仅仅表示本公开的选定实施例。基于本公开的实施例,本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
48.通常神经网络中的连接层(concat层)在通道维度上对多个输入特征数据进行级联,得到级联后特征数据;即将多个输入特征数据在通道维度上进行连接,得到的级联后特征数据的通道维度与各个输入特征数据的通道维度之和相同,比如,输入特征数据1的尺寸为高度h
×
宽度w
×
通道数c1,输入特征数据2的尺寸为高度h
×
宽度w
×
通道数c2,在通道维度上对输入特征数据1和输入特征数据2进行级联,得到级联后特征数据的尺寸为高度h
×
宽度w
×
通道数(c1+c2)。结合图1对芯片系统中连接层的执行过程进行示例性说明。在芯片运行神经网络的过程中,连接层的前一网络层完成计算操作,得到输出特征数据,如图1中的btm_layer0(网络层0对应的输出特征数据)、btm_layer1(网络层1对应的输出特征数据)、btm_layer2(网络层2对应的输出特征数据),并将得到的输出特征数据存储到片上存储器,即可以将btm_layer0存储至片上存储器内的存储区域a1,将btm_layer1存储至片上存储器内的存储区域a2,将btm_layer2存储至片上存储器内的存储区域a3;然后再从片上存储器中存储到内部存储器,即可以从片上存储器内的存储区域a1中获取btm_layer0,再将获取到的btm_layer0存储至内部存储器内的存储区域b1;可以从片上存储器内的存储区域a2中获取btm_layer1,再将获取到的btm_layer1存储至内部存储器内的存储区域b2;可以从片上存储器内的存储区域a3中获取btm_layer2,再将获取到的btm_layer2存储至内部存储器内的存储区域b3;内部存储器比如为双倍速率同步动态随机存储器(double data rate sdram,ddr)。
49.由于片上存储器的数据存储格式与内部存储器的数据存储格式不同,且连接层的数据排布没有单独的数据搬移指令,因此在将多个输入特征数据进行级联时,需要通过计算操作完成数据排布,即需要将多个输入特征数据依次从内部存储器加载到片上存储器,
并依次对输入特征数据进行无效计算操作(如加0、乘1等计算),完成数据排布;最后将排布好的结果数据存储到内部存储器,完成连接层对应的特征数据的连接操作。
50.上述过程中,将多个网络层对应的输出特征数据(即连接层的输入特征数据)存储在内部存储器,再执行连接层的操作,即在将多个输入特征数据进行级联操作时,将输入特征数据从内部存储器存储至片上存储器,增加了访问内部存储器的次数,且连接层的输入特征数据和输出特征数据的数据量较大,会占用较多的片上存储器的容量。同时,由于片上存储器需要对多个输入特征数据进行数据排布,增加了数据的无效操作过程,增加了芯片系统的功耗,降低了芯片系统的性能。
51.为了缓解上述问题,本公开实施例提出一种数据处理方法、装置、电子设备、存储介质及芯片。
52.应注意到:相似的标号和字母在下面的附图中表示类似项,因此,一旦某一项在一个附图中被定义,则在随后的附图中不需要对其进行进一步定义和解释。
53.为便于对本公开实施例进行理解,首先对本公开实施例所公开的一种数据处理方法进行详细介绍。本公开实施例所提供的数据处理方法的执行主体一般为具有一定计算能力的计算机设备,该计算机设备例如包括:终端设备或服务器。在一些可能的实现方式中,该数据处理方法可以通过处理器调用存储器中存储的计算机可读指令的方式来实现。
54.参见图2所示,为本公开实施例所提供的数据处理方法的流程示意图,该方法包括:s201-s203,具体的:
55.s201,获取多个待处理特征数据;其中,多个待处理特征数据为神经网络中连接层对应的输入特征数据。
56.s202,按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将多个待处理特征数据存储在片上存储器;其中,第一数据存储格式与连接层对应的存储格式相匹配。
57.s203,基于数据读取指令,读取片上存储器存储的特征数据,并将读取到的特征数据按照第二数据存储格式存储至内部存储器;其中,读取到的特征数据与多个待处理特征数据级联后得到的级联特征数据相匹配。
58.上述方法中,通过按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将多个待处理特征数据存储在片上存储器,由于第一数据存储格式与连接层对应的存储格式相匹配,无需额外对输入特征数据进行无效操作,即可实现数据排布,缓解了片上存储器对输入特征数据进行无效操作时造成的功耗增加问题。再基于数据读取指令,读取片上存储器存储的特征数据,以及可以将读取到的特征数据按照第二数据存储格式存储至内部存储器;其中,读取到的特征数据与多个待处理特征数据级联后得到的级联特征数据相匹配。由于在连接层的前一网络层完成计算操作后,按照第一数据存储格式指示的各个特征维度的处理顺序,将输出数据存储在片上存储器,减少了访问内部存储器的次数,也减少了片上存储器容量的占用,提高了系统性能。
59.下述对s201至s203进行详细说明。
60.针对s201和s202:
61.多个待处理特征数据为神经网络中连接层对应的输入特征数据,即连接层的前一网络层(比如卷积层、池化层等)的输出特征数据;示例性的,若该神经网络应用于人脸识别
领域,多个待处理特征数据可以为前一网络层对人脸图像进行特征提取,得到的人脸图像对应的图像特征数据;若该神经网络应用于自动驾驶领域,多个待处理特征数据可以为前一网络层对采集的道路图像进行特征提取,得到的道路图像对应的图像特征数据。这里,多个待处理特征数据的具体内容可以根据神经网络的实际应用场景进行确定;连接层的前一网络层可以包括多个网络层,即可以得到每个网络层的输出特征数据,或者连接层的前一网络层可以生成多个输出特征数据,具体情况可以根据神经网络的网络结构而定,本公开实施例不对此限制。在前一网络层得到输出特征数据后,可以按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将多个待处理特征数据(即前一网络层的输出特征数据)存储在片上存储器;其中,第一数据存储格式与连接层对应的存储格式相匹配,可以预先进行设置。
62.数据存储格式中各个特征维度可以包括批数量batch-number维度n、高度维度h、宽度维度w和通道维度c,其中在硬件设备上通道维度对应的数值一般需要为16的倍数,在不足16的倍数时可以利用无效数据进行补齐,批数量batch-number维度对应的数值与待处理特征数据的批数量相匹配,每批待处理特征数据可以包括至少一个待处理特征数据,参见图3所示,批数量batch-number维度对应的数值为1,批数量batch-number维度上包括的待处理特征数据的数量为3。
63.示例性的,第一数据存储格式可以为nhwc,即按照c-w-h-n的处理顺序存储特征数据;第一数据存储格式还可以为nwhc,即按照c-h-w-n的处理顺序存储特征数据;第一数据存储格式可以为nchw,即按照w-h-c-n的处理顺序存储特征数据。
64.一种可能的实施方式中,按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将多个待处理特征数据存储在片上存储器,包括:
65.步骤a1,在第一数据存储格式指示的各个特征维度的处理顺序包括通道维度、宽度维度、高度维度和批数量batch-number维度的情况下,确定待处理特征数据包括的任一通道上各个特征位置对应的位置顺序。
66.步骤a2,基于位置顺序,从未处理的特征位置中确定当前特征位置。
67.步骤a3,针对当前特征位置,按照确定的多个待处理特征数据对应的通道顺序,从多个待处理特征数据包括的每个通道中,提取位于当前特征位置上的特征值;并将提取到的特征值存储至片上存储器。
68.步骤a4,响应于多个待处理特征数据的各个通道中位于当前特征位置上的特征值被存储,返回至基于位置顺序,从未处理的特征位置中确定当前特征位置的步骤,直至不存在未处理的特征位置为止。
69.实施时,在第一数据存储格式指示的各个特征维度的处理顺序包括通道维度c、宽度维度w、高度维度h和批数量batch-number维度n的情况下,即第一数据存储格式为nhwc,可以确定待处理特征数据包括的任一通道上各个特征位置对应的位置顺序;结合图3所示,针对任一通道,按照先宽度维度、再高度维度的处理顺序,可以确定该通道上各个特征位置对应的位置顺序为(1,1)、(1,2)、(1,3)、(2,1)、
…
、(3,3);再可以基于位置顺序,从未处理的特征位置中确定当前特征位置,比如当前特征位置(1,2);针对当前特征位置,可以按照确定的多个待处理特征数据对应的通道顺序,比如,有3个待处理特征数据分别为btm_layer0、btm_layer1、和btm_layer2,btm_layer0的通道数c0为7,btm_layer1的通道数c1为
10,btm_layer2的通道数c2为6,可以按照btm_layer0中通道c0_1至通道c0_7、btm_layer1中通道c1_1至通道c1_10、btm_layer2中通道c2_1至通道c2_6的通道顺序,从多个待处理特征数据包括的每个通道中,提取位于当前特征位置(1,2)上的特征值;并可以将提取到的特征值存储至片上存储器。
70.响应于多个待处理特征数据的各个通道中位于当前特征位置(1,2)上的特征值被存储,即响应于btm_layer0的通道c0_1至通道c0_7、btm_layer1的通道c1_1至通道c1_10、和btm_layer2的通道c2_1至通道c2_6中位于当前特征位置(1,2)上的特征值被存储,返回至步骤a2,确定新的当前特征位置为(1,3),执行步骤a3和步骤a4,直至不存在未处理的特征位置为止。
71.第一数据存储格式还可以为nwhc,则第一数据存储格式指示的各个特征维度的处理顺序包括通道维度c、高度维度h、宽度维度w和批数量batch-number维度n,可以确定待处理特征数据包括的任一通道上各个特征位置对应的位置顺序为(1,1)、(2,1)、(3,1)、(1,2)、(2,2)、(3,2)、(1,3)、(2,3)、(3,3);再可以根据步骤a2至步骤a4继续执行,直至全部特征值均被存储。
72.示例性的,参见图4所示的多个待处理特征数据、和多个待处理特征数据级联后得到的级联特征数据;多个待处理特征数据分别为btm_layer0、btm_layer1、和btm_layer2,其中,btm_layer0、btm_layer1、和btm_layer2的宽和高均为w和h,btm_layer0的通道数c0为7,btm_layer1的通道数c1为10,btm_layer2的通道数c2为6,btm_layer0、btm_layer1、和btm_layer2级联后得到的级联特征数据itm_layer,itm_layer的有效通道数为btm_layer0、btm_layer1、和btm_layer2的通道数之和,由于片上存储器的限制,会将通道数量设置为16的倍数操作,故itm_layer的通道数量c为32,即有效通道数量23和无效通道数量9。
73.这里,在获取多个待处理特征数据之后,按照确定的第一数据存储格式指示的各个特征维度的处理顺序,直接将多个待处理特征数据存储在片上存储器,无需先存储至内部存储器,再从内部存储器中加载到片上存储器进行数据排布,可以减少访问内部存储器的次数,降低芯片系统的功耗。
74.针对s203:
75.基于数据读取指令,读取片上存储器存储的特征数据,并将读取到的特征数据按照第二数据存储格式存储至内部存储器;第二数据存储格式可以为nc2hwc1,其中第一通道维度c1包括的特征值的最小数量,即为16,w和h为级联特征数据的任一通道的宽度维度和高度维度,第二通道维度c2表示第一通道维度的数量,比如可以将级联特征数据包括的通道数量和c1(即16)的商向上取整,得到第一通道维度的数量。比如,若级联特征数据的通道数为23,则c2的值为2。
76.一种可能的实施方式中,基于数据读取指令,读取片上存储器存储的特征数据,并将读取到的特征数据按照第二数据存储格式存储至内部存储器,包括:
77.步骤b1,基于数据读取指令,读取片上存储器的第一存储地址中存储的特征数据;其中,数据读取指令携带有与第一数据存储格式匹配的输入数据格式、和与第二数据存储格式匹配的输出数据格式。
78.步骤b2,基于输入数据格式和输出数据格式,将读取到的特征数据按照第二数据
存储格式存储至内部存储器。
79.实施时,数据读取指令携带有与第一数据存储格式匹配的输入数据格式、和与第二数据存储格式匹配的输出数据格式,可以基于数据读取指令,读取片上存储器的第一存储地址中存储的特征数据;该特征数据可以为级联特征数据,也可以为级联特征数据中的局部特征数据。
80.进一步的,由于输入数据格式与第一数据存储格式匹配,则可以根据第一数据存储格式,确定读取到的特征数据中每个特征值在级联特征数据上所处的特征位置,即可以确定读取到每个特征值在级联特征数据上位于各个特征维度的维度数,比如,特征值1在级联特征数据上位于第1批数量维度、第1高度维度、第1宽度维度、第1通道维度。以及,由于输出数据格式与第二数据存储格式匹配,则可以根据第二数据存储格式,确定各个特征维度上相邻特征值之间的地址间隔。进而,可以基于输入数据格式和输出数据格式,确定读取到每个特征值在内部存储器上的存储位置,并将读取到的每个特征值存储至内部存储器。
81.这里,数据读取指令携带有与第一数据存储格式匹配的输入数据格式、和与第二数据存储格式匹配的输出数据格式,通过基于输入数据格式和输出数据格式,可以读取片上存储器的第一存储地址中存储的特征数据,并可以按照第二数据存储格式,较准确的将读取到的特征数据存储至内部存储器,实现了连接层的级联操作。
82.一种可能的实施方式中,输入数据格式指示:读取到的特征数据在通道维度上相邻特征值的地址间隔为1,在宽度维度上相邻特征值的地址间隔为级联特征数据包括的通道数量c,在高度维度上相邻特征值的地址间隔为c
×
w;其中,w为级联特征数据的任一通道中宽度维度上包括的特征值数量;c、w为正整数。
83.实施时,由于输入数据格式与第一数据存储格式相匹配,在第一数据存储格式为nhwc的情况下,若输入数据格式指示读取到的特征数据在通道维度上相邻特征值的地址间隔为1,则表示地址间隔为1的特征值为通道维度上、相同特征位置上的相邻特征值;在宽度维度上相邻特征值的地址间隔为级联特征数据包括的通道数量c,则表示地址间隔为级联特征数据包括的通道数量c的特征值为同一通道上、宽度维度上的相邻特征值;在高度维度上相邻特征值的地址间隔为c
×
w,则表示地址间隔为c
×
w的特征值为同一通道上、高度维度上的相邻特征值;其中,w为级联特征数据的任一通道中宽度维度上包括的特征值数量;c、w为正整数。
84.示例性的,参照图5a所示的级联特征数据以及片上存储器存储的特征数据,级联特征数据的任一通道中宽度维度上包括的特征值数量为3,即w=3;级联特征数据的任一通道中高度维度上包括的特征值数量为3,即h=3;级联特征数据包括的通道数量c=32(可以包括有效通道和无效通道)。若从片上存储器的地址0x00至地址0x16中,读取到特征数据(0,9,18,27,36,45,54,63,72,81,90,99,108,117,126,135,144,153,162,171,180,189,198),则可以确定读取到的特征数据中相邻特征值之间的地址间隔为1,故0至198为相同特征位置上、各个通道上的特征值,且相邻特征值中前一特征值对应的通道与后一特征值对应的通道为相邻通道。
85.若读取到的特征数据为(0,9,18,
…
,1,10,19),即从片上存储器的地址0x00中读取到特征值0,从片上存储器的地址0x20中读取到特征值1;从片上存储器的地址0x01中读取到特征值9,从片上存储器的地址0x21中读取到特征值10;从片上存储器的地址0x02中读
取到特征值18,从片上存储器的地址0x22中读取到特征值19;则可以确定读取到的特征数据中特征值0与特征值1之间相隔31个特征值,故特征值0与特征值1之间的地址间隔为32,特征值0与特征值1为同一通道上、宽度维度上的相邻特征值;特征值9与特征值10之间相隔31个特征值故特征值9与特征值10之间的地址间隔为32,特征值9与特征值10为同一通道上、宽度维度上的相邻特征值;特征值18与特征值19之间相隔31个特征值,故特征值18与特征值19之间的地址间隔为32,特征值18与特征值19为同一通道上、宽度维度上的相邻特征值。
86.若读取到的特征数据为(0,9,18,
…
,3,12,21),即从片上存储器的地址0x00中读取到特征值0,从片上存储器的地址0x50中读取到特征值3;从片上存储器的地址0x01中读取到特征值9,从片上存储器的地址0x51中读取到特征值12;从片上存储器的地址0x02中读取到特征值18,从片上存储器的地址0x52中读取到特征值21;则可以确定读取到的特征数据中特征值0与特征值3之间相隔95个特征值,故特征值0与特征值3之间的地址间隔为32
×
3(即c
×
w),特征值0与特征值3为同一通道上、高度维度上的相邻特征值;特征值9与特征值12为同一通道上、高度维度上的相邻特征值;特征值18与特征值21为同一通道上、高度维度上的相邻特征值。
87.这里,可以基于输入数据格式指示的各个特征值之间的地址间隔,确定各个特征值对应的特征维度信息,便于后续可以基于各个特征值对应的特征维度信息,确定存储至内部存储器时的存储位置。
88.一种可能的实施方式中,输出数据格式指示:在第一通道维度上相邻特征值的地址间隔为1,在宽度维度上相邻特征值的地址间隔为第一通道维度包括的通道数量c1,在高度维度上相邻特征值的地址间隔为w
×
c1,在第二通道维度上相邻特征值的地址间隔为h
×w×
c1,其中,w和h为级联特征数据的任一通道中宽度维度和高度维度上分别包括的特征值数量;c1、h、w为正整数。
89.实施时,若输出数据格式指示在第一通道维度上相邻特征值的地址间隔为1,则表示在第一通道维度上、相同特征位置上的特征值存储至内部存储器时,相邻特征值的地址间隔为1,其中第一通道维度包括的通道数量c1为16;结合图5b所示的内部存储器存储的特征值,若特征值0对应的内存地址为0x00,特征值9对应的内存地址为0x01;则可以确定特征值0在c0_1通道上、位于特征位置(1,1)上,特征值9在c0_2通道上、位于特征位置(1,1)上。
90.若输出数据格式指示在宽度维度上相邻特征值的地址间隔为第一通道维度包括的通道数量c1,则表示在同一通道上、宽度维度上相邻特征值存储至内部存储器时,相邻特征值的地址间隔为16;若特征值0对应的内存地址为0x00,特征值1对应的内存地址为0x10;特征值0与特征值1之间的地址间隔为16,则可以确定特征值0在c0_1通道上、位于特征位置(1,1)上,特征值1在c0_1通道上、位于特征位置(1,2)上。
91.若输出数据格式指示在高度维度上相邻特征值的地址间隔为w
×
c1,则表示在同一通道上、高度维度上相邻特征值存储至内部存储器时,相邻特征值的地址间隔为w
×
c1;若特征值0对应的内存地址为0x00,特征值3对应的内存地址为0x30;特征值0与特征值3之间的地址间隔为3
×
16,则可以确定特征值0在c0_1通道上、位于特征位置(1,1)上,特征值3在c0_1通道上、位于特征位置(2,1)上。
92.若输出数据格式指示在第二通道维度上相邻特征值的地址间隔为h
×w×
c1,则表
示相邻特征值之中前一特征值对应的通道与后一特征值对应的通道之间相隔的通道数量为15,且相邻特征值位于相同特征位置上;若特征值0对应的内存地址为0x00,特征值144对应的内存地址为0x90;特征值0与特征值144之间的地址间隔为3
×3×
16,则可以确定特征值0在c0_1通道上、位于特征位置(1,1)上,特征值144在c1_9通道上、位于特征位置(1,1)上。
93.其中,w和h为级联特征数据的任一通道中宽度维度和高度维度上分别包括的特征值数量;c1、h、w为正整数。
94.一种可能的实施方式中,基于输入数据格式和输出数据格式,将读取到的特征数据按照第二数据存储格式存储至内部存储器,包括:
95.步骤c1,基于输入数据格式,确定读取到的特征数据中每个特征值对应的特征维度信息;其中,特征维度信息用于指示特征值在级联特征数据上所处位置。
96.步骤c2,基于每个特征值对应的特征维度信息和输出数据格式,确定特征值在内部存储器上的存储位置。
97.步骤c3,按照每个特征值对应的存储位置,将各个特征值存储至内部存储器。
98.实施时,可以基于输入数据格式指示的各个特征值之间的地址间隔,确定读取到的特征数据中每个特征值对应的特征维度信息;其中,特征维度信息用于指示特征值在级联特征数据上所处位置,比如,特征维度信息可以包括特征值所处的通道、特征值在该通道上的特征位置等。
99.示例性的,结合图5a所示,比如,读取到的特征数据为(0,9,18,
…
,1,
…
,3,
…
144),且特征值0对应的存储地址为0x00,特征值9对应的存储地址为0x01,特征值18对应的存储地址为0x02,
…
,特征值1对应的存储地址为0x20,特征值3对应的存储地址为0x30,特征值144对应的存储地址为0x90,则可以确定特征值0与特征值9之间的地址间隔为1,特征值9与特征值18之间的地址间隔为1。基于输入数据格式指示的各个特征值之间的地址间隔,可以确定特征值0为c0_1通道上、位于特征位置(1,1)上,特征值9为c0_2通道上、位于特征位置(1,1)上,特征值18为c0_3通道上、位于特征位置(1,1)上。
100.以及可以确定特征值0与特征值1之间的地址间隔为32,基于输入数据格式指示的各个特征值之间的地址间隔,可以确定特征值1为c0_1通道上、位于特征位置(1,2)上。可以确定特征值0与特征值3之间的地址间隔为32
×
3,基于输入数据格式指示的各个特征值之间的地址间隔,可以确定特征值3为c0_1通道上、位于特征位置(2,1)上。可以确定特征值0与特征值144之间的地址间隔为16,基于输入数据格式指示的各个特征值之间的地址间隔,可以确定特征值144为c1_9通道上、位于特征位置(1,1)上。
101.再可以基于每个特征值对应的特征维度信息、和输出数据格式指示的各个特征值之间的地址间隔,确定特征值在内部存储器上的存储位置;以上述示例进行说明,特征值0为c0_1通道上、位于特征位置(1,1)上,特征值9为c0_2通道上、位于特征位置(1,1)上,特征值18为c0_3通道上、位于特征位置(1,1)上;特征值1为c0_1通道上、位于特征位置(1,2)上,特征值3为c0_1通道上、位于特征位置(2,1)上,特征值144为c1_9通道上、位于特征位置(1,1)上。
102.结合图5b所示,基于输出数据格式指示在第一通道维度上、相同特征位置上的特征值存储至内部存储器时,相邻特征值的地址间隔为1,若将特征值0存储至内部存储器中
内存地址0x00的位置,则特征值9对应的内存地址为0x01,则特征值18对应的内存地址为0x02。
103.基于输出数据格式指示在同一通道上、宽度维度上相邻特征值存储至内部存储器时,相邻特征值的地址间隔为c1,即16,则可以确定特征值1对应的内存地址为0x10(即0x00+16)。
104.基于输出数据格式指示在同一通道上、高度维度上相邻特征值存储至内部存储器时,相邻特征值的地址间隔为w
×
c1,即3
×
16,则可以确定特征值3对应的内存地址为0x30(即0x00+3
×
16)。
105.基于输出数据格式指示在第二通道维度上相邻特征值的地址间隔为h
×w×
c1,即表示相邻特征值之中前一特征值对应的通道与后一特征值对应的通道之间相隔的通道数量为15,且相邻特征值位于相同特征位置上,则可以确定特征值144对应的内存地址为0x90(即0x00+3
×3×
16);并按照每个特征值对应的存储位置,将各个特征值存储至内部存储器。
106.由于通过输入数据格式,可以确定读取到的特征数据中每个特征值对应的特征维度信息;通过输出数据格式,可以确定每个特征维度上相邻特征值之间的地址间隔;因此可以实现按照输入数据格式读取特征数据,并按照输出数据格式存储数据,实现多个待处理特征数据对应的级联特征数据的存储。
107.本领域技术人员可以理解,在具体实施方式的上述方法中,各步骤的撰写顺序并不意味着严格的执行顺序而对实施过程构成任何限定,各步骤的具体执行顺序应当以其功能和可能的内在逻辑确定。
108.基于相同的构思,本公开实施例还提供了一种芯片,参见图6所示,为本公开实施例提供的芯片的结构示意图,该芯片包括:片上存储器601和内部存储器602;
109.片上存储器601,用于获取多个待处理特征数据,并按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将多个待处理特征数据进行数据存储;
110.内部存储器602,用于基于数据读取指令,读取片上存储器存储的特征数据,并将读取到的特征数据按照第二数据存储格式进行存储。
111.一种可能的实施方式中,片上存储器601,在按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将多个待处理特征数据进行存储时,用于:
112.在第一数据存储格式指示的各个特征维度的处理顺序包括通道维度、宽度维度、高度维度和批数量维度的情况下,确定待处理特征数据包括的任一通道上各个特征位置对应的位置顺序;
113.基于位置顺序,从未处理的特征位置中确定当前特征位置,并针对所述当前特征位置,按照确定的所述多个待处理特征数据对应的通道顺序,从所述多个待处理特征数据包括的每个通道中,提取位于所述当前特征位置上的特征值,且将提取到的所述特征值存储至所述片上存储器,直至遍历未处理的特征位置为止。
114.一种可能的实施方式中,内部存储器602,在基于数据读取指令,读取片上存储器存储的特征数据,并将读取到的特征数据按照第二数据存储格式进行存储时,用于:
115.基于数据读取指令,读取片上存储器的第一存储地址中存储的特征数据;其中,数据读取指令携带有与第一数据存储格式匹配的输入数据格式、和与第二数据存储格式匹配
的输出数据格式;
116.基于输入数据格式和输出数据格式,将读取到的特征数据按照第二数据存储格式存储至内部存储器。
117.一种可能的实施方式中,内部存储器602,在基于输入数据格式和输出数据格式,将读取到的特征数据按照第二数据存储格式进行存储时,用于:
118.基于输入数据格式,确定读取到的特征数据中每个特征值对应的特征维度信息;其中,特征维度信息用于指示特征值在级联特征数据上所处位置;
119.基于每个特征值对应的特征维度信息和输出数据格式,确定特征值在内部存储器上的存储位置;
120.按照每个特征值对应的存储位置,将各个特征值存储至内部存储器。
121.一种可能的实施方式中,所述输入数据格式指示:读取到的所述特征数据在通道维度上相邻特征值的地址间隔为1,在宽度维度上相邻特征值的地址间隔为所述级联特征数据包括的通道数量c,在高度维度上相邻特征值的地址间隔为c
×
w;其中,w为所述级联特征数据的任一通道中宽度维度上包括的特征值数量;c、w为正整数。
122.一种可能的实施方式中,所述输出数据格式指示:在第一通道维度上相邻特征值的地址间隔为1,在宽度维度上相邻特征值的地址间隔为第一通道维度包括的通道数量c1,在高度维度上相邻特征值的地址间隔为w
×
c1,在第二通道维度上相邻特征值的地址间隔为h
×w×
c1,其中,w和h为所述级联特征数据的任一通道中宽度维度和高度维度上分别包括的特征值数量;c1、h、w为正整数。
123.基于相同的构思,本公开实施例还提供了一种数据处理装置,参见图7所示,为本公开实施例提供的数据处理装置的架构示意图,包括获取模块701、第一存储模块702、第二存储模块703,具体的:
124.获取模块701,用于获取多个待处理特征数据;其中,所述多个待处理特征数据为神经网络中连接层对应的输入特征数据;
125.第一存储模块702,用于按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将所述多个待处理特征数据存储在片上存储器;其中,第一数据存储格式与所述连接层对应的存储格式相匹配;
126.第二存储模块703,用于基于数据读取指令,读取所述片上存储器存储的特征数据,并将读取到的所述特征数据按照第二数据存储格式存储至内部存储器;其中,读取到的特征数据与所述多个待处理特征数据级联后得到的级联特征数据相匹配。
127.一种可能的实施方式中,所述第一存储模块702,在按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将所述多个待处理特征数据存储在片上存储器时,用于:
128.在所述第一数据存储格式指示的各个特征维度的处理顺序包括通道维度、宽度维度、高度维度和批数量维度的情况下,确定所述待处理特征数据包括的任一通道上各个特征位置对应的位置顺序;
129.基于所述位置顺序,从未处理的特征位置中确定当前特征位置,并针对所述当前特征位置,按照确定的所述多个待处理特征数据对应的通道顺序,从所述多个待处理特征数据包括的每个通道中,提取位于所述当前特征位置上的特征值,且将提取到的所述特征值存储至所述片上存储器,直至遍历未处理的特征位置为止。
130.一种可能的实施方式中,所述第二存储模块703,在基于数据读取指令,读取所述片上存储器存储的特征数据,并将读取到的所述特征数据按照第二数据存储格式存储至内部存储器时,用于:
131.基于所述数据读取指令,读取所述片上存储器的第一存储地址中存储的特征数据;其中,所述数据读取指令携带有与所述第一数据存储格式匹配的输入数据格式、和与所述第二数据存储格式匹配的输出数据格式;
132.响应于所述数据读取指令,基于所述输入数据格式和所述输出数据格式,将读取到的所述特征数据按照所述第二数据存储格式存储至所述内部存储器。
133.一种可能的实施方式中,所述第二存储模块703,在响应于所述数据读取指令,基于所述输入数据格式和所述输出数据格式,将读取到的所述特征数据按照所述第二数据存储格式存储至所述内部存储器时,用于:
134.响应于所述数据读取指令,基于所述输入数据格式,确定读取到的所述特征数据中每个特征值对应的特征维度信息;其中,所述特征维度信息用于指示所述特征值在所述级联特征数据上所处位置;
135.基于每个特征值对应的所述特征维度信息和所述输出数据格式,确定所述特征值在所述内部存储器上的存储位置;
136.按照每个所述特征值对应的所述存储位置,将各个所述特征值存储至所述内部存储器。
137.一种可能的实施方式中,所述输入数据格式指示:读取到的所述特征数据在通道维度上相邻特征值的地址间隔为1,在宽度维度上相邻特征值的地址间隔为所述级联特征数据包括的通道数量c,在高度维度上相邻特征值的地址间隔为c
×
w;其中,w为所述级联特征数据的任一通道中宽度维度上包括的特征值数量;c、w为正整数。
138.一种可能的实施方式中,所述输出数据格式指示:在第一通道维度上相邻特征值的地址间隔为1,在宽度维度上相邻特征值的地址间隔为第一通道维度包括的通道数量c1,在高度维度上相邻特征值的地址间隔为w
×
c1,在第二通道维度上相邻特征值的地址间隔为h
×w×
c1,其中,w和h为所述级联特征数据的任一通道中宽度维度和高度维度上分别包括的特征值数量;c1、h、w为正整数。
139.在一些实施例中,本公开实施例提供的装置具有的功能或包含的模板可以用于执行上文方法实施例描述的方法,其具体实现可以参照上文方法实施例的描述,为了简洁,这里不再赘述。
140.基于同一技术构思,本公开实施例还提供了一种电子设备。参照图8所示,为本公开实施例提供的电子设备800的结构示意图,包括处理器801、存储器802、和总线803。其中,存储器802用于存储执行指令,包括内存8021和外部存储器8022;这里的内存8021也称内存储器,用于暂时存放处理器801中的运算数据,以及与硬盘等外部存储器8022交换的数据,处理器801通过内存8021与外部存储器8022进行数据交换,当电子设备800运行时,处理器801与存储器802之间通过总线803通信,使得处理器801在执行以下指令:
141.获取多个待处理特征数据;其中,所述多个待处理特征数据为神经网络中连接层对应的输入特征数据;
142.按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将所述多个待处
理特征数据存储在片上存储器;其中,第一数据存储格式与所述连接层对应的存储格式相匹配;
143.基于数据读取指令,读取所述片上存储器存储的特征数据,并将读取到的所述特征数据按照第二数据存储格式存储至内部存储器;其中,读取到的特征数据与所述多个待处理特征数据级联后得到的级联特征数据相匹配。
144.其中,处理器801的具体处理流程可以参照上述方法实施例的记载,这里不再赘述。
145.此外,本公开实施例还提供一种计算机可读存储介质,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行上述方法实施例中所述的数据处理方法的步骤。其中,该存储介质可以是易失性或非易失的计算机可读取存储介质。
146.本公开实施例还提供一种计算机程序产品,该计算机程序产品承载有程序代码,所述程序代码包括的指令可用于执行上述方法实施例中所述的数据处理方法的步骤,具体可参见上述方法实施例,在此不再赘述。
147.其中,上述计算机程序产品可以具体通过硬件、软件或其结合的方式实现。在一个可选实施例中,所述计算机程序产品具体体现为计算机存储介质,在另一个可选实施例中,计算机程序产品具体体现为软件产品,例如软件开发包(software development kit,sdk)等等。
148.所属领域的技术人员可以清楚地了解到,为描述的方便和简洁,上述描述的系统和装置的具体工作过程,可以参考前述方法实施例中的对应过程,在此不再赘述。在本公开所提供的几个实施例中,应该理解到,所揭露的系统、装置和方法,可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的,例如,所述单元的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,又例如,多个单元或组件可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。另一点,所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些通信接口,装置或单元的间接耦合或通信连接,可以是电性,机械或其它的形式。
149.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
150.另外,在本公开各个实施例中的各功能单元可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中。
151.所述功能如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个处理器可执行的非易失的计算机可读取存储介质中。基于这样的理解,本公开的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)执行本公开各个实施例所述方法的全部或部分步骤。而前述的存储介质包括:u盘、移动硬盘、只读存储器(read-only memory,rom)、随机存取存储器(random access memory,ram)、磁碟或者光盘等各种可以存储程序代码的介质。
152.以上仅为本公开的具体实施方式,但本公开的保护范围并不局限于此,任何熟悉本技术领域的技术人员在本公开揭露的技术范围内,可轻易想到变化或替换,都应涵盖在本公开的保护范围之内。因此,本公开的保护范围应以权利要求的保护范围为准。
技术特征:
1.一种数据处理方法,其特征在于,包括:获取多个待处理特征数据;其中,所述多个待处理特征数据为神经网络中连接层对应的输入特征数据;按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将所述多个待处理特征数据存储在片上存储器;其中,第一数据存储格式与所述连接层对应的存储格式相匹配;基于数据读取指令,读取所述片上存储器存储的特征数据,并将读取到的所述特征数据按照第二数据存储格式存储至内部存储器;其中,读取到的特征数据与所述多个待处理特征数据级联后得到的级联特征数据相匹配。2.根据权利要求1所述的方法,其特征在于,所述按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将所述多个待处理特征数据存储在片上存储器,包括:在所述第一数据存储格式指示的各个特征维度的处理顺序包括通道维度、宽度维度、高度维度和批数量维度的情况下,确定所述待处理特征数据包括的任一通道上各个特征位置对应的位置顺序;基于所述位置顺序,从未处理的特征位置中确定当前特征位置,并针对所述当前特征位置,按照确定的所述多个待处理特征数据对应的通道顺序,从所述多个待处理特征数据包括的每个通道中,提取位于所述当前特征位置上的特征值,且将提取到的所述特征值存储至所述片上存储器,直至遍历未处理的特征位置为止。3.根据权利要求1或2所述的方法,其特征在于,所述基于数据读取指令,读取所述片上存储器存储的特征数据,并将读取到的所述特征数据按照第二数据存储格式存储至内部存储器,包括:基于所述数据读取指令,读取所述片上存储器的第一存储地址中存储的特征数据;其中,所述数据读取指令携带有与所述第一数据存储格式匹配的输入数据格式、和与所述第二数据存储格式匹配的输出数据格式;基于所述输入数据格式和所述输出数据格式,将读取到的所述特征数据按照所述第二数据存储格式存储至所述内部存储器。4.根据权利要求3所述的方法,其特征在于,所述基于所述输入数据格式和所述输出数据格式,将读取到的所述特征数据按照所述第二数据存储格式存储至所述内部存储器,包括:基于所述输入数据格式,确定读取到的所述特征数据中每个特征值对应的特征维度信息;其中,所述特征维度信息用于指示所述特征值在所述级联特征数据上所处位置;基于每个特征值对应的所述特征维度信息和所述输出数据格式,确定所述特征值在所述内部存储器上的存储位置;按照每个所述特征值对应的所述存储位置,将各个所述特征值存储至所述内部存储器。5.根据权利要求3或4所述的方法,其特征在于,所述输入数据格式指示:读取到的所述特征数据在通道维度上相邻特征值的地址间隔为1,在宽度维度上相邻特征值的地址间隔为所述级联特征数据包括的通道数量c,在高度维度上相邻特征值的地址间隔为c
×
w;其中,w为所述级联特征数据的任一通道中宽度维度上包括的特征值数量;c、w为正整数。6.根据权利要求3至5任一所述的方法,其特征在于,所述输出数据格式指示:在第一通
道维度上相邻特征值的地址间隔为1,在宽度维度上相邻特征值的地址间隔为第一通道维度包括的通道数量c1,在高度维度上相邻特征值的地址间隔为w
×
c1,在第二通道维度上相邻特征值的地址间隔为h
×
w
×
c1,其中,w和h为所述级联特征数据的任一通道中宽度维度和高度维度上分别包括的特征值数量;c1、h、w为正整数。7.一种芯片,其特征在于,所述芯片包括:片上存储器和内部存储器;所述片上存储器,用于获取多个待处理特征数据,并按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将所述多个待处理特征数据进行数据存储;所述内部存储器,用于基于数据读取指令,读取所述片上存储器存储的特征数据,并将读取到的所述特征数据按照第二数据存储格式进行存储。8.一种数据处理装置,其特征在于,包括:获取模块,用于获取多个待处理特征数据;其中,所述多个待处理特征数据为神经网络中连接层对应的输入特征数据;第一存储模块,用于按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将所述多个待处理特征数据存储在片上存储器;其中,第一数据存储格式与所述连接层对应的存储格式相匹配;第二存储模块,用于基于数据读取指令,读取所述片上存储器存储的特征数据,并将读取到的所述特征数据按照第二数据存储格式存储至内部存储器;其中,读取到的特征数据与所述多个待处理特征数据级联后得到的级联特征数据相匹配。9.一种电子设备,其特征在于,包括:处理器、存储器和总线,所述存储器存储有所述处理器可执行的机器可读指令,当电子设备运行时,所述处理器与所述存储器之间通过总线通信,所述机器可读指令被所述处理器执行时执行如权利要求1至6任一所述的数据处理方法的步骤;或者,如权利要求7所述的芯片。10.一种计算机可读存储介质,其特征在于,该计算机可读存储介质上存储有计算机程序,该计算机程序被处理器运行时执行如权利要求1至6任一所述的数据处理方法的步骤。
技术总结
本公开提供了一种数据处理方法、装置、电子设备、存储介质及芯片,该方法包括:获取多个待处理特征数据;其中,所述多个待处理特征数据为神经网络中连接层对应的输入特征数据;按照确定的第一数据存储格式指示的各个特征维度的处理顺序,将所述多个待处理特征数据存储在片上存储器;其中,第一数据存储格式与所述连接层对应的存储格式相匹配;基于数据读取指令,读取所述片上存储器存储的特征数据,并将读取到的所述特征数据按照第二数据存储格式存储至内部存储器;其中,读取到的特征数据与所述多个待处理特征数据级联后得到的级联特征数据相匹配。征数据相匹配。征数据相匹配。
技术研发人员:曹雨 胡英俊 徐宁仪
受保护的技术使用者:上海阵量智能科技有限公司
技术研发日:2023.06.29
技术公布日:2023/9/20
版权声明
本文仅代表作者观点,不代表航家之家立场。
本文系作者授权航家号发表,未经原创作者书面授权,任何单位或个人不得引用、复制、转载、摘编、链接或以其他任何方式复制发表。任何单位或个人在获得书面授权使用航空之家内容时,须注明作者及来源 “航空之家”。如非法使用航空之家的部分或全部内容的,航空之家将依法追究其法律责任。(航空之家官方QQ:2926969996)
航空之家 https://www.aerohome.com.cn/
飞机超市 https://mall.aerohome.com.cn/
航空资讯 https://news.aerohome.com.cn/