基于电子绘本的朗读回放方法、系统、装置及存储介质与流程

1.本发明涉及计算机技术领域，尤其涉及一种基于电子绘本的朗读回放方法、系统、装置及存储介质。


背景技术：

2.随着计算机技术的发展，电子产品逐渐应用到教育领域中以辅导学生学习。目前，在电子绘本的基础上，借助智能产品提供了基于电子绘本的朗读功能，在智能终端上显示电子绘本，用户根据电子绘本显示的内容进行描述或者朗读，智能终端启动录音功能对用户朗读的音频进行记录，并后续为用户提供录音回放。但是，目前的电子绘本朗读回放过程中仅对音频进行回放或者仅显示电子绘本首页，不能跟随音频中的朗读进度自适应调整电子绘本页面，影响用户回放体验。


技术实现要素：

3.本发明旨在至少解决现有技术中存在的技术问题之一。为此，本发明提出一种基于电子绘本的朗读回放方法、系统、装置及存储介质，能够跟随音频中的朗读进度自适应调整电子绘本页面，提高用户体验。
4.一方面，本发明实施例提供了一种基于电子绘本的朗读回放方法，包括以下步骤：
5.获取电子绘本朗读过程中的音频数据和操作列表数据，其中，所述操作列表数据包括多个操作数据，所述操作数据包括针对电子绘本的操作类型和操作时间节点；
6.显示所述电子绘本并播放所述音频数据；
7.当所述音频数据的回放时长达到操作时间节点，则根据当前的所述操作时间节点对应的操作类型改变所述电子绘本的显示画面。
8.根据本发明一些实施例，所述操作类型包括下一页操作、上一页操作、放大操作、缩小操作或者移动操作的至少其中一种。
9.根据本发明一些实施例，所述获取电子绘本朗读过程中的音频数据和操作数据包括以下步骤：
10.响应于朗读指令控制计时器开始计时并采集朗读音频；
11.在采集朗读音频过程中监测是否接收到操作指令；
12.当接收到操作指令，则确定操作指令的操作类型和当前的计时时长，将所述计时时长作为操作时间节点，并将所述操作时间节点和操作类型进行关联记录得到操作数据；
13.响应于朗读结束指令控制计时器结束计时，根据采集到朗读音频得到音频数据，根据多个所述操作数据得到操作列表数据。
14.根据本发明一些实施例，所述获取电子绘本朗读过程中的音频数据和操作数据还包括以下步骤：
15.响应于背景选取指令，获取背景音频，并将背景音频以pcm格式保存到第二数组中；
16.采集朗读音频并将朗读音频以pcm格式缓存到第一数组；
17.当第一数组的数据量达到预设值，则将所述第一数组和所述第二数组叠加得到第三数组；
18.将所述第三数组中pcm格式的数据转换为mp3格式得到mp3音频文件；
19.将所述操作数据作为所述mp3音频文件的标签信息进行保存得到mp3文件。
20.根据本发明一些实施例，所述显示所述电子绘本并播放所述音频数据包括以下步骤：
21.响应于第一播放指令，定位至电子绘本的首页进行显示并从音频起始节点开始播放所述音频数据。
22.根据本发明一些实施例，所述显示所述电子绘本并播放所述音频数据包括以下步骤：
23.响应于第二播放指令，根据所述第二播放指令中确定指定播放时间节点；
24.根据所述指定播放时间节点对所述操作列表数据进行数据筛选，以选择出操作时间节点在所述指定播放时间节点之前的操作数据；
25.根据选择出的所有操作数据的操作类型确定指定显示画面；
26.定位至电子绘本的指定显示画面进行显示并从指定播放时间节点开始播放所述音频数据。
27.根据本发明一些实施例，所述当所述音频数据的回放时长达到操作时间节点，则根据当前的所述操作时间节点对应的操作类型改变所述电子绘本的显示画面包括以下步骤：
28.根据所述操作列表数据中的操作时间节点将对应的操作类型标记到音频数据的音频时间轴上；
29.当所述音频数据的回放时长达到音频时间轴上的标记节点，则根据标记节点的操作类型触发页面操作控制指令以改变所述电子绘本的显示画面。
30.另一方面，本发明实施例还提供一种基于电子绘本的朗读回放系统，包括：
31.第一模块，用于获取电子绘本朗读过程中的音频数据和操作列表数据，其中，所述操作列表数据包括多个操作数据，所述操作数据包括针对电子绘本的操作类型和操作时间节点；
32.第二模块，用于显示所述电子绘本并播放所述音频数据；
33.第三模块，用于当所述音频数据的回放时长达到操作时间节点，则根据当前的所述操作时间节点对应的操作类型改变所述电子绘本的显示画面。
34.另一方面，本发明实施例还提供一种基于电子绘本的朗读回放装置，包括：
35.至少一个处理器；
36.至少一个存储器，用于存储至少一个程序；
37.当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如前面所述的基于电子绘本的朗读回放方法。
38.另一方面，本发明实施例还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机可执行指令，所述计算机可执行指令用于使计算机执行如前面所述的基于电子绘本的朗读回放方法。
39.本发明上述的技术方案至少具有如下优点或有益效果之一：通过记录电子绘本朗读过程中的音频数据和包括有多个操作数据的操作列表数据，每一个操作数据包括针对电子绘本的操作类型和操作时间节点，在显示所述电子绘本并回放所述音频数据的过程中，当音频数据的回放时长达到操作时间节点，则根据当前的操作时间节点对应的操作类型改变电子绘本的显示画面，从而能够在朗读回放过程中跟随音频中的朗读进度自适应调整电子绘本页面，提高用户体验。
附图说明
40.图1是本发明实施例提供的基于电子绘本的朗读回放方法流程图；
41.图2是本发明实施例提供的朗读显示界面示意图；
42.图3是本发明实施例提供的回放显示界面示意图；
43.图4是本发明实施例提供的朗读回放过程中自动切换绘本页面流程图；
44.图5是本发明实施例提供的基于电子绘本的朗读回放装置示意图。
具体实施方式
45.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或者类似的标号表示相同或者类似的原件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本发明，而不能理解为对本发明的限制。
46.在本发明的描述中，需要理解的是，涉及到方位描述，例如上、下、左、右等指示的方位或者位置关系为基于附图所示的方位或者位置关系，仅是为了便于描述本发明和简化描述，而不是指示或者暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
47.本发明的描述中，如果有描述到第一、第二等只是用于区分技术特征为目的，而不能理解为指示或者暗示相对重要性或者隐含指明所指示的技术特征的数量或者隐含指明所指示的技术特征的先后关系。
48.本发明实施例提供了一种基于电子绘本的朗读回放方法，可应用于终端中，终端可以是平板电脑、笔记本电脑、台式计算机等，但并不局限于此。本发明实施例的基于电子绘本的朗读回放方法通过在用户根据绘本进行朗读过程中在记录朗读音频的同时记录用户针对电子绘本的操作类型和操作时间节点形成操作列表数据，在用户进行朗读回放的过程中在上述音频的同时基于上述操作列表数据同步触发操作时间节点对应操作类型的页面控制指令，从而根据用户音频进度自适应改变回放过程中的电子绘本显示画面。
49.参照图1，本发明实施例提供了一种基于电子绘本的朗读回放方法，包括但不限于以下步骤：
50.步骤s110，获取电子绘本朗读过程中的音频数据和操作列表数据，其中，操作列表数据包括多个操作数据，操作数据包括针对电子绘本的操作类型和操作时间节点；
51.步骤s120，显示电子绘本并播放所述音频数据；
52.步骤s130，当音频数据的回放时长达到操作时间节点，则根据当前的所述操作时间节点对应的操作类型改变所述电子绘本的显示画面。
53.在步骤s110的一些实施例中，音频数据包括用户根据显示的电子绘本进行朗读时
通过智能终端上麦克风设备采集到的朗读音频，进一步地，音频数据还可以包括用户为朗读时所选择的背景音频，该背景音频可以在用户朗读时被同步播放并与朗读音频一起被智能终端同步采集。操作列表数据包括多个用户在朗读过程的操作数据，每一个操作数据包括操作时间节点和操作类型。操作时间节点基于音频采集时长进行记录，例如，参照图2，用户在朗读显示界面上点击“选择背景音”确定背景音频，然后点击“朗读/暂停”开始进行音频录制，在朗读过程中，用户可以点击“上一页”或者“下一页”进行绘本页面切换，也可以在绘本显示区域通过“放大”、“缩小”和“移动”等手势控制绘本显示画面的大小和显示内容。智能终端在开始采集音频的第30秒后检测到用户在朗读显示界面上点击“下一页”操作，智能终端在将绘本切换至下一页的同时记录“30秒，下一页操作”的操作数据，然后智能终端在开始采集音频的第31秒后检测到用户在朗读显示界面上点击“上一页”操作，智能终端在将绘本切换至上一页的同时记录“31秒，上一页操作”的操作数据，依次类推，在音频采集结束之后，根据多个操作数据得到操作列表数据。
54.在一些实施例中，操作类型可以是下一页操作、上一页操作、放大操作、缩小操作或者移动操作等。
55.在步骤s120的一些实施例中，智能终端在结束音频采集之后，切换至如图3所示的回放显示界面，回放显示界面的绘本显示区域用于显示电子绘本。用户点击“播放”加载上述音频数据和操作列表数据，然后开始进行音频回放。
56.在步骤s130的一些实施例中，可以将操作列表数据转换为数组形式进行表示，如actionarray[2][5]＝{{0,0,1,0,0},{10,20,22,25,90}}，第一行的“0”表示下一页操作，“1”表示上一页操作，第二行表示相同列的操作类型的操作时间节点，操作数据个数即总操作次数n＝5。参照图4，以操作类型为上一页操作和下一页操作为例，朗读回放过程中自动切换绘本页面流程如下：
[0057]
步骤s10，用户点击“播放”后，采用api播放接口mediaplayer播放音频数据，初始化操作次数统计变量n＝0
[0058]
步骤s20，判断音频数据的回放时长是否达到actionarray[1][n]，如果是则表明没有操作事件，此时返回步骤s20，如果不是表明存在操作事件，此时执行步骤s30；
[0059]
步骤s30，判断actionarray[0][n]＝＝0是否成立，如果成立，则执行步骤s50，如果不成立，则执行步骤s40；
[0060]
步骤s40，判断actionarray[0][n]＝＝1是否成立，如果成立，则执行步骤s60；
[0061]
步骤s50，产生下一页操作控制指令，以切换至电子绘本当前页面的下一页，然后执行步骤s70；
[0062]
步骤s60，产生上一页操作控制指令，以切换至电子绘本当前页面的上一页，然后执行步骤s70；
[0063]
步骤s70，操作次数统计变量n累加1，然后执行步骤s80；
[0064]
步骤s80，判断操作次数统计变量n是否大于总操作次数，如果是，则结束页面切换流程，如果不是，则返回步骤s20。
[0065]
可以理解的是，下一页操作也可以采用除“0”外的其他标志数值，上一页操作也可以采用除“0”外的其他标志数值。同理，放大操作、缩小操作或者移动操作可以采用对应的标志数值，例如，下一页操作、上一页操作、放大操作、缩小操作和移动操作分别采用0、1、2、
3、4、5进行标识。在确定存在操作事件后，从x＝0(x＝0,1,2,3,4,)开始取值，判断actionarray[0][n]＝＝x是否成立，如果成立，则产生对应x标志数值的操作事件，如果不成立，则继续判断actionarray[0][n]＝＝x+1，从而确定当前操作时间节点的操作事件。需要说明的是，对于移动操作，除了在音频采集过程关联保存移动操作类型和对应的操作时间节点外，还需要同步关联保存画面移动的目标像素坐标，以方便后续在音频回放过程中将画面移动至目标像素坐标对应的局部位置。
[0066]
根据本发明一些实施例，步骤s110中，获取电子绘本朗读过程中的音频数据和操作数据这一步骤包括但不限于以下步骤：
[0067]
步骤s210，响应于朗读指令控制计时器开始计时并采集朗读音频；
[0068]
步骤s220，在采集朗读音频过程中监测是否接收到操作指令；
[0069]
步骤s230，当接收到操作指令，则确定操作指令的操作类型和当前的计时时长，将计时时长作为操作时间节点，并将操作时间节点和操作类型进行关联记录得到操作数据；
[0070]
步骤s240，响应于朗读结束指令控制计时器结束计时，根据采集到朗读音频得到音频数据，根据多个操作数据得到操作列表数据。
[0071]
进一步地，步骤s110还包括以下步骤：
[0072]
步骤s310，响应于背景选取指令，获取背景音频，并将背景音频以pcm格式保存到第二数组；
[0073]
步骤s320，采集朗读音频并将朗读音频以pcm格式缓存到第一数组；
[0074]
步骤s330，当第一数组的数据量达到预设值，则将第一数组和第二数组叠加得到第三数组；
[0075]
步骤s330，将第三数组中pcm格式的数据转换为mp3格式得到mp3音频文件；
[0076]
步骤s340，将操作数据作为mp3音频文件的标签信息进行保存得到mp3文件。
[0077]
在本实施例中，pcm(pulse code modulation，脉冲编码调制)是数字通信的编码方式之一，主要过程是将话音、图像等模拟信号每隔一定时间进行取样，使其离散化，同时将抽样值按分层单位四舍五入取整量化，同时将抽样值按一组二进制码来表示抽样脉冲的幅值。mp3是一种音频压缩技术，其全称是动态影像专家压缩标准音频层面3(moving picture experts group audio layer iii)，简称为mp3，它被设计用来大幅度地降低音频数据量，利用mpeg audio layer 3的技术，将音乐以1:10甚至1:12的压缩率，压缩成容量较小的文件，而对于大多数用户来说重放的音质与最初的不压缩音频相比没有明显的下降。
[0078]
示例性地，智能终端响应于朗读绘本选择指令，跳转至显示朗读显示界面，获取用户选取的背景音，使用mediacodec库将背景音频解码为pcm非压缩格式数据以方便数据运算，然后将背景音频保存到第二数组audiobgm中。响应于用户的朗读指令，调用录音api接口mediarecorder，开始麦克风pcm格式录音，并将朗读音频保存到第一数组audiorecord，同时开启计时器。若第一数组audiorecord数据缓存buffer未达到预设值(例如2k)，智能终端处于等待空闲状态，若达到预设值，在可以常用采样率44.1k hz(buffer处理间隔时间约为t＝2/44.1＝45ms)将朗读音频和背景音频合成，即将第一数组和第二数组叠加保存到第三数组audiotarget，即audiotargett＝audiorecord+audiobgm。在进行音频采集过程中，如果检测到用户输入的操作指令，则保存time_n＝timer和action_n＝x到数据组actionrecord的尾部，其中，time表示当前的计时时长，即操作时间节点，x表征操作类型的
标志数值，n表示操作次数的累加。以检测到用户在10秒点击下一页，20秒点击下一页，22秒点击上一页，25秒点击下一页，1分30秒点击下一页，1分40秒结束录音为例，actionrecord数组中的操作列表数据如下，其中，下一页用标志数值“0”表示，上一页用标志数值“1”表示：
[0079]
time_1:00:00:10,action_1:0；
[0080]
time_2:00:00:20,action_2:0；
[0081]
time_3:00:00:22,action_3:1；
[0082]
time_4:00:00:25,action_4:0；
[0083]
time_5:00:01:30,action_5:0；
[0084]
重复上述监测并保存操作数据的过程直到检测到用户点击结束录音后，采用lame mp3编码器，使用第一指令将pcm格式的第三数组audiotarget编码为mp3格式得到mp3音频文件，第一指令如下：
[0085]
$lame-r-s 44.1audiotarget.pcm audiotarget.mp3
[0086]
其中，lame表示命令行格式：lame[选项][输入文件名][输出文件名]；
“‑
r”指定输入档案是raw pcm格式；
“‑
s”指定来源档案的取样频率。
[0087]
采用ffmpeg音视频库添加actionrecord数组到mp3音频文件，使用第二指令将其转换为mp3格式得到mp3文件，第二指令如下：
[0088]
$ffmpeg-i audiotarget.mp3-metadata comments＝"actionrecord"audiotarget_final.mp3
[0089]
其中，ffmpeg表征命令行格式：ffmpeg-i[输入文件名][参数选项][输出文件名]；
“‑
metadata”后面跟需要修改的tag(标签)参数，comments标签对应“备注”参数，即actionrecord中的操作列表数据。
[0090]
最后保存含音频数据和操作数据的mp3文件，本实施例采用通用性强的mp3格式中内置的标签功能实现翻页信息等操作保存，并且只需要1个文件既能保存朗读音频信息，又能保存朗读过程中操作信息，实现绘本回放时自动翻页同步。
[0091]
对应地，在用户进行回放的过程中，加载绘本对应的mp3文件，使用第三指令获取mp3文件中的标签信息，第三指令如下：
[0092]
$ffmpeg-i track12.mp3-f ffmetadata metadata.txt
[0093]
其中，使用-f ffmetadata指定导出标签信息，并保存至metadata.txt文件，metadata.txt文件中包含操作列表数据。
[0094]
对操作列表数据通过字符筛选出时间和操作类型，并把时间格式转换为秒，获得含时间和事件类型的数组，如actionarray[2][5]＝{{0,0,1,0,0},{10,20,22,25,90}}，总操作次数n＝5，然后按照图4的自动切换绘本页面流程在音频回放过程中自动切换页面。
[0095]
根据本发明一些实施例，步骤s120中，显示电子绘本并播放音频数据包括但不限于以下步骤：
[0096]
步骤410，响应于第一播放指令，定位至电子绘本的首页进行显示并从音频起始节点开始播放所述音频数据。
[0097]
在本实施例中，第一播放指令用于表征在触发播放之前没有检测到指定播放时间节点，默认从头开始回放。示例性地，智能终端在用户结束朗读切换到如图3所示回放显示
界面后，如果检测直接检测播放指令，没有检测到指定播放时间节点，则定位至电子绘本的首页进行显示并从音频起始节点开始播放所述音频数据。
[0098]
在另外一些实施例中，步骤s120中还包括但不限于以下步骤：
[0099]
步骤510，响应于第二播放指令，根据第二播放指令中确定指定播放时间节点；
[0100]
步骤520，根据指定播放时间节点对操作列表数据进行数据筛选，以选择出操作时间节点在指定播放时间节点之前的操作数据；
[0101]
步骤530，根据选择出的所有操作数据的操作类型确定指定显示画面；
[0102]
步骤540，定位至电子绘本的指定显示画面进行显示并从指定播放时间节点开始播放所述音频数据。
[0103]
在本实施例中，第二播放指令用于表征在触发播放之前检测到指定播放时间节点，即第二播放指令包括指定播放时间节点和播放指令，指定播放时间节点可以由用户在音频时间轴上进行标注，也可以采用文本框的形式输入等。
[0104]
示例性地，用户输入的指定播放时间节点为24秒，操作列表数据包含的操作时间节点分别为10秒、20秒、22秒、25秒和90秒，对应的操作类型分别为下一页、放大、移动、下一页、上一页和下一页，根据指定播放时间节点对操作列表数据进行数据筛选，可以选择出操作时间节点在24秒之前的操作数据，即操作时间节点10秒、20秒、22秒对应的操作类型，分别为下一页、放大和移动，再对电子绘本从首页画面进行切换至下一页，在第二页进行放大和移动到指定局部位置的逻辑运算确定出指定显示画面，然后定位至电子绘本的指定显示画面进行显示并从指定播放时间节点开始播放音频数据。
[0105]
根据本发明一些实施例，步骤s130中，当音频数据的回放时长达到操作时间节点，则根据当前的操作时间节点对应的操作类型改变电子绘本的显示画面这一步骤，包括但不限于以下步骤：
[0106]
步骤s610，根据操作列表数据中的操作时间节点将对应的操作类型标记到音频数据的音频时间轴上；
[0107]
步骤s620，当音频数据的回放时长达到音频时间轴上的标记节点，则根据标记节点的操作类型触发页面操作控制指令以改变电子绘本的显示画面。
[0108]
在本实施例中，音频时间轴又称音频进度条，进度条是以图片形式显示处理任务的速度，即计算机在播放音频时，实时地以图片形式显示播放的速度、完成度、剩余未完成任务量的大小和可能需要处理的时间，一般以长方形条状显示。通过在将对应的操作类型标记到音频数据的音频时间轴，方便计算机在播放音频时及时检测操作类型并触发页面操作控制指令以改变电子绘本的显示画面，也能方便用户直观观察到整个操作过程。
[0109]
本发明实施例还提供一种基于电子绘本的朗读回放系统，包括：
[0110]
第一模块，用于获取电子绘本朗读过程中的音频数据和操作列表数据，其中，操作列表数据包括多个操作数据，操作数据包括针对电子绘本的操作类型和操作时间节点；
[0111]
第二模块，用于显示电子绘本并播放所述音频数据；
[0112]
第三模块，用于当音频数据的回放时长达到操作时间节点，则根据当前的操作时间节点对应的操作类型改变所述电子绘本的显示画面。
[0113]
可以理解的是，上述基于电子绘本的朗读回放方法实施例中的内容均适用于本系统实施例中，本系统实施例所具体实现的功能与上述基于电子绘本的朗读回放方法实施例
相同，并且达到的有益效果与上述基于电子绘本的朗读回放方法实施例所达到的有益效果也相同。
[0114]
参照图5，图5是本发明一个实施例提供的基于电子绘本的朗读回放装置的示意图。本发明实施例的基于电子绘本的朗读回放装置包括一个或多个控制处理器和存储器，图5中以一个控制处理器及一个存储器为例。
[0115]
控制处理器和存储器可以通过总线或者其他方式连接，图5中以通过总线连接为例。
[0116]
存储器作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序以及非暂态性计算机可执行程序。此外，存储器可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施方式中，存储器可选包括相对于控制处理器远程设置的存储器，这些远程存储器可以通过网络连接至该基于电子绘本的朗读回放装置。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
[0117]
本领域技术人员可以理解，图5中示出的装置结构并不构成对基于电子绘本的朗读回放装置的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
[0118]
实现上述实施例中应用于基于电子绘本的朗读回放装置的基于电子绘本的朗读回放方法所需的非暂态软件程序以及指令存储在存储器中，当被控制处理器执行时，执行上述实施例中应用于基于电子绘本的朗读回放装置的基于电子绘本的朗读回放方法。
[0119]
此外，本发明的一个实施例还提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机可执行指令，该计算机可执行指令被一个或多个控制处理器执行，可使得上述一个或多个控制处理器执行上述方法实施例中的基于电子绘本的朗读回放方法。
[0120]
本领域普通技术人员可以理解，上文中所公开方法中的全部或某些步骤、系统可以被实施为软件、固件、硬件及其适当的组合。某些物理组件或所有物理组件可以被实施为由处理器，如中央处理器、数字信号处理器或微处理器执行的软件，或者被实施为硬件，或者被实施为集成电路，如专用集成电路。这样的软件可以分布在计算机可读介质上，计算机可读介质可以包括计算机存储介质(或非暂时性介质)和通信介质(或暂时性介质)。如本领域普通技术人员公知的，术语计算机存储介质包括在用于存储信息(诸如计算机可读指令、数据结构、程序模块或其他数据)的任何方法或技术中实施的易失性和非易失性、可移除和不可移除介质。计算机存储介质包括但不限于ram、rom、eeprom、闪存或其他存储器技术、cd-rom、数字多功能盘(dvd)或其他光盘存储、磁盒、磁带、磁盘存储或其他磁存储装置、或者可以用于存储期望的信息并且可以被计算机访问的任何其他的介质。此外，本领域普通技术人员公知的是，通信介质通常包含计算机可读指令、数据结构、程序模块或者诸如载波或其他传输机制之类的调制数据信号中的其他数据，并且可包括任何信息递送介质。
[0121]
上面结合附图对本发明实施例作了详细说明，但是本发明不限于上述实施例，在所属技术领域普通技术人员所具备的知识范围内，还可以在不脱离本发明宗旨的前提下作出各种变化。

技术特征：
1.一种基于电子绘本的朗读回放方法，其特征在于，包括以下步骤：获取电子绘本朗读过程中的音频数据和操作列表数据，其中，所述操作列表数据包括多个操作数据，所述操作数据包括针对电子绘本的操作类型和操作时间节点；显示所述电子绘本并播放所述音频数据；当所述音频数据的回放时长达到操作时间节点，则根据当前的所述操作时间节点对应的操作类型改变所述电子绘本的显示画面。2.根据权利要求1所述的基于电子绘本的朗读回放方法，其特征在于，所述操作类型包括下一页操作、上一页操作、放大操作、缩小操作或者移动操作的至少其中一种。3.根据权利要求1所述的基于电子绘本的朗读回放方法，其特征在于，所述获取电子绘本朗读过程中的音频数据和操作数据包括以下步骤：响应于朗读指令控制计时器开始计时并采集朗读音频；在采集朗读音频过程中监测是否接收到操作指令；当接收到操作指令，则确定操作指令的操作类型和当前的计时时长，将所述计时时长作为操作时间节点，并将所述操作时间节点和操作类型进行关联记录得到操作数据；响应于朗读结束指令控制计时器结束计时，根据采集到朗读音频得到音频数据，根据多个所述操作数据得到操作列表数据。4.根据权利要求3所述的基于电子绘本的朗读回放方法，其特征在于，所述获取电子绘本朗读过程中的音频数据和操作数据还包括以下步骤：响应于背景选取指令，获取背景音频，并将背景音频以pcm格式保存到第二数组中；采集朗读音频并将朗读音频以pcm格式缓存到第一数组；当第一数组的数据量达到预设值，则将所述第一数组和所述第二数组叠加得到第三数组；将所述第三数组中pcm格式的数据转换为mp3格式得到mp3音频文件；将所述操作数据作为所述mp3音频文件的标签信息进行保存得到mp3文件。5.根据权利要求1所述的基于电子绘本的朗读回放方法，其特征在于，所述显示所述电子绘本并播放所述音频数据包括以下步骤：响应于第一播放指令，定位至电子绘本的首页进行显示并从音频起始节点开始播放所述音频数据。6.根据权利要求1所述的基于电子绘本的朗读回放方法，其特征在于，所述显示所述电子绘本并播放所述音频数据包括以下步骤：响应于第二播放指令，根据所述第二播放指令中确定指定播放时间节点；根据所述指定播放时间节点对所述操作列表数据进行数据筛选，以选择出操作时间节点在所述指定播放时间节点之前的操作数据；根据选择出的所有操作数据的操作类型确定指定显示画面；定位至电子绘本的指定显示画面进行显示并从指定播放时间节点开始播放所述音频数据。7.根据权利要求1所述的基于电子绘本的朗读回放方法，其特征在于，所述当所述音频数据的回放时长达到操作时间节点，则根据当前的所述操作时间节点对应的操作类型改变所述电子绘本的显示画面包括以下步骤：
根据所述操作列表数据中的操作时间节点将对应的操作类型标记到音频数据的音频时间轴上；当所述音频数据的回放时长达到音频时间轴上的标记节点，则根据标记节点的操作类型触发页面操作控制指令以改变所述电子绘本的显示画面。8.一种基于电子绘本的朗读回放系统，其特征在于，包括：第一模块，用于获取电子绘本朗读过程中的音频数据和操作列表数据，其中，所述操作列表数据包括多个操作数据，所述操作数据包括针对电子绘本的操作类型和操作时间节点；第二模块，用于显示所述电子绘本并播放所述音频数据；第三模块，用于当所述音频数据的回放时长达到操作时间节点，则根据当前的所述操作时间节点对应的操作类型改变所述电子绘本的显示画面。9.一种基于电子绘本的朗读回放装置，其特征在于，包括：至少一个处理器；至少一个存储器，用于存储至少一个程序；当所述至少一个程序被所述至少一个处理器执行，使得至少一个所述处理器实现如权利要求1至7任一项所述的基于电子绘本的朗读回放方法。10.一种计算机可读存储介质，其中存储有处理器可执行的程序，其特征在于，所述处理器可执行的程序被由所述处理器执行时用于实现如权利要求1至7任一项所述的基于电子绘本的朗读回放方法。

技术总结
本发明公开一种基于电子绘本的朗读回放方法、系统、装置及存储介质，涉及计算机技术领域。其中，基于电子绘本的朗读回放方法包括以下步骤：获取电子绘本朗读过程中的音频数据和操作列表数据，其中，所述操作列表数据包括多个操作数据，所述操作数据包括针对电子绘本的操作类型和操作时间节点；显示所述电子绘本并播放所述音频数据；当所述音频数据的回放时长达到操作时间节点，则根据当前的所述操作时间节点对应的操作类型改变所述电子绘本的显示画面。本申请能够跟随音频中的朗读进度自适应调整电子绘本页面，提高用户体验。提高用户体验。提高用户体验。


技术研发人员：郑洋 吕全 袁培逢 陈伟鹏
受保护的技术使用者：广州优谷信息技术有限公司
技术研发日：2023.03.30
技术公布日：2023/7/28