一种手语气象播报方法、系统、装置和介质与流程

1.本说明书涉及气象播报领域，特别涉及一种手语气象播报方法、系统、装置和介质。


背景技术：

2.听障人士主要依靠手语与外界进行交流、获取信息。手语是由手型、动作、表情、姿势等共同构成的一套交际工具。但是由于手语没有广泛应用于媒体播报，导致听障人士难以及时地获取到新闻、天气预报等信息，生活与出行依然面临着许多困难。
3.针对如何将手语应用于气象播报的问题，cn201118618y提出一种手语天气预报网络系统，该申请重点针对的是将天气预报以手语的形式展现出来，但是并没有体现手语与天气预报的联动，导致手语形式的天气预报比较生硬，听障人士的观看体验感较差；且在发生天气预报的画面信息与手语画面不匹配现象时，难以自行调节，影响气象播报质量。
4.因此，希望可以提供一种手语气象播报方法、系统、装置和介质，以提高手语气象播报质量，保证听障人士的观看体验。


技术实现要素：

5.[1] 本说明书实施例之一提供一种手语气象播报方法。所述一种手语气象播报方法包括：获取气象文本数据和气象展现数据，所述气象展现数据包括屏幕动画数据和播报语音数据；基于所述气象文本数据，生成手语姿态数据，所述手语姿态数据包括手语手势序列数据；基于所述气象展现数据，确定引导姿态数据，所述引导姿态数据包括引导姿态及所述引导姿态所在的时间区间，其中，所述引导姿态为虚拟人的动作姿态；基于所述气象展现数据、所述手语姿态数据和所述引导姿态数据，生成手语播报动画。
[0006]
[2] 本说明书实施例之一提供一种手语气象播报系统，所述系统包括：获取模块，用于获取气象文本数据和气象展现数据，所述气象展现数据包括屏幕动画数据和播报语音数据；第一生成生成模块，用于基于所述气象文本数据，生成手语姿态数据，所述手语姿态数据包括手语手势序列数据；确定模块，用于基于所述气象展现数据，确定引导姿态数据，所述引导姿态数据包括引导姿态及所述引导姿态所在的时间区间，其中，所述引导姿态为虚拟人的动作姿态；第二生成模块，基于所述气象展现数据、所述手语姿态数据和所述引导姿态数据，生成手语播报动画。
[0007]
[3] 本说明书实施例之一提供一种手语气象播报装置，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现手语气象播报方法。
[0008]
[4] 本说明书实施例之一提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行手语气象播报方法。
[0009]
[5] 有益效果：通过手语气象播报方法，生成包括引导姿态数据的手语播报动画，可以体现虚拟人与屏幕动画之间的互动，提高手语气象播报质量，保证听障人士的观看体
验。
附图说明
[0010]
本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
[0011]
图1是根据本说明书一些实施例所示的手语气象播报系统的示例性模块图；
[0012]
图2是根据本说明书一些实施例所示的手语气象播报方法的示例性流程图；
[0013]
图3是根据本说明书一些实施例所示的生成手语播报动画的示例性流程图；
[0014]
图4是根据本说明书一些实施例所示的手语气象播报过程的示例性示意图。
具体实施方式
[0015]
为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
[0016]
应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
[0017]
本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
[0018]
听障人士在日常生活中难以及时获取新闻、天气预报等信息，cn201118618y通过将气象报道通过计算机语言的转换，用手语动画的形式表现出来，但该方法并没有体现手语与气象报道画面信息的联动，导致手语形式的气象播报比较生硬，听障人士的观看体验感较差；且在发生气象画面信息与手语画面不匹配现象时，难以自行调节，影响气象播报质量。
[0019]
因此，本说明书一些实施例基于气象展现数据、手语姿态数据和引导姿态数据生成手语播报动画，使得气象展现数据、引导姿态和手语姿态均对应，可以提高手语气象播报质量，从而保证听障人士的观看体验。
[0020]
图1是根据本说明书一些实施例所示的手语气象播报系统的示例性模块图。
[0021]
在一些实施例中，手语气象播报系统100可以包括获取模块110、第一生成模块120、确定模块130和第二生成模块140。
[0022]
在一些实施例中，获取模块110用于获取气象文本数据和气象展现数据，气象展现数据包括屏幕动画数据和播报语音数据。
[0023]
在一些实施例中，第一生成模块120用于基于气象文本数据，生成手语姿态数据，手语姿态数据包括手语手势序列数据。
[0024]
在一些实施例中，确定模块130用于基于气象展现数据，确定引导姿态数据，引导姿态数据包括引导姿态及引导姿态所在的时间区。
[0025]
在一些实施例中，确定模块130基于播报语音数据，识别至少一个单词；对至少一个单词进行上下文语义分析和/或上下文语义匹配，确定引导姿态关键词；基于引导姿态关键词的出现时间以及屏幕动画数据，确定引导姿态数据。
[0026]
在一些实施例中，第二生成模块140基于气象展现数据、手语姿态数据和引导姿态数据，生成手语播报动画。
[0027]
在一些实施例中，第二生成模块140用于基于屏幕动画数据，确定至少一个播报画面区间；基于播报语音数量，确定至少一个播报语音区间；基于至少一个播报画面区间以及至少一个播报语音区间，确定至少一个播报关键点，确定至少一个播报字段；基于手语姿态数据、引导姿态数据和每个播报子段的手语姿态速度以及引导姿态时长，生成手语播报动画。
[0028]
在一些实施例中，第二生成模块140用于基于至少一个播报画面区间和至少一个播报语音区间，确定至少一个候选播报关键点。
[0029]
在一些实施例中，第二生成模块140用于基于至少一个候选播报关键点，确定至少一个播报关键点。
[0030]
在一些实施例中，第二生成模块140用于基于预设引导姿态时长，确定所述引导姿态时长。
[0031]
在一些实施例中，第二生成模块140用于基于所述引导姿态时长，确定所述手语姿态速度。
[0032]
在一些实施例中，手语气象播报系统100可以包括网络和/或其他连接系统与外部资源的组成部分。手语气象播报系统100可以通过网络获取与手语气象播报系统100相关的数据和/或信息。
[0033]
关于手语气象播报系统100的更多细节参见图2和图3相关描述。
[0034]
需要注意的是，以上对于手语气象播报系统100的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解该系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。在一些实施例中，图1中披露的获取模块110、第一生成模块120、确定模块130和第二生成模块140可以是一个系统中的不同模块，也可以是一个模块实现上述的两个或两个以上模块的功能。例如，各个模块可以共用一个存储模块，各个模块也可以分别具有各自的存储模块。诸如此类的变形，均在本说明书的保护范围之内。
[0035]
图2是根据本说明书一些实施例所示的手语气象播报方法的示例性流程图。如图2所示，流程200包括下述步骤。在一些实施例中，流程200可以由手语气象播报系统100执行。
[0036]
步骤210，获取气象文本数据和气象展现数据。
[0037]
气象文本数据是以文本形式记录下来的气象播报信息的文本数据。例如，气象文本数据包括13日地区a的最高温度为20摄氏度，最低温度为15摄氏度等。
[0038]
气象展现数据是指气象播报时需要展现给用户的数据。在一些实施例中，气象展现数据可以包括屏幕动画数据和播报语音数据，例如，需要展现的关于气象的视频、声音等数据。
等。
[0053]
在一些实施例中，手语气象播报系统从语音中识别一些引导性的关键词汇，例如：“东南部”、“西部”等。手语气象播报系统对至少一个单词通过自然语言处理的方法，进行上下文语义分析和/或上下文语义匹配，分析上下文表达的含义，与数据库中词语进行匹配，从而确定引导姿态关键词。
[0054]
在一些实施例中，通过上下文语义分析和/或上下文语义匹配，将与数据库匹配成功的关键词确定为引导姿态关键词。
[0055]
出现时间是引导姿态关键词出现的时间点。
[0056]
在一些实施例中，手语气象播报系统可以基于引导姿态关键词的出现时间以及屏幕动画数据，确定引导姿态关键词的出现时间对应的屏幕动画中的至少一帧图像。手语气象播报系统可以基于上述至少一帧图像确定引导姿态（如虚拟人需要指向的屏幕动画中的至少一帧图像的方位和位置等）。关于引导姿态所在的时间区间的确定方式可以参见下述的相关描述。
[0057]
本说明书一些实施例，基于播报语音数据中至少一个单词进行上下文语义分析与上下文语义匹配，精准的确定引导姿态关键词，基于引导姿态关键词的出现时间以及屏幕动画数据确定引导姿态数据，提高确定的引导姿态数据的准确性，进而使得虚拟人进行播报时姿态与动画展现内容更匹配，提高手语气象播报质量。
[0058]
在一些实施例中，手语气象播报系统可以基于手语持续时长和播放时长确定引导姿态时长；基于引导姿态关键词的出现时间和引导姿态时长确定引导姿态所在的时间区间。
[0059]
手语持续时长是用手语表示气象文本数据的时间长度。例如，从开始到结束用手语表示的时间长度。
[0060]
播放时长是指手语气象播报的总的持续时间。例如，某手语气象播报的播放时长为10分种。
[0061]
在一些实施例中，手语气象播报系统可以基于气象文本数据、气象展现数据和预设规则确定手语持续时长和播放时长。预设规则可以体现气象文本数据、气象展现数据、手语持续时长和播放时长之间的对应关系。
[0062]
引导姿态时长是虚拟人发生引导姿态的持续时间。
[0063]
在一些实施例中，手语气象播报系统可以基于手语持续时长和播放时长，通过预设公式确定引导姿态时长。示例性的，引导姿态时长=（播放时长-手语持续时长）/引导姿态数量。
[0064]
在一些实施例中，手语气象播报系统可以基于引导姿态关键词的出现时间和引导姿态时长，确定引导姿态所在的时间区间。例如,引导姿态关键词的出现时间为时间3分40秒，引导姿态时长为2秒，引导姿态所在的时间区间为3分40秒至3分42秒。
[0065]
本说明书的一些实施例，基于手语持续时长和播放时长确定引导姿态时长，进而基于引导姿态关键词的出现时间以及引导姿态时长，确定引导姿态所在的时间区间，可以提高确定的引导姿态所在的时间区间准确性，可以进一步保证虚拟人的引导姿态的动作与气象展现数据的一致性，提高手语气象播报质量，保证听障人士的观看体验。
[0066]
步骤240，基于气象展现数据、手语姿态数据和引导姿态数据，生成手语播报动画。
[0067]
手语播报动画是指虚拟人对气象数据进行手语表示以及引导姿态的动画。
[0068]
在一些实施例中，手语气象播报系统可以但不限于通过使用用来合成视频的软件、计算机图形学（computer graphics，cg）等技术将气象展现数据、手语姿态数据和引导姿态数据平滑的连接在一起生成手语播报动画。
[0069]
在一些实施例中，手语气象播报系统可以基于手语姿态数据、引导姿态数据和每个播报子段的手语姿态速度以及引导姿态时长，生成手语播报动画，更多细节内容参见图3及相关描述。
[0070]
本说明书的一些实施例，通过手语气象播报方法，生成包括引导姿态数据的手语播报动画，可以体现虚拟人与屏幕动画之间的互动，提高手语气象播报质量，保证听障人士的观看体验。
[0071]
图3是根据本说明书一些实施例所示的生成手语播报动画的示例性流程图。如图3所示，流程300包括下述步骤。在一些实施例中，流程300可以由手语气象播报系统100执行。
[0072]
步骤310，基于屏幕动画数据，确定至少一个播报画面区间。
[0073]
播报画面区间可以为划分后的播报画面。
[0074]
在一些实施例中，一个播报画面区间可以与某一播报内容的屏幕动画数据对应。图4是根据本说明书一些实施例所示的手语气象播报过程的示例性示意图。如图4所示，屏幕动画轨道420可以放置有屏幕动画421，播报画面区间1可以包括讲述城市a天气的屏幕动画的画面、播报画面区间2可以包括讲述城市b天气的屏幕动画的画面等。屏幕动画数据的更多细节，可以参见图2及其相关描述。
[0075]
在一些实施例中，不同播报画面区间的画面之间可以通过画面像素等变化进行区分。在一些实施例中，当手语气象播报系统检测到屏幕动画数据相邻两帧画面的变化满足划分条件时，将该屏幕动画数据的画面划分为两个播报画面区间。如图4所示，响应于屏幕动画421中存在相邻两帧画面的画面像素差异大于像素差异阈值，手语气象播报系统可以将该屏幕动画421划分为播报画面区间1和播报画面区间2。其中，像素差异阈值可以根据实际需求提前预设。
[0076]
步骤320，基于播报语音数据，确定至少一个播报语音区间。
[0077]
播报语音区间可以为划分后的播报语音。
[0078]
在一些实施例中，一个播报语音区间可以与某一播报内容的播报语音数据对应。不同的播报内容可以是不同地区或不同城市等。如图4所示，播报语音轨道410可以放置有播报语音411，播报语音区间1可以包括讲述城市a天气的语音、播报语音区间2可以包括讲述城市b天气的语音等。播报语音数据的更多细节，可以参见图2及其相关描述。
[0079]
在一些实施例中，不同播报语音区间的语音之间可以通过出现的“下一个”、“接下来”等特定词汇进行区分。在一些实施例中，手语气象播报系统可以在检测到播报语音数据中出现候选特定词汇时，将该播报语音数据的语音划分为两个播报语音区间。如图4所示，响应于播报语音411中出现了两个候选特定词汇，手语气象播报系统可以根据候选特定词汇出现的时间点，将该播报语音411划分为播报语音区间1和播报语音区间2。其中，多个候选特定词汇可以存储在候选词汇库中，候选词汇库可以基于历史播报语音区间之间出现频次较多的词汇建立，也可以通过人工标注的方式建立。
[0080]
在一些实施例中，手语气象播报系统可以通过多种方式检测播报语音数据中是否
出现候选特定词汇。例如，手语气象播报系统可以通过语义识别技术提取播报语音数据的候选词汇，基于候选词汇与候选词汇库中的候选特定词汇的对比结果，确定播报语音数据中的候选特定词汇。
[0081]
需要说明的是，由于屏幕动画的切换通常存在一定的过渡效果，如淡出、黑屏等，在屏幕动画播放中，讲述同一播报内容的语音和画面可以同步，也可以不同步。如图4所示，讲述城市a天气的播报语音区间1和播报画面区间1的开始时刻同步，结束时刻不同步。
[0082]
步骤330，基于至少一个播报画面区间以及至少一个播报语音区间，确定至少一个播报关键点。
[0083]
播报关键点可以为播报动画中讲述的不同播报内容的区别点。在一些实施例中，至少一个播报画面区间、至少一个播报语音区间和播报关键点等对应的播报过程中的不同时间点可以通过时间轴450表示。如图4所示，时间轴450可以表示整个播报过程的播报时间段，时间轴450上的时间点可以表示关键点（如关键点450-2等）对应的时间点。当关键点450-2为播报关键点时，可以反映区别讲述城市a天气的动画和讲述城市b的动画。
[0084]
在一些实施例中，播报关键点可以包括至少一个播报画面区间和/或至少一个播报语音区间的起点或者终点。其中，播报画面区间的起点或者终点可以区别播报动画中播报画面讲述的不同播报内容。如图4所示，关键点450-1可以为播报画面区间1的起点，关键点450-2可以为播报画面区间2的起点，关键点450-4可以为播报画面区间2的终点，前述关键点450-2至关键点450-4所对应的播报时间段可以播放讲述城市b天气的屏幕动画。同理，播报语音区间的起点或者终点可以区别播报语音讲述的不同播报内容。
[0085]
在一些实施例中，手语气象播报系统可以基于播报画面区间和/或播报语音区间，识别屏幕动画讲述不同播报内容的时间段，确定播报关键点。例如，手语气象播报系统可以根据播报画面区间1和播报语音区间1，识别播报动画播报城市a天气的时间段，从而将该时间段的终点作为播报关键点a。
[0086]
在一些实施例中，手语气象播报系统可以根据当前屏幕动画播报内容，基于相似的播报内容的历史时间段，确定当前屏幕动画播报内容的时间段。例如，手语气象播报系统可以基于播报城市a天气的历史时间段，确定当前屏幕动画播报城市a天气的所对应的时间。其中，相似的播报内容的历史时间段可以通过历史屏幕动画确定。
[0087]
在一些实施例中，手语气象播报系统可以基于至少一个播报画面区间和至少一个播报语音区间，确定至少一个候选播报关键点；基于至少一个候选播报关键点，确定至少一个播报关键点。
[0088]
在一些实施例中，手语气象播报系统可以将播报画面区间和/或播报语音区间的起点或者终点对应到播报过程的播报时间段上，确定播报时间段上的候选播报关键点。
[0089]
如图4所示，手语气象播报系统可以将播报画面区间1的终点和播报画面区间2的起点对应到播报过程的时间轴450上，确定时间轴450上的关键点450-2为候选播报关键点，也可以将播报语音区间1的终点和播报语音区间2的起点对应到播报过程的时间轴450上，确定时间轴450上的关键点450-3为候选播报关键点，还可以将播报画面区间2的终点对应到播报过程的时间轴450上，确定时间轴450上的关键点450-4为候选播报关键点。
[0090]
在一些实施例中，手语气象播报系统可以基于相邻两个候选播报关键点之间的区间长度筛选候选播报关键点，确定至少一个播报关键点。在一些实施例中，若存在相邻两个
候选播报关键点之间的区间长度小于预设区间长度阈值，说明该相邻两个候选播报关键点之间过近，则手语气象播报系统可以从两个候选播报关键点中去除一个，直到所有的相邻两个候选播报关键点之间的区间长度均大于或等于预设区间长度阈值，将剩余的候选播报关键点作为播报关键点。其中，预设区间长度阈值可以根据历史播报动画中相邻两个播报关键点的区间长度的均值确定，也可以通过人工标注等方式确定。
[0091]
示例性的，如图4所示，假设候选播报关键点包括：关键点450-1、关键点450-2、关键点450-3、关键点450-4和关键点450-5，若关键点450-1和关键点450-2之间的区间长度大于或等于预设区间长度阈值，则保留关键点450-1和关键点450-2，并将关键点450-1和关键点2作为播报关键点。若关键点450-2与关键点450-3之间的区间长度小于预设区间长度阈值，则可以去掉关键点450-3，继续比较关键点450-2和关键点450-4之间的区间长度。若关键点450-2和关键点450-4之间的区间长度大于或等于预设区间长度阈值，则保留关键点450-2和关键点4504，并将关键点450-2和关键点450-4作为播报关键点。同理，若关键点450-4和关键点450-5之间的区间长度大于或等于预设区间长度阈值，则保留关键点450-4和关键点450-5，并将关键点450-4和关键点450-5作为播报关键点。
[0092]
在本说明书实施例中，基于播报画面区间和画面语音区间确定至少一个候选播报关键点，再从中选择出播报关键点，可以提高播报关键点的准确性，使得后续气象展现数据、引导姿态和手语姿态可以对应，从而提高手语气象播报质量，保证听障人士的观看体验。
[0093]
步骤340，基于至少一个播报关键点，确定至少一个播报子段。
[0094]
播报子段可以为在播报时间段上的时间区间，如图4所示的时间轴450上的时间区间。在一些实施例中，播报子段可以包括在该时间区间内需要播放的数据，如屏幕动画数据、播报语音数据、手语姿态数据或引导姿态数据等。
[0095]
在一些实施例中，手语气象播报系统可以将相邻两个播报关键点之间的时间区间，作为播报子段，并将屏幕动画数据、播报语音数据、手语姿态数据、引导姿态数据划分到该播报子段内。
[0096]
如图4所示，若播报关键点依次包括：关键点450-1、关键点450-2、关键点450-4、关键点450-5，手语气象播报系统则可以将从关键点450-1至关键点450-2的时间区间划分为播报子段1，将关键点450-2至关键点450-4的时间区间划分为播报子段2，将关键点450-4至关键点450-5的时间区间划分为播报子段3。其中，以位于手语姿态轨道430的手语姿态数据和位于引导姿态轨道440的引导姿态数据为例，手语姿态可以包括第一手语姿态431和第二手语姿态432等。播报子段1可以包括引导姿态441和第一手语姿态431，播报子段2可以包括引导姿态442、第二手语姿态432的前一部分，播报子段3可以包括第二手语姿态432的后一部分。
[0097]
步骤350，基于至少一个播报子段，确定每个播报子段的手语姿态速度和引导姿态时长。
[0098]
手语姿态速度可以为单位时间内播报手语姿态的速度。在一些实施例中，手语姿态速度可以与该播报子段的时长以及手语姿态数据相关。例如，播报子段的时长越长，或是对应的手语姿态数据越少，手语姿态速度也就越慢。播报子段的时长可以基于相邻播报关键点之间的时刻差确定。引导姿态时长的更多细节，可以参见上述图2及其相关描述。
[0099]
在一些实施例中，手语气象播报系统可以通过多种方式确定播报子段的手语姿态速度和引导姿态时长。例如，手语气象播报系统可以将预设标准的手语姿态速度，确定为播报子段的手语姿态速度。手语气象播报系统可以基于手语姿态速度，确定播报子段的手语持续时长，再基于手语持续时长和播放时长确定播报子段的引导姿态时长。其中，预设标准的手语姿态速度可以基于历史手语播报动画构建，也可以由人工标注确定。确定引导姿态时长的更多细节，可以参见上述图2及其相关描述。
[0100]
在一些实施例中，基于至少一个播报子段，确定每个播报子段的手语姿态速度和引导姿态时长包括：手语气象播报系统可以基于预设引导姿态时长，确定引导姿态时长；基于引导姿态时长，确定手语姿态速度。
[0101]
在一些实施例中，预设引导姿态时长可以用于限定引导姿态时长，避免引导姿态时长过长和手语速度过快。其中，预设引导姿态时长可以是基于历史播报动画中引导姿态时长的均值构建的，也可以是由人工标注确定的。
[0102]
在一些实施例中，手语气象播报系统可以在播报子段内，选择小于等于预设引导姿态时长的时间区间作为引导姿态时长，再基于引导姿态时长以及播报子段的时长，计算手语姿态速度。
[0103]
在一些实施例中，手语气象播报系统可以基于预设引导姿态时长范围，计算对应的手语速度范围。示例性的，手语气象播报系统可以基于预设引导姿态时长的最大值和最小值利用手语速度计算函数，确定播报子段中的手语速度范围的最大值和最小值。其中，手语速度计算函数可以表示为：手语速度=手语画面帧数/（播报子段的时长-预设引导姿态时长）。手语画面帧数可以根据该播报子段中的手语姿态数据确定，预设引导姿态时长可以根据播报子段内的单个引导姿态持续时间与该段引导姿态数量的乘积确定。相对应的，预设引导姿态时长的最大值或最小值可以为单个引导姿态持续时间的最大值或最小值与该段引导姿态数量的乘积。播报子段的时长的更多细节，可以参见上述相关描述。
[0104]
在一些实施例中，手语气象播报系统可以基于每个播报子段的预设引导姿态时长范围和手语速度范围，在符合的预设引导姿态时长范围和手语速度范围内，随机选取或者根据实际的其他需求选取每个播报子段的引导姿态时长和手语姿态速度。
[0105]
在本说明书实施例中，基于预设引导姿态时长确定引导姿态时长，基于引导姿态时长，确定手语姿态速度，可以避免引导姿态的时间过短，手语姿态速度过快等，使引导姿态和手语姿态速度在每个播报子段内自洽，可以提高确定的引导姿态时长和手语姿态速度的准确性，进而提高手语气象播报质量，保证听障人士的观看体验。
[0106]
在一些实施例中，手语气象播报系统可以利用预设算法（如群优化算法等）计算得到播报子段的手语姿态速度以及引导姿态时长。其中，群优化算法可以用于寻求播报子段中最优的手语姿态速度以及引导姿态时长的设置。在一些实施例中，群优化算法可以包括遗传算法等。
[0107]
在一些实施例中，手语气象播报系统可以获取播报子段数量以及预设手语姿态速度范围，并进行多次迭代。在一些实施例中，迭代过程包括下述步骤。
[0108]
步骤s1，基于播报子段数量以及预设手语姿态速度范围，获取多个候选播报方案。
[0109]
候选播报方案可以指初步确定出的符合播报要求的播报方案。其中，候选播报方案包括每个播报子段的候选手语姿态速度以及候选引导姿态时长。在一些实施例中，播报
子段数量以及预设手语姿态速度范围可以为用户输入的。相对应的，手语气象播报系统可以基于播报子段数量以及预设手语姿态速度范围进行随机编码，再基于编码生成每个播报子段的候选手语姿态速度以及候选引导姿态时长，确定多个候选播报方案。
[0110]
步骤s2，建立评价函数，确定每个候选播报方案的适应值。
[0111]
评价函数可以用于评估每个候选方案的可行性，适应值可以指用于评价候选播报方案合理性的有关参数。候选播报方案的适应值可以包括候选播报方案中每个播报子段的适应值、候选播报方案总的适应值等。候选播报方案总的适应值可以为多个播报子段的适应值的总和。在一些实施例中，适应值可以与候选播报方案的合理性呈正相关。即候选播报方案越合理，其适应值的值越大。
[0112]
在一些实施例中，手语气象播报系统确定评价函数时，可以预估听障人士的观感。在一些实施例中，听障人士对于候选播报方案的观感越高，该候选播报方案的合理性越高，其适应值的值也就越大。在一些实施例中，手语气象播报系统确定评价函数时，还可以相关于手语播报的候选播报方案的手语复杂度。在一些实施例中，手语播报该候选播报方案的手语复杂度越高，该候选播报方案的合理性越低，其适应值的值也就越小。
[0113]
在一些实施例中，手语气象播报系统可以为听障人士的观感设定对应的权重，为手语播报该候选播报方案的手语复杂度的倒数设定对应的权重，进行加权求和确定候选播报方案的适应值。
[0114]
在一些实施例中，手语气象播报系统可以基于候选播报方案和其对应的手语播报动画，利用预先建立的听障人士观感评分模型，预测手语播报动画的观感评分，观感评分相关于候选播报方案的适应值。
[0115]
在一些实施例中，听障人士观感评分模型可以是机器学习模型，例如，深度神经网络模型（deep neural networks，dnn）等。在一些实施例中，听障人士观感评分模型的输入可以包括基于上述迭代过程中的候选播报方案生成的手语播报动画；输出可以包括听障人士的观感评分。其中，手语播报动画可以基于候选播报方案中每个播报子段的候选手语姿态速度以及候选引导姿态时长生成。
[0116]
在一些实施例中，手语气象播报系统可以根据候选播报方案中的每个播报子段的候选手语姿态速度以及候选引导姿态时长，生成手语播报动画。手语播报动画的具体生成过程，可以参见图2中的步骤240及其相关描述。
[0117]
在一些实施例中，观感评分可以用于反映听障人士在观看基于候选播报方案生成的手语播报动画的体验感，其可以响应候选播报方案的适应度值。例如，观感评分越高，可以反映听障人士在观看基于对应的手语播报动画的体验感越高，使得候选播报方案的适应度值也就越高。
[0118]
在一些实施例中，听障人士观感评分模型可以通过大量带有第一标签的第一训练样本训练得到。第一训练样本可以包括历史手语播报动画中的历史播报片段的手语姿态画面帧数、手语姿态速度、引导姿态持续时间，第一训练样本的第一标签可以包括历史手语播报动画的观感评分。在一些实施例中，第一训练样本的第一标签可以通过对观看过历史手语播报动画的听障人士的观感评分进行分析得到，也可以通过发放对历史播报片段的问卷获得的听障人士的评分确定。
[0119]
本说明书一些实施例中，手语气象播报系统基于候选播报方案和其对应的手语播
报动画通过模型确定手语播报动画的观感评分，可以无需听障人士观看并上传手语播报动画。确定手语播报动画的观感评分可以有助于在后续迭代时确定候选播报方案的适应值，从而更准确地确定播报方案，充分满足听障人士的观感需求，提升用户的使用体验。
[0120]
在一些实施例中，手语气象播报系统确定评价函数时，可以考虑播报子段的手语复杂度。候选播报方案的适应值还可以相关于播报子段的手语复杂度。
[0121]
由于不同播报子段中的手语姿态不同，导致播报子段的手语复杂度不同，其复杂度可以影响候选播报方案中的手语姿态速度。例如，同一时长的播报子段中的手语姿态越多，手语复杂度越大，若播报方案设定越慢的手语姿态速度，则候选播报方案的适应值也就越大，以便听障人士能够通过较慢的手语姿态速度看清复杂度较大的手语。
[0122]
在一些实施例中，手语气象播报系统可以基于播报子段的气象文本数据和手语姿态数据，进行加权求和确定播报子段的手语复杂度。在一些实施例中，手语气象播报系统可以为播报子段的气象文本字数与基准文本字数的比值设定权重，还可以为播报子段的手语姿态画面帧数与基准手语画面帧数的比值设定权重，通过加权求和确定播报子段的手语复杂度。
[0123]
其中，气象文本字数可以根据播报子段的气象文本数据确定，手语姿态画面帧数可以根据播报子段的手语姿态数据确定。基准文本字数可以根据历史手语播报动画中播报子段的气象文本字数确定，基准手语画面帧数可以根据历史手语播报动画中播报子段的手语姿态画面帧数确定，还可以基于人工标注确定。各项比值的权重可以通过人工标注确定。
[0124]
在本说明书实施例中，手语气象播报系统确定评价函数时，可以考虑播报子段的手语复杂度。候选播报方案的适应值还可以相关于播报子段的手语复杂度，可以提高确定的候选播报方案的适应值的准确性，进而提高播报方案对应的手语播报动画的准确性。
[0125]
步骤s3，建立选择函数，从多个候选播报方案中选择待变异播报方案，选择函数与候选播报方案的适应值相关。
[0126]
在一些实施例中，选择函数可以用于选择出需要进行变异的播报方案。在一些实施例中，选择函数可以基于轮盘赌等算子确定。在一些实施例中，选择函数与候选播报方案的适应值相关。例如，通过选择函数选择待变异播报方案时，候选播报方案的适应值（每个播报子段的适应值和/或候选播报方案总的适应值）越大，越容易被选择为待变异播报方案。
[0127]
在一些实施例中，针对多个候选播报方案，手语气象播报系统可以基于选择函数，选择至少一个待变异播报方案。
[0128]
步骤s4，利用变异函数对待变异播报方案进行变异，以替代适应值小于预设阈值的候选播报方案。
[0129]
在一些实施例中，待变异播报方案可以为上述通过选择函数选择出的候选播报方案。在一些实施例中，手语气象播报系统可以通过多种方式对待变异播报方案进行变异。例如，手语气象播报系统可以基于变异函数调整待变异播报方案中的手语姿态速度和/或引导姿态时长。变异函数可以是关于如何调整待变异播报方案中的手语姿态速度和/或引导姿态时长的函数。
[0130]
在一些实施例中，手语气象播报系统基于变异函数对待变异播报方案进行变异时，被选择变异的概率小于或等于预设概率阈值（如5%）。被选择变异的概率可以指对待变
异播报方案中的多个手语姿态速度和/或引导姿态时长进行变异的数量占总数量的百分比。总数量是指待变异播报方案中的多个手语姿态速度和/或引导姿态时长的数量。预设概率阈值可以由人工标注确定。
[0131]
在一些实施例中，手语气象播报系统基于变异函数对待变异播报方案进行变异时，变异后的播报方案手语姿态速度差异值小于或等于预设变异速度阈值。手语姿态速度差异值可以指变异后的播报方案中相邻的播报子段之间的手语姿态速度的差值。预设变异速度阈值可以由人工标注确定。关于手语姿态速度差异值的更多内容可以参见下述的相关描述。
[0132]
在一些实施例中，在上述迭代过程中，响应于变异后的播报方案的手语姿态速度差异值大于预设变异速度阈值，手语气象播报系统对该变异后的播报方案进行重新变异。
[0133]
变异后的播报方案中相邻播报子段的手语姿态速度差异值可以用于反映变异后的播报方案的协调性，进而影响听障人士的观看体验。例如，相邻播报子段的手语姿态速度差异值越大，导致变异后的播报方案中相邻播报子段的协调性越差，听障人士的观看体验也就越差。
[0134]
在一些实施例中，若存在相邻播报子段的手语姿态速度差异值大于预设变异速度阈值，则手语气象播报系统可以认为变异后的播报方案的变异无效，并重新进行变异。变异的具体实现方式，可以参见上述相关描述。
[0135]
在本说明书实施例中，基于相邻播报子段的手语姿态速度差异值确定变异后的播报方案的协调性，可以提高变异后的播报方案的准确性，进而提高生成的手语播报动画的协调性，提升听障人士的观看体验。
[0136]
在一些实施例中，手语气象播报系统将多个候选播报方案的适应值从大到小进行排序。手语气象播报系统将变异后的播报方案替换部分候选播报方案，进而生成新的候选播报方案进入下一轮迭代。被替换的候选播报方案为适应值排名低于预设排名阈值的方案。其中，预设排名阈值可以是由人工标注确定的。
[0137]
在一些实施例中，响应于满足迭代条件，手语气象播报系统可以停止迭代，并确定每个播报子段的手语姿态速度以及引导姿态时长。
[0138]
在一些实施例中，响应于满足迭代条件，手语气象播报系统可以将适应值最大的候选播报方案确定为目标播报方案，从而确定每个播报子段的手语姿态速度以及引导姿态时长。
[0139]
在一些实施例中，迭代条件可以包括迭代更新的次数已经达到预设次数阈值、适应值达到预设适应迭代阈值、适应值在连续的两次迭代前后的差值小于预设差值阈值中的至少一种。迭代条件可以通过用户预先设定，也可以通过历史迭代过程中的历史迭代条件确定。
[0140]
在本说明书实施例中，基于预设算法确定每个播报子段的手语姿态速度以及引导姿态时长，可以提高确定的目标播报方案的准确性，进而提高听障人士观看手语播报动画的观看体验。
[0141]
步骤360，基于手语姿态数据、引导姿态数据和每个播报子段的手语姿态速度以及引导姿态时长，生成手语播报动画。
[0142]
在一些实施例中，手语气象播报系统可以根据目标播报方案中每一播报子段的手
语姿态速度以及引导姿态时长，确定播报子段中对应的手语姿态数据和引导姿态数据，生成包括手语姿态与引导姿态的手语播报动画。示例性的，如图4所示的播报子段1对应的动画开始播放时，引导姿态441可以在开始播放播报画面区间1时出现，当引导姿态441结束后播放第一手语姿态431。
[0143]
在本说明书实施例中，基于至少一个播报关键点确定至少一个播报子段，确定每个播报子段的手语姿态速度和引导姿态时长，使播报子段都可以体现虚拟人与屏幕动画之间的互动，使气象播报更生动，使每个播报子段的手语姿态速度与屏幕动画的内容更匹配，提高生成的手语播报动画的准确性和质量，进而提高听障人士的观看体验。
[0144]
本说明书的一个或多个实施例中还提供一种手语气象播报装置，包括至少一个处理器以及至少一个存储器；至少一个存储器用于存储计算机指令；至少一个处理器用于执行所述计算机指令中的至少部分指令以实如上任一实施例所述的手语气象播报方法。
[0145]
本说明书的一个或多个实施例中还提供一种计算机可读存储介质，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机运行如上任一实施例所述的手语气象播报方法。
[0146]
上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书进行各种修改、改进和修正。该类修改、改进和修正在本说明书中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
[0147]
同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”、和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
[0148]
最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书的范围。因此，作为示例而非限制，本说明书实施例的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

技术特征：
1.一种手语气象播报方法，其特征在于，所述方法包括：获取气象文本数据和气象展现数据，所述气象展现数据包括屏幕动画数据和播报语音数据；基于所述气象文本数据，生成手语姿态数据，所述手语姿态数据包括手语手势序列数据；基于所述气象展现数据，确定引导姿态数据，所述引导姿态数据包括引导姿态及所述引导姿态所在的时间区间，其中，所述引导姿态为虚拟人的动作姿态；基于所述气象展现数据、所述手语姿态数据和所述引导姿态数据，生成手语播报动画。2.如权利要求1所述的方法，其特征在于，所述基于所述气象展现数据，确定引导姿态数据包括：基于所述播报语音数据，识别至少一个单词；对所述至少一个单词进行上下文语义分析和/或上下文语义匹配，确定引导姿态关键词；基于所述引导姿态关键词的出现时间以及所述屏幕动画数据，确定所述引导姿态数据。3.如权利要求1所述的方法，其特征在于，所述基于所述气象展现数据、所述手语姿态数据和所述引导姿态数据，生成手语播报动画包括：基于所述屏幕动画数据，确定至少一个播报画面区间；基于所述播报语音数据，确定至少一个播报语音区间；基于所述至少一个播报画面区间以及所述至少一个播报语音区间，确定至少一个播报关键点；基于所述至少一个播报关键点，确定至少一个播报子段；基于所述至少一个播报子段，确定每个播报子段的手语姿态速度和引导姿态时长；基于所述手语姿态数据、所述引导姿态数据和所述每个播报子段的所述手语姿态速度以及所述引导姿态时长，生成所述手语播报动画。4.如权利要求3所述的方法，其特征在于，所述基于所述至少一个播报画面区间以及所述至少一个播报语音区间，确定至少一个播报关键点包括：基于所述至少一个播报画面区间和所述至少一个播报语音区间，确定至少一个候选播报关键点；基于所述至少一个候选播报关键点，确定所述至少一个播报关键点。5.如权利要求3所述的方法，其特征在于，所述基于所述至少一个播报子段，确定每个播报子段的手语姿态速度和引导姿态时长包括：基于预设引导姿态时长，确定所述引导姿态时长；基于所述引导姿态时长，确定所述手语姿态速度。6.一种手语气象播报系统，其特征在于，所述系统包括：获取模块，用于获取气象文本数据和气象展现数据，所述气象展现数据包括屏幕动画数据和播报语音数据；第一生成模块，用于基于所述气象文本数据，生成手语姿态数据，所述手语姿态数据包括手语手势序列数据；
确定模块，用于基于所述气象展现数据，确定引导姿态数据，所述引导姿态数据包括引导姿态及所述引导姿态所在的时间区间，其中，所述引导姿态为虚拟人的动作姿态；第二生成模块，基于所述气象展现数据、所述手语姿态数据和所述引导姿态数据，生成手语播报动画。7.如权利要求6所述的系统，其特征在于，所述确定模块还用于：基于所述播报语音数据，识别至少一个单词；对所述至少一个单词进行上下文语义分析和/或上下文语义匹配，确定引导姿态关键词；基于所述引导姿态关键词的出现时间以及所述屏幕动画数据，确定所述引导姿态数据。8.如权利要求6所述的系统，其特征在于，所述第二生成模块还用于：基于所述屏幕动画数据，确定至少一个播报画面区间；基于所述播报语音数据，确定至少一个播报语音区间；基于所述至少一个播报画面区间以及所述至少一个播报语音区间，确定至少一个播报关键点；基于所述至少一个播报关键点，确定至少一个播报子段；基于所述至少一个播报子段，确定每个播报子段的手语姿态速度和引导姿态时长；基于所述手语姿态数据、所述引导姿态数据和所述每个播报子段的所述手语姿态速度以及所述引导姿态时长，生成所述手语播报动画。9.一种手语气象播报装置，其特征在于，所述装置包括至少一个处理器以及至少一个存储器；所述至少一个存储器用于存储计算机指令；所述至少一个处理器用于执行所述计算机指令中的至少部分指令以实现如权利要求1至5中任意一项所述的方法。10.一种计算机可读存储介质，其特征在于，所述存储介质存储计算机指令，当计算机读取存储介质中的计算机指令后，计算机执行如权利要求1至5中任意一项所述的方法。

技术总结
本发明提供一种手语气象播报方法、系统、装置和介质。所述方法包括：获取气象文本数据和气象展现数据，气象展现数据包括屏幕动画数据和播报语音数据；基于气象文本数据，生成手语姿态数据，手语姿态数据包括手语手势序列数据；基于气象展现数据，确定引导姿态数据，引导姿态数据包括引导姿态及引导姿态所在的时间区间；基于气象展现数据、手语姿态数据和引导姿态数据，生成手语播报动画。该系统包括：获取模块、第一生成模块、确定模块和第二生成模块。该方法通过手语气象播报装置实现。该方法还通过计算机可读存储介质存储的计算机指令被读取后运行。通过该方法可以提高手语气象播报质量，保证听障人士的观看体验。保证听障人士的观看体验。保证听障人士的观看体验。


技术研发人员：杨阳 王磊 胡康 胡小羽 潘彦蓉 张晔 张小兵 童凯 张梦醒 胡天航
受保护的技术使用者：果不其然无障碍科技（苏州）有限公司
技术研发日：2023.08.10
技术公布日：2023/9/9