视频导航方法和用户终端与流程

1.本发明涉及视联网技术领域，更具体地，涉及视频通信期间的视频导航方法与用户终端。


背景技术：

2.随着科技的发展，各种技术充斥着我们的生活，移动手机更是集合了诸多科技于一身来更好地帮助我们生活。例如通过手机来视频通话的功能已成为人们日常交流的必备功能，通过视频通话人们可以实时看到对方的模样、听到对方的声音。又例如通过手机导航来方便人们的出行，根据导航提示人们可以去往陌生的地方，而不至于迷路。
3.在日常生活中人们常常遇到的一种场景是用户在目的地附近寻找目标，如在商场内寻找朋友、店铺等无法使用导航来精准定位的情况，人的视线一旦被物体遮挡后，哪怕近在咫尺也无从得知，一般都是通过视频电话来求助朋友、家人，通过拍摄自身周围环境帮助他人确定你当前所处的位置，然后对方再通过喊话来告诉你往前、往后、往左还是往右等，从而帮助人们指路更快地到达目的地，可是一旦设法帮助人的声音无法有效地被需求方接收，那么求助就失败了，例如，求助人身处环境声音嘈杂无法听清楚视频通话设备的声音、求助人听力不佳或着是聋哑人无法听到视频通话内容等等情况，面对类似这些问题想通过视频通话寻求导航帮助，就无法满足了。


技术实现要素：

4.提供本发明内容以便以简化形式介绍将在以下具体实施方式中进一步的描述一些概念。本发明内容并非旨在标识所要求保护的主题的关键特征或必要特征，也不旨在用于帮助确定所要求保护的主题的范围。
5.为解决上述问题，本发明提出了一种基于语音识别来辅助视频通话的用户导航方法与终端。当用户双方正常进行视频通话时，通过语音识别来转化用户口令，并且在实时视频通话的画面中呈现出标识符号(可以是文字、方向箭头等)，辅助求助人员仅通过观察画面中的标识符号就可以作为导航参考，使得求助人员只需专注观察画面，无需一边举着手机拍环境，然后再放到耳边听对方说方向，交替操作寻求帮助，也为听力不好的人(或聋哑人)或其他无法通过视频通话来寻求帮助的人提供有效的服务。
6.根据本发明的一个方面，提供了一种视频导航方法，包括：
7.在视频通话期间在用户终端上显示所述用户终端处的摄像头所捕获的环境画面；
8.向处于所述视频通话中的另一用户终端传送所述摄像头所捕获的环境画面；
9.向所述另一用户终端传送视频导航辅助请求；
10.响应于所述另一用户终端同意所述视频导航辅助请求，接收来自所述另一用户终端的导航指令；以及
11.在所述用户终端所显示的环境画面中显示与所接收的导航指令相对应的导航标识信息。
12.根据本发明的进一步实施例，所述导航指令是所述另一用户终端处的用户通过语音方式提供的。
13.根据本发明的另一实施例，进一步包括：
14.在所述另一用户终端同意所述视频导航辅助请求之后，对接收到的来自所述另一用户终端的语音进行识别，以从中解析出导航指令。
15.根据本发明的另一实施例，在所述用户终端所显示的环境画面中显示与所接收的导航指令相对应的导航标识信息进一步包括：
16.以符号或文字的形式在所述用户终端所显示的环境画面中显示所述导航标识信息。
17.根据本发明的另一实施例，进一步包括：
18.向所述另一用户终端传送显示有所述导航标识信息的所述环境画面。
19.根据本发明的另一方面，提供了一种用户终端，包括：
20.摄像头，所述摄像头用于捕获画面；以及
21.与所述摄像头通信地耦合的控制单元，所述控制单元被配置成：
22.在视频通话期间在用户终端上显示所述用户终端处的所述摄像头所捕获的环境画面；
23.向处于所述视频通话中的另一用户终端传送所述摄像头所捕获的环境画面；
24.向所述另一用户终端传送视频导航辅助请求；
25.响应于所述另一用户终端同意所述视频导航辅助请求，接收来自所述另一用户终端的导航指令；以及
26.在所述用户终端所显示的环境画面中显示与所接收的导航指令相对应的导航标识信息。
27.根据本发明的进一步实施例，所述导航指令是所述另一用户终端处的用户通过语音方式提供的。
28.根据本发明的另一实施例，所述控制单元被进一步配置成：
29.在所述另一用户终端同意所述视频导航辅助请求之后，对接收到的来自所述另一用户终端的语音进行识别，以从中解析出导航指令。
30.根据本发明的另一实施例，在所述用户终端所显示的环境画面中显示与所接收的导航指令相对应的导航标识信息进一步包括：
31.以符号或文字的形式在所述用户终端所显示的环境画面中显示所述导航标识信息。
32.根据本发明的另一实施例，所述控制单元被进一步配置成：
33.向所述另一用户终端传送显示有所述导航标识信息的所述环境画面。
34.通过阅读下面的详细描述并参考相关联的附图，这些及其它特点和优点将变得显而易见。应该理解，前面的概括说明和下面的详细描述只是说明性的，不会对所要求保护的各方面形成限制。
附图说明
35.为了能详细地理解本发明的上述特征所用的方式，可以参照各实施例来对以上简
要概述的内容进行更具体的描述，其中一些方面在附图中示出。然而应该注意，附图仅示出了本发明的某些典型方面，故不应被认为限定其范围，因为该描述可以允许有其它等同有效的方面。
36.图1是根据本发明的一个实施例的视频导航方法的流程图。
37.图2是根据本发明的一个实施例的用户终端的示例架构图。
38.图3是根据本发明的一个实施例的视频导航系统的示例架构图。
39.图4是根据本发明的一个实施例的基于语音识别的视频导航方法的示例流程图。
40.在附图中，附图并未按照实际的比例绘制。
具体实施方式
41.下面结合附图详细描述本发明，本发明的特点将在以下的具体描述中得到进一步的显现。以下实施例的详细描述和附图用于示例性地说明本发明的原理，但不能用来限制本发明的范围，即本发明不限于所描述的实施例。
42.在本发明的描述中，需要说明的是，除非另有说明，“多个”的含义是两个以上；术语“上”、“下”、“左”、“右”、“内”、“外”等指示的方位或位置关系仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
43.下述描述中出现的方位词均为图中示出的方向，并不是对本发明的具体结构进行限定。在本发明的描述中，还需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是直接相连，也可以通过中间媒介间接相连。对于本领域的普通技术人员而言，可视具体情况理解上述术语在本发明中的具体含义。
44.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本发明的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
45.在本发明实施例的描述中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系，例如a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
46.图1是根据本发明的一个实施例的视频导航方法100的流程图。如图1中所示，方法100开始于步骤102，可以在视频通话期间在用户终端上显示该用户终端处的摄像头所捕获的环境画面。
47.然后，在步骤104，可以向处于视频通话中的另一用户终端传送该用户终端处的摄像头所捕获的环境画面。作为一个非限制性示例，该用户终端可以是求助方，而视频通话中的另一用户终端可以是提供帮助方。但可以领会，在不同的场景中，两者可以互换。
48.接着，在步骤106，可以向该另一用户终端传送视频导航辅助请求。随后，在步骤108，可以响应于该另一用户终端同意该视频导航辅助请求，接收来自该另一用户终端的导航指令。
49.但可以领会，根据实际情况的需要，在步骤106，该视频导航辅助请求也可以由视
频通话中的该另一用户终端向该用户终端来发起，例如，由提供帮助方来发起视频导航辅助请求。相应地，在步骤108，可以响应于接收到来自该另一用户终端的视频导航辅助请求，向该另一用户终端发信号通知同意该视频导航辅助请求，然后接收来自该另一用户终端的导航指令。
50.作为一个示例，对于视频导航辅助请求，可以在用户终端上显示用于视频导航辅助请求的图标，要发起视频导航辅助请求的用户可以通过在视频通话期间点击该图标来向另一用户终端传送视频导航辅助请求；或者可以在用户终端设置用于视频导航辅助请求的按键，要发起视频导航辅助请求的用户可以通过在视频通话期间点击该按键来向另一用户终端传送视频导航辅助请求；等等。
51.作为一个非限制性示例，如果求助方的用户终端在视频通话期间使用的是前置摄像头(即面向该用户终端处的用户的摄像头)，可以进一步在求助过程中关闭该用户终端处的前置摄像头并且开启后置摄像头，以向另一用户终端提供求助方前方的环境画面。例如，在由求助方发起视频导航辅助请求的情况下，可以在由求助方传送视频导航辅助请求的同时、或者在接收到来自另一用户终端同意该视频导航辅助请求的同时，将前置摄像头切换到后置摄像头。而在由提供帮助方发起视频导航辅助请求的情况下，可以在接收到来自该另一用户终端(即提供帮助方)的视频导航辅助请求之后，在向该另一用户终端发信号通知同意该视频导航辅助请求的同时，将前置摄像头切换到后置摄像头。
52.作为又一示例，所接收的来自该另一用户终端的导航指令可以是该另一用户终端处的用户通过语音方式提供的。在进一步非限制性实施例中，可以对接收到的来自该另一用户终端的语音进行识别，以从中解析出导航指令。
53.可以领会，所接收的来自该另一用户终端的导航指令也可以是通过其他输入方式来提供的，如文本、按钮等。相应地，可以对接收到的这些信息进行识别，以从中解析出导航指令。
54.最后，在步骤110，在该用户终端所显示的环境画面中显示与所接收的导航指令相对应的导航标识信息。作为一个示例，可以以符号或文字的形式在该用户终端所显示的环境画面中显示导航标识信息。可以领会，也可以通过其他方式来显示导航标识信息，例如，不同的灯光显示或不同的震动等。
55.在进一步非限制性实施例中，可以向该另一用户终端传送显示有该导航标识信息的环境画面。
56.图2是根据本发明的一个实施例的用户终端200的示例架构图。如图2中所示，用户终端200可以包括摄像头202和控制单元204。其中，摄像头202可以用于捕获画面；控制单元204可以与摄像头202通信地耦合并且被配置成执行如参考图1所述的视频导航方法100。
57.具体地，控制单元204可被配置成：在视频通话期间在用户终端200上显示用户终端200处的摄像头202所捕获的环境画面；向处于该视频通话中的另一用户终端传送摄像头202所捕获的环境画面；向该另一用户终端传送视频导航辅助请求；响应于该另一用户终端同意所述视频导航辅助请求，接收来自该另一用户终端的导航指令；以及在用户终端200所显示的环境画面中显示与所接收的导航指令相对应的导航标识信息。
58.作为一个示例，所接收的导航指令可以是另一用户终端处的用户通过语音方式提供的。作为又一示例，控制单元204可被进一步配置成：对接收到的来自该另一用户终端的
语音进行识别，以从中解析出导航指令。可以领会，所接收的来自该另一用户终端的导航指令也可以是通过其他输入方式来提供的，如文本、按钮等。相应地，可以对接收到的这些信息进行识别，以从中解析出导航指令。
59.作为另一示例，在用户终端200所显示的环境画面中显示与所接收的导航指令相对应的导航标识信息可以进一步包括：以符号或文字的形式在用户终端200所显示的环境画面中显示该导航标识信息。可以领会，也可以通过其他方式来显示导航标识信息，例如，不同的灯光显示或不同的震动等。
60.在进一步非限制性实施例中，控制单元204可被进一步配置成：向该另一用户终端传送显示有该导航标识信息的环境画面。
61.图3是根据本发明的一个实施例的视频导航系统300的示例架构图。如图3中所示，视频导航系统300可以包括用户终端302和用户终端304。用户终端302和用户终端304可以是如参考图2所述的用户终端200。用户终端302可以由用户310来操作，而用户终端304可以由用户312来操作，用户终端302和用户终端304可以处于视频通话中，即两者可以实时交互传输双方的画面、声音，并在终端上展现画面、播放声音。其中，用户终端302可以是提供帮助方，而用户终端304可以是求助方。但可以领会，在不同的场景中，两者可以互换。
62.在视频通话期间，在用户终端304上向用户312显示用户终端304处的摄像头所捕获的环境画面(即实时视频画面306)，同时用户终端304向处于视频通话中的另一用户终端302传送该实时视频画面306以供用户310查看。
63.作为一个示例，用户终端304在需要进行视频导航时可以向用户终端302传送视频导航辅助请求。用户终端302在接收到该视频导航辅助请求之后，可以向用户终端304发信号通知是否同意该视频导航辅助请求。如果用户终端302同意该视频导航辅助请求，则用户终端302处的用户310可以根据接收到的实时视频画面306通过用户终端302向用户终端304传送导航指令。用户终端304在接收到该导航指令之后，可在实时视频画面306中显示与所接收的导航指令相对应的导航标识信息。
64.作为另一示例，在需要进行视频导航时，可以是用户终端302向用户终端304传送视频导航辅助请求。用户终端304在接收到该视频导航辅助请求之后，可以向用户终端302发信号通知是否同意该视频导航辅助请求。如果用户终端304同意该视频导航辅助请求，则用户终端302处的用户310可以根据接收到的实时视频画面306通过用户终端302向用户终端304传送导航指令。用户终端304在接收到该导航指令之后，可在实时视频画面306中显示与所接收的导航指令相对应的导航标识信息。
65.在一个非限制性实施例中，如果用户终端304在最初的视频通话期间使用的是前置摄像头(即面向该用户终端处的用户的摄像头)，可以进一步在求助过程中关闭用户终端304处的前置摄像头并且开启后置摄像头，以向用户终端302提供用户终端304前方的环境画面。例如，在由求助方(即用户终端304)发起视频导航辅助请求的情况下，可以在由用户终端304传送视频导航辅助请求的同时、或者在用户终端304接收到来自提供帮助方(即用户终端302)同意该视频导航辅助请求的同时，将用户终端304的前置摄像头切换到后置摄像头。而在由提供帮助方(即用户终端302)发起视频导航辅助请求的情况下，可以在用户终端304接收到来自用户终端302的视频导航辅助请求之后，在向用户终端302发信号通知同意该视频导航辅助请求的同时，将用户终端304的前置摄像头切换到后置摄像头。
66.图4是根据本发明的一个实施例的基于语音识别的视频导航方法400的示例流程图。在该实施例中，手机402是小李处的用户终端(即提供帮助方)，手机404是小王处的用户终端(即求助方)。
67.该实施例的应用场景如下：小李、小王约好在y商场的某餐厅吃饭。小李去过该餐厅吃过饭，所以轻车熟路地进入餐厅等待小王到来，而小王从来没来过y商场，因此当进入y商场后，因避免耽误时间，决定与小李进行视频通话，让其帮忙给自己指路。因为无法规避的原因，无法听到小李的声音(例如，商场内太嘈杂了等)，于是开启了视频导航模式，小李通过看着小王拍摄画面，引导小王找到自己所在的餐厅。具体流程如下：
68.(1)小李坐在餐厅内等待小王。小王进入y商场后，通过随身携带的手机404申请与小李进行视频通话406，在视频通话期间两人实时交互传输双方的画面、声音，并在各自的终端上展现画面、播放声音。如手机402和404所示，手机上不仅展示了对方的实时画面，还可以展示本地摄像头所捕获的画面。
69.(2)小李点击手机404上的视频导航请求按钮以发送视频导航请求408，在小李同意协助410之后，小王的手机404可以激活语音识别模块412和指令标识模块414以使得相应的功能进入工作状态。可以领会，所激活的语音识别模块412和指令标识模块414可以是包含在手机402和/或手机404中的模块。
70.(3)小王使用手机404拍摄前方的环境画面并且实时地将画面传送给小李的手机402，小李通过观察手机402上小王所拍摄的画面而给出对应的语音指示：前方左转(如416所示)。语音识别模块412可以从该语音中识别出导航指令418。作为一个非限制性示例，该导航指令可以是文本指令，例如“左转”。
71.(4)指令标识模块414在接收到传输过来的“左转”指令之后，匹配对应的标识符号
“←”
，并在手机404的本地画面中展示该"
←
"符号(如420所示)，同时小李的手机402中属于小王的实时画面也展示相同内容(如422所示)，提醒小李刚才下发的指令状态。
72.(5)小王看到"
←
"提示信息并按指令执行，同时保持手机处于拍摄状态。
73.(6)小李在手机402上看到小王左转后，接着说："这右转"(如416所示)。同样地，语音识别模块412识别出导航指令418，例如，本文指令“右转”。
74.(7)继续地，指令标识模块414在接收到传输过来的“右转”指令，匹配对应的标识符号
“→”
，并在手机404的本地画面中展示该
“→”
符号(如424所示)，同时小李的手机402中属于小王的实时画面也展示相同内容(如426所示)，提醒小李刚才下发的指令状态。
75.(8)通过重复上述步骤，小王只需保持拍摄状态，并观察着屏幕上的"箭头"标识，就可以最终达到餐厅428目的地，
76.以上描述了本发明的视频导航方法和用户终端，与现有技术中的方案相比，本发明至少具有以下优点：
77.1.实用性更强。通过在实时视频通话的过程中，增加人员辅助导航功能，可以使得视频通话具备了求助辅助的服务。
78.2.更人性化。对于一部分听力不佳(或聋哑人)，可以通过本发明的视频导航方法和用户终端来准确、有效地接收导航指令，从而获得帮助。
79.3.更便捷。在进行视频通话的过程中，无需交替地把设备放到耳边听声音再设备拿下来拍摄，而只需将设备用于拍摄环境画面，并且专注查看导航标识即可。
80.以上所已经描述的内容包括所要求保护主题的各方面的示例。当然，出于描绘所要求保护主题的目的而描述每一个可以想到的组件或方法的组合是不可能的，但本领域内的普通技术人员应该认识到，所要求保护主题的许多进一步的组合和排列都是可能的。从而，所公开的主题旨在涵盖落入所附权利要求书的精神和范围内的所有这样的变更、修改和变化。

技术特征：
1.一种视频导航方法，包括：在视频通话期间在用户终端上显示所述用户终端处的摄像头所捕获的环境画面；向处于所述视频通话中的另一用户终端传送所述摄像头所捕获的环境画面；向所述另一用户终端传送视频导航辅助请求；响应于所述另一用户终端同意所述视频导航辅助请求，接收来自所述另一用户终端的导航指令；以及在所述用户终端所显示的环境画面中显示与所接收的导航指令相对应的导航标识信息。2.如权利要求1所述的方法，其特征在于，所述导航指令是所述另一用户终端处的用户通过语音方式提供的。3.如权利要求2所述的方法，其特征在于，所述方法进一步包括：在所述另一用户终端同意所述视频导航辅助请求之后，对接收到的来自所述另一用户终端的语音进行识别，以从中解析出导航指令。4.如权利要求1所述的方法，其特征在于，在所述用户终端所显示的环境画面中显示与所接收的导航指令相对应的导航标识信息进一步包括：以符号或文字的形式在所述用户终端所显示的环境画面中显示所述导航标识信息。5.如权利要求1所述的方法，其特征在于，进一步包括：向所述另一用户终端传送显示有所述导航标识信息的所述环境画面。6.一种用户终端，包括：摄像头，所述摄像头用于捕获画面；以及与所述摄像头通信地耦合的控制单元，所述控制单元被配置成：在视频通话期间在用户终端上显示所述用户终端处的所述摄像头所捕获的环境画面；向处于所述视频通话中的另一用户终端传送所述摄像头所捕获的环境画面；向所述另一用户终端传送视频导航辅助请求；响应于所述另一用户终端同意所述视频导航辅助请求，接收来自所述另一用户终端的导航指令；以及在所述用户终端所显示的环境画面中显示与所接收的导航指令相对应的导航标识信息。7.如权利要求6所述的用户终端，其特征在于，所述导航指令是所述另一用户终端处的用户通过语音方式提供的。8.如权利要求7所述的用户终端，其特征在于，所述控制单元被进一步配置成：在所述另一用户终端同意所述视频导航辅助请求之后，对接收到的来自所述另一用户终端的语音进行识别，以从中解析出导航指令。9.如权利要求6所述的用户终端，其特征在于，在所述用户终端所显示的环境画面中显示与所接收的导航指令相对应的导航标识信息进一步包括：以符号或文字的形式在所述用户终端所显示的环境画面中显示所述导航标识信息。10.如权利要求6所述的用户终端，其特征在于，所述控制单元被进一步配置成：向所述另一用户终端传送显示有所述导航标识信息的所述环境画面。

技术总结
本发明提供了视频导航方法和用户终端，其中方法包括：在视频通话期间在用户终端上显示所述用户终端处的摄像头所捕获的环境画面；向处于所述视频通话中的另一用户终端传送所述摄像头所捕获的环境画面；向所述另一用户终端传送视频导航辅助请求；响应于所述另一用户终端同意所述视频导航辅助请求，接收来自所述另一用户终端的导航指令；以及在所述用户终端所显示的环境画面中显示与所接收的导航指令相对应的导航标识信息。对应的导航标识信息。对应的导航标识信息。


技术研发人员：霍飞龙 杭云 郭宁 施唯佳
受保护的技术使用者：天翼数字生活科技有限公司
技术研发日：2022.10.13
技术公布日：2023/8/21