一种店员接待时长计算方法、装置及介质与流程

1.本发明涉及人工智能领域，尤其涉及一种店员接待时长计算方法、装置及介质。


背景技术：

2.在零售业中，了解店员的工作效率和服务质量对于提高客户满意度和优化店铺运营非常重要。在过去的实践中，通常通过人工观察和评估来完成，效率低下且不准确。为了解决这个问题，一些研究者开始尝试通过自动化的方式来评估店员的工作效率和服务质量。已有的与本发明最相近似的实现方案主要有以下两种：一种是基于人脸识别的店员接待时长计算方法，这种方法首先使用人脸识别技术识别出店员和顾客，然后通过跟踪他们的移动轨迹，分析他们的行为模式和行为趋势，从而判断店员的接待开始和结束时间，计算店员的接待时长，这种方法的优点是准确性高，但缺点是对摄像头的视角和人脸遮挡非常敏感，且对环境光照要求高，不适合在所有环境中使用；另一种是基于rfid（无线射频识别）技术的店员接待时长计算方法，这种方法通过在店员和顾客身上分别安装rfid标签，通过rfid读取器读取他们的位置信息，从而跟踪他们的移动轨迹，判断店员的接待开始和结束时间，计算店员的接待时长。这种方法的优点是稳定性好，不受环境光照和视角的影响，但缺点是需要额外的硬件设备，且可能会对顾客造成困扰。


技术实现要素：

3.针对上述现有技术的缺点，本发明的目的是提供一种店员接待时长计算方法、装置及介质，以解决现有技术中的方法存在的依赖人脸识别易受视角和光照的影响和基于rfi额外的硬件设备给客户造成困扰的问题。
4.为实现上述目的，本发明的技术方案如下：本发明提供一种店员接待时长计算方法，包括：店内安装多个垂直向下的摄像头，摄像头采集店内人员的顶视图；在店内无顾客的情况下，通过店内垂直向下的摄像头在不同位置检测店员，把店员的人体特征值保存到店员人体特征数据库中；通过门口垂直向下的摄像头统计进店人数并提取人体特征值，保存到进店人员人体特征数据库中；根据店内垂直向下的摄像头检测店内的人员并进行跟踪，得到每个人的轨迹图，并提取人体特征值；通过和店员人体特征数据库以及进店人员人体特征数据库的特征比对，区分顾客和店员；摄像头持续跟踪店员和顾客的轨迹，若店员和顾客之间距离逐渐缩小并小于第一预设阈值，则判断店员对顾客进行接待；若店员和顾客之间距离小于第一预设阈值后距离逐渐增大并超过预设第二阈值，则判断店员对顾客完成接待，记录接待时长；统计当天店员的所有接待次数和平均接待时长。
5.优选地，所述通过店内垂直向下的摄像头在不同位置检测店员，把店员的人体特征值保存到店员人体特征数据库中，包括：首先定义人体特征值向量为{f1, f2, ..., fn}，其中n代表特征维度，每个特征fi (1 ≤ i ≤ n)可以是人体形状、颜色、肤色、衣物视觉特征；利用垂直向下的摄像头对店员进行特征提取，形成特征向量f，并将其保存到店员人体特征数据库中，通过以下公式表示：f = extract_features(店员图像)其中，extract_features()表示特征提取函数。
6.优选地，所述通过门口垂直向下的摄像头统计进店人数并提取人体特征值，保存到进店人员人体特征数据库中，包括：利用垂直向下的摄像头对进店的人员进行特征提取，形成特征向量f，并将其保存到进店人员人体特征数据库中，同时，计算进店人数n，通过以下公式表示：n = count(进店人员)f = extract_features(进店人员图像)其中，count()表示计数函数，extract_features()表示特征提取函数。
7.优选地，所述根据店内垂直向下的摄像头检测店内的人员并进行跟踪，得到每个人的轨迹图，并提取人体特征值，包括：通过摄像头持续监测店内的人员，并对每个人进行跟踪，形成轨迹图t = {t1, t2, ..., tm}，其中m表示轨迹点的个数，ti(1 ≤ i ≤ m)表示每个轨迹点的位置；同时，提取每个人的特征向量f；通过以下公式表示：t = track(店内人员)f = extract_features(店内人员图像)其中，track()表示跟踪函数，extract_features()表示特征提取函数。
8.优选地，所述通过和店员人体特征数据库以及进店人员人体特征数据库的特征比对，区分顾客和店员，包括：计算特征向量之间的余弦相似度，将店内的人员与店员人体特征数据库以及进店人员人体特征数据库进行比对，根据相似度的高低来判断店内人员的身份；定义余弦相似度函数为cosine_similarity()，其计算公式为：cosine_similarity(f1, f2) = dot(f1, f2) / (norm(f1) * norm(f2))其中，dot()表示向量点乘，norm()表示向量的模长，f1和f2是待比较的特征向量；若cosine_similarity(店内人员特征, 店员特征) 》 cosine_similarity(店内人员特征, 进店人员特征)，则判断店内人员为店员，否则判断为顾客。
9.优选地，所述摄像头持续跟踪店员和顾客的轨迹，若店员和顾客之间距离逐渐缩小并小于第一预设阈值，则判断店员对顾客进行接待；若店员和顾客之间距离小于第一预设阈值后距离逐渐增大并超过预设第二阈值，则判断店员对顾客完成接待，记录接待时长，包括：通过计算店员和顾客的轨迹之间的距离d，来判断店员是否开始接待。我们定义轨迹距离函数为trajectory_distance()，其计算公式为：d = trajectory_distance(店员轨迹, 顾客轨迹) = ∑|ti^店员
ꢀ‑ꢀ
ti^顾客|
其中，ti^店员和ti^顾客分别表示店员和顾客在第i个轨迹点的位置；当d小于第一阈值时，认为店员开始进行接待，并开始计时；当d大于第二阈值时，认为店员结束接待，并停止计时，得到这次店员的接待时长。
10.优选地，所述统计当天店员的所有接待次数和平均接待时长；包括：定义接待次数为c，接待时长为t，通过以下公式计算得到当天店员的所有接待次数和平均接待时长：c = count(接待事件)t_avg = mean(接待时长)其中，count()表示计数函数，mean()表示平均值函数。
11.本发明还提供一种店员接待时长计算装置，包括：图像采集模块：用于从店内和门口的垂直向下的摄像头获取图像；图像预处理模块：用于对采集的图像进行预处理；特征提取模块：用于在店内无顾客的情况下，通过店内垂直向下的摄像头在不同位置检测店员，把店员的人体特征值保存到店员人体特征数据库中；通过门口垂直向下的摄像头统计进店人数并提取人体特征值，保存到进店人员人体特征数据库中；人员检测与跟踪模块：用于根据店内垂直向下的摄像头检测店内的人员并进行跟踪，得到每个人的轨迹图，并提取人体特征值；特征比对与身份判断模块：用于通过和店员人体特征数据库以及进店人员人体特征数据库的特征比对，区分顾客和店员；接待判断与时长计算模块：用于摄像头持续跟踪店员和顾客的轨迹，若店员和顾客之间距离逐渐缩小并小于第一预设阈值，则判断店员对顾客进行接待；若店员和顾客之间距离小于第一预设阈值后距离逐渐增大并超过预设第二阈值，则判断店员对顾客完成接待，记录接待时长；统计当天店员的所有接待次数和平均接待时长。
12.本发明还提供一种计算机存储介质，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行如前任一项所述的方法。
13.与现有技术相比，本发明的有益技术效果如下：本发明相比现有技术具有以下显著的优点：更高的人员识别准确性和稳定性：本发明通过采用垂直向下的摄像头，以及提取人体的垂直特征进行人员识别，既可以避免人脸遮挡的问题，提高识别准确性，又可以克服环境光照和视角变化的影响，提高识别稳定性。相比于依赖于特定视角和光照条件的人脸识别技术，本发明的人员识别方法具有更高的准确性和稳定性。
14.更精确的接待判断：通过跟踪人员的移动轨迹，以及分析其行为模式和行为趋势，本发明能够更精确地判断店员的接待状态。与简单的距离阈值方法相比，本发明能够考虑到更多的行为模式和行为趋势，因此，可以更精确地判断店员的接待开始和结束时间。
15.更准确和实时的接待时长计算：本发明通过计算店员的接待开始和结束时间，得到店员的接待时长，并将接待时长实时反馈给店铺管理者。这不仅可以提供准确的接待时长信息，还可以实时了解店员的工作状态和服务质量，及时做出调整。相比于依赖于人工观察和评估，或者需要额外硬件设备的方法，本发明提供了一个更准确，更实时，更易于实施
的解决方案。
附图说明
16.图1示出了一种店员接待时长计算方法方法流程图；图2示出了一种店员接待时长计算装置结构示意图。
具体实施方式
17.为了使本发明的目的、技术方案及优点更加清楚明白，以下结合附图和具体实施方式对本发明提出的装置作进一步详细说明。根据下面说明，本发明的优点和特征将更清楚。需要说明的是，附图采用非常简化的形式且均使用非精准的比例，仅用以方便、明晰地辅助说明本发明实施方式的目的。为了使本发明的目的、特征和优点能够更加明显易懂，请参阅附图。须知，本说明书所附图式所绘示的结构、比例、大小等，均仅用以配合说明书所揭示的内容，以供熟悉此技术的人士了解与阅读，并非用以限定本发明实施的限定条件，故不具技术上的实质意义，任何结构的修饰、比例关系的改变或大小的调整，在不影响本发明所能产生的功效及所能达成的目的下，均应仍落在本发明所揭示的技术内容能涵盖的范围内。
18.本发明主要基于垂直人体特征识别和轨迹趋势进行店员接待时长的计算。
19.如图1，本发明提供一种店员接待时长计算方法，包括：s1店内安装多个垂直向下的摄像头，摄像头采集店内人员的顶视图；s2在店内无顾客的情况下，通过店内垂直向下的摄像头在不同位置检测店员，把店员的人体特征值保存到店员人体特征数据库中；s3通过门口垂直向下的摄像头统计进店人数并提取人体特征值，保存到进店人员人体特征数据库中；s4根据店内垂直向下的摄像头检测店内的人员并进行跟踪，得到每个人的轨迹图，并提取人体特征值；s5通过和店员人体特征数据库以及进店人员人体特征数据库的特征比对，区分顾客和店员；s6摄像头持续跟踪店员和顾客的轨迹，若店员和顾客之间距离逐渐缩小并小于第一预设阈值，则判断店员对顾客进行接待；若店员和顾客之间距离小于第一预设阈值后距离逐渐增大并超过预设第二阈值，则判断店员对顾客完成接待，记录接待时长；s7统计当天店员的所有接待次数和平均接待时长。
20.本发明实施例提出了一种基于垂直人体特征识别和轨迹趋势的店员接待时长计算方法，该方法能够准确地识别店员和顾客，准确地跟踪他们的行动轨迹，并准确地判断店员的接待开始和结束时间，从而准确地计算出店员的接待次数和接待时长。通过应用本发明的方法，可以帮助店家更好地了解店员的工作效率，评价店员的服务质量，并制定更有效的服务策略。
21.优选地，所述通过店内垂直向下的摄像头在不同位置检测店员，把店员的人体特征值保存到店员人体特征数据库中，包括：首先定义人体特征值向量为{f1, f2, ..., fn}，其中n代表特征维度，每个特征fi (1 ≤ i ≤ n)可以是人体形状、颜色、肤色、衣物视
觉特征；利用垂直向下的摄像头对店员进行特征提取，形成特征向量f，并将其保存到店员人体特征数据库中，通过以下公式表示：f = extract_features(店员图像)其中，extract_features()表示特征提取函数。
22.优选地，所述通过门口垂直向下的摄像头统计进店人数并提取人体特征值，保存到进店人员人体特征数据库中，包括：利用垂直向下的摄像头对进店的人员进行特征提取，形成特征向量f，并将其保存到进店人员人体特征数据库中，同时，计算进店人数n，通过以下公式表示：n = count(进店人员)f = extract_features(进店人员图像)其中，count()表示计数函数，extract_features()表示特征提取函数。
23.优选地，所述根据店内垂直向下的摄像头检测店内的人员并进行跟踪，得到每个人的轨迹图，并提取人体特征值，包括：通过摄像头持续监测店内的人员，并对每个人进行跟踪，形成轨迹图t = {t1, t2, ..., tm}，其中m表示轨迹点的个数，ti(1 ≤ i ≤ m)表示每个轨迹点的位置；同时，提取每个人的特征向量f；通过以下公式表示：t = track(店内人员)f = extract_features(店内人员图像)其中，track()表示跟踪函数，extract_features()表示特征提取函数。
24.优选地，所述通过和店员人体特征数据库以及进店人员人体特征数据库的特征比对，区分顾客和店员，包括：计算特征向量之间的余弦相似度，将店内的人员与店员人体特征数据库以及进店人员人体特征数据库进行比对，根据相似度的高低来判断店内人员的身份；定义余弦相似度函数为cosine_similarity()，其计算公式为：cosine_similarity(f1, f2) = dot(f1, f2) / (norm(f1) * norm(f2))其中，dot()表示向量点乘，norm()表示向量的模长，f1和f2是待比较的特征向量；若cosine_similarity(店内人员特征, 店员特征) 》 cosine_similarity(店内人员特征, 进店人员特征)，则判断店内人员为店员，否则判断为顾客。
25.优选地，所述摄像头持续跟踪店员和顾客的轨迹，若店员和顾客之间距离逐渐缩小并小于第一预设阈值，则判断店员对顾客进行接待；若店员和顾客之间距离小于第一预设阈值后距离逐渐增大并超过预设第二阈值，则判断店员对顾客完成接待，记录接待时长，包括：通过计算店员和顾客的轨迹之间的距离d，来判断店员是否开始接待。我们定义轨迹距离函数为trajectory_distance()，其计算公式为：d = trajectory_distance(店员轨迹, 顾客轨迹) = ∑|ti^店员
ꢀ‑ꢀ
ti^顾客|其中，ti^店员和ti^顾客分别表示店员和顾客在第i个轨迹点的位置；当d小于第一阈值时，认为店员开始进行接待，并开始计时；当d大于第二阈值时，认为店员结束接待，并停止计时，得到这次店员的接待时长。
26.优选地，所述统计当天店员的所有接待次数和平均接待时长；包括：定义接待次数为c，接待时长为t，通过以下公式计算得到当天店员的所有接待次数和平均接待时长：c = count(接待事件)t_avg = mean(接待时长)其中，count()表示计数函数，mean()表示平均值函数。
27.如图2所示，本发明还提供一种店员接待时长计算装置，包括：图像采集模块201：用于从店内和门口的垂直向下的摄像头获取图像；图像预处理模块202：用于对采集的图像进行预处理；特征提取模块203：用于在店内无顾客的情况下，通过店内垂直向下的摄像头在不同位置检测店员，把店员的人体特征值保存到店员人体特征数据库中；通过门口垂直向下的摄像头统计进店人数并提取人体特征值，保存到进店人员人体特征数据库中；人员检测与跟踪模块204：用于根据店内垂直向下的摄像头检测店内的人员并进行跟踪，得到每个人的轨迹图，并提取人体特征值；特征比对与身份判断模块205：用于通过和店员人体特征数据库以及进店人员人体特征数据库的特征比对，区分顾客和店员；接待判断与时长计算模块206：用于摄像头持续跟踪店员和顾客的轨迹，若店员和顾客之间距离逐渐缩小并小于第一预设阈值，则判断店员对顾客进行接待；若店员和顾客之间距离小于第一预设阈值后距离逐渐增大并超过预设第二阈值，则判断店员对顾客完成接待，记录接待时长；统计当天店员的所有接待次数和平均接待时长。
28.本发明还提供一种计算机存储介质，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行如前任一项所述的方法。
29.以上所述实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
30.以上所述实施例仅表达了本发明的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本发明构思的前提下，还可以做出若干变形和改进，这些都属于本发明的保护范围。因此，本发明专利的保护范围应以所附权利要求为准。

技术特征：
1.一种店员接待时长计算方法，其特征在于，包括：店内安装多个垂直向下的摄像头，摄像头采集店内人员的顶视图；在店内无顾客的情况下，通过店内垂直向下的摄像头在不同位置检测店员，把店员的人体特征值保存到店员人体特征数据库中；通过门口垂直向下的摄像头统计进店人数并提取人体特征值，保存到进店人员人体特征数据库中；根据店内垂直向下的摄像头检测店内的人员并进行跟踪，得到每个人的轨迹图，并提取人体特征值；通过和店员人体特征数据库以及进店人员人体特征数据库的特征比对，区分顾客和店员；摄像头持续跟踪店员和顾客的轨迹，若店员和顾客之间距离逐渐缩小并小于第一预设阈值，则判断店员对顾客进行接待；若店员和顾客之间距离小于第一预设阈值后距离逐渐增大并超过预设第二阈值，则判断店员对顾客完成接待，记录接待时长；统计当天店员的所有接待次数和平均接待时长。2.如权利要求1所述的一种店员接待时长计算方法，其特征在于，所述通过店内垂直向下的摄像头在不同位置检测店员，把店员的人体特征值保存到店员人体特征数据库中，包括：首先定义人体特征值向量为{f1, f2, ..., fn}，其中n代表特征维度，每个特征fi (1 ≤ i ≤ n)可以是人体形状、颜色、肤色、衣物视觉特征；利用垂直向下的摄像头对店员进行特征提取，形成特征向量f，并将其保存到店员人体特征数据库中，通过以下公式表示：f = extract_features(店员图像)其中，extract_features()表示特征提取函数。3.如权利要求2所述的一种店员接待时长计算方法，其特征在于，所述通过门口垂直向下的摄像头统计进店人数并提取人体特征值，保存到进店人员人体特征数据库中，包括：利用垂直向下的摄像头对进店的人员进行特征提取，形成特征向量f，并将其保存到进店人员人体特征数据库中，同时，计算进店人数n，通过以下公式表示：n = count(进店人员)f = extract_features(进店人员图像)其中，count()表示计数函数，extract_features()表示特征提取函数。4. 如权利要求3所述的一种店员接待时长计算方法，其特征在于，所述根据店内垂直向下的摄像头检测店内的人员并进行跟踪，得到每个人的轨迹图，并提取人体特征值，包括：通过摄像头持续监测店内的人员，并对每个人进行跟踪，形成轨迹图t = {t1, t2, ..., tm}，其中m表示轨迹点的个数，ti(1 ≤ i ≤ m)表示每个轨迹点的位置；同时，提取每个人的特征向量f；通过以下公式表示：t = track(店内人员)f = extract_features(店内人员图像)其中，track()表示跟踪函数，extract_features()表示特征提取函数。5.如权利要求4所述的一种店员接待时长计算方法，其特征在于，所述通过和店员人体特征数据库以及进店人员人体特征数据库的特征比对，区分顾客和店员，包括：计算特征向
量之间的余弦相似度，将店内的人员与店员人体特征数据库以及进店人员人体特征数据库进行比对，根据相似度的高低来判断店内人员的身份；定义余弦相似度函数为cosine_similarity()，其计算公式为：cosine_similarity(f1, f2) = dot(f1, f2) / (norm(f1) * norm(f2))其中，dot()表示向量点乘，norm()表示向量的模长，f1和f2是待比较的特征向量；若cosine_similarity(店内人员特征, 店员特征) > cosine_similarity(店内人员特征, 进店人员特征)，则判断店内人员为店员，否则判断为顾客。6.如权利要求5所述的一种店员接待时长计算方法，其特征在于，所述摄像头持续跟踪店员和顾客的轨迹，若店员和顾客之间距离逐渐缩小并小于第一预设阈值，则判断店员对顾客进行接待；若店员和顾客之间距离小于第一预设阈值后距离逐渐增大并超过预设第二阈值，则判断店员对顾客完成接待，记录接待时长，包括：通过计算店员和顾客的轨迹之间的距离d，来判断店员是否开始接待。我们定义轨迹距离函数为trajectory_distance()，其计算公式为：d = trajectory_distance(店员轨迹, 顾客轨迹) = ∑|ti^店员
ꢀ‑ꢀ
ti^顾客|其中，ti^店员和ti^顾客分别表示店员和顾客在第i个轨迹点的位置；当d小于第一阈值时，认为店员开始进行接待，并开始计时；当d大于第二阈值时，认为店员结束接待，并停止计时，得到这次店员的接待时长。7.如权利要求6所述的一种店员接待时长计算方法，其特征在于，所述统计当天店员的所有接待次数和平均接待时长；包括：定义接待次数为c，接待时长为t，通过以下公式计算得到当天店员的所有接待次数和平均接待时长：c = count(接待事件)t_avg = mean(接待时长)其中，count()表示计数函数，mean()表示平均值函数。8.一种店员接待时长计算装置，其特征在于，包括：图像采集模块：用于从店内和门口的垂直向下的摄像头获取图像；图像预处理模块：用于对采集的图像进行预处理；特征提取模块：用于在店内无顾客的情况下，通过店内垂直向下的摄像头在不同位置检测店员，把店员的人体特征值保存到店员人体特征数据库中；通过门口垂直向下的摄像头统计进店人数并提取人体特征值，保存到进店人员人体特征数据库中；人员检测与跟踪模块：用于根据店内垂直向下的摄像头检测店内的人员并进行跟踪，得到每个人的轨迹图，并提取人体特征值；特征比对与身份判断模块：用于通过和店员人体特征数据库以及进店人员人体特征数据库的特征比对，区分顾客和店员；接待判断与时长计算模块：用于摄像头持续跟踪店员和顾客的轨迹，若店员和顾客之间距离逐渐缩小并小于第一预设阈值，则判断店员对顾客进行接待；若店员和顾客之间距离小于第一预设阈值后距离逐渐增大并超过预设第二阈值，则判断店员对顾客完成接待，记录接待时长；统计当天店员的所有接待次数和平均接待时长。
9.一种计算机存储介质，其特征在于，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为通过所述计算机程序执行权利要求1至7中任一项所述的方法。

技术总结
本发明提供一种店员接待时长计算方法、装置及介质，包括：店内安装多个垂直向下的摄像头，摄像头采集店内人员的顶视图；在店内无顾客的情况下，通过店内垂直向下的摄像头在不同位置检测店员，把店员的人体特征值保存到店员人体特征数据库中；通过门口垂直向下的摄像头统计进店人数并提取人体特征值，保存到进店人员人体特征数据库中；摄像头检测店内的人员并进行跟踪，得到每个人的轨迹图，并提取人体特征值；通过和两个数据的特征比对，区分顾客和店员跟踪店员和顾客的轨迹，判断店员何时对顾客进行接待，何时完成接待，记录接待时长；统计当天店员的所有接待次数和平均接待时长。当天店员的所有接待次数和平均接待时长。当天店员的所有接待次数和平均接待时长。


技术研发人员：吕楠 张丽秋 高超
受保护的技术使用者：无锡慧眼人工智能科技有限公司
技术研发日：2023.06.25
技术公布日：2023/9/12