一种陈列场景类型的检测方法、装置、设备及存储介质与流程

1.本发明涉及图像检测识别技术领域，尤其涉及一种陈列场景类型的检测方法、装置、设备及存储介质。


背景技术：

2.在现有快消行业的工作方式中，需依赖业务员到线下门店实地拜访拍摄上传不同铺货场景区域的图片，根据业务员上传的铺货场景图片通过人工识别的方式判断铺货场景图片所对应的陈列场景类别，这种基于人为识别的方式存在识别效率低的问题，因此，如何提高铺货场景类型识别效率是一个亟需解决的问题。


技术实现要素：

3.本发明实施例提供一种陈列场景类型的检测方法、装置、设备及存储介质，能对陈列场景类型的识别效率。
4.本发明一实施例提供一种陈列场景类型的检测方法，包括：
5.获取待识别图片；
6.将待识别图片输入陈列场景目标检测模型中，以使陈列场景目标检测模型提取待识别图片中的图像信息，继而通过所提取的图像信息确定待识别图片的陈列场景类型；其中，所述图像信息包括以下任意一项或其组合：货架商品类型、货架商品摆放方式以及货架摆放位置。
7.进一步地，所述陈列场景类型，包括：
8.长货架类型、端架类型、堆头类型、陈列架类型、挂网类型、挂条类型或包柱类型。
9.进一步地，通过以下方式构建陈列场景目标检测模型：
10.获取样本图片训练集；其中，所述样本图片训练集包括：若干样本图片及每一样本图片对应的陈列场景类型；
11.构建初始陈列场景目标检测模型，以样本图片为输入，以样本图片对应的陈列场景类型为输出，对初始陈列场景目标检测模型进行训练，生成陈列场景目标检测模型；其中，在训练过程中，初始陈列场景目标检测模型提取样本图片中与货架商品类型、货架商品摆放方式以及货架摆放位置相关的图像信息，并根据所提取的图像信息确定陈列场景类型。
12.进一步地，生成样本图片训练集，包括：
13.获取每一陈列场景类型对应的样本图片；
14.样本图片通过数据增广方法，生成对应的第一增广图片；
15.根据若干样本图片以及若干第一增广图片生成样本图片训练集。
16.进一步地，所述数据增广方法，包括：
17.图像随机扰动、图像翻转或图片随机遮挡。
18.进一步地，在生成对应的第一增广图片之后，还包括：
19.将第一增广图片以及第一增广图片所对应样本图片通过图片混合方法，生成第二增广图片；
20.所述根据若干样本图片以及若干第一增广图片生成样本图片训练集，包括：
21.根据若干样本图片、若干第一增广图片以及若干第二增广图片生成样本图片训练集。
22.进一步地，所述将第一增广图片以及第一增广图片所对应样本图片通过图片混合方法，生成第二增广图片，包括：
23.根据第一增广图片以及第一增广图片所对应样本图片的像素维度值、独热编码以及第一增广图片与对应样本图片的融合比例控制因子生成样本图片的像素点值与第一增广图片的像素点值；
24.将样本图片的像素点值与第一增广图片的像素点值相加得到一对应的第二增广图片。
25.在上述方法项实施例的基础上，本发明对应提供了装置项实施例；
26.本发明一实施例对应提供了一种陈列场景类型的检测装置，包括：图片获取模块和类型识别模块；
27.所述图片获取模块，用于获取待识别图片；
28.所述类别识别模块，用于将待识别图片输入陈列场景目标检测模型中，以使陈列场景目标检测模型提取待识别图片中的图像信息，基于图像信息生成陈列场景类型；其中，所述图像信息包括以下任意一项或其组合：货架商品类型、货架商品摆放方式以及货架摆放位置。
29.本发明另一实施例提供了一种设备，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现上述发明实施例所述的一种陈列场景类型的检测方法。
30.本发明另一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行上述发明实施例所述的一种陈列场景类型的检测方法。
31.通过实施本发明具有如下有益效果：
32.本发明提供了一种陈列场景类型的检测方法、装置、设备及存储介质，该陈列场景类型的检测方法，通过将待识别图片输入到已构建的陈列场景目标检测模型中，使陈列场景目标检测模型提取待识别图片中的图像信息，并基于提取的图像信息生成与待识别图片相对应的陈列场景类型；以模型识别的方式替代人工识别，提高对陈列场景类型的识别效率。
附图说明
33.图1是本发明一实施例提供的一种陈列场景类型的检测方法的流程示意图。
34.图2是本发明一实施例提供的一种陈列场景类型的检测装置的结构示意图。
具体实施方式
35.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完
整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
36.如图1所示，本发明一实施例提供的一种陈列场景类型的检测方法，包括：
37.步骤s1：获取待识别图片；
38.步骤s2：将待识别图片输入陈列场景目标检测模型中，以使陈列场景目标检测模型提取待识别图片中的图像信息，继而通过所提取的图像信息确定待识别图片的陈列场景类型；其中，所述图像信息包括以下任意一项或其组合：货架商品类型、货架商品摆放方式以及货架摆放位置。
39.对于步骤s1、获取待识别陈列场景类型的图片，该图片可以是业务人员通过在线下拍摄的零售店陈列场景图片。
40.对于步骤s2、在获取到待识别图片后，将待识别的图片输入到已训练完成的陈列场景目标检测模型中；陈列场景目标检测模型在检测到图片输入后，提取图片中的图像信息，该图像信息可包含货架商品类型、货架商品摆放方式和货架摆放位置中的一种或其组合，通过对图片中提取的图像信息的综合判断，确定待识别图片所对应的陈列场景类型。
41.在一个优选的实施例中，所述陈列场景类型，包括：长货架类型、端架类型、堆头类型、陈列架类型、挂网类型、挂条类型或包柱类型。
42.具体的，可通过货架摆放位置确定陈列场景类型是否为包柱类型、长货架类型、端架类型、堆头类型或陈列架类型之一；可通过货架商品类型和货架商品摆放方式确定陈列场景类型是否为挂网类型或挂条类型；例如：货架摆放位置为四周无其余货架阻挡的为包柱类型；货架商品类型为需悬挂商品，如牙刷等，且货架商品摆放方式为单条垂直悬挂，则为挂条类型；货架商品类型为需悬挂商品，如牙刷等，且货架商品摆放方式为多列垂直悬挂，则为挂网类型；货架摆放位置处于两端架之间为长货架类型；货架摆放位置处于长货架侧面为端架类型；货架摆放位置处于长货架与端架之间为陈列架类型；货架摆放位置为四周无其余货架阻挡且货架商品摆放方式为多商品堆叠于一平面货架上，则为堆头类型。
43.在一个优选的实施例中，通过以下方式构建陈列场景目标检测模型：获取样本图片训练集；其中，所述样本图片训练集包括：若干样本图片及每一样本图片对应的陈列场景类型；构建初始陈列场景目标检测模型，以样本图片为输入，以样本图片对应的陈列场景类型为输出，对初始陈列场景目标检测模型进行训练，生成陈列场景目标检测模型；其中，在训练过程中，初始陈列场景目标检测模型提取样本图片中与货架商品类型、货架商品摆放方式以及货架摆放位置相关的图像信息，并根据所提取的图像信息确定陈列场景类型。
44.具体的，获取一样本图片训练集，该样本图片训练集中的样本图片可以是不同类型门店中的陈列场景图片，主要包括长货架类型、端架类型、堆头类型、陈列架类型、挂网类型、挂条类型以及包柱类型等7种日化铺货场景类型的正面、侧面、不同距离和不同环境下的多种姿态的图片；将获取的样本图片训练集放入初始陈列场景目标检测模型中进行训练；在模型训练的过程中，以样本图片为输入，以样本图片对应的陈列场景类型为输出，对初始的模型进行训练，使得模型在训练过程中提取样本图片中的图像信息，并根据提取的一种或多种图像信息确定陈列场景类型；在进行模型训练时，需对初始陈列场景目标检测模型的准确率进行检测，在检测到模型检测准确率大于或等于99％时，即模型在检测陈列
场景类型基本不会出现错误时，终止对模型的训练，以此满足检测准确率大于或等于99％的初始陈列场景目标检测模型作为上述步骤s2中用于检测待识别图片。
45.需要补充的是，在模型训练完成后，可将陈列场景目标检测模型推送至服务器进行部署，并通过在移动设备中设置对应的服务，以使用户通过移动设备拍摄需识别图片后，可通过移动设备调用服务器中的包含陈列场景目标检测模型的服务，在移动设备中完成对待识别图片的识别；并在移动设备将识别过程中涉及的图片数据及检测结果数据传输至数据库中进行存储；进一步地，该服务器可以为云服务器，以减少对本地服务器的占用。
46.需要说明的是，初始陈列场景目标检测模型建模采用的是人工智能领域中的深度神经网络swin transformer算法，加载以coco数据集训练好的swin small模型参数，训练迭代epoch设置为60，初始学习率设置为0.02，以每间隔13个epoch学习率下降10％的训练策略进行建模；coco数据集是一个大型的、丰富的物体检测数据集。在该数据集预训练可以得到一个预实施模型，可以辅助加快陈列场景目标检测模型在商品场景数据库的迭代和训练。
47.在一个优选的实施例中，生成样本图片训练集，包括：获取每一陈列场景类型对应的样本图片；样本图片通过数据增广方法，生成对应的第一增广图片；根据若干样本图片以及若干第一增广图片生成样本图片训练集。
48.具体的，通过对长货架类型、端架类型、堆头类型、陈列架类型、挂网类型、挂条类型以及包柱类型等七种陈列场景进行图片数据的采集，对每一类陈列场景对其从不同角度、不同距离和不同环境下拍摄多张样本图片；将获取的样本图片通过数据增广方法生成与样本图片对应的第一增广图片，根据增广后获得的第一增广图片和样本图片共同组成样本图片训练集。
49.在一个优选的实施例中，所述数据增广方法，包括：图像随机扰动、图像翻转或图片随机遮挡。
50.具体是，将样本图片进行增广的方法可以通过对图像进行随机扰动、翻转或随机遮挡三种方法中任意一种或其组合处理后，生成第一增广图像。
51.在一个优选的实施例中，在生成对应的第一增广图片之后，还包括：将第一增广图片以及第一增广图片所对应样本图片通过图片混合方法，生成第二增广图片；所述根据若干样本图片以及若干第一增广图片生成样本图片训练集，包括：根据若干样本图片、若干第一增广图片以及若干第二增广图片生成样本图片训练集。
52.具体的，在对样本图片进行一次增广处理得到包含样本图片和第一增广图片的样本图片训练集后，还可通过图片混合的方法进行二次图片数据增广；图片混合的方法需基于样本图片训练集中的任意两张图片进行混合得到第二增广图片；在生成第二增广图片后，以若干第二增广图片、第一增广图片和样本图片共同生成样本图片训练集，并以此样本图片训练集作为初始陈列场景目标检测模型训练所需的样本图片训练集。
53.在一个优选的实施例中，所述将第一增广图片以及第一增广图片所对应样本图片通过图片混合方法，生成第二增广图片，包括：根据第一增广图片以及第一增广图片所对应样本图片的像素维度值、独热编码以及第一增广图片与对应样本图片的融合比例控制因子生成样本图片的像素点值与第一增广图片的像素点值；将样本图片的像素点值与第一增广图片的像素点值相加得到一对应的第二增广图片。
54.具体的，通过图片混合的方式基于第一增广图片及其对应的样本图片生成第二增广图片时，需根据第一增广图片及第一增广图片对应的样本图片的像素纬度值、独热编码和第一增广图片与对应样本图片的融合比例控制因子计算出样本图片的像素点值与第一增广图片的像素点值，并通过将样本图片的像素点值与第一增广图片的像素点值相加得到一对应的第二增广图片；
55.对于任意两张图片，可通过以下公式分别得到两张图片的像素点的值：
[0056][0057][0058]
其中，分别为两张图片的像素点的值，xi、xj分别为两张图片的像素维度值，yi、xj分别为两张图片的one-hot编码(即上述独热编码)，λ为两张图片的融合比例控制因子。
[0059]
为更好的说明图片增广的过程，下面列举一实施例进行说明：
[0060]
步骤s101：对线下零售店的七类陈列场景进行图片数据采集，对其进行不同角度的拍摄，收集不同门店和不同环境下的多类型样本图片2000张；
[0061]
步骤s201：通过图像随机扰动、图像翻转、图片随机遮挡等方式将2000张样本图片增广至3000张，其中包含步骤s101中的2000张样本图片；
[0062]
步骤s301：通过图片mixup(即上述图片混合)的方式将步骤s201中的3000张图片增广至4000张，其中包含步骤s101中的2000张样本图片及步骤s201中的1000张样本图片。
[0063]
通过上述步骤对初始采集的样本数据进行增广，从而使得训练样本更为丰富，其涵盖的图像信息更丰富。
[0064]
在上述方法项实施例的基础上，本发明对应提供了装置项实施例。
[0065]
如图2所示，本发明一实施例提供了一种陈列场景类型的检测装置，包括：
[0066]
所述图片获取模块，用于获取待识别图片；
[0067]
所述类别识别模块，用于将待识别图片输入陈列场景目标检测模型中，以使陈列场景目标检测模型提取待识别图片中的图像信息，继而通过所提取的图像信息确定待识别图片的陈列场景类型；其中，所述图像信息包括以下任意一项或其组合：货架商品类型、货架商品摆放方式以及货架摆放位置。
[0068]
需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本发明提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。
[0069]
所述领域的技术人员可以清楚地了解到，为的方便和简洁，上述描述的装置的具体工作过程，可参考前述方法实施例中对应的过程，在此不再赘述。
[0070]
在上述方法项实施例的基础上，本发明对应提供了设备项实施例。
[0071]
本发明一实施例提供了一种设备，包括处理器、存储器以及存储在所述存储器中
且被配置为由所述处理器执行的计算机程序，所述处理器执行所述计算机程序时实现本发明中任意一项所述的一种陈列场景类型的检测方法。
[0072]
终端设备可以是桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述终端设备可包括，但不仅限于，处理器、存储器。
[0073]
所称处理器可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等，所述处理器是所述终端设备的控制中心，利用各种接口和线路连接整个终端设备的各个部分。
[0074]
在上述方法项实施例的基础上，本发明对应提供了存储介质项实施例。
[0075]
本发明一实施例提供了一种存储介质，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行本发明中任意一项所述的一种陈列场景类型的检测方法。
[0076]
所述存储器可用于存储所述计算机程序，所述处理器通过运行或执行存储在所述存储器内的计算机程序，以及调用存储在存储器内的数据，实现所述终端设备的各种功能。所述存储器可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序等；存储数据区可存储根据手机的使用所创建的数据等。此外，存储器可以包括高速随机存取存储器，还可以包括非易失性存储器，例如硬盘、内存、插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)、至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。
[0077]
所述存储介质为计算机可读存储介质，所述计算机程序存储在所述计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
[0078]
以上所述是本发明的优选实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本发明原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也视为本发明的保护范围。

技术特征：
1.一种陈列场景类型的检测方法，其特征在于，包括：获取待识别图片；将待识别图片输入陈列场景目标检测模型中，以使陈列场景目标检测模型提取待识别图片中的图像信息，继而通过所提取的图像信息确定待识别图片的陈列场景类型；其中，所述图像信息包括以下任意一项或其组合：货架商品类型、货架商品摆放方式以及货架摆放位置。2.如权利要求1所述的一种陈列场景类型的检测方法，其特征在于，所述陈列场景类型，包括：长货架类型、端架类型、堆头类型、陈列架类型、挂网类型、挂条类型或包柱类型。3.如权利要求1所述的一种陈列场景类型的检测方法，其特征在于，通过以下方式构建陈列场景目标检测模型：获取样本图片训练集；其中，所述样本图片训练集包括：若干样本图片及每一样本图片对应的陈列场景类型；构建初始陈列场景目标检测模型，以样本图片为输入，以样本图片对应的陈列场景类型为输出，对初始陈列场景目标检测模型进行训练，生成陈列场景目标检测模型；其中，在训练过程中，初始陈列场景目标检测模型提取样本图片中与货架商品类型、货架商品摆放方式以及货架摆放位置相关的图像信息，并根据所提取的图像信息确定陈列场景类型。4.如权利要求3所述的一种陈列场景类型的检测方法，其特征在于，生成样本图片训练集，包括：获取每一陈列场景类型对应的样本图片；样本图片通过数据增广方法，生成对应的第一增广图片；根据若干样本图片以及若干第一增广图片生成样本图片训练集。5.如权利要求4所述的一种陈列场景类型的检测方法，其特征在于，所述数据增广方法，包括：图像随机扰动、图像翻转或图片随机遮挡。6.如权利要求5所述的一种陈列场景类型的检测方法，其特征在于，在生成对应的第一增广图片之后，还包括：将第一增广图片以及第一增广图片所对应样本图片通过图片混合方法，生成第二增广图片；所述根据若干样本图片以及若干第一增广图片生成样本图片训练集，包括：根据若干样本图片、若干第一增广图片以及若干第二增广图片生成样本图片训练集。7.如权利要求6所述的一种陈列场景类型的检测方法，其特征在于，所述将第一增广图片以及第一增广图片所对应样本图片通过图片混合方法，生成第二增广图片，包括：根据第一增广图片以及第一增广图片所对应样本图片的像素维度值、独热编码以及第一增广图片与对应样本图片的融合比例控制因子生成样本图片的像素点值与第一增广图片的像素点值；将样本图片的像素点值与第一增广图片的像素点值相加得到一对应的第二增广图片。8.一种陈列场景类型的检测装置，其特征在于，包括：图片获取模块和类型识别模块；所述图片获取模块，用于获取待识别图片；
所述类别识别模块，用于将待识别图片输入陈列场景目标检测模型中，以使陈列场景目标检测模型提取待识别图片中的图像信息，继而通过所提取的图像信息确定待识别图片的陈列场景类型；其中，所述图像信息包括以下任意一项或其组合：货架商品类型、货架商品摆放方式以及货架摆放位置。9.一种设备，其特征在于，包括处理器、存储器以及存储在所述存储器中且被配置为由所述处理器执行的计算机程序，所诉处理器执行所述计算机程序时实现如权利要求1至7中任意一项所述的一种陈列场景类型的检测方法。10.一种存储介质，其特征在于，所述存储介质包括存储的计算机程序，其中，在所述计算机程序运行时控制所述存储介质所在设备执行如权利要求1至7中任意一项所述的一种陈列场景类型的检测方法。

技术总结
本发明公开了一种陈列场景类型的检测方法，通过获取待识别图片；将待识别图片输入陈列场景目标检测模型中，以使陈列场景目标检测模型提取待识别图片中的图像信息，继而通过所提取的图像信息确定待识别图片的陈列场景类型；其中，所述图像信息包括以下任意一项或其组合：货架商品类型、货架商品摆放方式以及货架摆放位置。通过实施本发明能提高对陈列场景类型的识别效率。类型的识别效率。类型的识别效率。


技术研发人员：黄祖浩 丁明 王杰 徐洪亮 许洁斌
受保护的技术使用者：广州市玄武无线科技股份有限公司
技术研发日：2023.04.10
技术公布日：2023/9/7