基于云计算的股票数据采集方法、系统、设备及存储介质与流程

1.本技术涉及股票数据处理技术领域，更具体的说，本技术涉及一种基于云计算的股票数据采集方法、系统、设备及存储介质。


背景技术：

2.股票数据处理是指对与股票市场相关的数据进行整理、分析和转换的过程。这些数据包括股票价格、交易量、市值、财务指标等，股票数据处理的目的是从原始数据中提取有用的信息，以便用于投资决策、量化交易策略、风险管理和市场研究等方面，对股票数据的处理通常包括：数据采集、数据清洗、数据转换、数据分析以及可视化呈现等，通过对股票数据的处理，可便于投资者更好地理解市场趋势和风险。
3.股票数据采集是指从各种来源获取股票市场相关的数据的过程，这些数据包括股票价格、交易量、市值、财务指标等，是进行股票分析和投资决策的基础，通常股票交易所是股票市场的核心交易场所，提供了股票的实时交易数据，股票数据采集可以通过访问股票交易所的数据接口，实时获取股票的价格、成交量、交易所代码等信息，另外，涉及财务报表，上市公司网站或者专门的财经网站会定期发布财务报表，包括资产负债表、利润表和现金流量表等，股票数据采集可以通过上述网站采集财务报表数据，获得上市公司的财务指标、营业收入、利润等数据，另外新闻和媒体报道通常会包含与股票市场相关的信息，如公司业绩公告、市场新闻、分析师报告等，股票数据采集可以通过监控新闻渠道和媒体平台，及时获取这些信息，以实时掌握股票数据变化，由于股票数据变化异常对投资者来说显得尤为重要，通常需要对股票数据进行筛查，以筛查出异常股票数据，现有技术中对异常股票数据的筛查大多通过人工方式进行筛查，往往需要比较资深的专业人员对大量股票数据进行人工筛查，异常股票数据的筛查效率较低。


技术实现要素：

4.本技术提供一种基于云计算的股票数据采集方法、系统、设备及存储介质，以解决现有技术中对异常股票数据通过人工方式进行筛查，异常股票数据的筛查效率较低的技术问题。
5.为解决上述技术问题，本技术采用如下技术方案：第一方面，本技术提供一种基于云计算的股票数据采集方法，包括：启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集；对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值；根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集；根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票
预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段；遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集；对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端。
6.在一些实施例中，对所述实时股票数据集进行归一化处理具体包括：获取实时股票数据最大值和实时股票数据最小值；根据所述实时股票数据最大值和所述实时股票数据最小值对所述实时股票数据集中的每个数据点进行归一化处理，得到实时股票数据归一化值；根据所述实时股票数据归一化值确定股票预测初始集。
7.在一些实施例中，根据所述股票预测初始集确定股票预测样本具体包括；获取随机股票预测向量；根据所述股票预测初始集的维度确定所述随机股票预测向量的维度；根据确定维度后的随机股票预测向量确定股票预测样本。
8.在一些实施例中，确定预测离异度采用下述公式实现；
9.其中，表示预测离异度，表示股票预测初始集中的元素的转置，表示股票预测数据集中的对应元素，表示底数为的对数。
10.在一些实施例中，计算得到股票预测异常阈值具体包括；选取股票预测离异序列中第一个预测离异度作为股票预测异常阈值过渡值；根据股票预测异常阈值过渡值划分为异常区间和正常区间；根据异常区间中的元素个数和正常区间中的元素个数计算股票预测异常阈值权重度；继续遍历所述股票预测离异序列中的剩余预测离异度，得到对应的股票预测异常阈值权重度；选取股票预测异常阈值权重度最大的作为股票预测异常阈值。
11.在一些实施例中，确定股票预测异常阈值权重度采用下述步骤实现；确定被正确划分为异常区间的样本数量；确定所有被划分为异常区间的样本数量；确定股票预测离异序列中的异常样本数量；
12.其中，表示股票预测异常阈值权重度；为常数，平衡被正确划分为异常区间的样本数量和所有被划分为异常区间的样本数量之间的权重，并使得股票预测异常阈值权重度取值范围在0和1之间；为一个无穷小正数。
13.在一些实施例中，该股票预测异常数据段的股票影响因数据素具体包括：财务数据、市场数据、竞争数据和行业经济环境数据。
14.第二方面，本技术提供一种基于云计算的股票数据采集系统，包括：股票数据采集启动模块，用于启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集；股票预测误差值确定模块，用于对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值；股票预测样本调节模块，用于根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集；股票预测异常数据段划分模块，用于根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段；正常股票预测数据标记模块，用于遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集；股票影响因素数据采集模块，用于对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端。
15.第三方面，本技术提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行上述的基于云计算的股票数据采集方法。
16.第四方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于云计算的股票数据采集方法。
17.本技术公开的实施例提供的技术方案具有以下有益效果：本技术提供的基于云计算的股票数据采集系统中，首先启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集，对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值，根据所述股票预测误差值对所述股票预测
样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集，根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段，遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集，对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端，该方法可实现智能化的异常股票数据筛查，与现有技术对异常股票数据通过人工方式进行筛查相比，大大提高了异常股票数据的筛查效率。
附图说明
18.图1是根据本技术一些实施例所示的基于云计算的股票数据采集方法的示例性流程图；图2是根据本技术一些实施例所示的基于云计算的股票数据采集系统的示例性硬件和/或软件的示意图；图3是根据本技术一些实施例所示的实现基于云计算的股票数据采集方法的计算机设备的结构示意图。
具体实施方式
19.本技术核心是启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集，对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值，根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集，根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段，遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集，对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端，从而可实现智能化的异常股票数据筛查，与现有技术对异常股票数据通过人工方式进行筛查相比，大大提高了异常股票数据的筛查效率。
20.为了更好的理解上述技术方案，下面将结合说明书附图以及具体的实施方式对上述技术方案进行详细的说明。参考图1，该图是根据本技术一些实施例所示的基于云计算的股票数据采集方法的示例性流程图，该基于云计算的股票数据采集方法100主要包括如下步骤：
在步骤s101，启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集。
21.具体实现时，本技术的股票数据采集基于云计算的云端服务器和客户端，启动股票数据采集后首先选择合适云端服务器的股票数据库，如聚宽、天软等；注册并获取该数据库的访问权限，以获得云端服务器的股票数据库中的实时股票数据集，实时股票数据集包括股票的价格、成交量和涨跌幅等数据。
22.在步骤s102，对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值。
23.在一些实施例中，对所述实时股票数据集进行归一化处理得到股票预测初始集可采用下述步骤实现：获取实时股票数据最大值和实时股票数据最小值；根据所述实时股票数据最大值和所述实时股票数据最小值对所述实时股票数据集中的每个数据点进行归一化处理，得到实时股票数据归一化值；根据所述实时股票数据归一化值确定股票预测初始集。
24.具体实现时，将实时股票数据集的均值作为实时股票数据最大值和实时股票数据最小值的初始值，遍历实时股票数据集中的每个数据点，将每个数据点的值与当前的实时股票数据最大值和实时股票数据最小值进行比较，以更新实时股票数据最大值和实时股票数据最小值；将实时股票数据集中的每个数据点和实时股票数据最小值之差除以实时股票数据最大值和实时股票数据最小值之差得到实时股票数据归一化值，公式为：实时股票数据归一化值=（每个数据点的值-实时股票数据最小值）/（实时股票数据最大值-实时股票数据最小值）。
25.需要说明的是，本技术中根据所述实时股票数据归一化值确定股票预测初始集可以采用现有技术中的生成对抗网络实现，使用全连接层作为输入层，将连续的随机向量z输入生成器网络，该层将随机向量z映射到生成器网络的输入维度；在输入层之后，设置若干个卷积层网络，卷积层对输入进行一维卷积操作，提取特征并进行非线性变换，可以设置多个卷积层以逐渐提取更高级的特征；在卷积层之后的每个层级之间，应用批标准化操作；在每个层级中，采用带泄露修正线性单元函数作为激活函数；在生成器网络的最后一层，使用双曲正切激活函数作为激活函数，最终生成股票预测初始集。
26.在一些实施例中，根据所述股票预测初始集确定股票预测样本可采用下述步骤实现：获取随机股票预测向量；根据所述股票预测初始集的维度确定所述随机股票预测向量的维度；由确定维度后的随机股票预测向量确定股票预测样本。
27.具体实施时，获取随机股票预测向量；并根据所述股票预测初始集的维度确定所述随机股票预测向量的维度，使两者的维度一致；将确定维度后的随机股票预测向量输入至输入层，输入层采用全连接神经网络，将输入的确定维度后的随机股票预测向量传递至隐藏层，隐藏层由若干卷积层和标准化层组成，采用渗漏修正线性单元函数作为每个标准化层和全连接神经网络的激活函数，将经过隐藏层计算的随机股票预测向量输入至输出
层，输出层采用以双曲正切函数作为激活函数的全连接神经网络，最终输出股票预测样本，例如：将一组数据传递至输入层，先经过输入层的全连接层运算与激活函数的变换，然后将该组数据传递至卷积层，卷积层根据卷积核维度和步长对该组数据进行运算，然后将该组数据传递至标准化层，经过标准化层运算与激活函数的变换后，由传递至下一个卷积层，依此类推直至经过所有标准化层和卷积层后，将该组数据输入输出层，经过输出层的全连接层运算和双曲正切激活函数变换后生成股票预测样本。
28.本技术中，由于股票预测初始集为连续的时间序列，所以获取随机股票预测向量也是连续的，卷积层的卷积核维度为3
×
1，步长为1；需要说明的是，还可采用现有技术中神经网络的判别器（下述简称判别器）对上述具体实施步骤进行调节，这里不在赘述。
29.在一些实施例中，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值可采用下述步骤实现：确定股票预测初始集中的元素；确定股票预测样本中的元素；确定关于股票预测初始集中的元素的概率分布；确定关于股票预测样本中的元素的概率分布；确定判别器对股票预测初始集中的元素的输出；确定判别器对股票预测样本中的元素的输出；确定判别器在插值样本上的梯度；根据所述股票预测初始集中的元素、所述股票预测样本中的元素、所述关于股票预测初始集中的元素的概率分布、所述关于股票预测样本中的元素的概率分布、所述判别器对股票预测初始集中的元素的输出、所述判别器对股票预测样中的元素的输出和所述确定判别器在插值样本上的梯度确定股票预测误差值，其中股票预测误差值可采用下述公式确定：
30.其中，表示股票预测误差值，表示期望，表示梯度惩罚项的权重，表示超参系数，表示梯度惩罚项。
31.具体实现时，通过直方图估计股票预测初始集的概率分布，例如，收集1000个样本的股票数据，将股票数据划分为若干个区间（例如每1个点为一个区间），然后计算每个区间内样本的频率，最后将频率除以样本的总数，得到每个区间的概率，同理，股票预测样本的概率分布也可以使用该方法得到；选择一对真实样本和生成样本进行插值操作，生成插值样本，使用插值样本作为判别器的输入，计算判别器在插值样本上的梯度；在训练过程中逐步增加或减小梯度惩罚项的权重和超参系数的数值，直到获得满意的结果为止；计算判别器在插值样本上的梯度的平方和，然后取平方根作为梯度惩罚项。
32.需要说明的是，本技术中插值操作可以使用现有技术中的线性插值；计算判别器在插值样本上的梯度可以通过调用现有技术中的深度学习框架的自动求导功能来实现；根
据现有经验，取范围在[0.1，10]之间的梯度惩罚项的权重和范围[0.1，1]之间的超参系数可以提供良好的结果，这里不在赘述。
[0033]
在步骤s103，根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集。
[0034]
具体实现时，初始化所述股票预测样本中的输入层和隐藏层、隐藏层和输出层之间的梯度，使得到的两个梯度为0；从输出层开始，根据输出层的梯度传播规则，计算前一层（即卷积层）的梯度，根据卷积层的梯度传播规则，计算前一层（即标准化层）的梯度，以此类推，直至计算到输出层；使用计算得到的梯度来更新各层中的参数，例如计算输出层到卷积层的梯度为：，其中，为股票预测误差值对输出层的梯度，为输出层参数w的梯度，对于每个参数，将计算得到的偏导数累积到相应参数的梯度中，所述各层中的参数包括权重参数w和偏置参数b，计算卷积层到输入层的梯度为：，其中是卷积层输出h的梯度，为卷积层参数w的梯度；根据计算得到的各梯度，更新对应的各层参数，例如更新输出层参数，其中，为第次更新的输出层权重系数，为第次更新的输出层权重系数，为学习率，取值为0.00001，更新卷积层参数，其中，为第次更新的卷积层权重系数，为第次更新的卷积层权重系数；更新完各层的参数后，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，每一轮迭代都会根据当前各层的参数生成新的股票预测样本，并与股票预测初始集进行比较，不断调整各层的参数以减小股票预测误差值，将股票预测误差值达到最小的股票预测样本作为最终执行下述步骤的股票预测数据集。
[0035]
在步骤s104，根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段。
[0036]
在一些实施例中，根据所述股票预测数据集和所述股票预测初始集确定预测离异度可采用下述公式实现：
[0037]
其中，表示预测离异度，表示股票预测初始集中的元素的转置，表示股票预测数据集中的对应元素，表示底数为的对数。
[0038]
在一些实施例中，股票预测离异序列为预测离异度按照时间排序而成的序列。
[0039]
在一些实施例中，根据所述股票预测离异序列计算得到股票预测异常阈值可采用下述步骤实现：选取股票预测离异序列中第一个预测离异度作为股票预测异常阈值过渡值；
根据股票预测异常阈值过渡值划分为异常区间和正常区间；根据异常区间中的元素个数和正常区间中的元素个数计算股票预测异常阈值权重度；继续遍历所述股票预测离异序列中的剩余预测离异度，得到对应的股票预测异常阈值权重度；选取股票预测异常阈值权重度最大的作为股票预测异常阈值。
[0040]
具体实现时，根据股票预测异常阈值过渡值划分为异常区间和正常区间，例如：股票预测异常阈值过渡值为3，则将小于3的所有预测离异度作为正常区间，将大于3的所有预测离异度作为异常区间；根据异常区间中的元素个数和正常区间中的元素个数计算股票预测异常阈值权重度；以此类推，继续遍历所述股票预测离异序列中的剩余预测离异度，得到对应的股票预测异常阈值权重度；选取股票预测异常阈值权重度最大的预测离异度作为股票预测异常阈值，若有多个预测离异度的股票预测异常阈值权重度最大，则取平均值作为股票预测异常阈值。
[0041]
在一些实施例中，计算股票预测异常阈值权重度可采用下述步骤实现：确定被正确划分为异常区间的样本数量；确定所有被划分为异常区间的样本数量；确定股票预测离异序列中的异常样本数量；
[0042]
其中，表示股票预测异常阈值权重度；为常数，一般取值为2，平衡被正确划分为异常区间的样本数量和所有被划分为异常区间的样本数量之间的权重，并使得股票预测异常阈值权重度取值范围在0和1之间；为一个无穷小正数，防止分母为0。
[0043]
具体实现时，统计所有被划分为异常区间的样本数量，根据现有经验设置另一个股票预测异常阈值，根据该股票预测异常阈值统计被正确划分为异常区间的样本数量和股票预测离异序列中的异常样本数量。
[0044]
在一些实施例中，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集可采用下述步骤实现：根据所述股票预测异常阈值，提取股票预测离异序列中大于股票预测异常阈值的预测离异度对应的股票预测数据集中的元素得到股票预测异常数据集。
[0045]
在一些实施例中，将所述股票预测异常数据集分为多个股票预测异常数据段可采用下述步骤实现：根据时间连续性，将所述股票预测异常数据集分为多个时间连续的股票预测异常数据段。
[0046]
具体实现时，例如一段异常数据集对应的时间为，则分为、、、
和，根据连续的时间段，划分对应的股票预测异常数据集得到多个时间连续的股票预测异常数据段。
[0047]
在步骤s105，遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集。
[0048]
具体实现时，若股票预测异常数据段中的股票预测异常值数量为5个，正常阈值为8时，则将该股票预测异常数据段标记为正常股票预测数据，放弃采集。
[0049]
在步骤s106，对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端。
[0050]
具体实现时，若股票预测异常数据段中的股票预测异常值数量为12个，正常阈值为8时，则将该股票预测异常数据段标记为异常股票预测数据，并对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段对应的股票影响因素数据进行采集，以及将对应的股票影响因素数据和对应的实时股票数据发送至客户端。
[0051]
在一些实施例中，该股票预测异常数据段对应的股票影响因素数据具体包括：财务数据、市场数据、竞争数据和行业经济环境数据等。
[0052]
需要说明的是，本技术中财务数据是指该股票预测异常数据段对应公司的财务报表和财务指标，这些数据反映了该公司的盈利能力、财务健康状况等；另外市场数据包括该股票预测异常数据段对应公司的股票价格、成交量等信息，通过分析市场数据，可以了解该股票的趋势，并帮助预测其未来表现，竞争数据是指与该股票预测异常数据段对应公司在同一行业或市场竞争的其他公司的相关数据，通过分析竞争数据，可以预测该公司市场份额和盈利能力；另外，行业经济环境数据涉及到整个行业或宏观经济环境的数据指标，通过分析行业经济环境数据，可以预测该公司的发展趋势和风险。
[0053]
另外，本技术的另一方面，在一些实施例中，本技术提供一种基于云计算的股票数据采集系统，参考图2，该图是根据本技术一些实施例所示的基于云计算的股票数据采集系统的示例性硬件和/或软件的示意图，该基于云计算的股票数据采集系统200包括：股票数据采集启动模块201、股票预测误差值确定模块202、股票预测样本调节模块203、股票预测异常数据段划分模块204、正常股票预测数据标记模块205和股票影响因素数据采集模块206，分别说明如下：股票数据采集启动模块201，本技术中股票数据采集启动模块201主要用于启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集；股票预测误差值确定模块202，本技术中股票预测误差值确定模块202主要用于对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值；股票预测样本调节模块203，本技术中股票预测样本调节模块203主要用于根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集；股票预测异常数据段划分模块204，本技术中股票预测异常数据段划分模块204主要用于根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异
常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段；正常股票预测数据标记模块205，本技术中正常股票预测数据标记模块模块205主要用于遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集；股票影响因素数据采集模块206，本技术中股票影响因素数据采集模块206主要用于对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端。
[0054]
另外，本技术还提供一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行上述的基于云计算的股票数据采集方法。
[0055]
在一些实施例中，参考图3，该图是根据本技术一些实施例所示的应用基于云计算的股票数据采集方法的计算机设备的结构示意图。上述实施例中的基于云计算的股票数据采集方法可以通过图3所示的计算机设备来实现，该计算机设备包括至少一个处理器301、通信总线302、存储器303以及至少一个通信接口304。
[0056]
处理器301可以是一个通用中央处理器(central processing unit，cpu)、特定应用集成电路(application-specific integrated circuit，asic)或一个或多个用于控制本技术中的基于云计算的股票数据采集方法的执行。
[0057]
通信总线302可包括一通路，在上述组件之间传送信息。
[0058]
存储器303可以是只读存储器（read-only memory，rom）或可存储静态信息和指令的其它类型的静态存储设备，随机存取存储器（random access memory，ram）或者可存储信息和指令的其它类型的动态存储设备，也可以是电可擦可编程只读存储器（electrically erasable programmable read-only memory，eeprom）、只读光盘（compact disc read-only memory，cd-rom）或其它光盘存储、光碟存储（包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等）、磁盘或者其它磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其它介质，但不限于此。存储器303可以是独立存在，通过通信总线302与处理器301相连接。存储器303也可以和处理器301集成在一起。
[0059]
其中，存储器303用于存储执行本技术方案的程序代码，并由处理器301来控制执行。处理器301用于执行存储器303中存储的程序代码。程序代码中可以包括一个或多个软件模块。上述实施例中基于云计算的股票数据采集方法可以通过处理器301以及存储器303中的程序代码中的一个或多个软件模块实现。
[0060]
通信接口304，使用任何收发器一类的装置，用于与其它设备或通信网络通信，如以太网，无线接入网（radio access network，ran），无线局域网（wireless local area networks，wlan）等。
[0061]
在具体实现中，作为一种实施例，计算机设备可以包括多个处理器，这些处理器中的每一个可以是一个单核（single-cpu）处理器，也可以是一个多核（multi-cpu）处理器。这里的处理器可以指一个或多个设备、电路、和/或用于处理数据（例如计算机程序指令）的处
理核。
[0062]
上述的计算机设备可以是一个通用计算机设备或者是一个专用计算机设备。在具体实现中，计算机设备可以是台式机、便携式电脑、网络服务器、掌上电脑（personal digital assistant，pda）、移动手机、平板电脑、无线终端设备、通信设备或者嵌入式设备。本技术实施例不限定计算机设备的类型。
[0063]
另外，本技术还提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现上述的基于云计算的股票数据采集方法。
[0064]
综上，本技术实施例公开的基于云计算的股票数据采集方法、系统、设备及存储介质中，首先，启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集，对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值，根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集，根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段，遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集，对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端，可实现智能化的异常股票数据筛查，与现有技术对异常股票数据通过人工方式进行筛查相比，大大提高了异常股票数据的筛查效率。
[0065]
尽管已描述了本技术的优选实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括优选实施例以及落入本技术范围的所有变更和修改。
[0066]
显然，本领域的技术人员可以对本技术进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本技术的这些修改和变型属于本技术权利要求及其等同技术的范围之内，则本技术也意图包含这些改动和变型在内。

技术特征：
1.一种基于云计算的股票数据采集方法，其特征在于，包括如下步骤：启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集；对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值；根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集；根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列确定股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段；遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集；对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端。2.如权利要求1所述的方法，其特征在于，对所述实时股票数据集进行归一化处理具体包括：获取实时股票数据最大值和实时股票数据最小值；根据所述实时股票数据最大值和所述实时股票数据最小值对所述实时股票数据集中的每个数据点进行归一化处理，得到实时股票数据归一化值；根据所述实时股票数据归一化值确定股票预测初始集。3.如权利要求1所述的方法，其特征在于，根据所述股票预测初始集确定股票预测样本具体包括：获取随机股票预测向量；根据所述股票预测初始集的维度确定所述随机股票预测向量的维度；根据确定维度后的随机股票预测向量确定股票预测样本。4.如权利要求1所述的方法，其特征在于，确定预测离异度采用下述公式实现：其中，表示预测离异度，表示股票预测初始集中的元素的转置，表示股票预测数据集中的对应元素，表示底数为的对数。5.如权利要求1所述的方法，其特征在于，确定股票预测异常阈值具体包括：选取股票预测离异序列中第一个预测离异度作为股票预测异常阈值过渡值；根据股票预测异常阈值过渡值划分异常区间和正常区间；根据异常区间中的元素个数和正常区间中的元素个数确定股票预测异常阈值权重度；继续遍历所述股票预测离异序列中的剩余预测离异度，得到对应的股票预测异常阈值
权重度；选取股票预测异常阈值权重度最大的作为股票预测异常阈值。6.如权利要求5所述的方法，其特征在于，确定股票预测异常阈值权重度采用下述步骤实现：确定被正确划分为异常区间的样本数量；确定所有被划分为异常区间的样本数量；确定股票预测离异序列中的异常样本数量；其中，表示股票预测异常阈值权重度；为常数，平衡被正确划分为异常区间的样本数量和所有被划分为异常区间的样本数量之间的权重，并使得股票预测异常阈值权重度取值范围在0和1之间；为一个无穷小正数。7.如权利要求1所述的方法，其特征在于，该股票预测异常数据段对应的股票影响因素数据具体包括：财务数据、市场数据、竞争数据和行业经济环境数据。8.一种基于云计算的股票数据采集系统，其特征在于，包括：股票数据采集启动模块，用于启动股票数据采集，从云端服务器的股票数据库中获取实时股票数据集；股票预测误差值确定模块，用于对所述实时股票数据集进行归一化处理得到股票预测初始集，根据所述股票预测初始集确定股票预测样本，由所述股票预测初始集和所述股票预测样本计算得到股票预测误差值；股票预测样本调节模块，用于根据所述股票预测误差值对所述股票预测样本进行调节，重复股票预测误差值的计算和调节，直至达到最大股票预测迭代次数，得到股票预测数据集；股票预测异常数据段划分模块，用于根据所述股票预测数据集和所述股票预测初始集确定预测离异度，进而得到股票预测离异序列；根据所述股票预测离异序列计算得到股票预测异常阈值，由所述股票预测异常阈值和所述股票预测离异序列确定股票预测异常数据集，将所述股票预测异常数据集分为多个股票预测异常数据段；正常股票预测数据标记模块，用于遍历所有股票预测异常数据段，将股票预测异常数据段中股票预测异常值数量低于正常阈值的该股票预测异常数据段标记为正常股票预测数据，放弃采集；股票影响因素数据采集模块，用于对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段对应的股票影响因素数据进行采集，并将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端。9.一种计算机设备，其特征在于，所述计算机设备包括存储器和处理器，所述存储器存储有代码，所述处理器被配置为获取所述代码，并执行如权利要求1至7任一项所述的基于云计算的股票数据采集方法。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述的基于云计算的股票数据采集方法。

技术总结
本申请提供了一种基于云计算的股票数据采集方法、系统、设备及存储介质，通过从云端服务器的股票数据库中获取实时股票数据集，进而得到股票预测初始集，根据所述股票预测初始集确定股票预测误差值，根据所述股票预测误差值对所述股票预测样本进行调节，得到股票预测数据集，根据所述股票预测数据集和所述股票预测初始集确定股票预测异常阈值，由所述股票预测异常阈值确定股票预测异常数据集，遍历所有股票预测异常数据段，对股票预测异常数据段中股票预测异常值数量超过正常阈值的股票预测异常数据段，按照该股票预测异常数据段将对应的股票影响因素采集数据和对应的实时股票数据发送至客户端，大大提高了异常股票数据的筛查效率。效率。效率。


技术研发人员：姜宇琳
受保护的技术使用者：深圳市优品投资顾问有限公司
技术研发日：2023.08.30
技术公布日：2023/10/6