用于水力增产操作中自主流量控制的方法和系统与流程

用于水力增产操作中自主流量控制的方法和系统


背景技术：

1.存在于地下地层中的天然裂缝是表示地层中的力学破坏的表面或区域的不连续性。特别地，裂缝可以作为地下岩石内的运动和变形的结果在地质年代中形成，并且作为微震事件的结果继续形成。通过使用各种类型的流体，天然裂缝可以被打开和改变以增加它们针对地下地层中的烃沉积物的渗透性。


技术实现要素：

2.提供本发明内容以介绍将在以下详细描述中进一步描述的构思的选择。本发明内容不旨在指出要求保护的主题的关键或必要特征，也不旨在被用作辅助限制要求保护的主题的范围。
3.总体上，在一个方面，实施例涉及一种方法，该方法包括由计算机处理器基于与正在地质区域中执行水力增产操作的泵系统有关的压力数据来确定时间导数压力数据。该方法还包括由计算机处理器基于时间导数压力数据和预定时间窗确定移动平均值。该方法还包括由计算机处理器基于移动平均值、用于调节流量的更新间隔和预定流量规则来确定用于泵系统的流量调节。所述预定时间窗口的大小不同于所述更新间隔。该方法还包括由计算机处理器并基于流量调节将改变水力增产操作内的流量的命令发送到泵系统。
4.一般而言，在一个方面，实施例涉及一种方法，该方法包括由计算机处理器基于关于正在地质区域中执行水力增产操作的泵系统的压力数据来确定平滑压力数据。该方法还包括由计算机处理器基于平滑压力数据确定时间导数压力数据。该方法还包括由计算机处理器基于平滑压力数据、用于调节流量的更新间隔和预定流量规则来确定用于泵系统的流量调节。该方法还包括由计算机处理器并基于流量调节将改变水力增产操作内的流量的命令发送到泵系统。
5.总体上，在一个方面，实施例涉及一种方法，该方法包括由计算机处理器获得关于水力增产环境的第一观测数据。第一观测数据包括关于水力增产操作的压力数据和流量数据。该方法还包括由计算机处理器并基于代理策略和第一观测数据来确定用于泵代理的动作。泵代理对应于与井筒连接的泵系统、流体控制系统和支撑剂系统。该动作对应于用于泵系统的流量调节。该方法还包括响应于泵代理执行动作，由计算机处理器获得关于水力增产环境的第二观测数据。该方法还包括由计算机处理器基于第二观测数据和奖励函数来确定用于泵代理的奖励值。该方法还包括由计算机处理器基于奖励值更新代理策略以产生更新的策略。更新的策略确定用于泵代理的操作。
6.总体上，在一个方面，实施例涉及一种包括泵系统的系统，该泵系统包括容积泵。该系统还包括耦接到泵系统的各种传感器。所述传感器确定关于水力增产操作的压力数据。所述系统还包括水力增产管理器，水力增产管理器包括计算机处理器。水力增产管理器耦接到泵系统。水力增产管理器基于关于正在地质区域中执行水力增产操作的泵系统的压力数据来确定时间导数压力数据。水力增产管理器基于时间导数压力数据和预定时间窗确定移动平均值。水力增产管理器基于移动平均值、用于调节流量的更新间隔和预定流量规
则来确定用于泵系统的流量调节。预定时间窗口的大小不同于更新间隔。水力增产管理器基于流量调节向泵系统发送改变水力增产操作内的流量的命令。
7.总体上，在一个方面，实施例涉及一种包括泵系统的系统，该泵系统包括容积泵。该系统还包括耦接到泵系统的各种传感器。传感器确定关于水力增产操作的压力数据。该系统还包括水力增产管理器，水力增产管理器包括计算机处理器。水力增产管理器耦接到泵系统。水力增产管理器通过计算机处理器基于关于泵系统的压力数据来确定平滑压力数据。水力增产管理器还基于平滑压力数据确定时间导数压力数据。水力增产管理器基于平滑压力数据、用于调节流量的更新间隔和预定流量规则来确定用于泵系统的流量调节。水力增产管理器还基于流量调节向泵系统发送改变水力增产操作内的流量的命令。
8.总体上，在一个方面，实施例涉及一种系统，该系统包括耦接到各种容积泵的各种泵代理。该系统还包括耦合到泵代理的各种传感器。泵代理对应于泵系统、流体控制系统和/或支撑剂系统。传感器确定关于水力增产操作的压力数据。该系统还包括水力增产管理器，水力增产管理器包括计算机处理器。水力增产管理器耦合到泵代理。水力增产管理器获得关于水力增产环境的第一观测数据。第一观测数据包括关于水力增产操作的压力数据和流量数据。水力增产管理器还基于泵代理的一个或多个代理策略和第一观测数据来确定用于泵代理中的至少一个泵代理的动作。在一些实施例中，该动作对应于用于泵系统的流量调节。水力增产管理器还响应于一个或多个动作的执行而获得关于水力增产环境的第二观测数据。水力增产管理器基于第二观测数据和奖励函数来确定用于相应泵代理的奖励值。水力增产管理器基于奖励值更新泵代理的一个或多个代理策略以产生一个或多个更新的策略。更新的策略确定用于一个或多个泵代理的一个或多个动作。
9.在一些实施例中，从各种井下传感器获得压力数据，井下传感器包括耦接到井筒的套管的第一井下传感器和耦接到井筒内的压裂塞/球的第二井下传感器，并且井下传感器通过井网将压力数据实时地流送到布置在井场的地面处的水力增产管理器。
10.在一些实施例中，一个或多个预定流量规则由包括动作选择器引擎和训练系统的强化学习系统确定。一个或多个预定流量规则可对应于由强化学习算法确定的一个或多个代理策略，并且一个或多个预定流量规则可限定动态时间窗口的大小、流量调节增量的大小以及用于增加、减少和维持泵系统的流量的各种条件。
11.在一些实施例中，其中所述一个或多个预定流量规则包括第一规则、第二规则和第三规则。第一规则可以对应于当移动平均值为正时不进行流量调节。第二规则可对应于当移动平均值为负或等于零时的正流量增量。第三规则可对应于当在当前时间步长处的压力值等于或大于预定最大压力值时的负流量增量。
12.在一些实施例中，从流量传感器获得关于泵系统的流量数据。一个或多个流量规则可以基于来自先前时间步长的流量数据。
13.在一些实施例中，基于移动平均值和一个或多个预定流量规则来确定用于泵系统的各种推荐流量调节；在用户设备的图形用户界面内呈现推荐流量调节。响应于在推荐流量调节中选择一推荐流量调节，可以将命令发送到泵系统以实施该推荐流量调节。
14.在一些实施例中，从压力数据确定压力曲线。可以使用具有低通滤波器的离散傅立叶变换，或者可替换地使用中值滤波器或任何其它平滑方法，对压力曲线执行平滑操作，以产生平滑压力曲线。时间导数压力数据可以使用平滑压力曲线来确定。
15.在一些实施例中，泵系统在水力增产操作期间以预定流量将水力压裂液发送到井筒中。水力压裂液可包括至少一种支撑剂，并从井筒横向产生裂缝网络。
16.在一些实施例中，训练系统获得关于泵代理的训练数据。训练系统可基于损失函数确定训练数据与关于一个或多个水力增产操作的观测数据之间的失配。可以基于失配来调节更新的策略的各种策略参数。
17.在一些实施例中，回放缓冲器获得关于各种泵代理的各种泵代理轨迹。可以基于泵代理轨迹来更新奖励函数，其中所述奖励函数与至少一个泵代理相关联。与泵代理相关联的各种代理策略可以使用更新的奖励函数来更新。
18.在一些实施例中，使用与训练压力数据和训练流量数据相对应的训练数据来更新代理策略。在一些实施例中，观测数据包括从布置在井筒中的分布式声感测(das)系统获得的声传感器数据。
19.在一些实施例中，系统基于时间导数数据或移动平均值和一个或多个预定流量规则来确定用于泵系统的各种推荐流量调节，时间导数数据基于平滑压力数据。该系统可以在用户设备中的图形用户界面内呈现推荐流量调节。该系统可以响应于对推荐流量调节中的一个的选择而向泵系统发送命令以实现对推荐流量调节的选择。
20.根据以下描述和所附权利要求，要求保护的主题的其他方面和优点将是显而易见的。
附图说明
21.现在将参考附图详细描述所公开的技术的具体实施例。为了一致性，在各个附图中相似的元件由相似的附图标记表示。
22.图1、图2和图3示出了根据一个或多个实施例的系统。
23.图4示出了根据一个或多个实施例的流程图。
24.图5、图6a、图6b、图6c、图6d、图6e、图6f、图6g、图6h、图6i、图6j、图6k、图6l、图6m、图6n、图6o、图6p、图6q、图6r、图6s及图6t示出了根据一个或多个实施例的示例。
25.图7示出了根据一个或多个实施例的流程图。
26.图8a、图8b、图8c、图8d和图8e示出了根据一个或多个实施例的示例。
27.图9示出了根据一个或多个实施例的系统。
28.图10示出了根据一个或多个实施例的流程图。
29.图11示出了根据一个或多个实施例的计算机系统。
具体实施方式
30.在以下对本发明的实施例的详细描述中，阐述了许多具体细节以便提供对本发明的更透彻理解。然而，对于本领域的普通技术人员来说，显然可以在没有这些具体细节的情况下实践本公开。在其他情况下，没有详细描述公知的特征，以避免不必要地使描述复杂化。
31.贯穿本技术，序数(例如，第一、第二、第三等)可用作元素的形容词(即，本技术中的任何名词)。序数的使用并不暗示或产生元件的任何特定顺序，也不将任何元件限制为仅单个元件，除非明确公开，例如使用术语
″
之前
″
、
″
之后
″
、
″
单个
″
和其它此类术语。相反，序
数的使用是为了在元素之间进行区分。作为示例，第一元素不同于第二元素，并且第一元素可以包含多于一个元素并且在元素的排序中在第二元素之后(或之前)。
32.一般而言，本公开的实施例包括用于自主流量控制以管理水力增产操作的阶段到阶段执行的系统和方法。在一些实施例中，例如，可基于预定流量规则和基于时间导数压力数据的移动平均值来确定用于泵系统的一个或多个流量调节。更具体地，流量规则可以确定在水力增产操作期间使用各种增产参数输入(例如，流量增量值、更新间隔、目标流量、移动平均值等)来增大、减小或保持流量的情况。这样，移动平均值可由时间窗确定，该时间窗可由用户指定或由水力增产管理器例如基于机器学习算法自动确定。时间窗的大小可以控制流量调节如何响应于时间导数压力数据和压力数据内的瞬态噪声的变化。
33.此外，可以通过各种强化学习技术来确定流量规则。例如，泵代理可以在对应于一个或多个流量规则的代理策略上操作。通过与水力增产环境相互作用，可以使用奖励函数来奖励泵代理的不同动作。因此，可基于泵代理与水力增产环境的相互作用的观测来优化代理策略或流量规则。在一些实施例中，可以通过机器学习训练过程来优化代理策略或奖励函数。例如，水力增产管理器可包括用于实施强化学习算法的强化学习系统以及用于井网内的部件(例如，泵系统)的训练过程。
34.因此，一些实施例可以使用流量规则来增加流体和支撑剂在特定水力压裂阶段内的不同射孔簇之间的分布均匀性。因此，自主泵流量控制可以提供以下一项或多项：(i)支撑剂和流体在各个射孔簇之间更均匀的分布；(ii)水力增产操作内的增产阶段之间以及水力增产操作之间(例如，在不同井处)的一致性能；(iii)较低的引发和扩展水力压裂的平均处理压力；以及(iv)减少或消除来自水力增产操操作的筛滤和井间通讯。与通过操作人员的手动流量控制相比，自主流量控制可防止阶段到阶段执行中的大的不一致性，该不一致性导致流体和支撑剂在不同射孔簇之间的显著不均匀分布，并最终导致差的水力压裂性能。
35.转向图1，图1示出了根据一个或多个实施例的示意图。如图1所示，井网(例如，井网z 100)可包括完井组件(例如，完井组件190)、一个或多个支撑剂系统(例如，支撑剂系统192)、一个或多个流体混合系统(例如，流体混合系统194)、以及一个或多个泵系统(例如，泵系统a 121、泵系统b 122、泵系统n 123)。例如，完井组件可包括一个或多个膨胀式封隔器以及在井筒内延伸的工作管柱或套管柱。套管柱可包括钢套管或管，其可被分成表层套管、中间套管和/或生产套管。封隔器可以包括膨胀式封隔器，其密封在完井设备和井筒内壁之间限定的环形空间，以便将地层分成多个井筒层段。在水力增产操作期间，这些井筒层段可以单独地或同时地增产。同样地，完井组件可包括用于在不同井筒层段产生孔的射孔设备(例如射孔枪)。例如在流动管汇(例如，流动管汇y 198)接收水力增产流体之后，水力增产流体可被向下输送到井筒(例如，到井筒z 199)，例如，至用于水力增产操作的特定层段。在水力增产操作期间，增产流体可被输送到不同的井筒层段，以例如在裸眼完井操作或套管完井操作(下面将参照图3更详细地描述)中引发和扩展裂缝。
36.关于支撑剂系统，支撑剂系统可包括用于将支撑剂(也简称为
″
支撑剂
″
)转移到流体混合系统的转移装置，例如斜槽和传送带。同样地，支撑剂系统可包括一个或多个支撑剂存储装置(例如，支撑剂存储装置a 193)，例如筒仓和壳体。特别地，筒仓可以使用填充口来获取支撑剂，支撑剂可以随后使用排放阀和/或出口被转移到流体混合系统。然后，支撑剂
系统可以将支撑剂分配到流体混合系统，用于产生增产流体。关于流体混合系统，流体混合系统可包括用于将支撑剂与一种或多种液体添加剂和其它流体(例如，水)组合的硬件和/或软件。更具体地，流体混合系统可包括搅拌器和/或各种液体储存装置，其被添加到一种或多种支撑剂中以产生特定的增产流体。因此，流体混合系统可产生和/或分配具有各种预定流体性质(例如，具有特定粘度、密度或一种或多种流变性质)的水力增产流体。
37.在一些实施例中，例如，水力增产流体可以是注入到连接到井筒的开放裂缝中的压裂流体。这种注入可以在地下产生和/或改变裂缝网络。在水力压裂操作完成期望的裂缝网络之后，压裂流体的液体部分可从井筒移除。关于水力增产流体和支撑剂的更多信息，参见图2和下面的相应描述。
38.关于泵系统，泵系统可包括具有用于以一个或多个预定压力和/或以一个或多个预定流量向井筒供应水力增产流体的功能的硬件和软件。例如，泵系统可包括将水力增产流体注入井筒的一个或多个容积泵。同样地，泵系统可包括泵控制器，该泵控制器包括用于例如响应于来自水力增产管理器的命令调节局部流量和泵压力的硬件和/或软件。例如，泵系统可包括一个或多个通信接口(例如，通信接口a 141、通信接口b 142、通信接口n 143)和/或存储器(例如，存储器a 151、存储器b 152、存储器n 153)，用于通过井网发送和/或获得数据。泵系统还可以从耦合到井筒的一个或多个传感器(例如，传感器a 161、传感器b 162、传感器n 163)获得和/或存储关于一个或多个泵操作的传感器数据。例如，关于水力增产操作的压力数据可由泵系统从设置在井筒中的井口传感器或井下传感器获取。虽然泵系统可以对应于单个泵，但是在一些实施例中，泵系统可以对应于多个泵。
39.转向图2，图2示出了根据一个或多个实施例的示意图。如图2所示，图2示出了在地层202内形成另外的微裂缝212的水力增产操作。更具体地，井筒204可以位于地层202内，其中套管柱206定位在井筒204内。在水力压裂过程之后，例如，大裂缝210可存在于地层202内并从井筒204向外延伸。特别地，烃储备可能被捕获在某些低渗透性地层内，例如砂地层、碳酸盐地层和/或页岩地层。因此，增产处理可以提高一个或多个井的井产率，其中一种类型的增产处理是水力压裂。在一些实施例中，例如，水力压裂包括以足够高的注入速率将高粘度流体注入到井筒中，使得在井筒中产生足够的压力以分裂地层。因此，可以确定实现一个或多个诱发裂缝的期望高度和/或长度的增产操作。
40.继续描述图2，可以采用各种增产过程，该增产过程使用一种或多种技术来确保诱发裂缝在注入停止之后变得导通。例如，在碳酸盐地层的酸压裂期间，酸基流体可以被注入到地层中以产生蚀刻裂缝和导电通道。这些导通通道可以在诱发裂缝闭合时保持打开。对于砂地层或页岩地层，水力压裂液中可包括支撑剂，使得在增产处理期间或之后，诱发裂缝保持张开。同样，在碳酸盐地层中，增产处理可包括酸压裂液和支撑剂两者。因此，在地层内产生的热、发送到地层中的酸或溶剂水都可以在产生引起地层中的一个或多个微裂缝的反应中起作用。
41.继续描述水力压裂，水力压裂流体可使用套管柱206中的各种孔(即，裸眼)泵送通过套管柱206并进入目标地层中。通过以足够高的压力注入水力压裂流体以使目标地层内的岩石破裂，水力压裂操作可
″
破坏
″
地层。随着高压流体注入的继续，裂缝可继续扩展成裂缝网络。用于注入水力压裂液的这种高压可称为
″
扩展压力
″
或
″
延伸压力
″
。随着诱发裂缝继续增长，可将支撑剂例如砂添加到压裂流体中。一旦形成了所需的裂缝网络，就可以使流
体流动反向，并且移除压裂流体的液体部分。支撑剂被有意地留下，以防止裂缝由于地层内的重量和应力而自身闭合。因此，支撑剂可以
″
支撑
″
或支持诱发裂缝通过保持足够的渗透性以使烃流体流过诱发裂缝而保持张开。因此，支撑剂可在地层内形成具有间隙空间连通性的颗粒填充床。因此，较高渗透性的裂缝可由水力压裂操作产生。
42.在一些实施例中，例如，将具有活化剂的水力压裂液注入地层202中，其中，流体在大裂缝210内迁移。在由活化剂引起的反应时，注入流体可产生一种或多种气体和热，从而引起在地层202内产生微裂缝212。因此，增产处理可以为地层202内捕获的烃沉积物提供迁移和由生产井回收的路径。
43.此外，裂缝监测对于理解和优化水力压裂处理可能是重要的。例如，水力增产管理器可以执行诊断，该诊断确定各种增产效果，例如裂缝几何形状、一个或多个裂缝中的支撑剂放置、和/或裂缝导通性。可以使用在井筒中实施的分布式声学感测(das)系统来执行裂缝监测。在一些实施例中，das系统包括各种光纤传感器(例如，分布在几千米长的单模光纤上)。因此，可以测量后向散射光，并且使用信号处理技术进一步分析后向散射光，以使得das系统能够将光纤分离成单独的声接收器的阵列。更具体地，各种光脉冲可以沿着光纤发送，其中后向散射光的特性可以由于干扰光纤的外壳的声振动而改变。通过das处理，可以识别这些扰动的位置。
44.继续描述das系统，泵送操作可以沿着井筒和相邻裂缝产生各种声信号，其中声感测数据取决于扩展裂缝的几何和物理属性。因此，定量das反演可以确定水力裂缝监测中的各种裂缝性质。例如，可以通过去除das泵噪声数据并将所获取的数据与关于井筒和相邻裂缝中的脉冲传播的正演模型相匹配来实时描绘井筒。因此，das反演可以识别各种水力增产特征，例如油管膨胀、流体-流体界面、相邻的水力裂缝、多孔储层的存在和/或环形隔室。在水力增产操作的初始阶段期间，das反演可以确定井筒中的电缆测井设备的位置信息。例如，das技术可以验证射孔枪和封隔器坐封装置是否设置在井筒中的期望深度处。在一些实施例中，使用来自分布式温度传感器(dts)和/或微震监测技术的附加数据来执行das反演。
45.例如，在某些非常规地层中，确定开发储层是否经济可行的一个重要因素是储层中存在一个或多个甜点(sweet spot)。甜点在本文中总体上可定义为储层内代表最佳生产或生产潜力的区域。在特定的地质区域中，可以基于缺乏延展性、内部内聚力的破坏、岩石以低程度的非弹性行为变形和破坏的能力、以及岩石的自持破裂的能力来确定甜点。换句话说，水力增产操作可以应用于容易破裂的地层，以产生更多的微裂缝，而在压缩下几乎没有塑性变形。
46.转向图3，图3示出了根据一个或多个实施例的系统。如图3所示，钻井系统300可以包括围绕钻头测井工具320的设置布置的顶部驱动钻机310。顶部驱动钻机310可包括顶部驱动器311，该顶部驱动器可通过游动滑车313悬挂在井架312中。在顶部驱动器311的中心，驱动轴314可以例如通过螺纹耦接到钻柱315的顶部管。顶部驱动器311可使驱动轴314旋转，使得钻柱315和钻头测井工具320在井筒316的底部切割岩石。向顶部驱动器311供应电力的电力电缆317可在耦接到控制系统344的一个或多个维护回路318内受到保护。这样，钻井泥浆可以通过泥浆管线、驱动轴314和/或钻柱315泵送到井筒316中。
47.控制系统344可包括一个或多个可编程逻辑控制器(plc)，该可编程逻辑控制器包括具有控制由钻井系统300、水力增产操作和/或完井组件执行的一个或多个过程的功能的
硬件和/或软件。具体地，可编程逻辑控制器可以控制整个井网(例如连接到钻机的井网)的阀状态、流体水平、管道压力、警告警报和/或压力释放。特别地，可编程逻辑控制器可以是具有承受例如井筒周围的振动、极端温度、潮湿条件和/或多尘条件的功能的加固计算机系统。在不丧失一般性的情况下，术语
″
控制系统
″
可以指用于操作和控制设备的操作控制系统、用于获取设备数据和监测钻井过程、水力增产过程或完井过程的操作的数据获取和监测系统。控制系统还可包括解释软件系统，其用于分析和理解钻井事件、完井事件和水力增产事件及其各自的进程。
48.当完井时，套管(例如，套管柱206)可被插入到井筒316中。井筒316的侧面可能需要支撑，因此套管可用于支撑井筒316的侧面。这样，套管和井筒316的未处理侧之间的空间可以被水泥固定以将套管保持在适当的位置。可迫使水泥通过套管的下端并进入套管和井筒316的壁之间的环形空间。更具体地，注水泥塞可用于将水泥从套管中推出。例如，注水泥塞可以是用于将水泥浆与其它流体分离的橡胶塞，从而减少污染并保持可预测的水泥浆性能。该井操作可包括将水泥浆泵送到井筒316中，以置换现有的钻井液并填充套管和井筒316的未处理侧之间的该空间。水泥浆可包括各种添加剂和水泥的混合物。在水泥浆硬化之后，水泥可以密封井筒316，防止试图进入井流的非烃。在一些实施例中，迫使水泥浆通过套管的下端并进入套管和井筒的壁之间的环形空间316。更具体地，注水泥塞可用于将水泥浆从套管中推出。例如，注水泥塞可以是用于将水泥浆与其它流体分离的橡胶塞，从而减少污染并保持可预测的水泥浆性能。诸如水或适当加重的钻井液之类的驱替流体可被泵送到注水泥塞上方的套管中。该驱替流体可以是加压流体，其用于推动注水泥塞向下穿过套管，以将水泥从套管出口挤出并向上返回到环形空间中。
49.完井操作可包括下套管操作、固井操作、对井进行射孔、砾石充填、定向钻井、储层区域的水力增产、和/或在井筒处安装采油树或井口组件316。同样，井操作可包括裸眼完井或套管完井。在裸眼完井中，未胶结套管可使用一个或多个膨胀式封隔器(或其他封隔器类型)来分隔不同的压裂阶段或隔室。在给定的压裂阶段或隔室内，未胶结套管可具有多个压裂套筒或端口，其中注入的流体可离开套管并与地层连通。在套管完井(即，塞-射孔完井)中，可设置胶结套管和塞以隔离先前的压裂阶段，随后为当前压裂阶段形成多个射孔簇(例如，参见图5)。同样，裸眼完井可以指钻至烃储层顶部的井。因此，在储层顶部对井设置套管，而在井筒底部敞开。相反，套管完井可包括将套管下入储层区域。
50.一些实施例可包括射孔操作。更具体地，射孔操作可包括在井筒316中的不同位置处对套管和水泥进行射孔，以使烃能够从所形成的孔进入井流。例如，一些射孔操作包括在不同的生产区域使用射孔枪以产生穿过套管、水泥和井筒316侧面的开孔段。然后，烃可通过这些开孔段进入井流。在一些实施例中，射孔操作使用喷射流或聚能装药来执行，以穿透井筒316周围的套管。
51.如图3进一步所示，传感器3321可以包括在传感器组件323中，该传感器组件323例如在井筒316中邻近钻头324定位并且耦接到钻柱315。传感器321还可以耦接到处理器组件323，该处理器组件323包括处理器、存储器和用于处理传感器测量的模数转换器322。例如，传感器321可以包括声传感器，诸如加速度计、测量麦克风、接触式麦克风和水听器。同样地，传感器321可包括其它类型的传感器，例如测量电阻率的发射器和接收器、伽马射线检测器等。传感器321可以包括用于生成不同类型的测井记录(诸如声学测井记录或密度测井
记录)的硬件和/或软件，所述测井记录可以提供关于井筒的井数据，包括井筒段的孔隙度、气体饱和度、地质地层中的地层边界、井筒或完井水泥中的裂缝、以及关于地层的许多其它信息。如果在钻井操作(例如，随钻测井或随钻测量)期间获取这样的测井数据，则该信息可用于实时地对钻井参数进行调节。这样的调节可以包括钻进速度(rop)、井底循环压力、一个或多个钻井方向、改变泥浆比重、钻压的量以及许多其它钻井参数。
52.返回图1，在一些实施例中，井网包括水力增产管理器(例如，水力增产管理器x 180)，其包括用于管理一个或多个水力增产操作的硬件和/或软件。例如，水力增产管理器可以是将命令(例如，命令x 171)发送到井网内的一个或多个部件(例如，支撑剂系统192、流体混合系统194、泵系统a 121、泵系统b 122、泵系统n 123)的控制器。特别地，命令可以是包括启动和/或终止井网的一个或多个操作的功能的控制信号。类似地，命令还可以例如针对水力增产流体调节关于支撑剂系统、流体混合系统和/或泵系统的一个或多个参数。
53.此外，水力增产管理器可以基于各种增产参数(例如，增产参数a 178)来管理水力增产流体(例如，水力增产流体a 195、水力增产流体b 196、水力增产流体n 197)的生产和/或分配。例如，增产参数可包括不同类型和/或性质的水力增产流体以及各种流动参数，例如目标流量、用于流量调节的流量增量、最大可允许压力、特定增产阶段的开始时间等。
54.在一些实施例中，水力增产管理器包括用于使用所收集的数据来调节水力增产操作内的一个或多个流量和/或一个或多个压力的功能。例如，水力增产管理器可以从井口压力传感器、遍及井筒的井下压力传感器、以及耦接到泵系统中的一个或多个泵的本地传感器获取压力数据(例如，获取的压力数据y 172)。同样地，水力增产管理器可以从基于科里奥利质量流量技术的高压流量计、容积式传感器、涡轮机、超声波传感器和/或体积测量获取流量数据(例如，获取的流量数据z 173)。在水力增产操作中，例如，注入流体的泵送流量可从零缓升至预定目标流量。也可以收集其他类型的数据，例如可以用于确定水力增产操作的增产参数的完井数据(例如，完井191)、测井数据、地震数据和/或地质数据。
55.在一些实施例中，例如，水力增产管理器使用一个或多个流量规则(例如，流量规则179)来实施自动流量控制。例如，特定的流量规则可以确定在水力增产操作期间的流量调节。为了说明，流量规则可指定基于各种参数值(例如，压力值、时间导数压力值、移动平均值、目标流量、当前流量值等)来增加或减少流量的特定增量。特别地，流量规则可以是用户定义的规则，例如，如由水力增产管理器提供的图形用户界面内的用户选择所指定的。在一些实施例中，水力增产管理器、支撑剂系统和/或流体控制系统包括与以下在图11和相应说明中描述的计算机系统1102类似的计算机系统的一个或多个部件。
56.在一些实施例中，使用一个或多个机器学习模型(例如，机器学习模型n176)和一个或多个机器学习算法(例如，机器学习算法o 177)来确定流量规则。例如，水力增产管理器可以存储和/或分析压力数据(例如，获取的压力数据y 172、历史压力数据m 175)、流量数据(例如，获取的流量数据z 173)、地质数据(例如，地质模型a 185)、测井数据、地震数据和其他感测数据(例如，das数据)，以生成和/或更新一个或多个机器学习模型。因此，可以训练不同类型的机器学习模型，诸如卷积神经网络、深度神经网络、递归神经网络、支持向量机、决策树、归纳学习模型、演绎学习模型、监督学习模型、非监督学习模型、强化学习模型等。在一些实施例中，两个或更多个不同类型的机器学习模型被集成到单个机器学习架构中，例如，机器学习模型可以包括强化学习模型和神经网络。在一些实施例中，水力增产
管理器可以生成增强数据或合成数据，以产生用于训练特定模型的大量解释数据。
57.关于神经网络，例如，神经网络可以包括一个或多个隐藏层，其中隐藏层包括一个或多个神经元。神经元可以是大致模仿人脑的神经元的建模节点或对象。特别地，神经元可以将数据输入与一组系数组合，即，用于调节数据输入地一组网络权重和偏置。这些网络权重和偏置可以放大或减小特定数据输入的值，从而为正被建模的任务的各种数据输入分配重要性的量。通过机器学习，神经网络可以确定在确定神经网络的一个或多个指定输出时哪些数据输入应当接收更高的优先级。同样地，这些加权数据输入可以被求和，使得该和通过神经元的激活函数被传送到神经网络内的其他隐藏层。因此，激活函数可确定神经元的输出是否进展到其它神经元以及进展到何种程度，其中可再次对输出进行加权以用作到下一隐藏层的输入。
58.转向强化学习，水力增产管理器可使用强化学习系统(例如，强化学习系统y 110)执行一个或多个强化学习算法。特别地，强化学习算法可以是一种基于观测数据通过试验和评估的多次迭代来自主地学习代理策略的方法。强化学习算法的目标可以是学习将环境的状态映射到动作的代理策略π，以便最大化期望奖励j(π)。价值奖励可以描述在诸如水力增产操作的操作内特定时间处的特定状态、代理动作和/或轨迹的一个或多个品质。因此，强化学习系统可以包括具有用于实现一个或多个强化学习算法的功能的硬件和/或软件。例如，强化学习系统可以包括动作选择器引擎(例如，动作选择器引擎b 112)，以基于策略数据(例如，策略数据a 111)和一个或多个奖励函数(例如，奖励函数c 113)来确定命令和/或泵动作。更具体地，强化学习算法可训练策略以基于观测到的环境状态做出一系列决策，从而最大化由奖励函数确定的累积奖励。例如，强化学习算法可以采用试错过程，以基于各种代理与复杂环境的交互来确定一个或多个代理策略。因此，强化学习算法可以包括奖励函数，该奖励函数教导特定动作选择引擎遵循某些规则(例如，流量规则179)，同时仍然允许强化学习模型保留从压力数据、流量数据、声学感测数据和/或地质数据学习到的信息。
59.在一些实施例中，使用训练系统(例如，训练系统d 114)来训练强化学习系统中的一个或多个组件。例如，可以通过由机器学习算法执行的训练过程来更新代理策略和/或奖励函数。在一些实施例中，历史数据(例如，历史增产数据m 174)、增强数据和/或合成数据可提供用于训练动作选择器引擎的受监督信号，例如通过模仿学习算法。在另一个实施例中，交互式专家可以提供用于调节代理策略和/或奖励函数的数据。有关强化学习模型和算法的更多信息，请参见图9和图10以及下面的相应描述。
60.虽然图1、图2和图3示出了部件的各种配置，但是在不脱离本公开的范围的情况下可以使用其它配置。例如，图1、图2和图3中的各种部件可以组合以形成单个部件。作为另一个示例，由单个部件执行的功能可以由两个或更多个部件执行。
61.转向图4，图4示出了根据一个或多个实施例的流程图。具体地，图4描述了使用基于压力数据的流量规则来调节泵流量的一般方法。图4中的一个或多个框可由如图1、图2和图3中所述的一个或多个部件(例如，水力增产管理器x 180)来执行。虽然顺序地呈现和描述了图4中的各个框，但是本领域普通技术人员将理解，这些框中的一些或全部可以以不同的顺序执行，可以被组合或省略，并且这些框中的一些或全部可以并行执行。此外，可以主动地或被动地执行这些框。
62.在框400中，根据一个或多个实施例，关于在感兴趣的地质区域中的水力增产操作
的压力数据。感兴趣的地质区域可以是包括期望或选择用于进一步增产的一个或多个感兴趣的地层的地质区域或体积的一部分。例如，在水力压裂中，地质区域可以对应于射孔操作之后的一个或多个井筒层段。此外，压力数据可以基于在井网上实时流送的地面处理压力测量值。或者，压力数据可以基于井下处理压力测量值，井下处理压力测量值在井网上从布置在井筒中的井下传感器(例如，附接到井下套管柱和/或压裂塞)实时地流送，例如，如下面图5中所述。此外，压力数据可以基于一种类型的压力传感器和/或地面和井下处理压力测量的组合。在一些实施例中，使用来自先前的水力增产操作的历史压力数据。
63.转到图5，图5示出了根据一个或多个实施例的各种井下传感器。在图5中，井系统500包括套管506，该套管506具有设置在井筒的一个区段的端部处的压裂塞504。如图所示，井系统500包括多个射孔簇(例如，射孔簇a 501、射孔簇b 502、射孔簇n 503)，其中流体(例如，流体流q510)流过射孔簇。特别地，可以在井系统500处执行各种塞-射孔操作(plug-and-perfoperation)。例如，塞-射孔操作可包括在预定深度设置压裂塞，随后对井筒内的区域射孔。在裸眼完井中，可将球泵入井筒中以移动球致动套筒或端口，该球致动套筒或端口隔离先前压裂的阶段并打开多个压裂套筒或端口，压裂增产流体可在该多个压裂套筒或端口处离开套管并与地层连通。之后，压裂塞/球可以溶解或被钻出，以允许流体从井筒流出。在一个阶段完成后，设置另一个压裂塞，并在塞-射孔完井中形成一组新的射孔。类似地，在裸眼完井中完成一个阶段之后，将另一个球泵送到井筒中。重复压裂流体过程，即，沿井筒从端部(例如，水平井中的趾部)向上移动到开始(例如，跟部)。压裂塞/球可作为止回阀操作，以提供井筒层位隔离，例如，在多阶段增产处理中的层位之间。压裂塞/压裂球可在增产期间隔离下部层位，但一旦增产操作结束，则允许流体从下方流动。压裂塞/球的实例包括可溶解压裂塞/球和复合压裂塞/球。
64.在增产操作期间，可以使用各种井下传感器(例如，井下传感器a 507、井下传感器b 505)来监测流体流动。特别地，井下传感器(例如，井下传感器a507)可以耦接到套管506，而另一个井下传感器(例如，井下传感器b 505)可以耦接到压裂塞504。然而，在井筒或井系统内也可设想井下传感器的其它配置。
65.返回图4，在框410中，根据一个或多个实施例对压力数据执行一个或多个预处理操作。具体地，预处理操作可以包括对所获取的压力数据的压力曲线执行的平滑操作。例如，平滑操作可使用具有低通滤波器的离散傅立叶变换，或者可替代地使用中值滤波器或任何其它平滑方法，以去除压力瞬变。在预处理之后，可以根据图4中的工作流程来处理经预处理的压力数据，例如，水力增产管理器可以使用平滑压力曲线来确定时间导数压力数据。在一些实施例中，流量调节是基于使用平滑压力曲线的时间导数压力数据，而不利用时间导数压力数据的移动平均值(例如，从图4中的工作流程中去除框430)。在其他实施例中，平滑操作可以应用于从原始压力数据确定的时间导数压力数据。在这样的实施例中，流量调节基于使用原始压力曲线的经平滑的时间导数压力数据。
66.在一些实施例中，将一个或多个预处理操作应用于其它类型的数据输入，以确定泵系统的流量。例如，流量规则可以使用地面声学感测数据来确定流量调节。可以使用附接到井口的有源声学装置来获取地面声学感测数据。有源声学装置可以连续地发射和记录反射的声学信号，以给出关于裂缝扩展强度的指示(例如，较高的信号可以与较快的裂缝引发或扩展相关联，而较低的信号与较慢的裂缝引发或扩展相关联)。在一些实施例中，井下传
感器数据(例如分布式声感测(das)数据)可以被预处理以供水力增产管理器用来监测水力增产操作。
67.在框420中，根据一个或多个实施例，使用来自水力增产操作的压力数据确定时间导数压力数据。例如，水力增产管理器可以使用可用的压力数据或预处理的压力数据来确定时间导数压力数据(即dp/dt)。同样地，时间导数压力数据可以对应于由水力增产管理器进一步分析的压力曲线。
68.在框430中，根据一个或多个实施例，使用与更新间隔分离的时间窗来确定时间导数压力数据的移动平均值。移动平均值可以对应于在例如由时间窗的大小限定的采样周期上的时间导数压力数据的平均值。虽然可以获得用于水力增产操作的移动平均值，但是可以仅在由更新间隔指定的不同时间分析移动平均值。例如，更新间隔可指定用于确定关于一个或多个泵系统的流量调节的最小时间。通过使用移动平均值，流量处理可以减少或消除所获取的压力数据和对应的时间导数压力数据中固有的噪声水平。换句话说，移动平均值可以连续地反映压力曲线中的变化率，而较少地受到压力传感器测量中的局部噪声的干扰。
69.此外，时间窗可以与更新间隔分离，以提供用于流量处理的灵活架构。不是在一个分析阶段中评估压力数据并在随后的分析阶段中调节流量，而是水力增产管理器可确定用于调节流量的最佳时间窗和更新间隔。这样的流动处理技术可以解决在不同的水力增产环境中可能存在的不同水平的噪声。因此，一组时间窗参数可用于噪声操作中，而另一组时间窗参数可在不同的较少噪声环境中更好地工作。同样地，不同类型的期望裂缝网络也可以导致使用不同的更新间隔和时间窗。在一些实施例中，时间窗大小和更新间隔可在特定的水力增产操作期间例如随着噪声增加或减少而改变。为了说明的目的，图6m至图6t和下面的相应描述提供了时间窗分离的示例。
70.在一些实施例中，水力增产管理器可以获得与时间窗相关的一个或多个参数的用户选择，例如，限定特定的窗尺寸、用于基于移动平均值更新流量的特定的起始时间步长等。在一些实施例中，例如通过强化学习算法或另一机器学习算法来自动确定最佳窗大小。
71.在框440中，根据一个或多个实施例，基于一个或多个移动平均值和一个或多个预定流量规则来确定一个或多个流量调节。例如，流量规则可以包括以下输入参数中的一个或多个：起始流量(r0)、流量增量(r
in
)、目标流量(rf)、最大允许地面处理压力(p
max
)、窗大小(ws)和更新间隔(tu)。一些输入参数可以在水力增产操作期间(或在水力增产操作之间)保持恒定，而诸如窗大小和流量增量(即，ws和r
in
)的其它输入参数可以改变。例如，水力增产操作的目标可能是将流量从起始流量(例如r0＝5bbl/min)(rf＝～795l/min)增加到目标流量(例如rf＝30bbl/min)(rf＝～4770l/min)，同时保持最大允许地面处理压力低于特定值(例如p
max
＝4000psi)(p
max
＝275.8巴)。
72.在一些实施例中，流量调节是基于平滑压力数据，而没有使用移动平均值。例如，时间导数压力数据可以基于使用平滑操作处理的压力数据。这样，没有时间窗可以应用于基础压力数据，并且可以相应地修改框440。
73.在一些实施例中，一个或多个流量规则包括关于一个或多个水力增产参数的一个或多个阈值。例如，可以使用移动平均值的多个阈值(即，dp/dt
avg，t
)来相应地调节流量。因此，当dp/dt
avg，t
≤阈值1，则r
t
：＝r
t-1
+r
in
。假设阈值2＜阈值1，如果dp/dt
avg，t
≤阈值2，则r
t
：
＝r
t-1
+x*r
in
，其中x为指定的数字(例如，x＝2)。
74.在框450中，根据一个或多个实施例，基于一个或多个流量调节将一个或多个命令发送到一个或多个泵系统。基于特定的流量调节，命令可被形成为对应于特定的增产参数值，例如，流量、压力值、更新间隔值等。因此，命令可以是例如由控制系统产生的控制信号，或者是通过井网传输的调节一个或多个增产参数的网络消息。例如，命令可从井场地面上的水力增产管理器或控制系统传输到一个或多个泵系统中的一个或多个泵控制器。泵系统可以类似于以上在图1和相应说明中描述的泵系统(121、122、123)。在一些实施例中，一个或多个命令可以调节一个或多个水力增产操作的增产参数，例如，用于一个或多个泵系统的增产参数。有关水力增产作业的更多信息，请参见图1和图2以及上文相应的说明。
75.在框460中，根据一个或多个实施例，基于一个或多个命令执行一个或多个水力增产操作。如图4所示，可以针对水力增产操作来调节用于增加泵送流量的过程，例如，可以期望快速流量缓变而不是慢速流量缓变。对于手动流量调节，可能导致阶段到阶段执行的大的不一致性，这潜在地导致流体和支撑剂在给定增产阶段内的不同射孔簇之间的显著不均匀分布。对于水力压裂，这种不均匀的分布可能导致较差的性能。因此，水力增产管理器可使用流量规则和移动平均值来实现用于一个或多个水力增产操作的自主流量控制。
76.在一些实施例中，虽然图4中的过程示出了顺序的一系列操作，但是该过程还可以包括一个或多个迭代操作，诸如类似于以下在图7和相应描述中描述的更新循环的更新循环。例如，时间导数压力数据可在更新循环内由水力增产管理器迭代地获得和分析，以便确定是否进行一个或多个流量调节。
77.转到图6a至图6t，图6a至图6t提供了根据一个或多个实施例的流量调节的示例。以下实施例仅用于说明性目的，并不旨在限制所公开技术的范围。在图6a、图6b、图6c和图6d中，使用窗大小为五个时间步长(即ws＝5)且流量增量(r
in
)为5bbl/min的时间窗来确定流量。具体地，图6a示出了所获取的压力数据，图6b示出了时间导数压力数据，图6c示出了基于所选时间窗的移动平均值，以及图6d示出了相应的水力增产操作的相应流量调节。因此，图6a至图6d中的流量规则使用以下输入：r0＝5bbl/min(～7951/min)，r
in
＝5bbl/min(795l/min)，rf＝30bbl/min(4770l/min)，p
max
＝4000psi(275.8巴)，以及ws＝tu＝5。
78.在图6e、图6f、图6g和图6h中，使用窗大小为2个时间步长(即ws＝2)且流量增量为5bbl/min(795l/min)的时间窗来确定流量。类似于图6a、图6b、图6c和图6d，图6e、图6f、图6g和图6h分别对应于水力增产操作的压力数据、时间导数压力数据、移动平均值和流量调节。因此，图6e至图6h中的流量规则使用以下输入：r0＝5bbl/min，r
in
＝5bbl/min(795l/min)，rf＝30bb1/min(4770l/min)，p
max
＝4000psi(275.8巴)，以及ws＝tu＝2。从图6d和图6h可以看出，当窗大小减小时，流量调节对处理压力的波动更敏感。
79.在图6i、图6j、图6k和图6l中，使用窗大小为2个时间步长(即ws＝2)且流量增量为2.5bbl/min的时间窗来确定流量。类似于图6a、图6b、图6c和图6d，图6i、图6j、图6k和图6l分别对应于水力增产操作的压力数据、时间导数压力数据、移动平均值和流量调节。因此，图6i至图6l中的流量规则使用以下输入：r0＝5bbl/min(7951/min)，r
in
＝5bbl/min(795l/min)，rf＝30bbl/min(47701/min)，p
max
＝4000psi(275.8巴)，以及ws＝tu＝2。从图6h和图6l可以看出，使用相同的窗大小，减小流量增量导致更平缓的流量增加。
80.在图6m、图6n、图6o、图6p、图6q、图6r、图6s和图6t中，图6m至6t示出了将窗大小和
更新间隔分离的示例。在图6m、图6n、图6o和图6p中，使用具有四个时间步长的窗大小(即ws＝4)的时间窗来确定流量，该窗大小与四个时间步长的更新间隔(即tu＝4)的大小相同。相比之下，图6q、图6r、图6s和图6t示出了不同的情况，其中使用具有四个时间步长的窗大小(即ws＝4)的时间窗来确定流量，该窗大小与2个时间步长的更新间隔(即tu＝2)的大小不同。因此，图6p和图6t所示的流量调节是不同的，尽管处理压力数据相同。
81.转向图7，图7示出了根据一个或多个实施例的流程图。具体地，图7描述了使用流量规则来确定推荐流量调节以供用户选择的特定方法。图7中的一个或多个框可由如图1、图2和图3中所述的一个或多个部件(例如，水力增产管理器x 180)来执行。虽然顺序地呈现和描述了图7中的各个框，但是本领域普通技术人员将理解，这些框中的一些或全部可以以不同的顺序执行，可以被组合或省略，并且这些框中的一些或全部可以并行执行。此外，可以主动地或被动地执行这些框。
82.在框700中，根据一个或多个实施例启动水力增产操作。特别地，水力增产操作可由水力增产管理器自动启动。在一些实施例中，操作人员提供一个或多个用户输入以开始例如在流体控制系统、泵系统和/或支撑剂系统处的水力增产操作。
83.在框705中，根据一个或多个实施例，选择起始时间步长以确定一个或多个流量调节。例如，起始时间步长可以是用于分析可能的流量调节或泵系统操作的开始的当前时间步长。同样地，起始时间步长可以是在泵送流量(r
t
)下的起始流量(r0)处的时间步长零。
84.在框710中，根据一个或多个实施例，对于选定的时间步长获得关于一个或多个泵系统的流量数据。例如，可从一个或多个流量计获取流量数据，以用于基于一个或多个流量规则确定流量调节。在一些实施例中，不收集流量数据来确定流量调节。
85.在框720中，根据一个或多个实施例，在选定的时间步长获得关于一个或多个泵系统的压力数据。例如，框720可以类似于以上在图4和相应描述中描述的框400。
86.在框730中，根据一个或多个实施例，基于压力数据确定时间导数压力数据。例如，框730可以类似于以上在图4和相应描述中描述的框420。
87.在框740中，根据一个或多个实施例，确定用于分析时间导数压力数据的时间窗。在一些实施例中，例如，时间窗可以是动态时间窗，其具有在水力增产操作期间调节的窗尺寸。可以响应于检测到水力增产操作内的噪声的增加和/或减少来执行窗大小调节。
88.在一些实施例中，为诸如密度数据或声感测数据的非压力数据确定移动平均值和/或平滑值(例如，使用具有低通滤波器的离散傅立叶变换或任何其它平滑方法)。在传感器数据在水力增产操作期间具有显著干扰或噪声的情况下，可以确定非压力数据的相应移动平均值和/或平滑值以用于流量调节。
89.在框750中，根据一个或多个实施例，使用时间窗和时间导数压力数据来确定移动平均值。例如，框750可以类似于以上在图4和相应描述中描述的框430。在一些实施例中，平滑压力数据被用于确定用于推荐流量调节的时间导数压力数据(即，时间导数压力数据的移动平均值不被用于推荐流量调节)。
90.在框760中，根据一个或多个实施例，基于一个或多个预定流量规则、流量数据、更新间隔和移动平均值来确定一个或多个推荐流量调节。在每个时间步长，水力增产管理器可以基于时间导数压力数据的移动平均值来确定推荐流量调节。可以根据更新间隔来确定推荐流量调节。同样地，可以确定两个或更多个推荐流量调节并将其提供给用户设备。例
如，移动平均值可用于确定可在图形用户界面内显示给用户的流量调节表。当在水力增产操作期间进行另外的时间步长时，可以相应地修改一个或多个流量调节表。
91.在一些实施例中，水力增产管理器执行流量算法。最初，水力增产管理器可以验证是否满足四个标准：1)当前时间步长(t)是否可被更新间隔(tu)整除；2)先前时间步长的流量(r
t-1
)是否小于目标流量(rf)？；3)当前时间步长的水力增产操作的处理压力(p
t
)是否小于最大允许处理压力(p
max
)；以及4)当前时间步长的压力导数的移动平均值(dp/dt
avg，t
)是否小于或等于零。如果满足以上所有四个标准，则推荐流量调节被确定为包括在先前时间步长(r
t-1
)处的先前流量和附加流量增量(r
in
)的经调节的流量。之后，算法可移动到下一时间步长(t+1)和后续时间步长，以确定是否需要另一流量调节。
92.继续描述流量算法，如果不满足上述四个标准中的一个或多个，则流量算法可以验证是否满足两个附加标准：1)当前时间步长(t)是否可被更新间隔(tu))整除？；以及2)当前时间步长的处理压力(p
t
)是否大于或等于最大允许处理压力(p
max
)。如果两个附加标准均满足，则推荐流量调节可以是先前时间步长(r
t-1
)的流量减去单个流量增量(r
in
)。流量算法可前进到下一时间步骤(t+1)以确定另外的流量调节。但是，如果违反了上述两个附加标准中的一个或两个，则可推荐当前流量，即先前时间步长(r
t-1
)处的流量。
93.在一些实施例中，流量算法是基于流量数据，该流量数据基于测量的泵送流量。例如，推荐流量调节可以以测量的流量为基础。特别地，可以连续地获取测量的压力和测量的流量数据。因此，水力增产管理器可以使用附加规则来确定在当前时间步长的推荐流量和在先前时间步长的测量流量之间的差是否大于某个阈值(例如，大于一个流量增量)。如果满足该条件，则推荐流量可变为与先前时间步长中的推荐流量相同。
94.在框765中，根据一个或多个实施例，在图形用户界面内呈现一个或多个推荐流量调节。
95.转到图8a、转8b、转8c和转8d，图8a至图8d提供了根据一个或多个实施例的确定推荐流量调节的示例。在图8a中，处理压力与上述图6a、图6e、图6i、图6m和图6q中所示的压力数据相同。因此，图8b中的时间导数压力数据与上述图6b、图6f、图6j、图6n和图6r中的时间导数数据相同。因此，图8c中的移动平均值是基于具有窗大小ws＝4秒的时间窗。在图8d中，基于tu＝2秒的更新间隔和测量的流量来确定推荐流量。在上面的图6a至图6t描述了独立于测量的流量数据的流量规则(除了在达到目标流量时)的情况下，这里的流量推荐算法检查当前时间步长的推荐流量和先前时间步长的测量的流量之间的差是否大于某个阈值(例如，大于一个流量增量)。如果满足此条件，则推荐流量将与先前时间步长中的推荐流量相同。
96.此外，通过使图8a至图8d中的流量规则取决于来自先前时间步长的测量的流量数据，流量处理可以实时地处理流量调节中的滞后时间。这可允许泵系统跟上推荐流量调节。因此，各种流量规则可实现用于流量控制的咨询系统，其中水力增产管理器连续地获得所获取的压力数据和流量数据，同时还基于预定义的更新间隔来推荐流量调节。推荐流量可被显示，以供操作人员手动调节流量(而不是使用完全自主的系统)。一种咨询系统可用于大规模应用中，其中边缘设备在连续读取压力数据和流量数据的同时显示推荐流量调节。
97.返回图7，在框770中，使用根据一个或多个实施例的图形用户界面来获得对一个或多个推荐流量调节的选择。例如，水力增产管理器可以与一个或多个用户设备通信，例如
位于井场的人机界面。然后，用户可以选择哪个推荐流量用于水力增产操作。
98.在框775中，根据一个或多个实施例，基于对一个或多个推荐流量调节的选择，发送一个或多个命令以调节关于一个或多个泵系统的一个或多个流量。
99.在框780中，根据一个或多个实施例，确定水力增产操作是否完成。例如，水力增产作业可被指定用于完成的特定时间范围，例如，当连接到流动管汇的泵系统被指定用于终止操作时。同样地，一旦达到目标流量，图7中描述的过程就可以终止。当水力增产操作完成时，该过程可以结束。在水力增产操作未完成的情况下，该过程可以进行到框790。
100.在框790中，根据一个或多个实施例，基于更新间隔选择另一时间步长用于分析水力增产操作。例如，时间步长可以根据特定的时间步长间隔(例如1秒)而递增。同样地，可以基于更新间隔来选择下一时间步长。在一些实施例中，时间步长之间的增量例如由于在水力增产操作期间检测到增加的噪声而改变。
101.虽然上面的图4和图7描述了用于水力增产操作(例如水力压裂处理)中的自主流量控制的各种实施例，但是可以设想包括需要响应于周围环境中的变量而被调节的各种流量控制过程(或其它控制过程)的其它实施例。例如，在主控制器管理一个或多个泵系统的任何情况下，可以使用类似的技术来确定流量调节。
102.转到图8e，图8e提供了根据一个或多个实施例的确定流量调节的示例。以下实施例仅用于说明性目的，并不旨在限制所公开技术的范围。在图8e中，图8e示出了具有相应的传感器数据(即压力数据x 811和流量数据y 812)的井x 810。对于压力数据x 811，首先应用时间导数函数841以产生时间导数压力数据(未示出)。然后，将移动平均函数842应用于时间导数压力数据，以产生时间导数压力数据的移动平均值830。通过使用移动平均值830和流量数据y812，流量规则函数850确定泵系统的流量调节z 860。
103.在一些实施例中，在图4、图5、图6a至图6t、图7和图8a至图8d中所涉及的压力数据可以基于：1)从井口和/或泵地面传感器通过井网实时传输的地面处理压力测量结果；2)从布置在井筒中的井下传感器(例如，附接至井下套管柱和/或压裂塞和/或任何其他井下完井设备的传感器)通过井网实时流送的井下处理压力测量结果；或3)地面和井下处理压力测量两者和/或任何给定的组合。与地面处理压力测量相比，使用井下压力测量的优点可以是，可以更快地捕获对水力增产操作的地层响应，其中，可以在距离目标地层很长的距离处感测压力。此外，井下压力测量值用实际井下测量值代替了由于流体沿套管柱向下泵送而引起的摩擦压力的通常估计，因此在压裂操作期间可以捕获地层响应的更准确的表示。
104.转向图9，图9示出了根据一个或多个实施例的强化学习系统。如图9所示，强化学习系统(例如，强化学习系统915)可以包括一个或多个泵代理(例如，泵代理x 951、泵代理y 952、泵代理z 953)，这些泵代理包括用于执行一个或多个动作(例如，动作x 971、动作y 972、动作z 973)的硬件和/或软件。在一些实施例中，例如，泵代理可对应于泵系统，诸如图1和相应描述中的泵系统(121、122、123)。在另一个实施例中，泵代理可以是特定泵系统中的泵控制器。同样，在一些实施例中，泵代理仅对应于水力增产管理器对分布在多个泵系统中的水力增产操作的控制。因此，动作(971、972、973)可对应于水力增产管理器的命令或由泵控制器实施的特定泵操作。
105.继续描述图9，强化学习算法可以基于代理与特定环境的交互来确定动作。换句话说，环境可以定义由这些动作产生的一个或多个状态，并且其可以被描述为马尔可夫决策
过程(mdp)。因此，特定环境可以具有s组状态、a组动作，其中p(s’|s，a)转移模型可以描述状态s中的动作a导致状态s’的概率和r(s，a)奖励函数。代理可以基于代理的策略π对该环境执行不同的动作。关于水力增产操作的环境，由泵代理执行的各种动作可导致水力增产环境的一个或多个状态的改变。例如，水力增产环境(例如，水力增产环境x 965)可以是真实世界的井环境，其中多个机械代理与该真实世界的环境相互作用。
106.基于特定代理的动作，例如，水力增产环境可经历各种物理效应，这些物理效应在压力值(例如，压力值963)、声感测值(例如，可从das系统获取的声感测值962)和/或流量值(例如，流量值961)的变化中被具体化。同样地，水力增产环境可以是特定地质的输出(例如，由地质值964表示)。例如，页岩储层和碳酸盐地层可基于它们的地质差异而具有不同的水力增产环境。在一些实施例中，水力增产环境是模拟环境，其中泵代理可被实现为与模拟环境交互的一个或多个计算机。例如，水力增产操作可被模拟为视频游戏，其中泵代理可被模拟为玩视频游戏的用户。
107.在一些实施例中，强化学习系统包括动作选择器引擎(例如，动作选择器引擎a 920)。特别地，动作选择器引擎包括硬件和/或软件，该硬件和/或软件具有用于基于表征水力增产环境的一个或多个当前状态的一个或多个代理策略(例如，代理策略921)和观测数据(例如，观测数据a 980)来确定一个或多个动作的功能。动作选择器引擎的一些示例可以包括机器学习模型，诸如人工神经网络或随机森林，其基于观测数据内的各种输入特征来确定动作。取决于对观测数据的改变，可以例如通过命令或控制信号来指示泵代理执行特定动作。在另一个实施例中，动作选择器引擎确定用于井网中的部件的实际命令(例如，动作可对应于调节图1中的泵系统a 121的泵操作的命令x 171)。在另一个实施例中，动作选择器引擎确定由泵代理用于调节泵操作的动作得分，其中不同的动作得分对应于不同的流量调节。
108.转向观测数据，观测数据可包括压力数据、流量数据、地质数据(诸如从测井数据或地震数据获取的)、以及声学感测数据(例如，来自das系统)。在特定时间步长的观测数据可以包括可以有益于表征水力增产环境的来自先前时间步长的数据。在一些实施例中，强化学习系统可以包括回放缓冲器(例如，回放缓冲器990)，其存储与不同的泵代理轨迹(例如，泵代理x轨迹991、泵代理y轨迹992、泵代理z轨迹993)相关联的观测数据。例如，轨迹可以指定表征环境的相应状态的观测序列。在一些实施例中，轨迹可以对应于水力增产环境的不同状态的向量、由各种泵代理执行的不同动作和/或响应于不同动作而获得的各种奖励值。
109.在一些实施例中，强化学习系统使用一个或多个纯强化学习算法(例如，在没有专家演示的情况下)来确定一个或多个代理的代理策略。纯强化学习算法可以从随机策略开始，该随机策略基于使用奖励函数接收的各种奖励通过试错法被不断改进。例如，可以使用用于水力压裂环境的软件模拟器来训练策略。所得到的模拟训练的策略可以提供实际增产操作中的起点以进一步改进策略。
110.在一些实施例中，强化学习系统包括训练系统(例如，训练系统935)。该训练系统可以耦合到动作选择器引擎，并且包括具有用于更新相应代理策略中的一个或多个策略参数(例如，策略参数922)和/或相应奖励函数中的一个或多个奖励参数(例如，奖励参数924)的功能的硬件和/或软件。特别地，训练系统可以使用训练数据(例如，训练数据945)来使用
一个或多个机器学习算法(例如，机器学习算法c 933)迭代地更新代理策略和/或奖励函数。在此，训练数据可包括专家的演示或轨迹，其可通过使人能够控制泵代理的动作并记录所得到的对水力增产环境的专家观测而获得。专家演示还可对应于历史数据(例如，历史观测数据a 946)、增强数据(例如，增强观测数据a 947)和/或合成数据(例如，合成观测数据c 948)，其提供关于水力增产环境的特定状态的优化动作。因此，训练系统可以使用损失函数(例如，损失函数d 934)来确定专家的演示与基于一个或多个代理策略的所选动作之间的差异。训练系统可以使用该差异来通过一个或多个模仿学习过程来更新强化学习系统内的参数。
111.对于模仿学习过程，强化学习系统可以使用模仿学习过程来从专家的演示或监督信号中学习最优代理策略或最优奖励函数。这样的技术可以区别于从稀疏奖励或通过手动指定奖励函数来学习的纯强化学习算法。换句话说，通过让教师演示期望的行为而不是人工设计这种行为，强化学习系统可以具有更容易的途径来学习最优代理策略或实际奖励函数。因此，专家的演示可以形成轨迹τ＝(s0，a0，s1，a1，...)，其中专家的动作由专家的策略确定，这可以对应于最优策略。在一些实施例中，可以在训练过程期间询问专家，以获得用于特定水力增产环境的训练数据。
112.在一个实施例中，模仿学习过程是行为克隆过程。例如，强化学习系统可以使用行为克隆来直接从一个或多个状态映射到一个或多个动作，从而形成状态-动作对。基于专家的演示，可以使用监督学习和损失函数来确定这些状态-动作对。具有一组可识别的状态的水力增产环境可以很好地适合于行为克隆过程。
113.在另一个实施例中，模仿学习过程是直接策略学习(dpl)过程或直接策略搜索过程，其使用训练数据来确定最大化预期奖励和/或减少预期损失的代理策略。具体地，dpl过程可以在训练过程期间迭代地访问交互式专家。利用足够的训练数据，泵代理可以记住过去的错误，并训练代理策略，以便收敛于最优策略。例如，dpl过程可以实现数据聚合算法或策略聚合算法。在数据聚合算法中，数据聚合算法可以使用整个训练数据集来训练代理策略。在策略聚合算法中，策略聚合算法基于在先前迭代中获得的训练数据来训练代理策略，并且随后使用几何混合来将当前策略与先前策略组合。
114.在另一个实施例中，模仿学习过程是逆强化学习(irl)过程。例如，irl过程可以基于专家的演示来确定水力增产环境的奖励函数。在确定实际奖励函数之后，irl过程可以使用强化学习来确定最大化所识别的奖励函数的最优策略。特别地，奖励函数可以被参数化(例如，奖励参数924)，并且奖励参数可以被迭代地更新。在识别了奖励函数和最优策略之后，可以将最优策略与所识别的专家的策略进行比较。
115.继续描述irl过程，irl过程方法可以是基于模型的算法或无模型算法。在基于模型的算法中，强化学习系统可以确定用于学习代理的策略的水力增产环境的线性奖励函数或正演模型。在无模型算法中，奖励函数可以是复杂的，因此可以使用机器学习模型(例如，神经网络)来近似复杂的奖励函数。
116.虽然图9示出了部件的各种配置，但是在不脱离本公开的范围的情况下可以使用其它配置。例如，图9中的各种部件可以组合以形成单个部件。作为另一个示例，由单个部件执行的功能可以由两个或更多个部件执行。
117.转向图10，图10示出了根据一个或多个实施例的流程图。具体地，图10描述了使用
强化学习算法来确定流量规则的特定方法。图10中的一个或多个框可由如图1、图2、图3和图9中所描述的一个或多个部件(例如，水力增产管理器x 180或强化学习系统110)来执行。虽然顺序地呈现和描述了图10中的各个框，但是本领域普通技术人员将理解，这些框中的一些或全部可以以不同的顺序执行，可以被组合或省略，并且这些框中的一些或全部可以并行执行。此外，可以主动地或被动地执行这些框。
118.在框1000中，根据一个或多个实施例，启动具有水力增产环境的水力增产操作。
119.在框1010中，根据一个或多个实施例，获得关于水力增产环境的观测数据。
120.在框1020中，根据一个或多个实施例，基于观测数据、代理策略和强化学习算法来确定用于泵代理的动作。例如，强化学习可用于在水力增产操作期间控制流量。
121.在一些实施例中，可以使用历史压裂数据来训练代理策略，其中先前使用基于规则的算法来控制流量。一种用于训练代理策略的技术可以包括使用先前的压裂数据在获得相对较低的压力值时分配正奖励，在获得更平滑的整体压力行为(例如，避免突然的压力尖峰)时分配正奖励，在获得压力的突然增加时分配负奖励，等等。因此，可以训练代理策略以推荐各种流量调节，从而实现平缓的压力缓变和期望的压力行为。通过增加水力增产操作的次数，代理可以学习和改进。
122.在框1030中，根据一个或多个实施例，响应于泵代理的动作的执行，获得关于水力增产环境的观测数据。
123.在框1040中，根据一个或多个实施例，使用观测数据和与泵代理相关联的奖励函数来确定奖励值。在强化学习算法中，泵代理可以在水力增产环境中执行动作，然后接收正的或负的奖励。例如，泵代理的目标可以是在长期内最大化其累积(正)奖励。
124.在框1050中，根据一个或多个实施例，基于奖励值更新代理策略。例如，强化学习系统可以基于通过先前动作获得的各种奖励来调节代理的策略。在一些实施例中，使用训练系统来更新代理策略。特别地，一个或多个模仿学习技术可用于基于训练数据来学习和/或调节代理策略或奖励函数。例如，可以使用损失函数来获得观测数据和训练数据之间的失配。因此，可基于与失配相关联的错误数据来调节策略参数或奖励参数。
125.在框1060中，根据一个或多个实施例，确定水力增产操作是否完成。当水力增产操作完成时，该过程可以结束。在水力增产操作未完成的情况下，该过程可以前进到框1020，以根据更新的代理策略确定泵代理的另一动作。
126.实施例可以在计算机系统上实现。图11是根据一实现的用于提供与如本公开中所描述的所描述的算法、方法、功能、过程、流程和过程相关联的计算功能的计算机系统1102的框图。所示的计算机1102旨在涵盖任何计算设备，诸如高性能计算(hpc)、服务器、台式计算机、膝上型/笔记本计算机、无线数据端口、智能电话、个人数据助理(pda)、平板计算设备、这些设备内的一个或多个处理器、或任何其他合适的处理设备，包括计算设备的物理或虚拟实例(或两者)。另外，计算机1102可以包括这样的计算机，该计算机包括输入设备，诸如小键盘、键盘、触摸屏或可以接受用户信息的其他设备，以及传送与计算机1102的操作相关联的信息的输出设备，该信息包括数字数据、视觉或音频信息(或信息的组合)、或gui。
127.计算机1102可以充当客户端、网络部件、服务器、数据库或其他持久性设备、或用于执行本公开中所描述的主题的计算机系统的任何其他部件(或角色的组合)的角色。所示的计算机1102与网络1130或云可通信地耦合。在一些实施方式中，计算机1102的一个或多
个部件可以被配置为在包括基于云计算的、本地的、全球的或其他环境(或环境的组合)的环境内操作。
128.在高层次上，计算机1102是可操作以接收、传送、处理、存储或管理与所描述的主题相关联的数据和信息的电子计算设备。根据一些实施方式，计算机1102还可以包括应用服务器、电子邮件服务器、web服务器、缓存服务器、流数据服务器、商业智能(bi)服务器或其他服务器(或服务器的组合)，或者与之可通信地耦合。
129.计算机1102可以通过网络1130或云从客户端应用程序(例如，在另一计算机1102上执行的客户端应用程序)接收请求，并且通过在适当的软件应用程序中处理所述请求来响应所接收的请求。此外，请求也可以从内部用户(例如，从命令控制台或通过其它适当的访问方法)、外部或第三方、其它自动化应用程序以及任何其它适当的实体、个人、系统或计算机发送到计算机1102。
130.计算机1102的每个部件可以使用系统总线1103进行通信。在一些实施方式中，计算机1102的任何或所有部件，无论是硬件还是软件(或硬件和软件的组合)，可以通过以下方式彼此连接或与接口1104连接(或两者的组合)：使用应用程序编程接口(api)1112或服务层1113(或api 1112)和服务层1113的组合的系统总线1103。api 1112可以包括用于例程、数据结构和对象类的规范。api 1112可以是独立于计算机语言的或依赖于计算机语言的，并且是指完整的接口、单个功能、或甚至一组api。服务层1113向计算机1102或可通信地耦合到计算机1102的其他部件(无论是否示出)提供软件服务。计算机1102的功能对于使用该服务层的所有服务消费者来说是可访问的。诸如由服务层1113提供的软件服务之类的软件服务通过定义的接口来提供可重用的、定义的业务功能。例如，该接口可以是以java、c++或其他合适的语言编写的软件，以可扩展标记语言(xml)格式或其他合适的格式提供数据。虽然被示为计算机1102的集成部件，但是替代实现可以将api 1112或服务层1113示为相对于计算机1102的其他部件或可通信地耦合到计算机1102的其他部件(无论是否示出)的独立部件。此外，api 1112或服务层1113的任何或所有部分可以被实现为另一软件模块、企业应用或硬件模块的子模块，而不脱离本公开的范围。
131.计算机1102包括接口1104。尽管在图11中被示为单个接口1104，但是根据计算机1102的特定需要、期望或特定实现，可以使用两个或更多个接口1104。接口1104由计算机1102用于与连接到网络1130的分布式环境中的其它系统通信。通常，接口1104包括编码在软件或硬件(或软件和硬件的组合)中并且可操作以与网络1130通信的逻辑。更具体地，接口1104可以包括支持与通信相关联的一个或多个通信协议的软件，使得网络1130或接口的硬件可用于在所示计算机1102的内部和外部传送物理信号。
132.计算机1102包括至少一个计算机处理器1105。尽管在图11中被示为单个计算机处理器1105，但是根据计算机1102的特定需要、期望或特定实现，可以使用两个或更多个处理器。总体而言，计算机处理器1105执行指令并操纵数据以执行计算机1102的操作以及如本公开中所描述的任何算法、方法、功能、过程、流程和过程。
133.计算机1102还包括存储器1106，其保存用于计算机1102或可连接到网络1130的其它部件(或两者的组合)的数据。例如，存储器1106可以是存储与本公开一致的数据的数据库。尽管在图11中被示为单个存储器1106，但是根据计算机1102和所描述的功能的特定需要、期望或特定实现，可以使用两个或更多个存储器。虽然存储器1106被示为计算机1102的
集成部件，但是在替换实现中，存储器1106可以在计算机1102的外部。
134.应用程序1107是算法软件引擎，其根据计算机1102的特定需要、期望或特定实施方案提供功能性，尤其是关于本发明中所描述的功能性。例如，应用程序1107可以用作一个或多个部件、模块、应用程序等。此外，尽管被示为单个应用程序1107，但是应用程序1107可以被实现为计算机1102上的多个应用程序1107。此外，尽管被示为与计算机1102集成，但是在替换实现中，应用程序1107可以在计算机1102外部。
135.可以存在与包含计算机1102的计算机系统相关联或在包含计算机1102的计算机系统外部的任何数量的计算机1102，每个计算机1102通过网络1130通信。此外，术语
″
客户端
″
、
″
用户
″
和其它适当的术语可以在不脱离本公开的范围的情况下适当地可交换地使用。此外，本公开预期许多用户可以使用一个计算机1102，或者一个用户可以使用多个计算机1102。
136.在一些实施例中，计算机1102被实现为云计算系统的一部分。例如，云计算系统可以包括一个或多个远程服务器以及各种其他云部件，诸如云存储单元和边缘服务器。具体地，云计算系统可以执行一个或多个计算操作，而无需用户设备或本地计算机系统的直接主动管理。这样，云计算系统可以具有从中央服务器分布在多个位置上的不同功能，其可以使用一个或多个因特网连接来执行。更具体地，云计算系统可以根据一个或多个服务模型来操作，诸如基础设施即服务(iaas)、平台即服务(paas)、软件即服务(saas)、移动
″
后端
″
即服务(mbaas)、无服务器计算和/或功能即服务(faas)。
137.尽管以上仅详细描述了几个示例性实施例，但是本领域技术人员将容易地理解，在不实质上脱离本发明的情况下，在示例性实施例中可以进行许多修改。因此，所有这样的修改都旨在包括在由所附权利要求限定的本公开的范围内。在权利要求中，任何功能性限定结构旨在覆盖本文中描述为执行所述功能的结构和那些结构的等同物。类似地，权利要求中的任何功能性限定步骤旨在覆盖本文中描述为执行所述功能的动作和这些动作的等同物。

技术特征：
1.一种方法，包括：由计算机处理器(1105)基于关于正在地质区域中执行水力增产操作的泵系统(121；122；123)的压力数据来确定时间导数压力数据；由所述计算机处理器(1105)基于所述时间导数压力数据和预定时间窗来确定移动平均值；由所述计算机处理器(1105)基于所述移动平均值、用于调节流量的更新间隔以及一个或多个预定流量规则来确定所述泵系统(121；122；123)的流量调节，其中所述预定时间窗的大小与所述更新间隔不同；以及由所述计算机处理器(1105)并且基于所述流量调节，将改变所述水力增产操作内的流量的命令发送至所述泵系统(121；122；123)。2.根据权利要求1所述的方法，其中，所述压力数据从多个井下传感器(161；162；163；321)获得，所述多个井下传感器(161；162；163；321)包括耦接到井筒的套管(506)的第一井下传感器(507)和耦接到所述井筒内的压裂塞(504)的第二井下传感器(505)，并且其中，所述多个井下传感器(321)通过井网(100)将所述压力数据实时地流送到设置在井场的地面处的水力增产管理器(180)。3.根据权利要求1至2中任一项所述的方法，其中，所述一个或多个预定流量规则由包括动作选择器引擎(920)和训练系统(935)的强化学习系统(110)确定，其中，所述一个或多个预定流量规则对应于由强化学习算法确定的一个或多个代理策略，并且其中，所述一个或多个预定流量规则限定动态时间窗的大小、流量调节增量的大小、以及用于增加、减少和维持泵系统(121；122；123)的流量的多个条件。4.根据权利要求1至3中任一项所述的方法，其中，所述一个或多个预定流量规则包括第一规则、第二规则和第三规则，其中，所述第一规则对应于当时间导数压力数据的所述移动平均值为正时不进行流量调节，其中，所述第二规则对应于当时间导数压力数据的所述移动平均值为负或等于零时的正流量增量，并且其中，所述第三规则对应于当在当前时间步长处的压力值等于或大于预定最大压力值时的负流量增量。5.根据权利要求1至4中任一项所述的方法，还包括：从流量传感器获得关于所述泵系统(121；122；123)的流量数据，其中，所述一个或多个流量规则基于来自先前时间步长的流量数据。6.根据权利要求1至5中任一项所述的方法，还包括：基于所述移动平均值和所述一个或多个预定流量规则来确定所述泵系统(121；122；123)的多个推荐流量调节；在用户设备(1102)中的图形用户界面(1104)内呈现所述多个推荐流量调节；响应于在所述多个推荐流量调节中选择推荐流量调节，向所述泵系统(121；122；123)
发送命令以实施所述推荐流量调节。7.根据权利要求1至6中任一项所述的方法，还包括：根据所述压力数据确定压力曲线；以及使用具有低通滤波器的离散傅立叶变换或使用中值滤波器对所述压力曲线执行平滑操作，以产生平滑压力曲线，并且其中，使用所述平滑压力曲线来确定所述时间导数压力数据。8.根据权利要求1至7中任一项所述的方法，其中，所述泵系统(121；122；123)在水力增产操作期间以预定流量将水力压裂液输送到井筒中，其中，所述水力压裂液包含至少一种支撑剂，并且其中，所述水力压裂液从所述井筒横向地产生裂缝网络。9.一种方法，包括：由计算机处理器(1105)获得关于水力增产环境(965)的第一观测数据，其中，所述第一观测数据包括关于水力增产操作的压力数据和流量数据；由所述计算机处理器(1105)并基于代理策略和所述第一观测数据来确定泵代理(951；952；953)的第一动作，其中，所述泵代理(951；952；953)对应于耦接至井筒的泵系统(121；122；123)、流体控制系统和支撑剂系统(192)，并且其中，所述第一动作对应于用于所述泵系统(121；122；123)的流量调节；响应于所述泵代理(951；952；953)执行第一动作，由所述计算机处理器(1105)获得关于水力增产环境(965)的第二观测数据；由所述计算机处理器(1105)基于所述第二观测数据和奖励函数确定所述泵代理(951；952；953)的奖励值；以及由所述计算机处理器(1105)基于所述奖励值更新所述代理策略以产生更新的策略，其中，所述更新的策略确定用于泵代理的一个或多个动作(951；952；953)。10.根据权利要求9所述的方法，还包括：通过训练系统(935)获得关于所述泵代理的训练数据(951；952；953)；以及由所述训练系统(935)并基于损失函数来确定所述训练数据与关于一个或多个水力增产操作的第三观测数据之间的失配；并且其中，基于所述失配来调节所述更新的策略的多个策略参数。11.根据权利要求9至10中任一项所述的方法，还包括：由回放缓冲器(990)获得关于多个泵代理(951；952；953)的多个泵代理轨迹；以及基于所述多个泵代理轨迹更新与所述多个泵代理(951；952；953)中的至少一个相关联的奖励函数以产生更新的奖励函数；以及使用所述更新的奖励函数来更新与所述多个泵代理(951；952；953)相关联的多个代理策略。12.根据权利要求9至11中任一项所述的方法，其中，使用与训练压力数据和训练流量数据相对应的训练数据来更新所述代理策略。13.根据权利要求9至12中任一项所述的方法，其中，所述第一观测数据包括从布置在所述井筒中的分布式声感测(das)系统获得的
声传感器数据(962)；和/或其中，所述第一观测数据包括从安装在所述井口上的地面声学装置或连接到所述井口的其它地面设备获得的声传感器数据。14.一种系统(300)，包括：泵系统(121；122；123)，所述泵系统包括容积泵；耦接到所述泵系统的多个传感器(161；162；163)，其中所述多个传感器(161；162；163)确定关于水力增产操作的压力数据；和包括计算机处理器的水力增产管理器(180)，其中，所述水力增产管理器(180)耦接到所述泵系统(121；122；123)，所述水力增产管理器(180)包括以下功能：基于关于所述泵系统(121；122；123)的压力数据确定时间导数压力数据；基于所述时间导数压力数据和预定时间窗确定移动平均值；基于所述移动平均值、用于调节流量的更新间隔以及一个或多个预定流量规则来确定用于所述泵系统(121；122；123)的流量调节，其中，所述预定时间窗的大小不同于所述更新间隔；以及基于所述流量调节，将改变所述水力增产操作内的流量的命令发送到所述泵系统(121；122；123)。15.根据权利要求14所述的系统(300)，其中，所述一个或多个预定流量规则由包括动作选择器引擎(920)和训练系统(935)的强化学习系统(110)确定，其中，所述一个或多个预定流量规则对应于由强化学习算法确定的一个或多个代理策略，并且其中，所述一个或多个预定流量规则限定动态时间窗的大小、流量调节增量的大小以及用于增加、减少和维持所述泵系统(121；122；123)的流量的多个条件。16.根据权利要求14至15中任一项所述的系统(300)，其中，所述一个或多个预定流量规则包括第一规则、第二规则和第三规则，其中，所述第一规则对应于当时间导数压力数据的所述移动平均值为正时不进行流量调节，其中，所述第二规则对应于当时间导数压力数据的所述移动平均值为负或等于零时的正流量增量，并且其中，所述第三规则对应于当在当前时间步长处的压力值等于或大于预定最大压力值时的负流量增量。17.根据权利要求14至16中任一项所述的系统(300)，其中，所述水力增产管理器(180)还包括以下功能：基于所述移动平均值和所述一个或多个预定流量规则来确定所述泵系统(121；122；123)的多个推荐流量调节；在用户设备(1102)中的图形用户界面(1104)内呈现所述多个推荐流量调节；响应于在所述多个推荐流量调节中选择推荐流量调节，向所述泵系统(121；122；123)发送命令以实施所述推荐流量调节。18.根据权利要求14至17中任一项所述的系统，其中，所述水力增产管理器(180)还包
括以下功能：获得关于水力增产环境的第一观测数据(965)；基于代理策略和所述第一观测数据(965)确定泵代理(951；952；953)的第一动作，其中，所述泵代理(951；952；953)对应于所述泵系统(121；122；123)，并且其中，所述第一动作对应于所述泵系统(121；122；123)的流量调节；响应于所述泵代理(951；952；953)执行所述第一动作，获得关于所述水力增产环境的第二观测数据；基于所述第二观测数据和奖励函数确定所述泵代理(951；952；953)的奖励值；以及基于所述奖励值更新所述代理策略以产生更新的策略，其中，所述更新的策略确定所述泵代理(951；952；953)的一个或多个动作。19.根据权利要求14至18中任一项所述的系统，还包括：训练系统(935)，所述训练系统获得关于多个泵代理(951；952；953)的训练数据，其中，基于损失函数以及所述训练数据与关于一个或多个水力增产操作的观测数据之间的失配来训练所述泵代理(951；952；953)，并且其中，基于所述失配来调整所述更新的策略的多个策略参数。20.根据权利要求19所述的系统，还包括：回放缓冲器(990)，该回放缓冲器获得关于多个泵代理(951；952；953)的多个泵代理轨迹，其中，所述训练系统(935)基于所述多个泵代理轨迹来更新奖励函数。

技术总结
一种方法可包括基于关于正在地质区域中执行水力增产操作的泵系统(121；122；123)的压力数据来确定时间导数压力数据。该方法还可以包括基于时间导数压力数据和预定时间窗确定移动平均值。该方法还可以包括基于移动平均值、用于调整流量的更新间隔和预定流量规则来确定用于泵系统(121；122；123)的流量调节。预定时间窗的大小可以不同于更新间隔。该方法还可以包括使用平滑压力数据来确定时间导数压力数据。该方法还可以包括基于从平滑压力数据导出的时间导数压力数据来确定泵系统(121；122；123)的流量调节。123)的流量调节。123)的流量调节。


技术研发人员：M
受保护的技术使用者：沙特阿拉伯石油公司
技术研发日：2022.02.02
技术公布日：2023/10/7