随着物联网和传感器技术不断的发展，行业汇集了海量的水情数据，然而由于设备故障或者人为原因会导致数据错报、误报、漏报，基于错误数据进行数据分析挖掘就会产生明显失真的成果，这就导致虽有海量数据却无法深入挖掘其价值，对指挥决策的支持不够。目前行业更多地从数据分析成果返溯数据，存在一定的滞后性与随机性，如何从源头对数据进行全面系统的治理提高数据质量已成为一个急需解决的问题。
数据质量控制
01算法设计
数据质控采用传统质控算法与人工智能AI质控算法相结合的方式，对重点大中型水库、重要控制水文站点水位、流量、土壤含水量、蓄水量等水文要素实时信息进行质量控制，充分考虑数据的完整性时空一致性以及合理性，结合水工程水情信息如水库入库出库流量具备的时间一致性，河道上下游、干支流之间的空间一致性等特征，通过设定一定的上下极值，阈值，变化率和误差范围，对于明显不合理的数据进行分类处理，人工二次质控或剔除，实现对水情实时数据的质量控制。
质控算法流程图
机器学习流程图
02应用效果
数据跳变
水位基面变更
库水位异常
蓄水量异常
入库流量异常
数据融合
01算法设计
数据经过质控后完成了错误数据的剔除，还需要进行缺失数据的融合插补处理，作为标准化数据成果加工前最重要的步骤，数据融合插补主要对水库、闸坝、泵站等涉水工程以及河道、沿海、监测区域的水位（库水位、闸上闸下水位、站上站下水位、河道水位、潮位）、流量（入出库流量、过闸流量、泵站抽水流量）、蒸发、土壤墒情、水库蓄水量等水文要素的插补融合。数据融合保证了数据的完整性与连续性，对于缺少水位或流量的情况，采用水位流量关系线进行插补，对于缺少入库流量的情况，根据库水位、出库流量、蓄水量、库容曲线进行插补入库流量，同时保证累计值、均值根据一定原则插补到时段上。
数据插补融合
02应用效果
水位流量关系曲线插值
库容曲线插值
过闸流量累加插补出库
反推入库流量
入库流量异常
线性插值/样条插值
数据标准化
水情数据经过质控融合治理，准确性与完整性得到了保障，数据标准化加工主要是针对不同数据服务对象进行专题数据集加工，保证数据频次一致、过程线连续、对象要素完整，针对不同数据服务需求进行标准化数据集加工，提高数据服务效率与精细化水平。
平台优势
01采用传统质控与新型AI质控相结合的方式，在保证质控效率的同时，实现了可疑数据的检出
02支持一站一策基础规则、算法规则配置及管理能力，可实现单一或批量测站质控、融合算法的灵活选择及参数适配
03针对缺报漏报数据，利用包括机器学习在内的多种算法实现数据插补融合，保证数据的完整性、一致性及有效性
04针对不规则水情数据实现等时段化加工，输出标准化水情数据产品，满足洪水预报前处理的数据需求，进一步提升水情数据产品质量
05平台产品既可以整体打包运行部署也可以通过微服务的方式灵活拆分、组合部署
06整体平台基于自主可控的信息技术底层架构及标准设计，采用国产化的云环境、服务器、操作系统、基础软件、应用软件及中间件构建，充分保证了平台信息技术领域的自主可控及数据安全
07平台建设完全遵循《智慧水利总体方案》中规定的框架设计标准和要求，也是智慧水利总体方案中水灾害智能应用的重要抓手，整体设计和研发过程严格遵循“实用先进、安全可靠、集成扩展、整体维护”的原则，可完全对标新时期智慧水利发展趋势和水情工作的更高要求
产品价值
01降低业务运营成本
高效的数据治理平台产品能够有效降低企业运营成本。方便灵活性的数据治理环境可以让系统间的应用集成、数据清理工作变得更加自动化，减少运维过程中的人工成本；标准化的数据定义及治理规则能够降低由于数据不标准、定义不明确引发的各种沟通成本。
02提高业务处理效率
有效的数据治理工作可以提高企业系统的运营效率。松耦合设计模型下的数据治理服务可方便、灵活地实现数据不同维度下的治理需求，从而有效提高工作效率。
03改善数据应用质量
有效的数据治理方法和手段对企业不同业务系统中数据质量的提升是至关重要的。数据质量的提升本就是数据治理的核心目的之一。高质量的数据有利于提升应用集成的效率和质量，提高数据分析的可信度，数据质量直接影响品牌声誉。
04降低数据风险控制
有效的数据治理产品有利于推动基于知识图谱的数据分析服务的构建。良好的数据产品能够帮助企业更好地管理公共领域的风险，拥有可靠的数据就意味着拥有了更好的风险控制和应对能力。
05提高数据安全防护
优秀的数据治理产品可以更好地保证数据的安全防护、敏感性数据保护以及数据合规性要求下的使用限制。通过敏感数据识别技术、数据安全处理技术，例如数据加密/解密、数据脱敏/脱密、数据安全传输、数据访问控制、数据分级授权等手段，实现数据的安全防护和使用合规。
06改善管理决策水平
高质量的数据治理成果有利于提升业务系统中数据分析和预测的准确性，从而有效改善针对不同业务应用场景下的数据使用及管理决策水平。
闽公网安备 35021102000914号
样机免费试用
确保四信物联网rtu产品深度契合贵司业务需求
400-8838-199
info@four-faith.com
厦门集美区软件园三期B区B14栋5层