水情数据治理平台之AI实时质控
随着水情测报技术的发展以及人工智的兴起，促使数据治理和人工智能技术可以有效的融合在一起，使智能化数据治理成为可能。通过将时序大数据应用结合机器学习技术实现数据挖掘和分析应用，从而能够更加有效得识别哪些数据可能存在异常。基于数据特征提取工程可实现对海量数据的统计特征、拟合特征以及分类特征的提取，可作为实时质控过程中应用基础规则进行数据治理的一个有效补充和判断依据。
通过AI实时质控技术的应用，不但可以提高异常数据的分析和识别能力，还可以进一步增强数据的安全管理能力和质量控制标准。
AI实时质控
AI实时质控包括一套默认的算法处理流程，主要包括3-sigma（3西格玛）、ewma（指数加权移动平均）、polynomial（多项式回归）、iforest（孤立森林）以及xgboost（优化的分布式梯度增强库）5种机器学习算法，其中3-sigma、ewma、polynomial为统计判别算法，iforest为无监督学习算法，xgboost为有监督学习算法。
进入AI实时质控的数据最先通过3-sigma算法，如果检测正常则继续通过ewma算法，否则直接进入xgboost进行判断，通过ewma验证异常则需要继续通过多项式或孤立森林进行验证，如果检验正常则直接输出否则需要进入xgboost进行判断，xgboost算法库的过滤需要依赖离线模型文件的支撑，离线模型文件来源于质控打标工具的成果输出，既可以使用系统默认的离线模型，也可以使用针对不同测站训练好的模型文件。可根据数据的不同应用场景来对算法的组合进行调整，确保最佳的算法质控效果。
实时AI质控处理流程
实时AI质控一站一策
特征工程指标提取与趋势分析
水工程水情的实时质控数据量很大，通过人工过滤样本数据的手段相对低效，所以我们在模型训练工程中引入了时序数据特征提取工具库，能够提取出超过100多种特征指标，还可以依据专家经验来丰富特征值库的各种指标项，根据不同的业务场景对不同的特征指标分类进行排列组合，以达到最佳的质控训练效果。
在基础规则、变幅规则、部分场景规则等现有业务质控指标的基础上叠加特征工程能进一步提升数据质控的质量。通过特征工程中的统计特征、分类特征和拟合特征可充分实现对长序列历史时序数据平稳性、趋势性及周期性的分析，依此分析结果可将看似毫无规律可循的数据集进行分类汇总，实现数据分类的目的，进而选取不同的模型算法组合。
通过特征工程极大得提升了数据检出的指标依据，同时为站点间相似特征的统计分类提供了必要的能力支撑，便于后续不同站点相关关系的抽取和聚合。
数据趋势分析主要对提取特征后的时序数据实现数据平稳性、趋势性和周期性的分析，采用不同的趋势分析算法实现数据的趋势性结果分析。
根据数据趋势分析的成果，将时序数据分成不同的类别，并采用不同的算法对分类后的数据进行异常检测，通常情况下，一类数据可使用多种算法选择性得进行检测，这里采用的最优算法，主要对数据的检出时效性和准确性综合进行评估。
特征值提取与趋势分析
离线模型训练与样本标记
通过质控打标工具可实现选择站点与训练时段、标记可疑数据、检出数据分析结果以及离线模型训练功能，结合不同测站的不同数据特征可选择不同的离线模型，如梯度分布模型、随机森林模型、神经网络模型、特征分类模型等，通过手动标记负样本的方式来实现离线模型训练的样本收集工作，负样本越少模型的训练时间越短，训练出来的模型质量越低，负样本越多训练出来模型的质控精度就会越高。
训练完成的模型文件将在线进行更新，当您再次选择采用离线模型再次进行质控验证的时候，使用的将是您刚刚训练好的最新模型文件。通过负样本数据的不断积累、模型训练次数的不断提升，输出模型的精准率也会越来越高。
负样本标记
离线模型训练
闽公网安备 35021102000914号
样机免费试用
确保四信物联网rtu产品深度契合贵司业务需求
400-8838-199
info@four-faith.com
厦门集美区软件园三期B区B14栋5层