中企动力网站建设方案,温州文成县高端网站设计,广州小程序定制开发,wordpress电商主题下载文章目录一、异常种类1. 对于移动对象的数据异常2. 对于时序数据的异常检测二、异常数据清洗流程三、数据预处理四、异常检测算法五、异常修复算法六、漂移数据清洗一、异常种类
不同的研究对象#xff0c;有着不同的异常分类方式
1. 对于移动对象的数据异常
异常数据信息有着不同的异常分类方式
1. 对于移动对象的数据异常
异常数据信息包括重复数据、无序数据、缺失数据、 无效数据、漂移数据、模糊数据。
类型描述重复数据由于设备或其他因素问题 导致的数据重复存储造成的无序数据是网络传输延迟造成的不正确的数据存储顺序缺失数据通过比较两个数据之间的时间差和数据收集的频率来确定的无效数据由数据的纬度或经度是否超出范围来确定漂移数据是指不符合行驶规则明显偏离行驶轨迹的数据记录模糊数据\
2. 对于时序数据的异常检测
除了重复数据、无序数据、缺失数据、 无效数据。 又可以将数据的异常精确地分为
点异常值相对于全局其他数据的异常实例。上下文异常值上下文异常值通常在它们自己的上下文中具有相对较大/较小的值但不是全局的。集体异常值被定义为相对于整个数据集异常的相关异常数据实例的集合。
以上这些异常的检测难度也较大。
再细分的话集体异常值又可以分类为
shapelet outliers (异常的局部子序列): 。seasonal outliers (异常周期性的局部子序列): 。trend outliers (异常趋势的局部子序列):
二、异常数据清洗流程 三、数据预处理
是否要排序是否要规定索引是否要填充缺失值、删除重复值是否要调整数据格式列位置调换、提取所需数据
四、异常检测算法 五、异常修复算法
均值填充最大似然估计NNF
近邻数据填充 NNFNearest Neighbor Fill算法 NNF 算法不仅具有 MA 算法均等填充数据的优势,而且对于逐渐演化的数据也有很好的填充优 势,在变化的数据中,NNF 比 MA 有更好的填充效果。
。。。
六、漂移数据清洗
一种结合范围约束和最大似然估计的算法
修复漂移较大的数据异常范围约束修复漂移较小的数据异常滑动窗口统计
