iForest (Isolation Forest)孤立森林 是一个基于Ensemble的快速异常检测方法,具有线性时间复杂度和高精准度,是符合大数据处理要求的state-of-the-art算法。其可以用于网络安全中的攻击检测,金融交易欺诈检测,疾病侦测,和噪声数据过滤等。 作为传统SPC异常检测中的一个非常不错的补充,特别是针对有子组的情况下异常检测更灵敏。
发明了几十年的SPC控制图,基本上没有什么创新的了,大家都是用minitab慢慢的去做分析图,效率低下也没有任何新的东西。 最近一直在想,一个异常点,它可能同时满足多个异常判定规则,如它是一个远离3倍标准差的点,又是连续8个在平均数一侧的点,但传统控制图不能看出来这个,甚至一个点它满足了8个判异规则我们也不知道,但这种异常点确非常的重要,如何能直观的看出来这样的判异规则呢。
现在大数据、机器学习应用越来越广泛,而机器学习算法的一个常见应用就算异常检测,本文介绍机器学习中的K均值(K-Mean)算法来进行异常检测,包括算法基本原理、系统实现和应用。
传统SPC应用存在单机使用、无系统对接、无法随时随地、无法移动访问、无监控面板(控制台)等功能,这些严重制约了SPC的应用,难以达到全面质量管理的目的。这里强力推荐一个基于web浏览器的多SPC控制台,可以实现:可以实时系统对接、时刻在线、随时随地移动访问、动态SPC异常标记、多个SPC监控、可做SPC监控大屏(SPC控制台)
当采样的数量接近无穷大时,我们的抽样分布就会近似于正态分布。这个统计学基础理论意味着我们能根据个体样本推断所有样本。结合正态分布的其他知识,我们可以轻松计算出给定平均值的值的概率。在理论上保证了我们可以用只抽样一部分的方法,达到推测研究对象统计参数的目的。