iis 设置此网站的访问权限,网页游戏传奇合击,句容建设质检站网站,淮安 网站建设1.7 特征工程-特征预处理 学习目标 目标 了解什么是特征预处理知道归一化和标准化的原理及区别 1 什么是特征预处理 1.1 特征预处理定义 scikit-learn的解释 provides several common utility functions and transformer classes to change raw feature vectors into a represe… 1.7 特征工程-特征预处理 学习目标 目标 了解什么是特征预处理知道归一化和标准化的原理及区别 1 什么是特征预处理 1.1 特征预处理定义 scikit-learn的解释 provides several common utility functions and transformer classes to change raw feature vectors into a representation that is more suitable for the downstream estimators. 翻译过来通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程 为什么我们要进行归一化/标准化 特征的单位或者大小相差较大或者某特征的方差相比其他的特征要大出几个数量级容易影响支配目标结果使得一些算法无法学习到其它的特征
举例约会对象数据 我们需要用到一些方法进行无量纲化使不同规格的数据转换到同一规格
1.2 包含内容(数值型数据的无量纲化)
归一化标准化
1.3 特征预处理API
¨NBSP;
2 归一化
2.1 定义
通过对原始数据进行变换把数据映射到(默认为[0,1])之间
2.2 公式 作用于每一列max为一列的最大值min为一列的最小值,那么X’’为最终结果mxmi分别为指定区间值默认mx为1,mi为0 那么怎么理解这个过程呢我们通过一个例子 2.3 API
sklearn.preprocessing.MinMaxScaler (feature_range(0,1)… ) MinMaxScalar.fit_transform(X) X:numpy array格式的数据[n_samples,n_features]返回值转换后的形状相同的array
2.4 数据计算
我们对以下数据进行运算在dating.txt中。保存的就是之前的约会对象数据
分析
1、实例化MinMaxScalar
2、通过fit_transform转换
返回结果
问题如果数据中异常点较多会有什么影响 2.5 归一化总结
注意最大值最小值是变化的另外最大值与最小值非常容易受异常点影响所以这种方法鲁棒性较差只适合传统精确小数据场景。
怎么办
3 标准化
3.1 定义
通过对原始数据进行变换把数据变换到均值为0,标准差为1范围内
3.2 公式 作用于每一列mean为平均值σ为标准差 所以回到刚才异常点的地方我们再来看看标准化 对于归一化来说如果出现异常点影响了最大值和最小值那么结果显然会发生改变对于标准化来说如果出现异常点由于具有一定数据量少量的异常点对于平均值的影响并不大从而方差改变较小。
3.3 API
sklearn.preprocessing.StandardScaler( ) 处理之后每列来说所有数据都聚集在均值0附近标准差差为1StandardScaler.fit_transform(X) X:numpy array格式的数据[n_samples,n_features]返回值转换后的形状相同的array
3.4 数据计算
同样对上面的数据进行处理
分析
1、实例化StandardScaler
2、通过fit_transform转换
返回结果
3.5 标准化总结
在已有样本足够多的情况下比较稳定适合现代嘈杂大数据场景。
4 总结
什么是特征工程【知道】 定义 通过一些转换函数将特征数据转换成更加适合算法模型的特征数据过程
之间api: sklearn.preprocessing.MinMaxScaler (feature_range(0,1)… )参数:feature_range -- 自己指定范围,默认0-1总结: 鲁棒性比较差(容易受到异常点的影响)只适合传统精确小数据场景(以后不会用你了)标准化【掌握】 定义: 对原始数据进行变换把数据变换到均值为0,标准差为1范围内api: sklearn.preprocessing.StandardScaler( )总结: 异常值对我影响小适合现代嘈杂大数据场景(以后就是用你了)
