马鞍山钢铁建设集团有限公司网站百度关键词的费用是多少
一. 检测重复值
1.1 检测
data =pd.read_csv("./teacher/订单数据.csv")检测行与行之前是否有重复值
data.drop_duplicates()检测 列是否有重复值出现， keep = first 从前往后判定 ， last是从后往前判定data.drop_duplicates(subset=["产品类别","省份"],keep="last")1.2 删除重复值 drop_duplicates
data.drop_duplicates(subset = ["产品类别","省份"],keep="first")二. 时间分组
2.1 时间修饰器
数据类型必须是 datetime64[ns]可以获取年份
data.日期.dt.year获取周几 但是默认周日 是 0 ，用replace 将 0 换成 7
data.日期.dt.weekday.replace({0:7})2.2 将 data 表 的日期 按照 年进行分组
data.groupby(by=[data.日期.dt.year]).agg({"金额":"sum"})用时间修饰器 将 日期 提取年份2.3 将 data 表 的日期 按照 年月 进行分组
- data.日期.dt.strftime("%Y-%m-01")
- strftime 相当于python 中的 f“{}”
data.groupby(by=[data.日期.dt.strftime("%Y-%m-01")]).agg({"金额":"sum"})2.4 下单的时段
- 0-4 : 午夜 5-7 : 凌晨 8-11: 早晨 12-14: 中午 15-18 : 下午 19-21 : 傍晚 22 - 23 : 深夜
定义时段
- map() （是对series 进行循环的）
def func(x):if x<5:return "午夜"elif x<8:return "凌晨"elif x<12:return "早晨"elif x<15:return "中午"elif x<19:return "下午"elif x<22:return "傍晚"else:return "深夜"data["时段"] = data.日期.dt.hour.map(func)data.日期.dt.hour 这里计算出 hour后， 返回到func中，再返回出 相应的时间2.5 下单时间距今差值
计算数据的最大的日期
way1
ds = data.groupby(by=["省份"]).日期.max()Timestamp('2016-07-28 20:12:12')因为ds = data.groupby(by=["省份"]).日期.max() 计算出来的数据类型是时间戳
所有想计算出 天数 需要用 np.timedelta64(1,"D")(datetime(2016,7,29) - ds) / np.timedelta64(1,"D")三 .重采样（resamle）
- 要求日期时间类型的列 必须作为行索引
将 列 日期 转为 行索引
data.set_index(["日期"],inplace=True)data.resample("Y").agg({"金额":"sum"})
这样就会 按照年进行分组金额
日期
2013-12-31 853625
2014-12-31 124443
2015-12-31 1228887
2016-12-31 377721四. 数据分箱 （只能对序列 类型分箱）
- 连续数据类型 : 数字
- 离散数据类型 : 文字
- 一般看的数据表达的含义
- 连续 : 时间类型 可以进行 运算 ,也可以 进行正反推
- 离散 : 当前 时间 范围有限,所以任务 时间 是离散型
数据的分箱 可以 把 连续数据类型 修改成 离散数据类型
- 时间 : 0~23 就是离散类型
4.1 pd.cut() 分箱操作
pd.cut(data.金额,bins=1000)
分箱操作 bins 是分箱的数量三种分箱操作
pd.cut(data.金额,bins=1000) #等分间隔
pd.cut(data.金额,bins=range(0,20001,5000))[(0, 5000] < (5000, 10000] < (10000, 15000] < (15000, 20000]pd.cut(data.金额,bins=[0,500,1500,5000,10000,20000],labels=list("ABCDE"))['A' < 'B' < 'C' < 'D' < 'E']4.2 按照 百分位进行 分箱 ， 就是 25% ，50% (pd.qcut)
pd.qcut(data.金额,q=4) 意思是 按照 4 分位进行计算 0.25
[(1.999, 15.75] < (15.75, 40.0] < (40.0, 175.0] < (175.0, 17890.0]]可以用
data.金额.quantile(0),data.金额.quantile(0.25),data.金额.quantile(0.5),data.金额.quantile(0.75),data.金额.quantile(1) 进行验证(2.0, 15.75, 40.0, 175.0, 17890.0)五. 字符修饰器
5.1 contains（） 包含...
#包含自行车字样
data.loc[data.产品子类别.str.contains("自行车")].groupby(by=["产品子类别"]).金额.sum()5.2 startswith() 以...开头
data.loc[data.产品子类别.str.startswith("自行车")].groupby(by=["产品子类别"]).金额.sum()5.3 endswith() 以... 结尾
data.loc[data.产品子类别.str.endswith("自行车")].groupby(by=["产品子类别"]).金额.sum()5.4 str.upper(). 大写 str.lower(). 小写 str.title(). 首字母大写 str.swapcase() 大小写转换
data.产品名称.str.upper().str.lower().str.title().str.swapcase()5.5 字符串的分割 与 拼接 str.split(). str.join()
data.产品名称.str.split(" ").str.join("-")以空格分隔 ，再用 - 拼接5.6 指定出现的字符
data.产品名称.str.count("T")5.7 每个字符的长度
data.产品名称.str.len()5.8 编码和解码 encode 编码 decode 解码
data.产品子类别.str.encode("936").str.decode("GB2312")5.9 居中对齐 左对其 右对齐
data.产品子类别.str.center(15) 居中对齐
data.产品子类别.str.ljust(15) 左对齐
data.产品子类别.str.rjust(15) 右对齐6.0 字符长度固定 zfill 和 str.pad()
data.产品子类别.str.zfill(10)0 00000车胎和内胎
1 0000000骑行服
2 00000旅行自行车
3 00000山地自行车
4 00000车胎和内胎data.产品子类别.str.pad(10,side="left",fillchar="-") 左填充 -
0 -----车胎和内胎
1 -------骑行服
2 -----旅行自行车
3 -----山地自行车
6.1 数据类型的判断
s.str.isalpha() #字母s.str.isnumeric() #纯数字组成s.str.isdigit() #数字s.str.istitle() # 开头是大写 其他都小写六 . 时间序列
6.1 获取当前日期时间 datetime.now() .strftime() 就是类似format
#获取当前日期时间
datetime.now().strftime("%Y-%m-%d %H:%M:%S")6.2 时间戳 Timestamp
pd.Timestamp(1234567890,unit="s",tz="Asia/ShangHai")
unit是 时间单位 s是秒 m是月 ，tz是时区把一个序列中的字符 转换成 datetime64
pd.to_datetime([("2015-1-1")])
DatetimeIndex(['2015-01-01'], dtype='datetime64[ns]', freq=None)#Timestamp
pd.Timestamp(datetime(2050,1,1))
Timestamp('2050-01-01 00:00:00')pd.Timestamp("2038-1-1 T23")
#Timestamp('2038-01-01 23:00:00')
#T 是 time 时间
6.3 时间的相关计算
- Timedelta :代表 时间单位
Timedelta :代表 时间单位
pd.Timestamp(2234567890,unit="s") - np.timedelta64(1,"D")np.timedelta64(1,"D") 1 d for day- 一年当中第多少天
pd.Timestamp(2234567890,unit="s").dayofyear #一年当中第多少天- 一年中的第多少周
pd.Timestamp(2234567890,unit="s").weekofyear #一年中的第多少周- 当前月份有多少天
pd.Timestamp("2020-2-2",unit="s").days_in_month七. 内置样式
给空值 高亮
df.style.highlight_null()df.style.highlight_between(subset=["A"],color="#ff10002f")df.style.background_gradient(cmap="rainbow")
梯度背景色格式
df.style.format({"A":"￥{:,.2f}"})"￥" 表示人民币符号。
{:,.2f} 是一个格式说明符，用于格式化浮点数，具体含义如下：
: 表示格式说明符的开始。
, 表示千位分隔符，用于在数字中插入逗号，提高可读性。
.2f 表示保留两位小数的浮点数日期
df1.style.format({"日期":"{:%Y年%m月%d}"})订单ID 日期
0 a01 2015年11月13
1 a02 2015年11月20
2 a03 2015年11月11
3 a04 2015年07月27
4 a05 2015年11月16df1.日期.dt.strftime("%Y年")
0 2015年
1 2015年
2 2015年
3 2015年
4 2015年
Name: 日期, dtype: object