使用python对excel表格处理的一些小功能
python对excel表格处理的一些小功能 功能概览pandas库的一些应用文件读入计算表格中每一行的英文单词数简单用textblob进行自然语言情感分析判断一行中是不是有两列值都与其他行重复(可推广至多列)对表格中的两列自定义函数运算判断表格中某列中是否有空对表格某列中时间格式的修正运用matplotlib画时间序列图,重叠图
功能概览
做数模模拟赛时学到的一些对表格处理的知识,为了方便自己以后查找,遂写成一篇文章,也希望能帮助大家:)
pandas库的一些应用
文件读入
代码如下,每一句后面都有注释!
包括知识点:
1.excel文件的写入和输出;
2.检验表格中是否有NaN,有即删除一行;
3.把表格某列中所有某字母替换成另一字母,所有某数字替换成另一数字;
4.检验表格某列中每一格是Y还是N,是Y就在新列中对应输出1,反之则为0;
5.对表格中多列进行运算
(首先要配置pandas库,如果需要读取和写入文件,要配置xlsxwriter库)
import pandas as pd import xlsxwriter word=pd.read_excel('C:/math/Problem_C_Data/my_pacifier.xlsx') #excel表格文件读入,括号里面写文件地址 word=word.replace(['n','y'],['N','Y']) #把excel表里的所有n替换成N,y替换成Y word=word.dropna(axis=0) #如果表格里有一行中有NaN,即删除这一行 word['m'] = word['a'].str.contains('Y').astype(int) #如果列索引为a的这一列中有Y则对应新列中取值为1 word['n']=word['vine'].str.contains('Y').astype(int) word['n']=word['n'].replace(1,2) #把列索引为n的这一列中所有为1的值转换为2 s = word.apply(lambda word: word['a'] *(word['m']+word['n']) , axis=1) #s列是由表格中其他列的计算得到 word['Si']=(s - s.min())/(s.max() - s.min()) #对s列中的值进行归一化处理 print(word['Si']) //打印索引为Si的列 #print(s) #print(word['n']) word.to_excel('C:/math/Problem_C_Data/SVVp.xlsx',engine='xlsxwriter') //输出excel文件到电脑中 print('finished')
计算表格中每一行的英文单词数
包含知识点:
1.dataframe和字典、列表的转换;
2.如何遍历字典;
3.计算dataframe中每一列的英文句子中的单词数
import pandas as pd import xlsxwriter word=pd.read_excel('C:/math/Problem_C_Data/reviewh.xlsx') #里面只有一列数据 c=[] #列表,用来统计每一行的英文句子的英文单词个数 word=word.set_index(word.index).T.to_dict('list') #把这一列数据按dataframe的索引转换成字典 for key,value in word.items(): #遍历字典 s=str(value) #先把表格里当前行的内容转换成字符串 a=s.split(' ') #把英文句子按空格分割 num_s=len(a) #计算出单词个数 c.append(num_s) #添加到c中 c=pd.DataFrame(c) #由列表转换为dataframe c.to_excel('C:/math/Problem_C_Data/counth.xlsx',engine='xlsxwriter') //输出成新的文件 print('finished')
简单用textblob进行自然语言情感分析
用NLP简单分析表格中每一格的英文句子的情感极性和主观性
import pandas as pd from textblob import TextBlob import xlsxwriter word=pd.read_excel('C:/math/Problem_C_Data/reviewh.xlsx') c=[] word=word.set_index(word.index).T.to_dict('list') for key,value in word.items(): s=str(value) blob = TextBlob(s) #把s转化成textblob对象 blob = blob.sentences #利用TextBlob句子标记化句子 first = blob[0].sentiment #对标记化后的句子进行情感分析(我这里只有一个句子,如果有很多句就添加second=blob[1].sentiment) c.append(first.polarity) #这里只添加了情感极性,如果还需要主观性,就直接用first c=pd.DataFrame(c) c.to_excel('C:/math/Problem_C_Data/NLPh.xlsx',engine='xlsxwriter') print('finished')
判断一行中是不是有两列值都与其他行重复(可推广至多列)
判断表中是不是有在同一行中a列和b列值都相同的情况。如第一行中a=1,b=2,第4行中a=1,b=2,则这两行相同;如果第8行中a=1,b=3,则它和第一行不重复
import pandas as pd import xlsxwriter word=pd.read_excel('C:/math/Problem_C_Data/my_hair_dryer.xlsx') x=word['a'] y=word['b'] z=pd.concat([x,y],axis=1)#对axis=1即把两列按行对齐,即左右拼接成一张表 z['repeat']=z.duplicated() #判断表中有没有重复的,如果有则输出为true ll = z['repeat'].values.tolist() #把这一列转变成列表 if 'True' in ll: #遍历列表,如果里面有true,就说明有重复,就输出yes print('yes') print('finished')
对表格中的两列自定义函数运算
(此处定义的是除法运算)
import pandas as pd import xlsxwriter word=pd.read_excel('C:/math/Problem_C_Data/my_hair_dryer.xlsx') def chu(x,y): if y==0: #分母为0,则不运算,结果直接为0 result=0 else: result=x/y return result s = word.apply(lambda word:chu(word['helpful_votes'],word['total_votes']), axis=1) s.to_excel('C:/math/Problem_C_Data/voteh.xlsx',engine='xlsxwriter') print('finished')
判断表格中某列中是否有空
import numpy as np import pandas as pd import xlsxwriter word=pd.read_excel('C:/math/Problem_C_Data/my_hair_dryer.xlsx') train=word['review_date'] print(train.isnull().any()) #有空即输出true
对表格某列中时间格式的修正
原格式是月/日/年,如1/11/2014,改为标准datetime格式2014-01-11(此处还要舍去后面的00:00:00),方便之后画图,也方便排序等
import pandas as pd import datetime #引入库 #导入数据集 data =pd.read_excel('C:/math/Problem_C_Data/Exx.xlsx') data = data.loc[:, ['review_date']] # 获取数据集中列名为review_date #s= pd.to_datetime(data['review_date'], format='%m/%d/%Y') # 标准化日期,获取时间的“年、月、日” def change_date(s): s = datetime.datetime.strptime(s, "%m/%d/%Y") #这里是原格式的形式,俺是月/日/年,可根据实际情况修改 # 把日期标准化,如把1/11/2014变成2014-01-011 00:00:00 s = str(s) # 上一步把date转化为了时间格式,此处把date转回str格式 return s[:10] #只获取年月日的方法,即“位置10”之前的字符串 #字符串的切片 data['review_date'] = data['review_date'].map(change_date) # 用change_date函数处理列表中date这一列,如把“1/11/2014”转化为“2014-01-11” #data = data.sort_values(by='review_date') # 按date这一列进行排序,根据需要采用 data.to_excel('C:/math/Problem_C_Data/Exxx.xlsx',engine='xlsxwriter') print('finished')
运用matplotlib画时间序列图,重叠图
画时间序列图
(如果要画重叠图,记得x要一样,y可以不一样,然后用plt.plot(x,y0,x,y1,x,y2)即可画出重叠图)
import numpy as np import matplotlib.pyplot as plt import pandas as pd import matplotlib import datetime from statsmodels.graphics.factorplots import interaction_plot import xlsxwriter data=pd.read_excel('C:/math/Problem_C_Data/Exx.xlsx') # # create data s=data['E'] #y轴 e0=s[2907:5043] t=data['review_date'] t0=t[2907:5043] y0 =e0.values.tolist() x0 = pd.to_datetime(t0) #x轴 # # plot plt.plot(x0,y0) plt.gcf().autofmt_xdate() plt.grid(ls = '--') #设置背后的网格线 plt.show() #最后一定要show()
到此这篇关于使用python对excel表格处理的一些小功能的文章就介绍到这了,更多相关python对excel表格处理内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞!
相关文章
- 这篇文章主要介绍了python-opencv-画外接矩形框的实例代码,代码简单易懂,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-09-04
Python astype(np.float)函数使用方法解析
这篇文章主要介绍了Python astype(np.float)函数使用方法解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下...2020-06-08- 2022虎年新年即将来临,小编为大家带来了一个利用Python编写的虎年烟花特效,堪称全网最绚烂,文中的示例代码简洁易懂,感兴趣的同学可以动手试一试...2022-02-14
- 在本篇文章里小编给大家分享的是一篇关于python中numpy.empty()函数实例讲解内容,对此有兴趣的朋友们可以学习下。...2021-02-06
python-for x in range的用法(注意要点、细节)
这篇文章主要介绍了python-for x in range的用法,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-05-10- 这篇文章主要介绍了Python 图片转数组,二进制互转操作,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-09
- 这篇文章主要介绍了Python中的imread()函数用法说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-16
- 这篇文章主要介绍了python如何实现b站直播自动发送弹幕,帮助大家更好的理解和学习使用python,感兴趣的朋友可以了解下...2021-02-20
python Matplotlib基础--如何添加文本和标注
这篇文章主要介绍了python Matplotlib基础--如何添加文本和标注,帮助大家更好的利用Matplotlib绘制图表,感兴趣的朋友可以了解下...2021-01-26- 这篇文章主要介绍了解决python 使用openpyxl读写大文件的坑,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-13
- 这篇文章主要为大家详细介绍了SpringBoot实现excel文件生成和下载,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-02-09
- 今天小编就为大家分享一篇python 计算方位角实例(根据两点的坐标计算),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-04-27
- 在本篇文章里小编给大家整理的是一篇关于python中使用np.delete()的实例方法,对此有兴趣的朋友们可以学习参考下。...2021-02-01
- 这篇文章主要为大家详细介绍了python实现双色球随机选号,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2020-05-02
- 这篇文章主要介绍了使用Python的pencolor函数实现渐变色功能,本文通过实例代码给大家介绍的非常详细,对大家的学习或工作具有一定的参考借鉴价值,需要的朋友可以参考下...2021-03-09
Python getsizeof()和getsize()区分详解
这篇文章主要介绍了Python getsizeof()和getsize()区分详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-11-20- 这篇文章主要介绍了python自动化办公操作PPT的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-02-05
- 这篇文章主要介绍了c#读取excel方法,实例分析了C#读取excel文件的原理与相关技巧,需要的朋友可以参考下...2020-06-25
- 这篇文章主要介绍了解决python 两个时间戳相减出现结果错误的问题,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-12
- 这篇文章主要为大家详细介绍了python实现学生通讯录管理系统,文中示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-02-25