Pandas中DataFrame常用操作指南
前言
Pandas是Python下一个开源数据分析的库,它提供的数据结构DataFrame极大的简化了数据分析过程中一些繁琐操作。
1. 基本使用:
创建DataFrame. DataFrame是一张二维的表,大家可以把它想象成一张Excel表单或者Sql表。
Excel 2007及其以后的版本的最大行数是1048576,最大列数是16384,超过这个规模的数据Excel就会弹出个框框“此文本包含多行文本,无法放置在一个工作表中”。
Pandas处理上千万的数据是易如反掌的sh事情,同时随后我们也将看到它比SQL有更强的表达能力,可以做很多复杂的操作,要写的code也更少。 说了一大堆它的好处,要实际感触还得动手码代码。
首要的任务就是创建一个DataFrame,它有几种创建方式:
- 列表,序列(pandas.Series), numpy.ndarray的字典
- 二维numpy.ndarray
- 别的DataFrame
- 结构化的记录(structured arrays)
其中,我最喜欢的是通过二维ndarray创建DataFrame,因为代码敲得最少:
import pandas as pd import numpy as np df = pd.DataFrame(np.random.randn( 3 , 4 )) df 0 1 2 3 0 0.236175 - 0.394792 - 0.171866 0.304012 1 0.651926 0.989046 0.160389 0.482936 2 - 1.039824 0.401105 - 0.492714 - 1.220438
当然你还可以从mysql数据库或者csv文件中载入数据到dataframe。
dataframe中index用来标识行,column标识列,shape表示维度。
# 获得行索引信息 df.index # 获得列索引信息 df.columns # 获得df的size df.shape # 获得df的行数 df.shape[0] # 获得df的 列数 df.shape[1] # 获得df中的值 df.values
通过describe方法,我们可以对df中的数据有个大概的了解:
df.describe() 0 1 2 3 count 3.000000 3.000000 3.000000 3.000000 mean - 0.050574 0.331786 - 0.168064 - 0.144496 std 0.881574 0.694518 0.326568 0.936077 min - 1.039824 - 0.394792 - 0.492714 - 1.220438 25 % - 0.401824 0.003156 - 0.332290 - 0.458213 50 % 0.236175 0.401105 - 0.171866 0.304012 75 % 0.444051 0.695076 - 0.005739 0.393474 max 0.651926 0.989046 0.160389 0.482936
2. 数据select, del, update。
按照列名select:
df[ 0 ] 0 0.236175 1 0.651926 2 - 1.039824
按照行数select:
df[: 3 ] #选取前3行
按照索引select:
df.loc[ 0 ] 0 0.236175 1 - 0.394792 2 - 0.171866 3 0.304012
按照行数和列数select:
df.iloc[ 3 ] #选取第3行 df.iloc[ 2 : 4 ] #选取第2到第3行 df.iloc[ 0 , 1 ] #选取第0行1列的元素 dat.iloc[: 2 , : 3 ] #选取第0行到第1行,第0列到第2列区域内的元素 df1.iloc[[1,3,5],[1,3]] #选取第1,3,5行,第1,3列区域内的元素
删除某列:
del df[0] df 1 2 3 0 - 0.394792 - 0.171866 0.304012 1 0.989046 0.160389 0.482936 2 0.401105 - 0.492714 - 1.220438
删除某行:
5 df.drop(0) 1 2 3 1 0.989046 0.160389 0.482936 2 0.401105 - 0.492714 - 1.220438
3.运算。
基本运算:
df[ 4 ] = df[ 1 ] + df[ 2 ] 1 2 3 4 0 - 0.394792 - 0.171866 0.304012 - 0.566659 1 0.989046 0.160389 0.482936 1.149435 2 0.401105 - 0.492714 - 1.220438 - 0.091609
map运算,和python中的map有些类似:
df[ 4 ]. map ( int ) 0 0 1 1 2 0
apply运算:
df. apply ( sum ) 1 0.995359 2 - 0.504192 3 - 0.433489 4 0.491167
4. Group by 操作。
pandas中的group by 操作是我的最爱,不用把数据导入excel或者mysql就可以进行灵活的group by 操作,简化了分析过程。
df[ 0 ] = [ 'A' , 'A' , 'B' ] df 1 2 3 4 0 0 - 0.394792 - 0.171866 0.304012 - 0.566659 A 1 0.989046 0.160389 0.482936 1.149435 A 2 0.401105 - 0.492714 - 1.220438 - 0.091609 B g = df.groupby([ 0 ]) g.size() A 2 B 1 g. sum () 1 2 3 4 0 A 0.594254 - 0.011478 0.786948 0.582776 B 0.401105 - 0.492714 - 1.220438 - 0.091609
5. 导出到csv文件
dataframe可以使用to_csv方法方便地导出到csv文件中,如果数据中含有中文,一般encoding指定为”utf-8″,否则导出时程序会因为不能识别相应的字符串而抛出异常,index指定为False表示不用导出dataframe的index数据。
df.to_csv(file_path, encoding='utf-8', index=False) df.to_csv(file_path, index=False)
总结
到此这篇关于Pandas中DataFrame操作的文章就介绍到这了,更多相关Pandas DataFrame操作内容请搜索猪先飞以前的文章或继续浏览下面的相关文章希望大家以后多多支持猪先飞!
原文出处:https://blog.csdn.net/u013045749/article/details/48370007
相关文章
- 以前我们开发大型项目时都会用到svn来同步,因为开发产品的人过多,所以我们会利用软件来管理,今天发有一居然可以利用php来管理svn哦,好了看看吧。 代码如下 ...2016-11-25
pandas pd.read_csv()函数中parse_dates()参数的用法说明
这篇文章主要介绍了pandas pd.read_csv()函数中parse_dates()参数的用法说明,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-05- 这篇文章介绍了在C#中对config文件的操作,有需要的朋友可以参考一下...2020-06-25
- 这篇文章主要介绍了python自动化办公操作PPT的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-02-05
- 今天小编就为大家分享一篇Pandas实现DataFrame按行求百分数(比例数),具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2020-05-09
- 本文主要介绍了python使用pandas按照行数分割表格,文中通过示例代码介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们可以参考一下...2021-08-13
nodejs文件操作模块FS(File System)常用函数简明总结
件系统操作相关的函数挺多的。首先可以分为两大类。一类是异步+回调的。 一类是同步的。在这里只对异步的进行整理,同步的只需要在函数名称后面加上Sync即可1. 首先是一类最常规的读写函数,函数名称和形式,应该是起源于C...2014-06-07- 这篇文章主要介绍了C#模拟window操作鼠标的方法,可实现模拟鼠标移动到固定位置后点击右键的功能,涉及鼠标常用事件的操作技巧,需要的朋友可以参考下...2020-06-25
- 这篇文章主要介绍了微信小程序手势操作之单触摸点与多触摸点的相关资料,需要的朋友可以参考下...2017-03-13
- 这篇文章主要给大家介绍了关于python中字符串最常用的13个处理操作的相关资料,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2021-03-09
- 下面小编就为大家带来一篇js操作XML文件的实现方法兼容IE与FireFox。小编觉得挺不错的,现在就分享给大家,也给大家做个参考。一起跟随小编过来看看吧...2016-07-01
- 这篇文章主要介绍了C# 模拟浏览器并自动操作的实例代码,文中讲解非常细致,帮助大家更好的理解和学习,感兴趣的朋友可以了解下...2020-11-03
- c#对字符串操作的技巧小结,需要的朋友可以参考一下...2020-06-25
- 这篇文章主要介绍了解决python3安装pandas出错的问题,具有很好的参考价值,希望对大家有所帮助。如有错误或未考虑完全的地方,望不吝赐教...2021-05-20
- 这篇文章主要介绍了C#操作PowerPoint的方法,涉及C#针对PowerPoint的打开、读取、播放等技巧,非常具有实用价值,需要的朋友可以参考下...2020-06-25
- 比较操作是很简单的基础知识,不过Pandas中的比较操作有一些特殊的点,本文介绍的非常详细,对正在学习python的小伙伴们很有帮助.需要的朋友可以参考下...2021-05-20
- 这篇文章主要介绍了用pandas划分数据集实现训练集和测试集,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-07-20
- 这篇文章主要介绍了pandas 实现将两列中的较大值组成新的一列,具有很好的参考价值,希望对大家有所帮助。一起跟随小编过来看看吧...2021-03-26
- 在C#中位操作同C的位操作没有什么区别,位操作的速度相对较快,而且如果熟练的话,处理起来也相对方便,特别是在一些权限等相关的设置中...2020-06-25
- 这篇文章主要介绍了OpenCvSharp实现Mat对象简单的像素操作,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧...2020-11-17