内容简介:大家好,今天想和大家分享一下有关pandas的学习新的,我因工作需要,从去年12月开始接触这个非常好用的包,到现在为止也是算是熟悉了一些,因此发现了它的强大之处,特意想要和朋友们分享,特别是如果你每天和excel打交道,总是需要编写一些vba函数或者对行列进行groupby啊,merge,join啊之类的,相信我,pandas会让你解脱的。好啦,闲话少说,这篇文章的基础是假设你已经大概听说过了pandas的一些概念和用途,如果还大体上不太清楚的朋友们,可以去百度一下相关基础介绍,本分主要分成四个部分:首先,
为什么你需要pandas
大家好,今天想和大家分享一下有关pandas的学习新的,我因工作需要,从去年12月开始接触这个非常好用的包,到现在为止也是算是熟悉了一些,因此发现了它的强大之处,特意想要和朋友们分享,特别是如果你每天和excel打交道,总是需要编写一些vba函数或者对行列进行groupby啊,merge,join啊之类的,相信我,pandas会让你解脱的。
好啦,闲话少说,这篇文章的基础是假设你已经大概听说过了pandas的一些概念和用途,如果还大体上不太清楚的朋友们,可以去百度一下相关基础介绍,本分主要分成四个部分:
- 从Dataframe说起 : 简单了解Df这种数据结构,了解如何创建一个Df
- Dataframe基础操作 :基于行,列,index选取数据,新增数据,删除数据
- Pandas 读取 / 导出数据: 了解如何对excel,csv,tsv等常见文件进行读取并导出
- 总结: 精华部分 ,为大家总结一些非常实用的一些方法,并附带源码 ipynb以及py文件提供下载
1. 从Dataframe说起
首先,让我们明确一点,pandas这个包是在numpy的基础上得到的,因此可能有的朋友会有疑问,要不要先学学numpy,我的个人建议是真的不太需要,因为大多数的情况下基本用不到,当然,如果你处理的是科学实验类型的数据的话,当我没说,我这里的应用场景主要是一般类型的常见数据,比如:
- 你是销售经理,经常需要汇总各地区的销售情况
- 你在银行工作,不可避免的需要和数字,excel打交道
- 你每天有很多重复的工作,比如备份,计算两表合并,分组,聚类等等。。。。。。
这种情况下,学习pandas会非常有用,这里我们说的数据都是二维的table,在pandas中也称作dataframe。
pandas中其实一共有三种类型的常见数据:
数据结构 | 维度 | 说明 |
---|---|---|
Series | 1 | 类似list,一维数组 |
Data Frames | 2 | 最常见的二维数据结构,excel,sql的表就是这个 |
Panel | 3 | 用的很少,三维结构 |
pandas主要包括三类数据结构,分别是:
Series:一维数组,与Numpy中的一维array类似。二者与 Python 基本的数据结构List也很相近,其区别是:List中的元素可以是不同的数据类型,而Array和Series中则只允许存储相同的数据类型,这样可以更有效的使用内存,提高运算效率。
DataFrame:二维的表格型数据结构。很多功能与R中的data.frame类似。可以将DataFrame理解为Series的容器。以下的内容主要以DataFrame为主。
Panel :三维的数组,可以理解为DataFrame的容器。
Pandas官网,更多功能请参考 http://pandas-docs.github.io/...
这里我们主要聚焦在Dataframe上,一个dataframe长的基本上如下这番模样:
Name | Age | Mark |
---|---|---|
John | 15 | 78 |
Mike | 23 | 86 |
Mary | 36 | 95 |
我们把这个简单的dataframe起个名字叫df,那么它包括的最基础的元素有:
- index:每行的索引,默认是从0开始,比如上面的df[0] 就是指 John 15 78这一行,依次类推,当然我们可以自己规定index,我以后会说
- columns:列。这里就是指的是Name Age Mark 了
- rows:行,df一共有3行
现在让我们看一个完整的图示:
Dataframe 是应用最多也是最广泛的数据结构,现在就让我们开始学习创建一个dataframe吧~
1.1 创建Dataframe
创建一个Dataframe的方法有很多,总体上来说最常见的有及种:
- 创建空dataframe
- 利用dict创建
- 从其他数据源读取(网站,excel,mysql等)
真实场景中大多数都是从其他数据源读取,我们会在第3部分讲到
创建空dataframe
这个非常简单:
import pandas as pd # Calling DataFrame constructor df = pd.DataFrame() print(df) Out:Empty DataFrame Columns: [] Index: []
利用dict创建(1)
import pandas as pd print (f" Using {pd.__name__},Version {pd.__version__}") Out: Using pandas , version 0.23.4
首先要import pandas 包,这里缩写为pd,现在让我们从dict创建一个dataframe:
>>> dict = {'name':["Tom", "Bob", "Mary", "James"], 'age': [18, 30, 25, 40], 'city':["Beijing", "ShangHai","GuangZhou", "ShenZhen"]} >>> df = pd.DataFrame(dict) >>> df
创建结果如下:
age | city | name | |
---|---|---|---|
0 | 18 | Beijing | Tom |
1 | 30 | ShangHai | Bob |
2 | 25 | GuangZhou | Mary |
3 | 40 | ShenZhen | James |
很简单是不是,大家可能发现了,最左边的东西就是index ,0,1,2,3,如果我们不指定会自动生成从0默认开始的序列,一直到你的dataframe的最后一行,类似于excel左边的编号
利用dict创建(2)
这次让我们创建的更加规范一些:
index = pd.Index(["Tom", "Bob", "Mary", "James"],name = 'person') cols = ['age','city'] data = [[18,'Beijing'], [30,'ShangHai'], [25,'GuangZhou'], [40,'ShenZhen']] df =pd.DataFrame(index = index,data =data,columns = cols) df
age | city | |
---|---|---|
person | ||
Tom | 18 | Beijing |
Bob | 30 | ShangHai |
Mary | 25 | GuangZhou |
James | 40 | ShenZhen |
这里的主要区别在于我们主动规定了‘name’列为索引。这种把一列默认为索引的方式在excel和 sql 里都有,异曲同工
从其他数据源读取(网站,excel,mysql等)
我会在第三部分介绍最常用的从excel,csv等读取数据
总体来说,有关创建Dataframe的部分我们不用了解太多,因为实际的场景基本不需要,都是直接从csv,tsv,sql,json等数据源直接获取。
2. Dataframe 基础操作
这里我们主要看一下基于索引,行,列,行和列的基础操作,最后会为大家总结一下,现在拿刚刚我们创建过的dataframe为例:
age | city | name | |
---|---|---|---|
0 | 18 | Beijing | Tom |
1 | 30 | ShangHai | Bob |
2 | 25 | GuangZhou | Mary |
3 | 40 | ShenZhen | James |
2.1 对columns的基础操作
添加新列
添加一列非常简单:
df['country'] = 'USA' df
age | city | name | country | |
---|---|---|---|---|
0 | 18 | Beijing | Tom | USA |
1 | 30 | ShangHai | Bob | USA |
2 | 25 | GuangZhou | Mary | USA |
3 | 40 | ShenZhen | James | USA |
df['adress'] = df['country'] df
age | city | name | country | adress | |
---|---|---|---|---|---|
0 | 18 | Beijing | Tom | USA | USA |
1 | 30 | ShangHai | Bob | USA | USA |
2 | 25 | GuangZhou | Mary | USA | USA |
3 | 40 | ShenZhen | James | USA | USA |
修改列中的值
修改一个列的值也是很容易的,我们可以这样做:
df['country'] = 'China' df
age | city | name | country | adress | |
---|---|---|---|---|---|
0 | 18 | Beijing | Tom | China | USA |
1 | 30 | ShangHai | Bob | China | USA |
2 | 25 | GuangZhou | Mary | China | USA |
3 | 40 | ShenZhen | James | China | USA |
或者稍微多想一步:
df['adress'] = df['city']+','+ df['country'] df
age | city | name | country | adress | |
---|---|---|---|---|---|
0 | 18 | Beijing | Tom | China | Beijing,China |
1 | 30 | ShangHai | Bob | China | ShangHai,China |
2 | 25 | GuangZhou | Mary | China | GuangZhou,China |
3 | 40 | ShenZhen | James | China | ShenZhen,China |
删除列
我们可以非常简单的应用del或者drop函数,如果是是drop,要注意传参时要加上axis = 1.这里简单和大家说明一下axis,这个东西其实就是值轴向,默认的axis=0,是纵向,axis=1是横向
df.drop('country',axis=1) df
age | city | name | adress | |
---|---|---|---|---|
0 | 18 | Beijing | Tom | Beijing,China |
1 | 30 | ShangHai | Bob | ShangHai,China |
2 | 25 | GuangZhou | Mary | GuangZhou,China |
3 | 40 | ShenZhen | James | ShenZhen,China |
del df['city'] df
age | name | adress | |
---|---|---|---|
0 | 18 | Tom | Beijing,China |
1 | 30 | Bob | ShangHai,China |
2 | 25 | Mary | GuangZhou,China |
3 | 40 | James | ShenZhen,China |
这里有一点大家需要注意:
- drop和del的结果是基于df的两次单独操作,并不是连续的
- 如果我们执行完drop后,重新查看df,这时你会发现df没有变化,因为没有真正的删除
- 要想真正删除,需要加上关键字 inplace = True
因此如果我们想要连续删除country和city这两列,改进后的代码如下:
df.drop('country',axis=1, inplace=True) del df['city'] df
age | name | adress | |
---|---|---|---|
0 | 18 | Tom | Beijing,China |
1 | 30 | Bob | ShangHai,China |
2 | 25 | Mary | GuangZhou,China |
3 | 40 | James | ShenZhen,China |
选取列
这个非常简单,实现代码如下:
df['age'] # 选取age这一列 0 18 1 30 2 25 3 40 Name: age, dtype: int64
或者这样:
df.name
0 Tom 1 Bob 2 Mary 3 James Name: name, dtype: object
如果想要选取多个列也很容易,传递一个list就行啦:
df[['age','name']]
age | name | |
---|---|---|
0 | 18 | Tom |
1 | 30 | Bob |
2 | 25 | Mary |
3 | 40 | James |
这里注意,和选取单独一列不同,这里我们返回的类型是dataframe,之前的类型是series,我们可以这么理解,一列其实还是一维数组,但是两列及以上是二维的了,当然类型也变了
如果我们想要查看当前的所有列:
df.columns Out:Index([u'age', u'name', u'adress'], dtype='object')
如果我们想要重新对列进行命名,基本有三种方法,大家挑一种自己喜欢的就行
- 传递list
- 传递dict
- 传递 axis
用list:
df.columns = ['Age','Name','Adress'] df
用dict:
df.rename(index = str, columns = {'age':'Age','name':'Name','adress':'Adress'}) #这里index=str 有没有都行,我这么做是为了规范 df
用axis:
df.rename(str.capitalize, axis='columns',inplace =True) df
最后得到的效果是一样的:
Age | Name | Adress | |
---|---|---|---|
0 | 18 | Tom | Beijing,China |
1 | 30 | Bob | ShangHai,China |
2 | 25 | Mary | GuangZhou,China |
3 | 40 | James | ShenZhen,China |
根据条件给列赋值
我们现在想要根据人的年龄新增一列 Group,假设要求如下:
- 18岁以下的是年轻人
- 18-30的是中年人
- 30以上的是老年人
我们有很多方法可以实现,先看一种,大家可以先忽视loc方法,这里传达的就是基础思路:
df['Group'] = 'elderly' df.loc[df['Age']<=18, 'Group'] = 'young' df.loc[(df['Age'] >18) & (df['Age'] <= 30), 'Group'] = 'middle_aged' df
Age | Name | Adress | Group | |
---|---|---|---|---|
0 | 18 | Tom | Beijing,China | young |
1 | 30 | Bob | ShangHai,China | middle_aged |
2 | 25 | Mary | GuangZhou,China | middle_aged |
3 | 40 | James | ShenZhen,China | elderly |
2.2 对 rows 的基础操作
loc函数 df.loc[row,column]
首先,大多数对于行的操作都可以通过loc函数实现,比如我们想要选取全部的行,除了直接打出df外,可以使用df.loc[:]
df.loc[:]
Age | Name | Adress | Group | |
---|---|---|---|---|
0 | 18 | Tom | Beijing,China | young |
1 | 30 | Bob | ShangHai,China | middle_aged |
2 | 25 | Mary | GuangZhou,China | middle_aged |
3 | 40 | James | ShenZhen,China | elderly |
loc函数条件查询
df.loc[df['Age']>20]
Name | Age | Adress | Group | |
---|---|---|---|---|
1 | Bob | 30 | ShangHai,China | middle_aged |
2 | Mary | 25 | GuangZhou,China | middle_aged |
3 | James | 40 | ShenZhen,China | elderly |
loc函数条件行列查询
df.loc[df['Group']=='middle_aged','Name'] 1 Bob 2 Mary Name: Name, dtype: object
Where 查询
filter_adult = df['Age']>25 result = df.where(filter_adult) result
Name | Age | Adress | Group | |
---|---|---|---|---|
0 | NaN | NaN | NaN | NaN |
1 | Bob | 30.0 | ShangHai,China | middle_aged |
2 | NaN | NaN | NaN | NaN |
3 | James | 40.0 | ShenZhen,China | elderly |
Query 筛选
# df.query('Age==30') df.query('Group=="middle_aged"'and 'Age>30' )
Name | Age | Adress | Group | |
---|---|---|---|---|
3 | James | 40 | ShenZhen,China | elderly |
2.3 对 Dataframe 的基础了解
这里有很多有用的方法,可以帮助到大家大致了解数据的情况:
df.shape # 了解行列情况 Out:(4, 4)
df.describe() # 获取可计算列基础统计
Age | |
---|---|
count | 4.000000 |
mean | 28.250000 |
std | 9.251126 |
min | 18.000000 |
25% | 23.250000 |
50% | 27.500000 |
75% | 32.500000 |
max | 40.000000 |
# df.head(3) #查看前三行数据,默认为5 df.tail(3) #获得最后三行数据
Name | Age | Adress | Group | |
---|---|---|---|---|
1 | Bob | 30 | ShangHai,China | middle_aged |
2 | Mary | 25 | GuangZhou,China | middle_aged |
3 | James | 40 | ShenZhen,China | elderly |
3. Pandas读取导出数据(csv)
Pandas 支持大部分常见数据文件读取与存储。一般清楚下,读取文件的方法以 pd.read_ 开头,而写入文件的方法以 pd.to_ 开头。这里我们开始熟悉一下最实用的对于csv文件的读取写入
写入CSV
df.to_csv('person.csv',index=None,sep=',')
import os os.getcwd() Out: 'C:\\Users\\E560'
这样大家就可以在'C:UsersE560'的路径下找到我们刚刚生成的csv文件了,这里我把index=None,舍弃了索引值
读取CSV
首先我们确认和python文件同一目录下存在我们刚刚导出的person.csv文件,之后可以很容易的读取了:
person = pd.read_csv('person.csv') person
Name | Age | Adress | Group | |
---|---|---|---|---|
0 | Tom | 18 | Beijing,China | young |
1 | Bob | 30 | ShangHai,China | middle_aged |
2 | Mary | 25 | GuangZhou,China | middle_aged |
3 | James | 40 | ShenZhen,China | elderly |
这时我们发现,即使我们读取的csv文件没有索引,但是pandas已经默认帮我们加上了
4. 总结,资料下载
好了,现在大家对pandas的使用已经有了基础的印象,我给大家简单总结一下常用的方法:
使用标签选取数据
df.loc[行标签,列标签] df.loc['Tom':'Mary'] #选取 Tom至Mary的所有行的数据,Tom和Mary是index df.loc[:,'city'] #选取 city 列的数据
df.loc 的第一个参数是行标签,第二个参数为列标签(可选参数,默认为所有列标签),两个参数既可以是列表也可以是单个字符,如果两个参数都为列表则返回的是 DataFrame,否则,则为 Series。
PS:loc为location的缩写。
使用位置(index)选取数据
df.iloc[行位置,列位置] df.iloc[1,1] #选取第二行,第二列的值,返回的为单个值 df.iloc[[0,2],:] #选取第一行及第三行的数据 df.iloc[0:2,:] #选取第一行到第三行(不包含)的数据 df.iloc[:,1] #选取所有记录的第二列的值,返回的为一个Series df.iloc[1,:] #选取第一行数据,返回的为一个Series
PS:iloc 则为 integer & location 的缩写
通过逻辑指针进行数据切片
df[逻辑条件] df[df.age >= 18] #单个逻辑条件 df[(df.age >=18 ) & (df.country=='China') ] #多个逻辑条件组合
了解并掌握数据大致情况
方法 | 解释 |
---|---|
count | 非na值的数量 |
describe | 针对Series或个DataFrame列计算汇总统计 |
min、max | 计算最小值和最大值 |
argmin、argmax | 计算能够获取到最大值和最小值得索引位置(整数) |
idxmin、idxmax | 计算能够获取到最大值和最小值得索引值 |
quantile | 计算样本的分位数(0到1) |
sum | 值的总和 |
mean | 值得平均数 |
median | 值得算术中位数(50%分位数) |
mad | 根据平均值计算平均绝对离差 |
var | 样本值的方差 |
std | 样本值的标准差 |
skew | 样本值得偏度(三阶矩) |
kurt | 样本值得峰度(四阶矩) |
cumsum | 样本值得累计和 |
cummin,cummax | 样本值得累计最大值和累计最小值 |
cumprod | 样本值得累计积 |
diff | 计算一阶差分(对时间序列很有用) |
pct_change | 计算百分数变化 |
常见读取写入数据
数据类型 | 读取 | 写入 |
---|---|---|
CSV | read_csv | to_csv |
JSON | read_json | to_json |
HTML | read_html | to_html |
EXCEL | read_excel | to_excel |
SQL | read_sql | to_sql |
好了,其实这些就是想要告诉大家如何学习pandas,没有必要了解每一个方法,但是现在想必你知道pandas能实现的功能很多,这样你有具体需求时只要详细查询一下文档即可,接下来几期我们会重点来看pandas里面对于df的各种操作,从简单的数据清理到类似于excel里面的vba,包括cancat,merge,join等等
下载
我把这一期的ipynb文件和py文件放到了GIthub上,大家如果想要下载可以点击下面的链接:
- Github仓库地址: 点我下载
好啦,这一期就讲这么多,希望大家能够继续支持我,完结,撒花
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
数学之美 (第二版)
吴军 / 人民邮电出版社 / 2014-11 / 49.00元
几年前,“数学之美”系列文章原刊载于谷歌黑板报,获得上百万次点击,得到读者高度评价。读者说,读了“数学之美”,才发现大学时学的数学知识,比如马尔可夫链、矩阵计算,甚至余弦函数原来都如此亲切,并且栩栩如生,才发现自然语言和信息处理这么有趣。 在纸本书的创作中,作者吴军博士几乎把所有文章都重写了一遍,为的是把高深的数学原理讲得更加通俗易懂,让非专业读者也能领略数学的魅力。读者通过具体的例子学到的......一起来看看 《数学之美 (第二版)》 这本书的介绍吧!