分享8 个常用pandas的 index设置
作者:迟业 发布时间:2023-10-24 14:22:13
目录
1. 将索引从 groupby 操作转换为列
2. 使用现有的 DataFrame 设置索引
3. 一些操作后重置索引
4.排序后重置索引
5.删除重复后重置索引
6. 索引的直接赋值
7.写入CSV文件时忽略索引
8.读取时指定索引列
1. 将索引从 groupby 操作转换为列
groupby
分组方法是经常用的。比如下面通过添加一个分组列team来进行分组。
>>> df0["team"] = ["X", "X", "Y", "Y", "Y"]
>>> df0
A B C team
0 0.548012 0.288583 0.734276 X
1 0.342895 0.207917 0.995485 X
2 0.378794 0.160913 0.971951 Y
3 0.039738 0.008414 0.226510 Y
4 0.581093 0.750331 0.133022 Y
>>> df0.groupby("team").mean()
A B C
team
X 0.445453 0.248250 0.864881
Y 0.333208 0.306553 0.443828
默认情况下,分组会将分组列编程index
索引。但是很多情况下,我们不希望分组列变成索引,因为可能有些计算或者判断逻辑还是需要用到该列的。因此,我们需要设置一下让分组列不成为索引,同时也能完成分组的功能。
有两种方法可以完成所需的操作,第一种是用reset_index
,第二种是在groupby
方法里设置as_index=False
。个人更喜欢第二种方法,它只涉及两个步骤,更简洁。
>>> df0.groupby("team").mean().reset_index()
team A B C
0 X 0.445453 0.248250 0.864881
1 Y 0.333208 0.306553 0.443828
>>> df0.groupby("team", as_index=False).mean()
team A B C
0 X 0.445453 0.248250 0.864881
1 Y 0.333208 0.306553 0.443828
2. 使用现有的 DataFrame 设置索引
当然,如果已经读取数据或做完一些数据处理步骤后,我们可以通过set_index
手动设置索引。
>>> df = pd.read_csv("data.csv", parse_dates=["date"])
>>> df.set_index("date")
temperature humidity
date
2021-07-01 95 50
2021-07-02 94 55
2021-07-03 94 56
这里有两点需要注意下:
set_index
方法默认将创建一个新的DataFrame
。如果要就地更改df的索引,需要设置inplace=True
。
df.set_index(“date”, inplace=True)
如果要保留将要被设置为索引的列,可以设置
drop=False
。
df.set_index(“date”, drop=False)
3. 一些操作后重置索引
在处理 DataFrame
时,某些操作(例如删除行、索引选择等)将会生成原始索引的子集,这样默认的数字索引排序就乱了。如要重新生成连续索引,可以使用reset_index
方法。
>>> df0 = pd.DataFrame(np.random.rand(5, 3), columns=list("ABC"))
>>> df0
A B C
0 0.548012 0.288583 0.734276
1 0.342895 0.207917 0.995485
2 0.378794 0.160913 0.971951
3 0.039738 0.008414 0.226510
4 0.581093 0.750331 0.133022
>>> df1 = df0[df0.index % 2 == 0]
>>> df1
A B C
0 0.548012 0.288583 0.734276
2 0.378794 0.160913 0.971951
4 0.581093 0.750331 0.133022
>>> df1.reset_index(drop=True)
A B C
0 0.548012 0.288583 0.734276
1 0.378794 0.160913 0.971951
2 0.581093 0.750331 0.133022
通常,我们是不需要保留旧索引的,因此可将drop参数设置为True。同样,如果要就地重置索引,可设置inplace
参数为True,否则将创建一个新的 DataFrame
。
4.排序后重置索引
当用sort_value
排序方法时也会遇到这个问题,因为默认情况下,索引index
跟着排序顺序而变动,所以是乱雪。如果我们希望索引不跟着排序变动,同样需要在sort_values
方法中设置一下参数ignore_index
即可。
>>> df0.sort_values("A")
A B C team
3 0.039738 0.008414 0.226510 Y
1 0.342895 0.207917 0.995485 X
2 0.378794 0.160913 0.971951 Y
0 0.548012 0.288583 0.734276 X
4 0.581093 0.750331 0.133022 Y
>>> df0.sort_values("A", ignore_index=True)
A B C team
0 0.039738 0.008414 0.226510 Y
1 0.342895 0.207917 0.995485 X
2 0.378794 0.160913 0.971951 Y
3 0.548012 0.288583 0.734276 X
4 0.581093 0.750331 0.133022 Y
5.删除重复后重置索引
删除重复项和排序一样,默认执行后也会打乱排序顺序。同理,可以在drop_duplicates
方法中设置ignore_index
参数True
即可。
>>> df0
A B C team
0 0.548012 0.288583 0.734276 X
1 0.342895 0.207917 0.995485 X
2 0.378794 0.160913 0.971951 Y
3 0.039738 0.008414 0.226510 Y
4 0.581093 0.750331 0.133022 Y
>>> df0.drop_duplicates("team", ignore_index=True)
A B C team
0 0.548012 0.288583 0.734276 X
1 0.378794 0.160913 0.971951 Y
6. 索引的直接赋值
当我们有了一个 DataFrame
时,想要使用不同的数据源或单独的操作来分配索引。在这种情况下,可以直接将索引分配给现有的 df.index
。
>>> better_index = ["X1", "X2", "Y1", "Y2", "Y3"]
>>> df0.index = better_index
>>> df0
A B C team
X1 0.548012 0.288583 0.734276 X
X2 0.342895 0.207917 0.995485 X
Y1 0.378794 0.160913 0.971951 Y
Y2 0.039738 0.008414 0.226510 Y
Y3 0.581093 0.750331 0.133022 Y
7.写入CSV文件时忽略索引
数据导出到 CSV 文件时,默认 DataFrame
具有从 0 开始的索引。如果我们不想在导出的 CSV 文件中包含它,可以在to_csv
方法中设置index
参数。
>>> df0.to_csv("exported_file.csv", index=False)
如下所示,导出的 CSV 文件中,索引列未包含在文件中。
其实,很多方法中都有关于索引的设置,只不过大家一般比较关心数据,而经常忽略了索引,才导致继续运行时可能会报错。以上几个高频的操作都是有索引设置的,建议大家平时用的时候养成设置索引的习惯,这样会节省不少时间。
8.读取时指定索引列
很多情况下,我们的数据源是 CSV 文件。假设有一个名为的文件data.csv
,包含以下数据。
date,temperature,humidity
07/01/21,95,50
07/02/21,94,55
07/03/21,94,56
默认情况下,pandas将会创建一个从0开始的索引行,如下:
>>> pd.read_csv("data.csv", parse_dates=["date"])
date temperature humidity
0 2021-07-01 95 50
1 2021-07-02 94 55
2 2021-07-03 94 56
但是,我们可以在导入过程中通过将index_col
参数设置为某一列可以直接指定索引列。
>>> pd.read_csv("data.csv", parse_dates=["date"], index_col="date")
temperature humidity
date
2021-07-01 95 50
2021-07-02 94 55
2021-07-03 94 56
来源:https://juejin.cn/post/7043603963148501023
猜你喜欢
- 1. python-firepython-fire 是一个三方库,可以将任何 Python 对象变成一个命令行接口。使用前先 pip ins
- 工作需要开始学Perl,下载个Window版(5.16)的: 下载链接 http://www.activestate.com/activep
- 假设通过爬虫你获取到了北京2016年3,10月份每天白天的最高气温(分别位于列表a,b),那么此时如何寻找出气温随时间(天)变化的某种规律?
- django是python语言快速实现web服务的大杀器,其开发效率可以非常的高!但因为秉承了语言的灵活性,django框架又太灵活,以至于
- 前言问题:我们在放大图片的过程中,放大的目标图像和原图图像之间会存在不同。放大的基本思想:第一步:将目标图像进行缩小到原图像的尺寸,虚拟的将
- 列表的索引取值1. 列表的索引和字符串一样,列表中的每一个元素也都有一个属于自己的编号,这个编号就是列表的索引。2. 列表索引取值通过字符串
- 最近在阅读Python微型Web框架Bottle的源码,发现了Bottle中有一个既是装饰器类又是描述符的有趣实现。刚好这两个点是Pytho
- python实现日期判断和加减操作#====================================================
- PHP重启php-fpm的方法启动php-fpm:/usr/local/php/sbin/php-fpmphp 5.3.3 以后的php-f
- 之前介绍过通过cookie 绕过验证码实现登录的方法。这里并不多余,会增加分析和另外一种方法实现登录。1、思路介绍 1.1、直接看
- 基于微信开放的个人号接口python库itchat,实现对微信好友的获取,并对省份、性别、微信签名做数据分析。效果:直接上代码,建三个空文本
- 1、参数个数控制parser.add_argument('-i', '--integers', nargs=
- 以前看到 andy的关于“Quiet Structure”觉的很不错,于是今天到她的个人站点上逛逛,发现不少好的文章,今天介绍的是
- 空白双边距是一个极容易误解的CSS特性.它不是CSS的bug,但如果我们一旦误解,将会给你带来很多麻烦.先看如下demo代码:<!do
- 今天我们实现疲劳检测。 如果眼睛已经闭上了一段时间,我们会认为他们开始打瞌睡并发出警报来唤醒他们并引起他们的注意。我们测试一段视频来展示效果
- 在一个update和insert操作频繁的表中,少量数据测试的时候运行良好,在实际运营中,因数据量比较大(21万条记录),会出现死锁现象,用
- 如何在线更改Windows2000管理者密码?changepwd.htm <html><head><title
- 这种方案是通过对代码进行加密,然后利用C语音写解密的PHP扩展。破解难度会有提升,但依然是会被破解的。 从网上找过各种代码加密的开源方案。
- 不论是打开网页或者爬取一些资料的时候,我们想要的是计算机能在最短的时间内运行出结果,不然等待的时间过长会影响下一步工作的计划。这时候我们可以
- 操作 redisimport redisredisPool = redis.ConnectionPool(host='192.168