惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

M
MIT News - Artificial intelligence
D
Darknet – Hacking Tools, Hacker News & Cyber Security
SecWiki News
SecWiki News
Latest news
Latest news
A
Arctic Wolf
Know Your Adversary
Know Your Adversary
G
GRAHAM CLULEY
L
Lohrmann on Cybersecurity
T
Tor Project blog
T
Threatpost
S
Schneier on Security
P
Palo Alto Networks Blog
C
Cyber Attacks, Cyber Crime and Cyber Security
Cyberwarzone
Cyberwarzone
C
Cybersecurity and Infrastructure Security Agency CISA
C
CERT Recently Published Vulnerability Notes
博客园_首页
P
Privacy & Cybersecurity Law Blog
I
Intezer
PCI Perspectives
PCI Perspectives
Spread Privacy
Spread Privacy
G
Google Developers Blog
H
Help Net Security
WordPress大学
WordPress大学
aimingoo的专栏
aimingoo的专栏
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
V
Visual Studio Blog
U
Unit 42
Application and Cybersecurity Blog
Application and Cybersecurity Blog
W
WeLiveSecurity
D
DataBreaches.Net
N
News and Events Feed by Topic
AI
AI
The Register - Security
The Register - Security
云风的 BLOG
云风的 BLOG
The GitHub Blog
The GitHub Blog
Help Net Security
Help Net Security
K
Kaspersky official blog
Recent Announcements
Recent Announcements
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
S
Security @ Cisco Blogs
H
Hacker News: Front Page
Jina AI
Jina AI
S
Secure Thoughts
Project Zero
Project Zero
T
The Exploit Database - CXSecurity.com
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
B
Blog RSS Feed
爱范儿
爱范儿

WSH

凑数日子 2026年,大概将会是最后一个人口保持在14亿以上的年份 感谢之人 数字经济中的注意力交易 突然的噩耗 一株洋瓜藤 再见到姑妈 港澳掠影 Miniflux 中文搜索能力增强 慢慢吹~~~轻轻送~~~ 房子梦 探索云南-大理 证书过期导致的错误 过年被追问工资 在秋天开始 水里的鱼 斩断联系1 云南壮族婚恋 我有一颗乳牙 世界的底色是争,抢,偷 无题4 无题3 人来人往 AI见闻 无题2 滇池掠影 WebGIS 三维空间分析之参考超图实现的天际线分析 我原来是个同步单线程 往事如烟1 净月潭之行 一万次悲伤 开源丑闻的碎碎念 提高开发幸福感所做的举措之构建前端基础设施 浏览器标签页进程引发的性能问题 山的那边 想回到过去去去去去去去去去去去去~ WebGIS开发之glsl支持 WebGIS三维空间分析之坡度计算 WebGIS 三维分析之阴影率分析 幸福(或我的女儿叫波兰) 最后一课 Markdown解析高亮及Mermaid 上海掠影 Cesium/QGIS加载图新地球LRC自定义图层 端午粽子 如何清晰地写作 清明扫墓 自编写,自用的开源工具 饮食 AI在GIS领域的实践之QGIS-MCP 燕南飞 WebGIS 三维空间分析之剖面线分析 WebGIS三维开发中的面积量测 WebGIS空间分析之坡向分析的实现 收藏自由-新的书签工具 月夜杂谈 花海,指弹版 三维之Cesium分屏显示 请验证您是真人 GIS数据转换——从点到栅格 自定义「ONE · 一个」订阅源 西湖美人峰徒步 给开源RSS服务应用Miniflux添加「标题翻译」 五一青山湖骑行 将chatGPT集成到微信机器人 动手更换旧手机——google pixel3的电池 Vue组件检测无效属性 ArcGIS复杂插件处理 两件关于博客网站变更的事情 Vue开发个人守则 账户注销后遗症 《纳瓦尔宝典 财富与幸福》前两章的一些摘录 听一首黄歌—Yellow 坏事总是成双 出差消小记 cesium-控高分析 当你孤单你会想起谁 穿越城市-青山湖 Harry Browne关于个人金融安全17条黄金守则—财富之道 批量裁剪矢量数据的几种途径 小而美的软件 想回到过去 热!热!热! 那么近,又那么远——遥望 为什么win笔记本触摸板没有mac好用呢 一只猫 二月份的检讨 自定义Cesium缩放控件 线段简化的几种算法 今天看球了吗? HDF转为GeoTIFF QGIS插件编写 乐高风格地图 基于Python的遥感可视化记录 使用Python提取遥感影像中的土壤线 接触pandas QQ音乐评论可视化 阳光打在我身上 淘宝商品信息可视化
拆分-应用-联合
WSH · 2021-04-30 · via WSH

目录

    • 拆分
    • 遍历
    • 聚合
    • 透视表
    • 交叉表
    • 参考

img

拆分-应用-联合

拆分

包含在Pandas对象中的数据可以是Series和DataFrame等数据结构,它能根据你提供的一个或多个键分离到各个组中,分离操作在特定轴上进行,行方向或者列方向的轴。

pandas提供的groupby方法实现拆分,具有如下参数:

  • keys 分组键,多个为列表

  • axis 指定轴

  • level 指定层级

  • as_index bool分组名称是否作为索引

img

df.groupby("name")  #返回一个GruopBy对象

虚构一个dataFrame对象,包含姓名、年级、数学科目、测试1、测试2等列属性,可以看到姓名、年级和数学科目有相同元素,下面每一个同学(每一条记录对应一次考试)的考试记录按姓名分组。

遍历

GruopBy对象可以遍历,它将返回一个元组,第一个元素是分组名称(如果分组键为多个,则为分组键集合),第二个值是分组数据。下边的分组中,姓名相同的分为一组。

img

聚合

所有根据数组产生标量值的数据转换过程。

前文曾经记录过一些pandas的基本统计函数,如下表所示。

img

下面对分组后的考生统计其成绩中位数,测试1和测试2下,三位同学的成绩中位数分别为:80.0、68.0、68.0以及72.0、69.5、75.5。

img

仅仅只是上述罗列的函数显然不能满足需要,可以自定义聚合函数,但是需要将自定义的函数作为参数传递给agg或者aggregate方法,下面自定义一个函数来求解每位同学两次考试的分差。

img

apply方法也可以实现上述功能,其参数如下:

  • func 作为参数传递的函数名
  • **args 该函数所需参数

img

在调用数据聚合函数过程中,到底发生了什么,它运行的原理是什么?

这里需要理解函数式编程,即函数作为一个对象,能作为参数传递也可以作为返回值(参考Python三大器中的装饰器)

  • gruopby方法将数据按键分组
  • apply和agg函数自动遍历每一列
  • 遍历的每一列将作为参数传递给自定义函数,作相关运算后返回

apply不仅可以遍历列,还可以遍历列元素,下述代码表示遍历测试1的每一个元素,aplly方法里面传入一个匿名函数,判断其值是否大于60,返回值将作为另一列对应位置的值,可以看到July没有通过考试。

img

透视表

一种在电子表格中常见的数据汇总工具,根据一个或多个键聚合成一张表的数据,将数据在矩阵中排列,一些是沿着行排列,另一些则是沿着列。

pandas的pivot_table函数可实现透视表功能,具有如下参数:

  • value 需要聚合的列名,默认全部
  • index 在表的行上进行分组的列名或者其他分组键
  • columns 在表的列上进行分组的列名或者其他分组键
  • fill_value 替换缺失值的值
  • dropna 布尔值 是否舍弃NA
  • margins 是否添加行/列小计和总计,默认True
  • aggfunc 聚合函数或函数列表,可以是groupby上下文中的任意函数,默认为“mean”

下图所示的透视表,每个学生参加测试的次数一目了然

img

交叉表

透视表的一种特殊情况,计算的是分组中的频率。

针对交叉表,pandas提供有crosstab方法,第一个参数为行方向的键,第二个为列方向的键。

虚构一个姓名-年级表格,然后做交叉表统计。

img


参考

  • 徐敬一.利用Pyhton进行数据分析[M].机械工业出版社.2018
  • 小z.用实战玩转Pandas数据分析[D]