内容简介：
本书是一本关于Python数据整理和数据质量的实用指南，主要介绍了如何使用Python进行数据清洗、转换和整合，以及如何确保数据的准确性和一致性。本书涵盖了数据整理基础、数据清洗、数据转换、数据整合、数据质量检查和数据可视化等内容。通过丰富的实例和代码示例，读者可以掌握Python数据整理和数据分析的相关技能。无论你是数据分析师、数据科学家还是其他领域的数据从业者，本书都不仅能够帮助你提高工作效率，还能够让你更好地理解和应用数据科学相关的知识和技能。
作者简介：
Susan E. McGregor 是哥伦比亚大学数据科学研究所的研究员，也是该研究所数据、媒体和社会中心的联合主管。十多年来，她一直在向非理工科的专业人士、研究生及本科生讲授编程与数据分析课程，并不断完善自己的教学方式。
McGregor 于 2011 年加入哥伦比亚大学新闻学院及 Tow 数字新闻中心，此后，她一直在哥伦比亚大学任教并从事研究工作。McGregor 开设了学院的首个数据新闻课程，并担任新闻学及计算机科学双学位计划的导师。她主要研究与新闻工作者及媒体有关的安全及隐私问题，她的第一本书 Information Security Essentials: A Guide for Reporters, Editors,and Newsroom Leaders(哥伦比亚大学出版社，2021)讨论的也是这个话题。
加入哥伦比亚大学之前，McGregor 在《华尔街日报》的 News Graphics 团队做了几年资深程序员。她参与制作了该报的“ What They Know”系列，并由此获得 2011 年的Gerald Loeb Award 奖。McGregor 在许多讨论安全及隐私的前沿学术会议上发言并发表文章。她的工作受到美国国家科学基金会、奈特基金会(Knight Foundation)、Google 以及哥伦比亚大学多个学院与机构的资助。McGregor 还关注如何运用艺术来激发批判思维，以及如何通过艺术给技术问题带来新的思路。她拥有哈佛大学交互信息设计学士学位及纽约大学教育传播与技术硕士学位。
目 录：
前言1
第1章 数据整理与数据质量简介7
1.1 什么是数据整理8
1.2 什么是数据质量9
1.3 为什么选用Python语言整理数据12
1.4 编写并运行Python代码14
1.5 如何在自己的设备上编写Python代码16
1.6 在网页版的开发环境中编写Python代码25
1.7 编写“Hello World!”程序25
1.8 添加代码28
1.9 运行代码29
1.10 撰写文档、保存工作资料和管理不同版本的资料29
1.11 小结40
第2章 Python 入门41
2.1 词性42
2.2 用循环结构与条件结构控制程序的走向51
2.3 代码中可能出现的各种错误59
2.4 用Citi Bike数据来演示如何编写数据整理程序67
2.5 小结74
第3章 了解数据质量75
3.1 判断数据是否合适77
3.2 判断数据是否完整83
3.3 提升数据的质量92
3.4 小结94
第4章 用Python处理基于文件与基于feed的数据95
4.1 结构化的数据与非结构化的数据97
4.2 处理结构化的数据101
4.3 以了解失业情况为例来整理现实数据110
4.4 处理非结构化的数据141
4.5 小结147
第5章 访问网络数据148
5.1 联网访问在线的 XML 与 JSON 数据150
5.2 API 简介152
5.3 以搜索引擎为例讲解如何调用基本的API153
5.4 如何调用带有基本身份认证机制的API155
5.5 阅读API文档157
5.6 使用Python时保护你的API密钥160
5.7 如何调用带有 OAuth 认证机制的API166
5.8 调用API时所应遵循的行为准则178
5.9 获取数据的最后一招：网页抓取180
5.10 小结189
第6章 评估数据质量190
6.1 流行病与PPP192
6.2 评估数据的完整程度192
6.3 评估数据的适合程度220
6.4 小结225
第7章 清洗、转换和增强数据227
7.1 如何从 Citi Bike 数据中选取一部分内容228
7.2 把数据文件清洗干净238
7.3 把 Excel 表格中的日期处理好241
7.4 把定宽数据转换成真正的 CSV 文件244
7.5 修正拼写不一致的现象246
7.6 为了找到简单方案而走过的弯路251
7.7 一些容易出错的地方254
7.8 增强数据255
7.9 小结257
第 8 章 调整并重构代码259
8.1 重新思考自定义的函数259
8.2 什么是作用域261
8.3 为函数设计参数263
8.4 返回值266
8.5 以嵌套的形式调用函数267
8.6 既有趣又有用的重构269
8.7 用 pydoc 给自定义的脚本与函数撰写文档279
8.8 让Python脚本支持命令行参数283
8.9 命令行脚本与notebook的区别286
8.10 小结287
第9章 数据分析入门288
9.1 情境很重要289
9.2 常规与反常290
9.3 评估集中趋势291
9.4 另辟蹊径：识别异常值293
9.5 数据分析可视化293
9.6 这些200万美元的贷款记录是怎么回事306
9.7 注意按比例计算317
9.8 小结320
第10章 展示数据322
10.1 视觉说服力323
10.2 把整理数据后形成的观点表达出来325
10.3 如何选择图表326
10.4 视觉说服力要素342
10.5 通过 seaborn与matplotlib库自定义更好的可视化图表346
10.6 提高设计水平351
10.7 小结352
第11章 Python 以外的工具353
11.1 查看数据的其他工具353
11.2 分享并展示数据的其他工具357
11.3 考虑原则问题359
11.4 小结360
附录A 其他Python编程资源361
附录B 再讲一讲 Git365
附录C 获取数据的渠道371
附录D 与可视化及信息设计有关的资源376
发表评论