Matrix 首页推荐
Matrix 是少数派的写作社区，我们主张分享真实的产品体验，有实用价值的经验与思考。我们会不定期挑选 Matrix 最优质的文章，展示来自用户的最真实的体验和观点。
文章代表作者个人观点，少数派仅对标题和排版略作修改。
当 Notion 遇到游戏，你觉得会撞出怎样的火花？在我这里，两者撞出了一个游戏库。
作为一个游戏爱好者，我发现自己总会被那些小巧的游戏作品吸引到。比如玩家们口中常说的独立游戏、或是那些诞生于 GameJam 的作品。
所谓 GameJam，可以理解为一种快节奏、鼓励创意表达的游戏开发活动，参加者或单人或组队抱团，需要在指定时间内从零开始制作出一个游戏，尽可能在游戏中表达一个特定的主题（通常由活动举办方指定），最终评选出优秀作品。（详情可以参考叶梓涛的 这篇介绍）
我曾在一次线下的游戏展会试玩过 GameJam 中诞生的作品，虽然完成度很难比得上 Steam 上陈列的那些游戏，但大多有巧妙的玩法设计，时不时就能遇到眼前一亮的宝藏作品，让我惊呼于开发者的创意和才能。
但线下的展会终归是有限制的，受限于路程、开放时间、人流量等各种因素，我很难自由试玩自己感兴趣的游戏，这也给我埋下了遗憾，总是忍不住关注类似的 GameJam 活动，想着多玩一些活动中诞生的游戏，但又会因各种原因无法如愿。
直到前不久，我在 机核网 的 App 里看到在推送一个叫 BOOOM 的活动，我突然回想起来，这就是那个给我埋下遗憾的 GameJam。我一个激动，便给自己定下了「体验完所有游戏」的目标。
但要体验所有的游戏，首先我得知道总共有哪些，这样才能持续追踪进度。经过随后的一系列折腾，我成功在当天内搭建好了一个 Notion 游戏库，收录完了这届 BOOOM 中所有游戏的信息。
在这篇文章中，我将回顾自己搭建这个游戏库的历程，如果你对数据收集、效率提升或信息管理感兴趣，或许也能为你解锁一些新知识，或是你熟知工具的新用法。
在机核已经提供了 BOOOM 游戏列表 的情况下，数据的来源可以说是很明确了，直接从官方的页面中获取就可以。摆在开头的问题是：如何收集这些数据？收集后又要如何储存和呈现？
如果游戏数量不多，比如只有十几个，那我还可以考虑人工收集一下，但扫一眼 BOOOM 的页面便知，这次总共征集到了百余款作品。如果人工收集一个游戏要 1 分钟，怎么说也得两小时，而且这是一个高度机械重复的工作，很难保证做到中途会不会丧失动力和兴趣，因而我最好考虑更高效的方案。
恰好我对 Python 爬虫略有了解，便想到用爬虫来收集数据，这样不单单能了解「有多少个作品」，连每个作品相关的名称、类型、链接等信息都能一并收录。但是否能爬、如何爬，取决于目标网页的情况。
为此，我需要从爬虫开发的角度评估 BOOOM 的活动页面，我通常会关注的点包括：
经过一番观察，我有了初步的认知：
结论来说，可以爬，不过得想办法让爬虫模拟人滚动列表的操作，因为这部分的数据是动态加载、每次滚到最下面才会刷新。（具体做法见会在下面展开讲）
我也明确了要爬的信息，以及预想的用途：
收集数据是可以交给爬虫了，但数据存在哪里？怎么查看和使用？
我很快想到了自己常用的 Notion，（少数派这里应该大多知道，但以防万一还是介绍一下）一款瑞士军刀般的笔记软件，集写作、计划、管理于一体，其中的数据库功能，提供了丰富的数据类型和视图预设，也支持筛选、排序、搜索，几乎完美匹配我对 BOOOM 游戏信息的管理需求。
定好了数据收集和储存的方案，我也列出了接下来要做的事：
前面我也提到过，因为官方的游戏列表是每次滚到最下面才会刷新的，我得想办法让爬虫模拟人滚动列表的操作，这样才能确保收集到全部的游戏数据。
我因此而选择了 selenium 库，一个常用于模拟人为操作、测试网页的库，用它来爬取动态页面简直不能更合适。
明确了技术方案后，我没有直接开始写代码，而是先自上而下拆解了任务，就像项目管理中的工作拆解结构（Work Breakdown Structure，WBS），我从一个脚本的目的起步，拆解出了每一步要解决的问题：
明确了每一步的任务后，启动 Visual Studio Code（用来写代码的软件），新建了一个 Python 文件，然后用注释写明了脚本的目的、每一步要解决的问题。这部分参考了 Google 的 Python 代码注释规范，经过个人的实践，发现确实能避免不少回顾代码时的一脸懵逼。
有了这样大致的框架，接着就要逐个解决每步的问题了，具体的技术细节这里略过，基本是面向搜索引擎编程，考虑到可能有人会感兴趣，这里概括一下最终是如何实现的：
最终写了 50 多行的爬虫代码（其中有不少是注释和排版用的空行），运行后便收集完了此次 BOOOM 所有游戏的数据。
爬到的数据导出到了本地的 CSV 文件，包含了 113 个游戏的这些数据：
爬完了数据，按前面的计划，下一步就是把这些数据导入 Notion 了。
用过 Notion 的朋友可能会知道，Notion 的数据库功能是支持直接导入 CSV 的，导入后会自动补全不存在的列、设定好匹配的数据类型，但可惜的是我不能用这个功能。
问题就在于我收集的数据格式，有些是无法被 Notion 识别的，比如标签和图片链接。图片链接直接导入 Notion 会被识别为链接（URL 属性），而不是我希望看到的图片（Files & media 属性），这也意味着我之后要手动设置 100 多次图片数据，而不巧我是一个极度厌倦重复劳动的人。
于是新的问题摆在了面前，如何避免重复劳动将这批数据导入 Notion。我很快想到了 Notion API，Notion 官方为了方便开发者编写程序，将 Notion 与第三方工具打通、实现自动化而公开提供的一套接口。这时的我已经积累了一些使用经验、也打包了常用的函数，新写一个导入数据的脚本并不是什么难事。
类似写爬虫，我也拆解了这一环节的步骤，将数据导入 Notion 需要经历两步：
之后，针对每个步骤写代码实现：
这里面比较头疼的是数据格式的转换，读取到的原始数据是一个个单独的变量，但为了让 Notion API 能正常使用这些数据，必须严格按照官方要求、重新包装成字典/列表层层嵌套的格式。
好在 Notion 为使用 API 的开发者提供了相对完善的文档，比如 这篇文档 就全面列举了各种数据类型的格式范例，让我了解了如何通过 Files 属性在 Notion 数据库中插入图片。
但写代码哪有一次就能跑通的，我也在插入图片这步踩了坑，的确是参考官方文档写的，但一个页面都没有添加成功，最后排查下来发现是图片链接有问题，Notion API 那边无法使用带后缀的图片链接，于是我又加了一步正则匹配处理，才得以解决。
在多次测试、修复完各种大小问题后，最终成功将数据导入了 Notion。
至此，Notion 的数据库中已经保存了这些信息：
尽管游戏库所需的数据都已经导入，但实际用起来还是会有不同的使用案例，因而还要从不同需求出发、设计对应的数据视图。
我从「体验完这届 BOOOM 所有游戏」的目标出发，列出了这些使用案例：
列完后，我发现还需要建新的数据库，因为使用案例 1 和 3 都涉及到个人试玩作品的评分，而现有数据库管理的对象是游戏作品、不是评分，如果硬要将评分数据存在这边的数据库，会使得信息管理起来过于臃肿。
于是我又新建了一个「测评记录」数据库，根据试玩需要设计了数据模型：
再回到游戏的数据库，参考前面罗列的使用案例，通过组合 Notion 中的视图、筛选、排序、可见属性，我最终创建了 4 个不同的数据视图：
在随机漫步视图中，我用到了一套拍脑袋想出来的伪随机算法，刚好实现了每分钟重置一次列表排序。原理也很简单，每个作品的链接中有唯一的数字 ID（用正则从中提取），我在公式中代入当前的时间戳（精度是毫秒，但每分钟更新），用时间戳除 ID 取余数，最终每个作品就都会有一个每分钟更新、顺序不固定的数字，再用这个值来排序就可以。
到了这一步，我自己试玩所需的数据库已经算是搭好了，但我还准备额外做一个分享版，因为想起了自己用官方页面的痛点：
既然我会有这样的痛点，说不定还有其他人也会有相同的体验，而这套游戏库应该也能帮到他们，发挥更大的价值。
很快，我复制了一份现有的数据库，重新配置了一套视图：
接着，通过 Notion 的分享功能，我将这个新游戏库公开分享到了网络，开启了评论、搜索引擎检索，然后在机核发了条动态带上分享链接，将其分享了出来。
在发完那条动态后，我也有了一些意料之外的收获。
我收到了来自这届 BOOOM 开发者的点赞，游戏《Cato》的开发者 Blasin-Ree 在动态下评论，说这套 Notion 版的游戏库比官方的方便，让我着实高兴了好一会。
之后，《TRAiLS》的开发者 SleepyJeff 也找到了我，他帮我把这套游戏库的链接转发到了 BOOOM 开发者的群里，但发现有一个作品被漏掉了，可能是这组提交的比较晚、导致没被爬虫收集到。
我了解后，也去排查了一波，确认当时的官方列表里依然没收录到这个作品，于是帮忙手动补录了信息。这个作品是《斯巴拉西》，我之后试玩到发现美术很棒、完成度也很高的一个音游作品，希望这波补录能帮到他们。
还有一个意外收获，就是被一个叫西蒙的人关注了，我后来才知道，他是机核的创始人。
回顾这次的 BOOOM 游戏库搭建，我学到了这些：
感谢 Blasin-Ree 的点赞、SleepyJeff 的热心联系，还有西蒙的关注，这次实践后，我发现自己不仅在知识输出上迈出了一步，也和独立游戏社区里的人们建立了更紧密的联系。
如果你也对这届 BOOOM 感兴趣，想试玩其中的游戏作品，可以访问 机核的活动页面，或通过我收录的 游戏库 寻找心仪的游戏。
这也是我在少数派的第一篇文章，如果这篇文章对你有所帮助，希望能点赞收藏一下，这是对我持续创作的最大支持。如果有其他想讨论的，也欢迎在评论区留下你的看法。
> 下载 少数派 2.0 客户端、关注 少数派公众号，解锁全新阅读体验 📰
> 实用、好用的 正版软件，少数派为你呈现 🚀
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。