@张俊同学有天晚上邀我写一期文章，介绍论坛机器人的技术实现。登时诚惶诚恐，群里大神云集，我此前写的这个粗陋的机器人实在难登大雅之堂。考虑到机器人还在群里头用，就献丑来简单介绍下技术层面的实现，方便大家日后改进它 ：）
本文侧重谈论整体的设计和实现，至于细节，大家可以看源码和文档(文档在doc目录下) ：）
论坛机器人目前实现了三个功能：
以上三个功能按实现的先后排序。下边分别简述这三个功能的实现
先贴上实际使用的截图：
这个功能是最初的需求，@张俊同学觉得群聊消息归档不便，不利于深入讨论问题。为了更加高效的分类和管理大家讨论的精华（QA对），想做个bot，与外部论坛打通，便于归档优质的讨论内容。大家群聊的时候只要按照特定格式发言，机器人就能将信息转发到论坛中，用论坛来保存这些讨论信息
关于最初我们试图解决的问题，@张俊同学在PaperWeekly十期总结的Issue 2里写的很详细，对项目背景有兴趣的同学可以参考
最初的需求描述如下（来自@张俊）:
我觉得这个想法很有趣，决定一试。用了一个晚上实现了微信与论坛的通信机制（大半时间在熟悉Misago）。次日早起，调试完成，后来也没空去重构代码，这部分代码很丑陋（quick and dirty），欢迎有兴趣的小伙伴帮忙重构
微信群与paperweekly论坛双向通信问题，实际上是个消息转发问题。消息无非两种流向:
消息的流向可以从这张图里看出:（这张图也描述了项目的结构和数据流）
我们先来看看从微信群发往论坛的消息。
当微信群的讨论（成员的发言）匹配预先设定的模式时，将触发机器人特定行为，诸如往论坛发帖或回答问题。（这实际是CLI风格，如果你熟悉*nix，会觉得很亲切），所以机器人并没有处理自然语言，更多的是正则匹配，哈哈这有点小尴尬，如@张俊所言
我们整天都在用机器学习，也都想通过人工智能来改变这个世界，来改变我们的生活，很多时候模型和工具都有，但缺少数据和需求，这次有了数据和需求，我们却无能为力了，感觉有一点点小讽刺
机器人士如何把消息发往论坛的呢。我hack了Misago（论坛所用的框架），使其对外提供RESTful API，允许使用http请求来做常见操作（发帖/回复之类）
以发帖为例，我们跟着消息走，看到的是这样一个流程：微信群里某些消息匹配固定模式，机器人被激活，进而携带着token往论坛发送特定http请求，消息作为请求参数。于是消息从微信群流到了论坛
接着我们来看看论坛发往微信群的消息。在论坛这块，我hack了源码里的发帖函数，使其具有webhook output功能，你很可能已经用过github的webhook output。当论坛产生帖子时，将对外发起一个web请求（output），外部系统收到请求便知道事件的发生，同时也能获取事件的细节（请求参数），如此一来这个钩子（hook）就把两个异构系统勾连起来。
webhook是我偏好的异构系统间通信的解决方案，灵活性高，耦合度低。
我将论坛的web请求发往一个消息服务（我选择kinto，至于原因我在开发文档里也有描述），而在机器人这边，会不断向消息服务轮询。这实际上是经典的发布/订阅模型（至于为何不采用redis和rabbitmq的原因我在开发文档里也有说明）。
使用发布订阅模型考虑的主要是扩展性，我手头有nlp相关的 QQ群，当时觉得paperweekly的讨论内容很棒，也许其他nlp小组也会感兴趣，使用发布订阅模型，我只要在任何group里（QQ/wechat/telegram/whatapp）放上机器人，就可以订阅paperweekly的动态，我这边做了两个具体实现，其一是在微信群中订阅消息，源码见paperweeklybot.py，其二是QQ群中订阅消息：源码见SmartQQBot
至于论坛的选型（最终选择了Misago），大家在群里讨论的结果倾向选择基于python的论坛框架。因为大家对python更为熟悉，方便维护
关于这个需求的背景，引述@张俊的说明（PaperWeekly十期总结）：
一个群很快就到了500人，出现了一个棘手的问题，第二个群的人如果太少，几乎没有讨论意义，所以就想用什么办法可以打通两个群，让两个群的童鞋在同一时空内进行交流
@碱馒头同学用了一个中午时间写了群消息转发机器人，我觉得很妙，功能干净利落、十分实用。后来我们觉得两个机器人可以合并成一个，本来计划由馒头兄来实现这块，后来因为我的微信机器人框架和馒头兄不同（我偏好itchat），我就自己用itchat实现了这块
这部分的实现比较简单，机器人同时在两个群里，当机器人接收到A群消息时，立马转发到B群。至于机器人如何得到群消息，就是微信机器人框架（itchat）做的事了，大家可以自行读文档
目前只转发文本和表情，下一步准备支持图片/链接分享和跨群@
国庆去白洋淀玩，路上，@张俊同学提到一个有趣的想法：
有人提问之后，能否直接从quora或者知乎检索相应的答案
我想到之前玩过的一个叫做howdoi的项目，于是以此为原型给bot添加了问题检索的功能,源码见qa_bot.py
目前用户可以在微信群向机器人提问，它会返回stackoverflow里最佳的答案
原理很简单，howdoi的源码很短，大体思路是利用google的site特性，在指定的站点搜索问题（默认是stackoverflow），得到相关连接，然后打开连接，用pyquery提取内容，返回干净的答案给用户
从howdoi的原理我们可以看出：实际上问题搜索是利用了google强大的搜索能力，同时我们看到，这是一个易于扩展的框架，只要改变site对应的网址，理论上可以检索任何网址。最初的需求里提到的知乎和quora当然没有问题，剩下的工作只剩对答案做html清洗。惭愧的是我近来挖的坑太多，业余时间被分散在各个坑里，这个坑暂时还没填，等待小伙伴加入
因为howdoi不支持中文（用中文从stackoverflow里基本搜不出有价值的东西），后来我们添加了一个翻译层，先做翻译，然后再检索，这样一来，就可以直接在微信群里用中文向机器人提问
于是你就看到了上边一张图片里的问答
接下来除了填完上文提到的坑（todolist）
还准备先把群消息存下，诸如（groupname，username，content，time），然后pandas做些简单统计，可做的事包括：
进一步，可以用bokeh作可视化展示
当然也可以把语料开放给群成员，供大家使用nlp来做一步的分析和挖掘，诸如挖出
或者用来训练一只paperweekly风格的机器人 ：）
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。