审核是中后台系统非常重要的职能之一，尤其是对于内容领域和金融领域来说。本文作者在研究免疫系统和病毒的过程中，发现免疫系统和病原体的抗争和协同过程，同审核系统和风险的关系是很类似的，于是将免疫系统对审核系统设计的启示写了出来，希望能给你带来一些启发。
审核是中后台系统非常重要的职能之一，尤其是对于内容领域和金融领域。
后台审核的核心目标是风险控制，发现可能对或已经对公司业务产生不良影响的合作、内容、舆情等不利影响，将其扼杀在萌芽之中或者避免恶劣影响进一步扩大。
笔者曾经做教育后台时，主导过作业批改和审核从0到1到系统设计，有过一些审核的经验。最近因为新冠疫情，也对免疫系统和病毒产生了兴趣，并进行了一些学习和研究。
在此过程中发现，免疫系统和病原体的抗争和协同进化过程，其实同审核系统和风险的关系是很类似的，其底层逻辑更是一样一样的。当然，也可以推而广之到杀毒软件和病毒的关系。
笔者虽然在审核系统的设计方面只有粗浅的经验，但是实在技痒，在此抛砖引玉，将免疫系统对审核系统设计的启示写出来。
我们赞美人工设计时，常常会说“巧夺天工”。而随着人类科技实力的不断进步，我们也会产生一些错觉：天然的是质朴的、粗陋的，人工的是完美的、精巧的。
然而我们去多了解一些自然中的现象，那么就会逐步体验到事实恰好与直觉相反。生物尤其是人类的免息系统在漫长的进化中，已经形成了系统性、多层次、高效的机制，十分精妙。
其特点总结如下，也是在设计审核系统中非常值得借鉴的原则。
虽然笔者尝试尽量总结的面面俱到，但是免疫系统几十亿年伴随生命和病原体演化而形成的精妙体系，绝非三言两语就能描述清楚。
感兴趣的读者不妨阅读《免疫系统与病毒的战争》，相信会对产品的审核系统设计有更多启发。
那么如何设计一个完善的审核系统呢？
笔者一贯强调，做产品设计一定要先深入了解、分析业务，然后抽象出其背后的信息流，再进行系统界面设计。
业务的分析方面有很多成熟的方法论，建议整体框架使用用户体验五要素（参考《产品“无”之道（一）——战略篇》）。
对于审核系统来说，最起码搞清楚几个问题：
比如说，我们要做一个内容社区的审核系统。
深入了解业务之后，就可以着手开始对信息流的抽象、分析和可视化。应用方法可以参考笔者之前的文章，《火眼金睛：一眼看破产品逻辑》。
我们以内容审核相关的业务为例。
经过简单的分析，我们就能够比较全局地了解在整个商业模式下，内容和风险是怎样流转的，进而影响内容分发和用户。
梳理清楚信息流之后，整个审核系统划的系统架构就清晰多了。
下一步就是根据每个平台的具体业务需求，结合人（用户、后台工作人员）绘制流程图。还是建立使用泳道图，将系统、人的重要流程梳理清楚。
泳道图的绘制属于产品经理比较基础的技能，在《火眼金睛：一眼看破产品逻辑》也有案例，在此不再具体演示。
机器审核是个比较偏向技术的平台，产品经理的工作就是要为内容安全提供一个高效、准确的机器审核和风控支持。
做好机器审核平台，需要在几个方面做出权衡。
那么，笔者上文介绍的免疫系统的特点就有用武之地了。
比如受先天免疫系统和适应性免疫系统的启发，我们也可以将机器审核划分成普适性审核和适应性审核。事实上，大多审核系统也是这么做的，但是可以模仿免疫系统，做得更极致。
在作者提交内容时，可以对普遍性的问题进行快速识别。比如敏感词、错别字等，让作者可以马上修正，以避免等待一段时间之后才发现要修正。这样就可以一定程度提升用户体验。
对于所有的内容，应当先让一个简单、高效的模型完成普遍性问题的识别，可以引用人工配置的关键词、策略等帮助增强识别效果。比如可以将完全合规的内容直接发布；对于机器识别置信度低、难以判断的问题类型直接流转人工审核系统；对于适合机器识别的问题进行归类，再分发给不同的适应性算法。甚至以上几种目的也可以交给不同的算法识别分别实现。
适应性算法则可以针对某一类问题进行深度的定制。比如根据国家划分，可以充分考虑不同国家的法律法规和文化；专门针对政治敏感、色情、恐怖等不同类型问题的识别；专门对内容质量、重复性、版权问题识别的模型等。目前人工智能算法的特点还是通用性难做，但是针对特定的问题则可以达到更佳的效果。
再比如建立有效的级联反应机制，让不同类型的问题都得以妥善地处置。
合理配置审核策略，寻找不同整合之间的相似性、关联性，可以对相近的策略进行合并，有冲突的策略进行隔离，有关联的策略设定前后触发关系等。
针对不同类型的问题，还可以设定不同的阈值。比如对政治敏感、青少年色情、版权等底线性的问题，应当采取宁愿误伤，也不放过的策略，然后再交由人工审核进一步判断。对于重复、低质量的内容，则可以适当放宽标准，先让内容发布，再根据后续用户的行为、评价、举报等进一步处理。
有条件时，针对同一类问题可以使用多个模型同时进行分析。这样的好处，一个是可以进行交叉验证，提升审核的准确度。也可以比较不同的算法模型效果，不断淘汰旧的模型，应用新的模型。
还有可以挖掘不同算法模型之间的协作关系。
因为现实世界，内容很多的问题都是混杂在一起的，比如有的内容可能既色情又暴力。
那么普适性审核模型也应当能够提取一些关键特征，帮助适应性审核模型更精准、高效地完成审核；适应性审核模型也可以抽取出更多普适性的特征，反哺普适性审核模型，帮助其优化。
而不同的适应性审核模型，也可以抽取出自己无法完全识别，但是可能与另一种问题相关的特征，并且提供给相关的模型，帮助其更准确地完成识别。
最后就是优化机器审核的记忆性。
机器审核平台应当提供审核结果的数据平台，包括每个算法模型的调用次数、识别效率、识别准确性（来自模型的交叉验证、人工审核、用户反馈等）等数据，用于衡量模型效果。
也应当允许查看内容的识别结果，并尽可能标注出问题的区域。同时也可以人为对结果进行订正，以提升反馈数据的质量。
对于已经发生的问题，可以总结其规律性，比如是否跟国家地区、时间（季节、节日等）、偶然事件、账号用户行为等是否有关。对于持续性、易发性的问题，可以作为固定的检测对象固定下来（配置关键词、审核策略、甚至新增模型等）；对于规律性、偶发性的问题，可以设定有效的触发策略，平时可以不作为审核对象。
借鉴疫苗的思维，可以建立模拟的沙盒，在新审核策略、新审核模型发布前，在沙盒中测试效果。还可以人工或机器生成大量的违规内容，然后输入沙盒用以优化模型等。
由于笔者在审核方面的经验有限，上述的想法抛出来供各位读者参考，也欢迎大家留言交流。
人工审核平台要支持审核人员审核和管理的要求，相对来说有更多的界面设计和流程流转。但机器人审核平台的很多思路也可以借鉴。
可以指定一批基础的审核人员，初步判断机器给出的判断建议是否合理，比如是否需要人工审核、问题分类是否恰当。
特定问题的审核人员同样可以分层，优先由初级审核人员处理，对于难以判断的问题，可以升级、交给更资深的审核人员处理。因为审核人员的培养也是需要成本的，而有疑难杂症的内容也是少数，这种策略可以兼顾效率和成本。
对于重要的问题，可以同时交给若干审核人员交叉验证。这样的好处是一方面可以避免严重的问题被误判而分发给用户，造成恶劣的影响；另一方面也可以对重要作者更谨慎的审核，避免因为误判损害其积极性和利益。
虽然经过机器和人工分类，但是还有部分问题难免分配到错误的类别，那么处理特定问题的审核人员可以根据个人判断，直接移交给其他组别或者打回给分类审核人员。
可以从两方面入手。
一个是同样要提供审核结果的数据平台，帮助管理人员不断发现人工审核的不足之处，通过优化审核规则、加强审核人员培训等动作，提升审核效果。
另一个是要建立对审核人员的奖惩措施。奖励审核快、结果准的审核人员，惩罚审核慢、结果差的审核人员。鼓励有想法的审核人员反馈问题和建议，则可以更好地优化人工审核系统乃至机器审核系统。
用AI进行辅助。
虽然前序的机器审核可能无法准确判断问题，但是可以给出处理意见、标注出问题最大的位置，帮助审核人员快速定位。
还可以提示相关的审核规则，方便审核人员在有疑问时能快速查找依据。也可以在审核规则发生变动时及时予以提醒。
甚至对于有显著问题的审核结果进行提醒，进一步降低出错概率。
而人工审核的结果，则是优化AI算法模型的极佳数据。
最后想提醒的是最重要的审核页面的设计，界面设计的合理性、易操作性，极大影响审核人员的效率乃至准确性。需要结合业务特点和审核内容类别（文字、图片、声音、视频）等有针对性地进行设计。也需要结合可用性测试、数据埋点等手段不断优化审核界面。
由于差异性显著，笔者在此不提供具体案例，但是提示可以参考各类设计软件，使用通用性的交互、快捷键等方式提升效率。
关于审核系统的设计思路就介绍到这里。
触类旁通，是一个优秀产品经理必备的素质。阅读笔者的公众号文章，是一个不错的选择。
专栏作家
一直产品汪，微信公众号：apmdogy，人人都是产品经理专栏作家。逻辑型产品经理，致力于将科学思维与产品经理方法论结合。关注人工智能、教育领域，擅长产品孵化、需求挖掘、项目管理、流程管理等产品技能。
本文原创发布于人人都是产品经理，未经许可，禁止转载。
题图来自Unsplash，基于CC0协议。
该文观点仅代表作者本人，人人都是产品经理平台仅提供信息存储空间服务。
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。