惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

H
Help Net Security
博客园 - Franky
GbyAI
GbyAI
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
爱范儿
爱范儿
IT之家
IT之家
酷 壳 – CoolShell
酷 壳 – CoolShell
aimingoo的专栏
aimingoo的专栏
博客园_首页
MongoDB | Blog
MongoDB | Blog
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
Recent Announcements
Recent Announcements
Scott Helme
Scott Helme
有赞技术团队
有赞技术团队
M
MIT News - Artificial intelligence
C
CERT Recently Published Vulnerability Notes
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Jina AI
Jina AI
F
Fortinet All Blogs
N
Netflix TechBlog - Medium
L
LangChain Blog
L
LINUX DO - 最新话题
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
H
Hacker News: Front Page
MyScale Blog
MyScale Blog
P
Palo Alto Networks Blog
G
Google Developers Blog
Google DeepMind News
Google DeepMind News
AI
AI
T
Troy Hunt's Blog
Microsoft Azure Blog
Microsoft Azure Blog
阮一峰的网络日志
阮一峰的网络日志
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Vercel News
Vercel News
Microsoft Security Blog
Microsoft Security Blog
罗磊的独立博客
S
Secure Thoughts
大猫的无限游戏
大猫的无限游戏
博客园 - 叶小钗
人人都是产品经理
人人都是产品经理
Blog — PlanetScale
Blog — PlanetScale
博客园 - 司徒正美
Apple Machine Learning Research
Apple Machine Learning Research
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
博客园 - 三生石上(FineUI控件)
S
Security @ Cisco Blogs
Cloudbric
Cloudbric
E
Exploit-DB.com RSS Feed
Attack and Defense Labs
Attack and Defense Labs

博客园 - xingd

Minesweeper: 新版代码 Minesweeper: 代码结构改进 Minesweeper: GDI+ 初步实现 Minesweeper: GDI+ 综述 SQL Server 2008: Change Data Capture和Change Tracking SQL Server 2008: 常见缩写汇总 SQL Server 2008: Feb CTP 企业数据平台增强 SQL Server 2008: Feb CTP 关系数据库引擎增强 SQL Server 2008: Installation Center SQL Server 2008: Feb CTP 开放下载 Minesweeper: GDI+ Line Scratch Minesweeper: GDI+ 概述 Minesweeper: 索引 推荐.NET新书 忽略大小写的.NET脏字过滤算法 2007年度总结 再度提升!.NET脏字过滤算法 单独谈谈C#3.0 (重发).NET脏字过滤算法
(再发).NET脏字过滤算法
xingd · 2008-01-31 · via 博客园 - xingd

参见 http://www.cnblogs.com/xingd/archive/2008/01/23/1050443.html

感谢sumtech的回复和讨论,原本的效率已经足够网站实用了,虽然也想到一些改进方法,但是一直懒得去做。sumtech通过邮件跟我讨论,我也终于抽了时间做了改进,改进后的算法效率比原先的算法提高了400%,也就是仅需要原来的1/5时间。

算法关键是将两个BitArray合并成了byte[char.MaxValue],其中7个bit用来判断前7个字符,另一个bit判断其他字符。并且增加了minWordLength和charCheck,用来过滤过短的判断,以及仅有一个字符时的快速判断。

使用的数据:

private HashSet<string> hash = new HashSet<string>();
private byte[] fastCheck = new byte[char.MaxValue];
private BitArray charCheck = new BitArray(char.MaxValue);
private int maxWordLength = 0;
private int minWordLength = int.MaxValue;


初始化数据的代码:

foreach (string word in badwords)
{
    maxWordLength 
= Math.Max(maxWordLength, word.Length);
    minWordLength 
= Math.Min(minWordLength, word.Length);for (int i = 0; i < 7 && i < word.Length; i++)
    {
        fastCheck[word[i]] 
|= (byte)(1 << i);
    }
for (int i = 7; i < word.Length; i++)
    {
        fastCheck[word[i]] 
|= 0x80;
    }
if (word.Length == 1)
    {
        charCheck[word[
0]] = true;
    }
    
else
    {
        hash.Add(word);
    }
}

判断是否包含脏字的代码:

public bool HasBadWord(string text)
{
    
int index = 0;while (index < text.Length)
    {
        
if ((fastCheck[text[index]] & 1== 0)
        {
            
while (index < text.Length - 1 && (fastCheck[text[++index]] & 1== 0) ;
        }
if (minWordLength == 1 && charCheck[text[index]])
        {
            
return true;
        }
for (int j = 1; j <= Math.Min(maxWordLength, text.Length - index - 1); j++)
        {
            
if ((fastCheck[text[index + j]] & (1 << Math.Min(j, 7))) == 0)
            {
                
break;
            }
if (j + 1>= minWordLength)
            {
                
string sub = text.Substring(index, j + 1);if (hash.Contains(sub))
                {
                    
return true;
                }        
            }
        }

        index

++;
    }
return false;
}

2008-02-01修订:发现Bug, 一个字符的charCheck应该放到for循环外,去掉j == 1的判断,外层的判断改为if (j + 1 > minWordLength)。

最后介绍下自己,我现任大众点评网(dianping.com)的系统架构师,自己的个人博客是www.stevenxu.com,点评网的整个开发团队即将推出团队博客,我的一些文章一般会先发到博客园和团队博客,跟据反馈修订后再发到个人博客。

PS: 现在匹配的是最小长度,并且是区分大小写的,这部分功能在脏字替换时需要实现。