惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

WordPress大学
WordPress大学
V
Visual Studio Blog
P
Privacy International News Feed
月光博客
月光博客
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
L
Lohrmann on Cybersecurity
N
News and Events Feed by Topic
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
Apple Machine Learning Research
Apple Machine Learning Research
阮一峰的网络日志
阮一峰的网络日志
Webroot Blog
Webroot Blog
T
Threatpost
宝玉的分享
宝玉的分享
The Last Watchdog
The Last Watchdog
小众软件
小众软件
L
LINUX DO - 最新话题
C
Cisco Blogs
T
Troy Hunt's Blog
Schneier on Security
Schneier on Security
酷 壳 – CoolShell
酷 壳 – CoolShell
www.infosecurity-magazine.com
www.infosecurity-magazine.com
雷峰网
雷峰网
G
GRAHAM CLULEY
有赞技术团队
有赞技术团队
Know Your Adversary
Know Your Adversary
博客园 - 叶小钗
罗磊的独立博客
V
V2EX
博客园 - Franky
P
Proofpoint News Feed
SecWiki News
SecWiki News
腾讯CDC
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
Jina AI
Jina AI
博客园 - 三生石上(FineUI控件)
S
Secure Thoughts
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
Google DeepMind News
Google DeepMind News
Attack and Defense Labs
Attack and Defense Labs
人人都是产品经理
人人都是产品经理
The Cloudflare Blog
PCI Perspectives
PCI Perspectives
V2EX - 技术
V2EX - 技术
Google DeepMind News
Google DeepMind News
Last Week in AI
Last Week in AI
aimingoo的专栏
aimingoo的专栏
Cisco Talos Blog
Cisco Talos Blog
N
News and Events Feed by Topic
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
S
SegmentFault 最新的问题

博客园 - 小诈

[.net]正则表达式整理 今日所思 伟大的意大利夺冠了!疯狂庆祝! word add-in 卸载时如何清除自定义的按钮和菜单 制作包含.net framework的安装包 解决不能上网的问题(Wincock绑架) [ASP.NET揭密读书笔记]额外的控件和资源 [ASP.NET揭密读书笔记]应用程序跟踪和监视 [ASP.NET揭密读书笔记]ADO.NET介绍 [ASP.NET揭密读书笔记]用户自定义控件 [ASP.NET揭密读书笔记]连接池 安装Ubuntu 痛苦的胃镜检查 [转载]微软好员工的十个标准 新年新气象,恭喜发财 WEB中服务器端Table的行集中要注意ViewState 2005年年终总结 招聘.NET高级软件工程师 [转贴]Visual Studio 2005常用插件搜罗
DataTable.Select方法的性能问题
小诈 · 2005-12-27 · via 博客园 - 小诈

我们首先看一个例子:
bool a,b,c,d; a=true;b=false;c=false;d=false;
如果我们执行if(a or b or c or d){},我们发现当程序执行到a,发现为true就执行下面的语句了,就没必要去判断b,c,d的值了。

最近在做一些大数据量的多次比较问题,由于多次比较一些记录块,所以将这些记录放到了DataTable中提高查找的性能,使用DataTable.Select(string filterExpression)来查找相关的记录。但是我发现执行的比较慢。然后我把Select方法接受的xpath拆分为几个条件执行,将其中最可能缩小范围的条件传递给filterExpression,然后在找到的集合中过滤其他的条件。发现这样比原来的执行时间少了很多。由此我估计Select算法是运算所有的条件,然后才返回这个记录的。
事不宜迟,我用Reflector.exe查看算法源代码,发现该方法是把这个filterExpression表达式分割成多个表达式,然后遍历记录,计算这些子条件,取到满足条件的记录(算法内部比较复杂,细节上没看完,如果有好的见解欢迎提出),这样就导致了效率的低下。
然后我又做了一个简单的例子验证了一下:

 1DataTable dt = new DataTable();
 2        dt.Columns.Add("a",typeof(int));
 3        dt.Columns.Add("b",typeof(string));
 4        
 5        for(int i=0;i<1000000;i++)
 6        {
 7            DataRow row = dt.NewRow();
 8            row["a"= 0;
 9            row["b"= "2";
10            dt.Rows.Add(row);
11        }

12        long tick = System.DateTime.Now.Ticks;
13        DataRow[] rows = dt.Select("a=0 or (b='1' or b='3' or b='5' or b='6')");
14        System.Console.WriteLine((System.DateTime.Now.Ticks-tick));
15        tick = System.DateTime.Now.Ticks;
16        rows = dt.Select("a=0");
17        System.Console.WriteLine((System.DateTime.Now.Ticks-tick));

在本机测试,发现第一个执行时间是第二个的12倍!

所以在使用该方法时要注意优化自己的查询条件,尤其某个条件能有效的缩小查询范围时应该考虑先用该条件查询,然后对结果再执行条件。