惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

月光博客
月光博客
Cyberwarzone
Cyberwarzone
L
LINUX DO - 最新话题
N
News and Events Feed by Topic
T
Troy Hunt's Blog
Help Net Security
Help Net Security
S
Security @ Cisco Blogs
Google DeepMind News
Google DeepMind News
Security Archives - TechRepublic
Security Archives - TechRepublic
M
MIT News - Artificial intelligence
G
Google Developers Blog
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
V2EX - 技术
V2EX - 技术
Y
Y Combinator Blog
D
Darknet – Hacking Tools, Hacker News & Cyber Security
大猫的无限游戏
大猫的无限游戏
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Microsoft Security Blog
Microsoft Security Blog
Cisco Talos Blog
Cisco Talos Blog
T
Threatpost
Recent Commits to openclaw:main
Recent Commits to openclaw:main
S
SegmentFault 最新的问题
I
InfoQ
H
Hacker News: Front Page
D
Docker
Scott Helme
Scott Helme
Threat Intelligence Blog | Flashpoint
Threat Intelligence Blog | Flashpoint
Blog — PlanetScale
Blog — PlanetScale
人人都是产品经理
人人都是产品经理
博客园 - 叶小钗
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
N
Netflix TechBlog - Medium
AWS News Blog
AWS News Blog
Know Your Adversary
Know Your Adversary
博客园 - 【当耐特】
T
Tor Project blog
U
Unit 42
H
Heimdal Security Blog
Microsoft Azure Blog
Microsoft Azure Blog
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
P
Privacy & Cybersecurity Law Blog
PCI Perspectives
PCI Perspectives
美团技术团队
O
OpenAI News
T
Tailwind CSS Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
B
Blog
GbyAI
GbyAI
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
MyScale Blog
MyScale Blog

博客园 - 东哥

MongoVUE 错误:can't map file memory - mongo requires 64 bit build for larger datasets HTTP Header 属性列表 安装卸载Windows服务,修改windows服务执行路径! SQL 语句嵌套,自己记录下。 基于RBAC的权限设计模型 javascript中getElementsByName的问题 三级连动JS数据库查询代码整理 动态添加WEB控件,点控件获取动态添加的控件 数据库基本----SQL语句大全 使用Ajax时的十个常犯的错误 数据采集程序(网页小偷)点滴心得 [转]将上传图片打上防伪图片水印并写入数据库 我奋斗了18年不是为了和你一起喝咖啡(转载) [转]社区好友列表利用率越高,社区越失败 很实用的一个图片上传得例子 [转帖]教程:使用WebService进行异步通信 如何用Javascript记录登陆次数 很酷实用的右键弹出菜单(Js+DVML) JavaScript如果文字过长,则将过长的部分变成省略号显示
WEB Service 下实现大数据量的传输
东哥 · 2008-05-09 · via 博客园 - 东哥

Vs2005里面的,查询12000条记录,设置RemotingFormat = SerializationFormat.Binary;
再序列化,通过WebService传输,客户端接收,再反序列化,确实效果大大的优于直接传送DataSet,不仅网络传输中如此,即使本机,性能改善也非常明显.

下面分别是WebService里面的方法和客户端反序列化取DataSet的方法.
1. 服务器上面取数据,填充数据集,转换为二进制格式.

 /// <summary>
    
/// Method for users data query with binaryFormatter
    
/// </summary>
    
/// <param name="err"></param>
    
/// <returns></returns>

    public byte[] BinaryUserSelect(ref string err)
    
{
        ClearCommand();
        m_commandStringBuilder.Append(
"SELECT * FROM t_Users ;");
        DataSet dsResult 
= new DataSet();
        
byte[] bArrayResult = null;
        
try
        
{                              
            dsResult 
= SqlHelper.ExecuteDataset(m_currentConnectionString, CommandType.Text, m_commandStringBuilder.ToString());
            
// 上面都是取数据的,无需关心.二进制压缩数据集是下面一小段
            dsResult.RemotingFormat = SerializationFormat.Binary;
            MemoryStream ms 
= new MemoryStream();
            IFormatter bf = new BinaryFormatter();

            bf.Serialize(ms, dsResult);
            bArrayResult 
= ms.ToArray();
            ms.Close();
            
// 
        }

        
catch (Exception ee)
        
{
            err 
= ee.ToString();
        }

        
return bArrayResult;        
    }

2. 通过WebService把byte[]格式的数据发送到客户端,这里就是WebService自己的事情了,我们无需关心

3.客户端接收到byte[]格式的数据,对其进行反序列化,得到数据集,进行客户端操作.

 /// <summary>
        
/// Get user data with Binary format
        
/// </summary>
        
/// <returns></returns>

        public DataSet GetBinaryUserData()
        
{
            
string err = "";
            
byte[] bUserData = svc.ByteArrayUserSelect(ref err);
            
if (err != "")
            
{
                MessageBox.Show(err);
                err 
= "";
                
return null;
            }

            
// 反序列化的过程
            MemoryStream ms = new MemoryStream(bUserData);
            IFormatter bf 
= new BinaryFormatter();
            
object obj = bf.Deserialize(ms);
            DataSet dsResult 
= (DataSet)obj;
            
//
            ms.Close();
            
return dsResult;
        }

同样一台机器,手工生成12000条数据,在本地使用WebService分别读取、传输并在客户端显示数据集和byte[]格式的数据,前者平均时间2.3秒,后者平均时间为1.7秒,之间的差别仅在传输过程的格式,还有后者需要的序列化和反序列化的时间.本地WebService传输的差别尚且如此,通过网络传输的时间优化自然会更明显..

.net1.1下面微软提供的DataSetSurrogate开发包下载地址:http://support.microsoft.com/default.aspx?scid=kb;en-us;829740  

DataSetSurrogate 在.net 2.0里自带
在.net1.1下的实现方式实例如下

在这里,有两种方式:可把序列化后的数据用文件形式保存在客户端硬盘;也可用Byte[]方式传回客户端,以下是代码。
web service 端(文件形式) 

  [WebMethod(Description
="循环获取远程DATASET")]
  
public void SurrogateReadTable(string TableName)
  
{
   
//把DataSet通过Surrogate Class 序列化成 Binary Stream
  
   DataSet ds;
   ds
=SqlHelper.ExecuteDataset(cnn,CommandType.Text,"select * from "+TableName);
   
//实例化DataSetSurrogate,传取出的DATASET到构造函数里
   sds = new DataSetSurrogate(ds); 
   
//实例化二进制流
   BinaryFormatter bf=new BinaryFormatter();
   StreamWriter swDat; 
   
//写到本地一个文件里
   swDat = new StreamWriter(@"c:\output_surrogate_dataset.dat");
   bf.Serialize(swDat.BaseStream, sds);
   
//这里可以知道序列化后的文件的大小
   long size = swDat.BaseStream.Length;
   swDat.Close();
  
  }


客户端 

private void button1_Click(object sender, System.EventArgs e)
  
{
   label1.Text
=DateTime.Now.ToString();

   button1.Enabled
=false;
   
//反序列化Binary Stream能通过Surrogate Class转换成 DataSet

   
//从WEB SERVICE上读取方法
   svs.SurrogateRead("t_busdocbase");
   BinaryFormatter bf
=new BinaryFormatter();
   StreamReader swDat; 
   swDat 
= new StreamReader(@"c:\output_surrogate_dataset.dat");
   
object o=bf.Deserialize(swDat.BaseStream);
  DataSet ds;
   sds 
= (DataSetSurrogate) o;
   ds 
= sds.ConvertToDataSet();
   dataGrid1.DataSource
=ds.Tables[0];
   swDat.Close();
   }




web service 端(Byte[]方式)

[WebMethod(Description
="获取业务资料远程DATASET")]
      
public byte[] SurrogateRead1()
      
{
       DataSet ds;
       ds
=SqlHelper.ExecuteDataset(cnn,CommandType.Text,"select * from t_busdocbase");
       sds 
= new DataSetSurrogate(ds); 
       MemoryStream s
= new MemoryStream();
       BinaryFormatter bf 
= new BinaryFormatter();
       bf.Serialize(s,sds);
     
       
byte[] e = s.ToArray();
       
return e; 
  
      }



客户端   

private void button3_Click(object sender, System.EventArgs e)
   
{
    label1.Text
=DateTime.Now.ToString();

    button3.Enabled
=false;
    
//*反序列化Binary Stream能通过Surrogate Class转换成 DataSet*/

    
//从WEB SERVICE上读取方法


     
byte [] bb=svs.SurrogateRead1();
     MemoryStream br
=new MemoryStream(bb);
     BinaryFormatter bf
=new BinaryFormatter();
     
object o=bf.Deserialize(br);
     sds 
= (DataSetSurrogate) o;
     ds 
= sds.ConvertToDataSet(); 
     dataGrid1.DataSource
=ds.Tables[0];

     br.Close();

    }


我个人觉得用byte[]方式会安全些,毕竟不用在客户端产生文件,不用担心数据的安全。



在2.0 中对数据集序列化和反序列化的方法进行了一下简单的封装,使其可以得到重用的效果.见下面的类DatFormatter.

通过GetBinaryFormatData方法可以转换数据集为二进制,在服务器端使用,转换数据集格式。发送,客户端接收,得到二进制格式数据,使用RetrieveDataSet方法,反序列化,得到数据集,进行客户端操作。通过这些简单的操作(序列化和反序列化,将数据压缩),可以使数据集等体积庞大的对象在远程传递中的时间大大减少,并且可以减少网络中断等问题对程序的影响。

 1using System;
 2using System.IO;
 3using System.Data;
 4using System.Runtime.Serialization;
 5using System.Runtime.Serialization.Formatters.Binary;
 6
 7namespace Common
 8{
 9    public class DataFormatter
10    {
11        private DataFormatter() { }
12        /// <summary>
13        /// Serialize the Data of dataSet to binary format
14        /// </summary>
15        /// <param name="dsOriginal"></param>
16        /// <returns></returns>

17        static public byte[] GetBinaryFormatData(DataSet dsOriginal)
18        {
19            byte[] binaryDataResult = null;
20            MemoryStream memStream = new MemoryStream();
21            IFormatter brFormatter = new BinaryFormatter();
22            dsOriginal.RemotingFormat = SerializationFormat.Binary;
23
24            brFormatter.Serialize(memStream, dsOriginal);
25            binaryDataResult = memStream.ToArray();
26            memStream.Close();
27            memStream.Dispose();
28            return binaryDataResult;
29        }

30        /// <summary>
31        /// Retrieve dataSet from data of binary format
32        /// </summary>
33        /// <param name="binaryData"></param>
34        /// <returns></returns>

35        static public DataSet RetrieveDataSet(byte[] binaryData)
36        
37            DataSet dataSetResult = null;
38            MemoryStream memStream = new MemoryStream(binaryData);
39            IFormatter brFormatter = new BinaryFormatter();
40
41            object obj = brFormatter.Deserialize(memStream);
42            dataSetResult = (DataSet)obj;
43            return dataSetResult;
44        }

45    }

46}

47