惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

S
SegmentFault 最新的问题
Spread Privacy
Spread Privacy
Google DeepMind News
Google DeepMind News
WordPress大学
WordPress大学
Blog — PlanetScale
Blog — PlanetScale
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
Apple Machine Learning Research
Apple Machine Learning Research
SecWiki News
SecWiki News
腾讯CDC
P
Privacy International News Feed
Webroot Blog
Webroot Blog
J
Java Code Geeks
爱范儿
爱范儿
A
About on SuperTechFans
S
Secure Thoughts
cs.CL updates on arXiv.org
cs.CL updates on arXiv.org
D
DataBreaches.Net
Cloudbric
Cloudbric
Security Archives - TechRepublic
Security Archives - TechRepublic
CTFtime.org: upcoming CTF events
CTFtime.org: upcoming CTF events
C
Cyber Attacks, Cyber Crime and Cyber Security
P
Proofpoint News Feed
钛媒体:引领未来商业与生活新知
钛媒体:引领未来商业与生活新知
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Security Latest
Security Latest
Forbes - Security
Forbes - Security
小众软件
小众软件
www.infosecurity-magazine.com
www.infosecurity-magazine.com
C
Cybersecurity and Infrastructure Security Agency CISA
T
Threatpost
量子位
MongoDB | Blog
MongoDB | Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
月光博客
月光博客
W
WeLiveSecurity
P
Privacy & Cybersecurity Law Blog
Vercel News
Vercel News
Google Online Security Blog
Google Online Security Blog
云风的 BLOG
云风的 BLOG
GbyAI
GbyAI
S
Security @ Cisco Blogs
T
The Exploit Database - CXSecurity.com
Help Net Security
Help Net Security
V
Visual Studio Blog
C
CXSECURITY Database RSS Feed - CXSecurity.com
Application and Cybersecurity Blog
Application and Cybersecurity Blog
博客园 - 聂微东
P
Proofpoint News Feed
C
CERT Recently Published Vulnerability Notes
Attack and Defense Labs
Attack and Defense Labs

博客园 - !LEO

采用WF实现审批备案的流程定义 Inside Microsoft Windows SharePoint Services 3.0 Saas安全性问题讨论 NHibernate事务中执行SQL Winform+WebService分层模型 Winform+WebService离线处理 使用BackgroundWorker控件进行异步处理 C#读取Word表格中的数据 在多个方法中共享database object的方式 Reporting Service 初体验 解决vs2005 安装项目不支持中文的问题 Mutex类解决进程线程互斥问题 Javascript调用C#静态函数 javascript:URL编解码和父子窗口交互 VisualStudio2005应用CSS和JavaScrpt的问题 两款oralce开发工具 NBear 不错 今日测试总结 SSIS计算行号
一起学习SSIS
!LEO · 2006-09-07 · via 博客园 - !LEO

    最近在开发一个数据校验、转换的项目,使用的是Mirosoft的SQLServer 20005 Intergration Service  - 简称SSIS,感觉到SSIS的功能的确很强大。通过自己的学习研究和咨询微软的MVP徐老师,熟悉了SSIS的使用方法并已经开发出成型可用的东西。

    我在这里说一下我们通过SSIS完成的功能,如果各位也有类似的功能需求,可以借鉴此套解决方案。如在SSIS开发中遇到问题,可以与我联系。我们一起学习。

    使用工具:Microsoft Visual Stuidio 2005, Microsoft SQLServer 2005,Intergraion Service.

    技术:VB.NET,WebService,SQLServer 存储过程

    系统运行流程:
    1 B/S业务管理系统(WebLogic)通过页面接收到用户上传的源文件、用户输入的业务参数
    2 B/S业务管理系统把用户上传的文件路径(一个或多个文件)、业务参数通过WebService(VB.NET编写)发送给ETL子系统(我负责的数据转换、校验系统)
    3 ETL子系统接收到参数之后,通过TFTP去B/S业务管理系统服务器上获取需处理的源文件,下载到本地的一个目录。
    4 VB.NET程序到数据表里查询预先定义好的配置信息,选择需要执行的DTS包(或称为SSIS包)路径,然后执行DTS包
    5 DTS包中完成了对源文件(可以是DBF、EXCEL、TXT等)的校验和数值转换。符合业务规则的数据保存到一个标准格式的TXT,不符合业务规则的数据(例如:字段值为空,字段值没有对应标准值等)保存到错误清单。
    6 把生成后的结果通过TFTP上传到B/S业务管理系统的服务器。

    大致就是这个流程,其中还包含VB.NET程序对处理流程的细节控制以及DTS包中的细节处理,也许你会说:用××实现就能实现这个功能而且还简单,但是我想你的××工具不会像这个解决方案灵活。SSIS做数据ETL的数据整合还是很不错的。

   有兴趣的程友可与联系,一起学习讨论数据整合的相关技术。随着IT技术的发展,企业需要对企业内部的各业务系统的数据进行整合,也需要与其他企业的业务系统的数据进行整合,Microsoft BizTalk Server可以完成消息的整合,但是大数据量的ETL数据整合,用SSIS实现起来效果还是比较好的。