惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

Attack and Defense Labs
Attack and Defense Labs
The GitHub Blog
The GitHub Blog
C
Check Point Blog
博客园_首页
MongoDB | Blog
MongoDB | Blog
N
Netflix TechBlog - Medium
F
Full Disclosure
Microsoft Security Blog
Microsoft Security Blog
爱范儿
爱范儿
Recent Announcements
Recent Announcements
阮一峰的网络日志
阮一峰的网络日志
G
GRAHAM CLULEY
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
T
Threat Research - Cisco Blogs
C
Cybersecurity and Infrastructure Security Agency CISA
V
Vulnerabilities – Threatpost
K
Kaspersky official blog
博客园 - 司徒正美
S
Schneier on Security
T
The Exploit Database - CXSecurity.com
Project Zero
Project Zero
云风的 BLOG
云风的 BLOG
Cisco Talos Blog
Cisco Talos Blog
Know Your Adversary
Know Your Adversary
雷峰网
雷峰网
V
V2EX - 技术
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
Spread Privacy
Spread Privacy
罗磊的独立博客
K
KPMG report finds enterprise disconnect between AI and its ROI | CIO
S
Security Affairs
SecWiki News
SecWiki News
Schneier on Security
Schneier on Security
O
OpenAI News
Jina AI
Jina AI
PCI Perspectives
PCI Perspectives
Cyberwarzone
Cyberwarzone
Y
Y Combinator Blog
Apple Machine Learning Research
Apple Machine Learning Research
B
Blog RSS Feed
I
InfoQ
D
Docker
P
Palo Alto Networks Blog
Recorded Future
Recorded Future
M
MIT News - Artificial intelligence
博客园 - Franky
B
Blog
Scott Helme
Scott Helme
博客园 - 叶小钗
D
DataBreaches.Net

博客园 - Mr.Myth

percona server 二进制安装下编译tpcc-mysql的坑 Problems with MMM for mysql(译文) MySQL MMM 双主在Failover时挂起 Steve Loughran:Why not raid 0,its about time and snowflakes!!! How to Clean Up After a Failed 10g or 11.1 Oracle Clusterware Installation [ID 239998.1] MySQL 5.5 外键不能引用分区表主键 MYSQL 登录漏洞,Percona Server说明 基于xtrabackup的Point-In-Time Recovery备份恢复 使用折半查找法删除 五月第二周 合肥之行 ORACLE 10G & patch下载地址大全 RED HAT ES 5.4 X64安装ORACLE 10G R2 64bit - Mr.Myth vmware server 安装oracle 10G RAC 实践(三) vmware server 安装oracle 10G RAC 实践(二) vmware server 安装oracle 10G RAC 实践(一) 内存数据库 Timesten IBM 中国研究院 Offer 之感言——能力是一种态度(转) 10G 更改IP地址或机器名后EM配置
XX项目----记录(一)
Mr.Myth · 2009-11-30 · via 博客园 - Mr.Myth

记得以前听某人说过,最坏的方法是武断,最好的方法是倾听。

XX是加入公司以来接触的第一个项目,这个项目大体上是实现数据从源A,B,C(可能还有D,E,F)发布到B,B是DATA-CENTER,从而帮助客户搭建具有统一、高质量、全面的数据平台

该项目就围绕数据中心设计、数据转换及应用调度等相关项目建设。

说实话,以前我没有过ETL项目的经验,但单从技术层次来说, 这样的项目从表面看起来似乎并没有多大的难度。建立转换字典,使用ETL工具,开发业务workflow,应用程序调用API,定时跑起来,监控一下问题数据,做一下异常处理报告,然后泡杯咖啡数着客户付的钱....岂不美哉。

大概是因为我刚进公司的缘故,对公司的技术实力、管理水平、人力资源都不太了解,所以碰到了很多看似算不上问题的问题。没有相关的项目实施文档,缺少相关的技术share,还有过度的依赖application。我想起在之前公司做的一个广告operation系统,(我对前台开发不甚了解,但对后台数据库开发有一点自己的见解)。这套系统也是要从多套系统后台(广告后台、游戏后台、支付网关)采集相关的数据,项目决策者对这样的系统有点束手无策(原谅我这么说),因为要采集很多系统的数据,决策者不想开发数量众多的API,并且公司大多数人不懂数据库,项目从原先定位的DW降到ODS,使用MYSQL+LINUX平台,采用FTP定时接收的平面文件导入临时数据库进行处理,最后发布到产品库,应用系统由一个小女生开发,从头到尾不用关心数据库,连数据的展现都由SP来完成,应用程序只要调用SP分页,把数据展现在页面上。最后这套系统看似成功的实施上线了,而且给市场部带来不小的视觉冲击,可以说是一种梦幻般的客户体验(数据计算都是由SP来实现了呀,不用再去手工统计啦....)。然而在我看来,这套系统非常的失败,彻头彻尾的失败,因为系统太过于“依赖”数据库,根本不用关心数据的流向,所有的工作都通过调用所谓的API(store procedure)。而且B/S构架采用sp会给服务器带来不小的压力,扩展性也很差。

于是乎我看到现在的项目“过度”的依赖应用程序就产生了种不详的预感。 但我不是那种能被依赖和掌握该技能的专家

顺便给“专家”一点建议,如果你觉得自己能够搞定(当然自信是件好事),但是没有在项目中真正的应用实施成功过,那么请认真的倾听。

大家都在相互磨合,在实施大中型项目中不断摸索成功的经验。