作为数据工程师（搬运工），日常工作中经常需要把各类数据进行跨系统间的移动传输。一般而言，常规思路会选择一款数据传输工具来进行数据处理。在某些场景中，也会利用现有数据平台的虚拟化技术进行快速的数据传输。各类工具和技术层出不穷，方案也千变万化，没有最好的，只有最适合的。以下是根据自身实际使用过的工具积累的一些经验总结，希望对数据工程师们有所帮助和启发。

一、背景介绍

数据传输工具一般是指将结构化数据（通常为二维表结构形式）从数据源系统传输到数据目标系统。传输过程中一般不改变数据的逻辑。如果传输过程中增加某些逻辑处理，比如改变某个字段的值，对部分行进行合并，一般就称之为ETL。如果在传输后再进行数据的改变操作，则称之为ELT。

数据源和数据目标可以是相同类型的平台，也可以是不同类型的平台，一般而言，数据源/目标系统有以下几种大类：

1. 关系型数据库，比如最常见的Oracle，MySQL，PostgreSQL，SQL Server等，国产的有达梦，海量vastbase等
2. 文件形式，比如CSV，Excel，Dbf等格式
3. 大数据分布式系统格式，比如Hive，HDFS，Spark，Impala
4. 其他种类，如MPP数据库，分析性数据库，NoSQL数据库等等

二、常用工具列表

1. 数据平台自带传输工具: 大部分主流的数据平台都自带数据传输命令，支持大批量数据的快速导入和导出。如SQL Server的BCP/Bulk insert、Oracle的Data Pump (expdp/impdp)、PostgreSQL的copy。
2. Kettle：开源轻量，支持Windows/Linux，搭建方便，自带图形化界面和调度功能，支持复杂逻辑转换，特别适合小型团队或者代码开发经验较少的团队使用。缺点：大数据传输时性能可能会差，依赖部署服务器的配置。
3. Datax：大数据量的同步速度比较快，以Json格式来配置数据源和目标的连接，使用方便，开源免费。缺点：不支持复杂逻辑转换，无目标表的Merge功能，基础开源版本无可视化配置页面（全部配置放置在后台脚本）。
4. Spark：通过JDBC接口，可实现关系型数据库与大数据系统之间的数据传输，Spark的分布式计算能力强，数据处理高效。可通过Spark Web UI 或 Spark History Server等web页面来管理任务及其执行情况。作为一个通用的数据传输引擎，可集成在其他各类工具中，如Kettle，EasyETL、Informatica、网易NDH平台等。
5. Sqoop：早期的关系数据库与大数据系统之间的数据迁移工具，采用命令行配置，功能较简单，底层采用MapReduce，目前项目已经停止维护。
6. ODI：Oracle自带工具，模块清晰，使用便捷。ELT架构的先行者，功能强大，带版本控制，会针对不同的目标端使用不同的策略进行性能提升优化，与Oracle深度绑定（例如可以直接在ODI中配置存储过程并在目标Oracle库中执行）。缺点：与其他数据平台集成相对较弱。
7. SSIS：作为与微软生态（如SQL Server、Azure Data Factory等）无缝集成深度绑定的强大图形化ETL工具，提供直观的拖拽式设计器，使用门槛低。
8. Informatica：作为行业标杆，覆盖了数据集成、数据质量、主数据管理（MDM）等各个方面。支持连接各种主流数据库、云应用及大型机等遗留系统，具有极高的稳定性与可靠性，支持高并发、海量数据。架构为典型的ETL架构，支持版本管理。缺点是成本高昂，学习曲线相对较陡。
9. 网易NDH猛犸平台数据传输：作为商业分布式大数据全家桶套件的一个组件，支持各类数据系统之间的数据互传。采用B/S架构，用户可直接通过浏览器页面进行配置传输任务。其他类似工具还有星环Transporter，支持可视化的将各种平台上的各种格式的数据同步或集成到大数据平台上。
10. 其他开源小型工具：如蓝钻平台（https://gitee.com/lansezuanshi/glpt），工具基于.NET开发，支持国产操作系统（麒麟等），适配证券行业交易日特点。

三、选型衡量