惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

N
News and Events Feed by Topic
S
SegmentFault 最新的问题
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Last Week in AI
Last Week in AI
Jina AI
Jina AI
H
Help Net Security
C
Check Point Blog
aimingoo的专栏
aimingoo的专栏
MyScale Blog
MyScale Blog
H
Hackread – Cybersecurity News, Data Breaches, AI and More
Vercel News
Vercel News
L
LangChain Blog
Recorded Future
Recorded Future
F
Full Disclosure
Google DeepMind News
Google DeepMind News
Microsoft Security Blog
Microsoft Security Blog
I
InfoQ
GbyAI
GbyAI
B
Blog RSS Feed
T
The Blog of Author Tim Ferriss
Engineering at Meta
Engineering at Meta
A
About on SuperTechFans
M
MIT News - Artificial intelligence
爱范儿
爱范儿
V
V2EX
Microsoft Azure Blog
Microsoft Azure Blog
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
Y
Y Combinator Blog
B
Blog
WordPress大学
WordPress大学
Blog — PlanetScale
Blog — PlanetScale
W
WeLiveSecurity
MongoDB | Blog
MongoDB | Blog
Cloudbric
Cloudbric
N
News and Events Feed by Topic
The Cloudflare Blog
月光博客
月光博客
博客园 - 三生石上(FineUI控件)
有赞技术团队
有赞技术团队
D
DataBreaches.Net
博客园 - 【当耐特】
T
Troy Hunt's Blog
V
Visual Studio Blog
V2EX - 技术
V2EX - 技术
Apple Machine Learning Research
Apple Machine Learning Research
博客园 - 司徒正美
Recent Commits to openclaw:main
Recent Commits to openclaw:main
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
Google Online Security Blog
Google Online Security Blog
The GitHub Blog
The GitHub Blog

SQL Server

Reporting Services 从 2014 升级到 2019 后,报表订阅发送邮件时报错: SMTPUTF8 is required, but was not offered by host。 - V2EX 完整备份还原后,事务日志却没有,是怎么回事? - V2EX sql server 重置密码后本地可以连接,远程连接失败。 - V2EX SQL Server 去除重复数据问题 - V2EX 请教: MSSQL 如何确定死锁根源 session_id? - V2EX 在.Net 中 是否有第三方实现 Sqlserver 客户端连接池的 SDK - V2EX sqlserver 查询缓慢问题 - V2EX 关于 sqlserver 的内存使用问题? - V2EX 请教一下获取最后一次数据的 sql 写法 目前 SQL Server 有哪些主流版本 - V2EX sql server 如何对中文进行编码,在网上找了很多都不靠谱,希望用 js 的 decodeUrl 能够解码成功 - V2EX sql server 遇到的一个问题? - V2EX sql server 如何做主从数据库 - V2EX SQLServer 特定场景优化问题 - V2EX sqlserver 查询问题 - V2EX SQL Server openquery 查询 Oracle 遇到特殊字符报错 - V2EX sql server 定时更新统计信息作业执行失败,提示内存不足。 - V2EX 做外贸系统遇到订单日期的问题, sql 不知道该怎么写 - V2EX sql server 同步问题 - V2EX pageadmin 数据库连接不上 - V2EX SQL Server 查询优化 - V2EX MSSQL 语句计算值为零。 - V2EX MSSQL 创建作业后,作业会立即执行么? - V2EX 多线程批量更新数据库死锁问题? - V2EX SQLSERVER 表数据迁移 - V2EX 求个命令行 sqlserver 导出工具 - V2EX 求助 SQL server 远程连接问题 - V2EX 一个 T 的 SqlServer 数据库太慢, 想删除旧的数据, 怎么做比较好?
SQL Server 数据库迁移到 PostgreSQL 或者其它云原生 OLAP 库有哪些比较好的方案 - V2EX
noparking188 · 2023-04-22 · via SQL Server

这是一个创建于 1149 天前的主题,其中的信息可能已经有所发展或是发生改变。

SQL Server 上

  1. 数千张表、TB 级数据;
  2. 一次性全量迁移;
  3. 字段类型尽可能兼容;

想请教大家迁移到 PostgreSQL ,有什么比较好的方案推荐的。

发散一下,分成两个步骤:

  1. 从 SQL Server 转换建表 DDL 为目标数据库格式、导出数据为通用格式( JSON 、Parquet...);
  2. 导入数据到目标数据库上目标表。

主要想讨论和请教的是从 SQL Server 这类传统数仓迁移到比较新的各种云上数仓有什么好的、成熟一点的方案参考。

谢谢大家

第 1 条附言  ·  2023 年 4 月 23 日

这里提问只是单纯想和有这方面经验的老哥、或者感兴趣的老哥简单探讨下可能的方案,脑洞随意,我来实验。

我在做这个需求时基于自身搜索能力并没有找到什么比较好的开源方案,非常头疼。

分享下我目前的研究:

  1. 从 SQL Server 导出大批量数据,目前来看 bcp 是最快的,Client 端带宽提到和 SQL Server 对齐;
  2. schema 转换有一个开源项目叫 sqlglot,可以二次开发;
  3. 往目标库 load 数据,用官方提供和推荐的最佳实践就行,比如 PG/Redshift 是 COPY?
  4. 交换的数据格式,对比 TSV、CSV,JSON 是兼容性最好的;

不知道这类需求多不多,值不值得投入时间搞一个开源方案。

欢迎大家参与讨论

v2wtf

1

v2wtf      2023 年 4 月 22 日

吐槽一下:你这个上 TB 的数据,tmd 谁能给『真正适用实际情况』的建议?给了你敢用?

这种量级的数据迁移,起码要一两个专业人士专门到现场沟通详细情况、制订方案,光是数据迁移本身恐怕没有把月搞不定,再加上相关的系统的迁移、改造,恐怕三个月能下来已经是非常乐观的估计了。

512357301

2

512357301      2023 年 4 月 23 日 via Android

花钱。
省心,还能甩锅。

mooyo

3

mooyo      2023 年 4 月 23 日

大客户可以开工单给云厂商沟通协助

deorth

5

deorth      2023 年 4 月 23 日 via Android

之前一个项目给客户做的数据库迁移,XXTB ,1X0W RMB 。两个专人现场三个月。业务改造是客户自己的事。

billzhuang

7

billzhuang      2023 年 4 月 23 日 via iPhone

babelfish +1

netnr

8

netnr      2023 年 4 月 23 日

类似的情况,百来张表,几个 G 的数据

先下载一个工具 https://fishcodelib.com/DBMigration.htm
用于数据库转换,主要用于表结构转换,表数据转换也支持,但速度一般

表数据迁移可以用 kettle 工具来做,我自己没怎么用过,但我们的业务有用这个来同步数据

我一般用自己写的 C# 控制台程序,逐行读取表数据分批表复制写入,实践过几百万的数据量
(我其实是想实践测试一下,交个朋友!🤡)

noparking188

11

noparking188      2023 年 4 月 23 日

@v2wtf 哈哈,吐槽合理,不过我只是想和大家发散性思维探讨一下可能的方案,随意脑洞,我来实验

noparking188

12

noparking188      2023 年 4 月 23 日

@liprais 哈哈这个可行,不过云厂商的 Solution Architect 没想象的万能,有时候还比较不靠谱

noparking188

13

noparking188      2023 年 4 月 23 日

@netnr #8 感觉这个类似 AWS 的 SCT ,不过我看了只有图形界面,就算百来张表也不好一张张去复制粘贴吧,有 API 接口就好了。
我目前的实现单表最大 ~5000 万、~60GB ,光从 SQL Server export 数据就三四十分钟了。import 导目标库耗时为 export 的 ~30%。当然光这样看没参考价值,强依赖两边数据库的软硬件配置

netnr

14

netnr      2023 年 4 月 23 日 via Android

不是可以全选表

netnr

15

netnr      2023 年 4 月 23 日 via Android

另外提个醒 这种单边数据行比较多,可以考虑导入数据后再建索引,导数据开启缓存模式

noparking188

16

noparking188      2023 年 4 月 23 日

@netnr #15 感谢建议,不过换了数据库系统是不是应该重新设计索引,迁移旧库的索引感觉没必要

v2wtf

17

v2wtf      2023 年 4 月 24 日

@noparking188 只是测试的话,可以试试 pg_loader 我用来从 mysql 导入到 pg ,还是挺好用的