惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

月光博客
月光博客
Stack Overflow Blog
Stack Overflow Blog
L
LangChain Blog
Jina AI
Jina AI
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
雷峰网
雷峰网
T
Tailwind CSS Blog
MongoDB | Blog
MongoDB | Blog
博客园 - 【当耐特】
博客园 - 聂微东
V
Visual Studio Blog
博客园_首页
Engineering at Meta
Engineering at Meta
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
The Cloudflare Blog
人人都是产品经理
人人都是产品经理
Apple Machine Learning Research
Apple Machine Learning Research
阮一峰的网络日志
阮一峰的网络日志
Microsoft Security Blog
Microsoft Security Blog
GbyAI
GbyAI
F
Fortinet All Blogs
C
Check Point Blog
罗磊的独立博客
H
Hackread – Cybersecurity News, Data Breaches, AI and More

问与答

智谱的 code plan 和 api 有什么区别么 你每天用的最多的 app 是啥? 有人做过 AI 标书吗? 星巴克用的什么牌子微波炉?加热好均匀 codex 中的 gpt5.5 出来了吗? 你们都用 coding plan 做什么? chatgpt 忽然间打不开了 想问下哪个 AI 可以生成网站? 我做了一个叫「订阅斩」的 iOS App,专门对付那些悄悄扣钱的订阅 求分享 SDD 相关实践经验 Grok 不充会员是不是会显示系统繁忙嘞 想要多人拼车开 gpt pro 100 刀 MiniMax 和 Kimi 便宜的 coding plan 真的恶心啊 国内的校友关系的网站为什么都没了? 请分享你的 clash 规则配置,开了 tun 模式,实在太卡了。 目前国产哪个模型 chat 最强? 现在做工具类小程序还能挣钱吗 老婆第一个母亲节,送点什么礼物呢 选哪种模型? vscode 插件 codex,一写代码 mac 风扇转个不停怎么解? 大家对于软件部门领导不参与代码工作有什么看法 为什么有那么多 V 友通过阴阳各种国货来质疑主流价值观? 好用的果蔬清洗机推荐 某网站的 HTTP API 和 WSS 都套了 CF,有什么办法找到真实服务器部署位置吗? 是我的幻觉吗,我为什么感觉国产模型现在真的很强, glm5.1 我斥巨资买了一个域名,准备做一个面向全球用户的校友社区,大家帮忙看看域名是否合适? 安卓淘宝每次启动进入淘宝精选,有办法不这样吗? 动态 JSON 序列化对强类型语言很难吗? 怎么做到说话简洁有条理且让人容易理解? 有没有在线实时语音识别的羊毛呢?
有一个数据中台的建设需求,从简,可基于开源 Vibe,有人接么?
weishao666 · 2026-06-15 · via 问与答

参数如下:

1.数据采集开发:①支持通过多种数据采集策略,对多源异构的各类数据进行统一归集;②支持但不限于 MySQL 、Oracle 、Hive 、HDFS 等主流数据库及文件系统之间的单表、批量同步,支持双引擎模式,覆盖关系型数据库与大数据平台间的全场景数据交换;④支持对采集任务进行实时监控,展示任务运行状态、读取/写入记录数等指标信息。⑤支持采集任务的查看、新建、编辑、删除、启动、停止等全生命周期管理。

2.数据标准管理模块:①支持制定数据标准,包括数据元标准、指标标准、代码标准等,统一数据口径,规范数据定义。②支持数据标准的录入、编辑、删除、查询与版本管理。③需支持对标准文档进行在线管理,包括但不限于上传、发布、下载、搜索、查看、预览和分类管理。④支持对数据标准的执行情况进行查询与统计。

3.数据模型管理:①支持对数据模型进行可视化展现,包括但不限于目录树、关系图谱等形式;支持对模型进行搜索、查看及分类管理;②支持对数据模型不同版本内容进行智能差异化对比分析,支持差异结果 SQL 脚本自动生成并导出。③支持对数据模型的基线管理和版本管理,提供数据模型的编辑、发布、扩充和审核等功能;平台支持数据模型的逆向设计、在线设计能力;支持物理模型导出 SQL 脚本,模型入库能力;④平台支持对设计态数据模型和运行态数据模型进行智能差异比对,可自由设置调度规则,对数据表结构变更进行说明,实现数据模型的两态差异感知。(需提供功能截图)

4.元数据管理:①支持多源数据的快捷接入,支持数据自动抽取,一键式完成源数据同步入库。②为提升数据管理和分析效率,需支持对接源业务数据库后,系统支持自动创建数据库模型,统一管理并可视化展示数据库表结构、关联关系等;支持对源业务系统表结构的动态感知,并能够设置进行自动同步。③支持元数据变化版本的记录和管理,支持对比元数据不同版本变化内容;支持基于业务数据对数据模型进行关系发现,可对关系发现算法进行配置维护。④支持基于元数据的数据探查,标记元数据的业务信息,比如身份证号、姓名、地址、电话号码等敏感字段信息;支持分析字段取值统计,包括最小值、最大值、取值频数和频率、长度分布等统计分析。

5.数据血缘分析:①需支持自动解析数据存储、数据同步、加工计算流程,自动解析数据之间的血缘与影响关系,直观展现数据流向;②支持手动创建维护数据的血缘、影响关系;支持将自动解析的血缘和手动维护的血缘关系的自动合并、统一展现,展示数据全链关系。③支持展示数据表级的血缘关系图、影响关系图和全链关系图。④支持对数据血缘分析结果、完成情况、进展情况进行统计分析。

6.数据标签管理:①需支持对数据标签进行分类管理,支持标签的新建,绑定规则、删除标签、启用/停用标签等;②支持对标签设置规则,并构建统一的标签库进行管理;③支持手动打标签的方式对数据进行标签化管理,支持对已打标签进行批量更新替换;④支持按照标签维度对数据进行快速检索、统计分析和列表呈现。

7.数据质量管理:①需支持数据质量场景管理,包括场景新增、删除、查看、统计等,能够配置对应的核查规则;②提供数据对象管理功能,支持配置数据表进行质量核查;支持数据质量核查规则管理,包括规则的导入、导出、删除、模板化配置规则、自定义 SQL 配置规则等;支持核查结果导出、入库、配置及生成报告。③支持数据核查,能够基于质量规则以评估任务调度的方式,对相关数据定时进行自动化的质量评估,同时支持手动实时进行质量评估;支持同一评估任务同时关联多个规则;支持业务核查,可自定义核查结果数据源、核查字段及告警列,灵活按照业务需求输出核查清单。④支持设定不同规则的权重值,并基于权重值计算模型质量评估得分;支持输出质量规则、模型属性、质量改进趋势等维度的多维数据质量评估报告和脏数据明细,并提供查看和下载导出能力;⑤支持对质量核查任务执行情况进行状态监控,支持按项目、数据源、状态等维度对执行记录进行多条件筛选查询,并可对异常任务执行结果进行归档上传。(需进行现场演示)

8.数据资源目录:①需支持对数据资源目录、数据资源目录元数据进行新增、删除、修改和管理。②支持对数据资源目录与数据表进行关系维护,包括目录加入、删除、清空及移动。③支持发布数据资源目录,支持共享数据资源目录。④支持数据目录按照图谱可视化方式展示数据资源以及资源间的关联关系;⑤支持对数据资源进行检索,包括关键字检索、目录检索、高级检索、检索结果查看等。

9.数据服务管理:①需支持零代码方式、SQL 脚本方式灵活创建数据服务,并可对服务接口进行灵活配置管理,支持参数配置、字段配置、值映射配置等配置能力。②支持基于 JWT Token 的服务访问鉴权,确保数据服务接口的安全调用;支持对服务版本进行管理,可查看历史版本记录。③支持新增、删除、修改、维护服务目录,并可对服务与目录关系进行维护管理,支持对服务进行检索查询。④支持通过线上审批流程进行服务上线发布;支持数据服务接口对外提供 RESTful 访问能力,供数据消费者获取。⑤支持服务启用/禁用管控,确保数据服务稳定安全;支持对服务访问、服务申请等服务运营情况进行监测统计。

  1. 数据可视化分析: ①平台集成数据可视化 BI 工具,支持对接 JDBC 数据源及 Hive 数据源,支持通过 SQL 模板定义数据视图,实现工商数据的灵活查询与展示;②支持拖拽式可视化图表配置,内置多种预定义图表类型,支持控制器组件与自由样式;支持可视化组件间的过滤联动、全屏展示、大数据量分页展示等交互能力;③支持将在线开发的 SQL 查询结果集一键转化为可视化图表,实现数据探索与可视化的无缝衔接;支持对图表进行重命名和上下文绑定,纳入工作流节点统一管理;④支持仪表板和大屏两种数据展示形态,支持可视化组件的公共分享与授权分享,支持 CSV 数据导出。

11.数据生命周期管理:①需支持对数据资产进行归档管理,可根据数据热度进行数据在线、近线或离线区等自动归档,同时支持用户手动归档;②支持根据数据的使用情况进行销毁,支持一键还原;③支持对数据生命周期进行统计,用户可通过数据生命周期统计了解各系统中在线、近线、离线、销毁的数据表量,从业务系统角度统计各归档区数据量占比并统计各归档区数据变化趋势。

12.数据权限与安全:①需支持按照数据库、数据表、数据字段粒度进行数据确权管理,明确数据资产的权属关系。②支持按照数据的安全分级分类,根据不同的数据分级,与系统的人员密级进行匹配,设置不同的数据访问策略。③支持数据目录、数据服务、数据共享环节的脱敏处理,支持自定义构建脱敏规则,内置脱敏规则库。④支持完善的权限与安全管控机制,从数据库、数据、文件等维度进行逐级的权限管理;支持对数据、文件及人员密级进行分级管理及匹配;支持对敏感数据(如用户信息等)采用可靠的加密算法,加密后存储,支持国密算法加密。

13.数据流量分析模块:①实际流量≥500Mbps ,支持国产化环境部署;支持协议解码识别,支持数据平台中实时与历史流量的应用与协议识别,≥2000 种预定义协议与应用识别,≥100 种网络协议识别,≥10 个基础工控协议的识别,≥40 种网络协议解码并生成相关审计日志。支持进行安全检测。②支持进行数据存储,支持数据流量报文全量存储,支持存储空间循环策略可配置。③支持数据流量回溯与分析④支持数据检索与回查,支持进行数据平台网络质量性能分析。

绿泡泡:d2FuZ3dlaTEwMDYxCg==