惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园 - 司徒正美
T
The Blog of Author Tim Ferriss
F
Fortinet All Blogs
Martin Fowler
Martin Fowler
罗磊的独立博客
The GitHub Blog
The GitHub Blog
L
LangChain Blog
A
About on SuperTechFans
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
D
DataBreaches.Net
宝玉的分享
宝玉的分享
U
Unit 42
阮一峰的网络日志
阮一峰的网络日志
Last Week in AI
Last Week in AI
N
Netflix TechBlog - Medium
The Cloudflare Blog
Microsoft Azure Blog
Microsoft Azure Blog
H
Help Net Security
美团技术团队
大猫的无限游戏
大猫的无限游戏
雷峰网
雷峰网
爱范儿
爱范儿
酷 壳 – CoolShell
酷 壳 – CoolShell
MongoDB | Blog
MongoDB | Blog

V2EX

我用 AI 写代码,但终端管理反而成了累赘——于是我做了 codux [调研] 各位在公司都用什么 ide 和 agent 写代码? 老运维 share 一个运维平台 看到有公司考核 token 指标,很好奇大家上个月的 AI 账单是多少 GLM-Coding 调用持续报错: z.ai 的 Lite 套餐几乎无法使用,官方 Pro/Max 是否稳定? 现在还有什么渠道可以稳定安全地使用 Claude 吗? 上海漕河泾内推,本组有 2 个 hc,一个后端,一个前端,预算都是 20k 左右,不打卡,氛围好 如果 V2EX 上有一组不永久保存聊天记录(比如只保存 7 天或者 24 小时)的聊天室,那么会开启哪些有用或者有趣的可能? gemini cli 貌似挂了,一直返回 403 第一次在自媒体上赚到钱 收集了最近在使用的低价 GPT, Gemini,邮箱等 AI 会员的小店合集 讨论个大实话:现在企业还在说 AI 编程提效 20%, 30%的,真的太落后,没用懂 AI。因为包括很多前沿公司,已经狂奔到提效 200%-500%的情况 [招聘][远程][币安] 前端/后端/QA/iOS/Android 至少 3 年以上经验 目前有大量 HC 欢迎投递 Chatgpt Pro 用量用不完的可以开这些设置 面试的时候好像遇到钓鱼了,给各位避个坑 cursor 年续费 22 号到期, 自动续费是否还是老的计次套餐呢 被两件破事毁掉的一下午,琐碎的内耗消磨人的精力 使用 Planet 存储 Codex 的会话或者重要信息 如果业务部门领导不要你开发功能,而是要求你教会它用 claude code 开发功能,你会怎么做? 分享一个 MacOS 接绿联 CM818 USB 转 DP 转接器使用感受 我的 HR 朋友 10 年老 Java ,非全大专,大家帮忙看看简历 开源了一个 AI 口语练习工具,音素级发音评分,完全免费可自部署 V2EX 上有哪些你觉得很有趣、印象深刻的妹纸? 字节为啥不出个国内版 Vercel? 有在大马的朋友吗? 问个运营商问题 你们在有领导的公司大群发过的最大胆的消息是什么 公司裁员,目前没有工作。想试试摆摊,做一个移动鲜啤打酒车 我的硬盘 Memblaze Pblaze 5 Linux 下不识别,给 Linux 内核提交了补丁, AI 说有望被合并 只有我一个人觉得 codex 不好用?
有一个数据中台的建设需求,从简,可基于开源 Vibe,有人接么?
weishao666 · 2026-06-15 · via V2EX

参数如下:

1.数据采集开发:①支持通过多种数据采集策略,对多源异构的各类数据进行统一归集;②支持但不限于 MySQL 、Oracle 、Hive 、HDFS 等主流数据库及文件系统之间的单表、批量同步,支持双引擎模式,覆盖关系型数据库与大数据平台间的全场景数据交换;④支持对采集任务进行实时监控,展示任务运行状态、读取/写入记录数等指标信息。⑤支持采集任务的查看、新建、编辑、删除、启动、停止等全生命周期管理。

2.数据标准管理模块:①支持制定数据标准,包括数据元标准、指标标准、代码标准等,统一数据口径,规范数据定义。②支持数据标准的录入、编辑、删除、查询与版本管理。③需支持对标准文档进行在线管理,包括但不限于上传、发布、下载、搜索、查看、预览和分类管理。④支持对数据标准的执行情况进行查询与统计。

3.数据模型管理:①支持对数据模型进行可视化展现,包括但不限于目录树、关系图谱等形式;支持对模型进行搜索、查看及分类管理;②支持对数据模型不同版本内容进行智能差异化对比分析,支持差异结果 SQL 脚本自动生成并导出。③支持对数据模型的基线管理和版本管理,提供数据模型的编辑、发布、扩充和审核等功能;平台支持数据模型的逆向设计、在线设计能力;支持物理模型导出 SQL 脚本,模型入库能力;④平台支持对设计态数据模型和运行态数据模型进行智能差异比对,可自由设置调度规则,对数据表结构变更进行说明,实现数据模型的两态差异感知。(需提供功能截图)

4.元数据管理:①支持多源数据的快捷接入,支持数据自动抽取,一键式完成源数据同步入库。②为提升数据管理和分析效率,需支持对接源业务数据库后,系统支持自动创建数据库模型,统一管理并可视化展示数据库表结构、关联关系等;支持对源业务系统表结构的动态感知,并能够设置进行自动同步。③支持元数据变化版本的记录和管理,支持对比元数据不同版本变化内容;支持基于业务数据对数据模型进行关系发现,可对关系发现算法进行配置维护。④支持基于元数据的数据探查,标记元数据的业务信息,比如身份证号、姓名、地址、电话号码等敏感字段信息;支持分析字段取值统计,包括最小值、最大值、取值频数和频率、长度分布等统计分析。

5.数据血缘分析:①需支持自动解析数据存储、数据同步、加工计算流程,自动解析数据之间的血缘与影响关系,直观展现数据流向;②支持手动创建维护数据的血缘、影响关系;支持将自动解析的血缘和手动维护的血缘关系的自动合并、统一展现,展示数据全链关系。③支持展示数据表级的血缘关系图、影响关系图和全链关系图。④支持对数据血缘分析结果、完成情况、进展情况进行统计分析。

6.数据标签管理:①需支持对数据标签进行分类管理,支持标签的新建,绑定规则、删除标签、启用/停用标签等;②支持对标签设置规则,并构建统一的标签库进行管理;③支持手动打标签的方式对数据进行标签化管理,支持对已打标签进行批量更新替换;④支持按照标签维度对数据进行快速检索、统计分析和列表呈现。

7.数据质量管理:①需支持数据质量场景管理,包括场景新增、删除、查看、统计等,能够配置对应的核查规则;②提供数据对象管理功能,支持配置数据表进行质量核查;支持数据质量核查规则管理,包括规则的导入、导出、删除、模板化配置规则、自定义 SQL 配置规则等;支持核查结果导出、入库、配置及生成报告。③支持数据核查,能够基于质量规则以评估任务调度的方式,对相关数据定时进行自动化的质量评估,同时支持手动实时进行质量评估;支持同一评估任务同时关联多个规则;支持业务核查,可自定义核查结果数据源、核查字段及告警列,灵活按照业务需求输出核查清单。④支持设定不同规则的权重值,并基于权重值计算模型质量评估得分;支持输出质量规则、模型属性、质量改进趋势等维度的多维数据质量评估报告和脏数据明细,并提供查看和下载导出能力;⑤支持对质量核查任务执行情况进行状态监控,支持按项目、数据源、状态等维度对执行记录进行多条件筛选查询,并可对异常任务执行结果进行归档上传。(需进行现场演示)

8.数据资源目录:①需支持对数据资源目录、数据资源目录元数据进行新增、删除、修改和管理。②支持对数据资源目录与数据表进行关系维护,包括目录加入、删除、清空及移动。③支持发布数据资源目录,支持共享数据资源目录。④支持数据目录按照图谱可视化方式展示数据资源以及资源间的关联关系;⑤支持对数据资源进行检索,包括关键字检索、目录检索、高级检索、检索结果查看等。

9.数据服务管理:①需支持零代码方式、SQL 脚本方式灵活创建数据服务,并可对服务接口进行灵活配置管理,支持参数配置、字段配置、值映射配置等配置能力。②支持基于 JWT Token 的服务访问鉴权,确保数据服务接口的安全调用;支持对服务版本进行管理,可查看历史版本记录。③支持新增、删除、修改、维护服务目录,并可对服务与目录关系进行维护管理,支持对服务进行检索查询。④支持通过线上审批流程进行服务上线发布;支持数据服务接口对外提供 RESTful 访问能力,供数据消费者获取。⑤支持服务启用/禁用管控,确保数据服务稳定安全;支持对服务访问、服务申请等服务运营情况进行监测统计。

  1. 数据可视化分析: ①平台集成数据可视化 BI 工具,支持对接 JDBC 数据源及 Hive 数据源,支持通过 SQL 模板定义数据视图,实现工商数据的灵活查询与展示;②支持拖拽式可视化图表配置,内置多种预定义图表类型,支持控制器组件与自由样式;支持可视化组件间的过滤联动、全屏展示、大数据量分页展示等交互能力;③支持将在线开发的 SQL 查询结果集一键转化为可视化图表,实现数据探索与可视化的无缝衔接;支持对图表进行重命名和上下文绑定,纳入工作流节点统一管理;④支持仪表板和大屏两种数据展示形态,支持可视化组件的公共分享与授权分享,支持 CSV 数据导出。

11.数据生命周期管理:①需支持对数据资产进行归档管理,可根据数据热度进行数据在线、近线或离线区等自动归档,同时支持用户手动归档;②支持根据数据的使用情况进行销毁,支持一键还原;③支持对数据生命周期进行统计,用户可通过数据生命周期统计了解各系统中在线、近线、离线、销毁的数据表量,从业务系统角度统计各归档区数据量占比并统计各归档区数据变化趋势。

12.数据权限与安全:①需支持按照数据库、数据表、数据字段粒度进行数据确权管理,明确数据资产的权属关系。②支持按照数据的安全分级分类,根据不同的数据分级,与系统的人员密级进行匹配,设置不同的数据访问策略。③支持数据目录、数据服务、数据共享环节的脱敏处理,支持自定义构建脱敏规则,内置脱敏规则库。④支持完善的权限与安全管控机制,从数据库、数据、文件等维度进行逐级的权限管理;支持对数据、文件及人员密级进行分级管理及匹配;支持对敏感数据(如用户信息等)采用可靠的加密算法,加密后存储,支持国密算法加密。

13.数据流量分析模块:①实际流量≥500Mbps ,支持国产化环境部署;支持协议解码识别,支持数据平台中实时与历史流量的应用与协议识别,≥2000 种预定义协议与应用识别,≥100 种网络协议识别,≥10 个基础工控协议的识别,≥40 种网络协议解码并生成相关审计日志。支持进行安全检测。②支持进行数据存储,支持数据流量报文全量存储,支持存储空间循环策略可配置。③支持数据流量回溯与分析④支持数据检索与回查,支持进行数据平台网络质量性能分析。

绿泡泡:d2FuZ3dlaTEwMDYxCg==