惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
S
SegmentFault 最新的问题
N
Netflix TechBlog - Medium
Vercel News
Vercel News
F
Fortinet All Blogs
量子位
博客园 - Franky
酷 壳 – CoolShell
酷 壳 – CoolShell
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
MongoDB | Blog
MongoDB | Blog
Y
Y Combinator Blog
GbyAI
GbyAI
博客园 - 三生石上(FineUI控件)
Apple Machine Learning Research
Apple Machine Learning Research
爱范儿
爱范儿
月光博客
月光博客
Recent Announcements
Recent Announcements
人人都是产品经理
人人都是产品经理
Hugging Face - Blog
Hugging Face - Blog
D
DataBreaches.Net
H
Help Net Security
阮一峰的网络日志
阮一峰的网络日志
D
Docker
WordPress大学
WordPress大学

人人都是产品经理

为什么你的产品找不到差异化?90%的失败都卡在第一步上(下) – 人人都是产品经理, 3年从30万到1300万用户、获2200万美元融资,这个AI教育产品用“抽卡”破解了获客难题 – 人人都是产品经理, 园区招商系统怎么做才能真正帮到去化?我加了这一个功能,推广链接转发400次阅读过万 – 人人都是产品经理, AI大事件:OpenAI发完网络安全模型又搞药物研发,小鹏汽车要抓”DeepSeek时刻” – 人人都是产品经理, 电商不是卖货,是一场更残酷的产品经理实战 – 人人都是产品经理, 没想到,活动营销又回来了! – 人人都是产品经理, 为何All-in海外KOC:一场关于AI时代窗口期的豪赌 – 人人都是产品经理, 重新理解企业的内部协作 – 人人都是产品经理, 苹果的 AI 战略到底是什么? – 人人都是产品经理, 医疗智能体·第2讲——合规护城河:等保、PIPL与HIPAA的架构实战 – 人人都是产品经理, 向量知识库五步法:从“答非所问”到“精准回复” – 人人都是产品经理, 鸿蒙PC三方库构建总指挥HPKBUILD(sha)库为例 – 人人都是产品经理, 何时该用LLM?AI产品经理的LLM设计指南 – 人人都是产品经理, 医疗信息领域的需求方、决策方、准入方以及关注点(二) – 人人都是产品经理, 即梦涨价:一场被误读的「傲慢」 – 人人都是产品经理, 面试AI PM必答题:Hermes和OpenClaw的区别,如何讲清楚业务价值 – 人人都是产品经理, AI的下一张船票:世界模型——AI产品经理必须理解的技术拐点 – 人人都是产品经理, 小红书做GEO,怎么让AI信你?记住这 3 个重要信息 – 人人都是产品经理, 5 家印度 AI 初创公司,看看印度 AI 再做什么 – 人人都是产品经理, AI项目跨团队协作:产品技术业务如何不打架 – 人人都是产品经理, Agentic Workflow(智能体工作流):让AI从”答案生成器”变成”数字员工” – 人人都是产品经理, lycium_plusplus 项目全景解读:OpenHarmony 三方库构建的“大管家” – 人人都是产品经理, 从爆单救火到前置履约:两套预采策略,把生鲜大促履约效率拉满 – 人人都是产品经理, 什么时候该补货?我用一轮数据做了一个决定 – 人人都是产品经理, 从“机械兜底”到“动态分流”:AI客服重复进线治理的4大底层逻辑 – 人人都是产品经理, 抖音拼效率,红书拼洞察 – 人人都是产品经理, 全民狂欢与退潮——为什么龙虾这波热潮冷却得如此之快? – 人人都是产品经理, Stripe押注!MPP重塑全球支付 – 人人都是产品经理, 小红书GEO:AI引用你的内容,不是因为你对,而是因为你看起来可信 – 人人都是产品经理, 前百度副总裁押注办公Agent,日韩付费爆发,Manus迎来强劲对手 – 人人都是产品经理,
数据治理:数据成本优化的主要方向
数据干饭人 · 2024-06-10 · via 人人都是产品经理

本文主要介绍了数据治理对于降低成本的重要性,并从多个方面提出了数据成本优化的主要方向,包括提高资源利用效率、优化存储策略、量化成本并促进优化、加强数据质量管理以及满足合规要求以保障数据安全等方面。

除了提效,降本也成了企业经营的长期战略。在运营数据进行精细化运营和数字化转型之后,数据成本优化也成了数据治理的核心工作之一。数据成本优化能够减少企业运营成本,提高资源利用效率,使企业能够更高效地利用有限的资源,实现可持续发展。

一、数据成本的主要来源

数据成本除了相关产研等人力资源成本外,存储和计算的服务器成本是大头,尤其是随着大模型应用的逐渐深入,对计算资源有了更多的需求,一台服务器几万块钱,千万级DAU的企业每年在服务器上的支持成本在大几千万。数据成本产生的主要原因:

  • 数据规模和复杂度:随着数据量的增加和种类的增多,处理、存储和分析这些数据所需的成本也会相应增加。
  • 数据质量和准确性:数据质量低或存在错误,需要投入更多的资源进行清洗和修复,从而增加成本。
  • 数据分析需求:不同的分析需求可能需要不同的技术和工具,导致成本增加。
  • 数据安全和合规要求:不同行业和地区对数据安全和合规的要求不同,需要额外的投入来满足这些要求。

二、数据成本优化的方向

提高资源利用效率:通过优化任务执行、提高机器利用率等方式,减少资源浪费,也就是在大数据平台(离线、实时),可以借助AI能力,优化任务的调度策略,最大可能提升机器利用率

优化存储策略:除了业务自然增长外,设定合理的数据生命周期,设定冷温热数据的标准,如90天不使用为冷数据,定期删除或归档不再需要的数据,减少存储成本。

量化成本并促进优化:建立明确的成本量化标准,通过账单排名等方式促进相关人员主动优化成本,除了量化成本结果外,定期检测高耗时、低效任务,给到数据生产者明确的优化指引,促进低效任务的代码优化。也可以借助AI代码检测能力,在任务提交环节进行校验、提醒

加强数据质量管理:提高数据质量和准确性,减少因数据问题导致的额外成本。

满足合规要求并保障数据安全:遵守相关法规和政策,确保数据在存储、传输和使用过程中的安全性,避免因数据安全问题导致的额外成本。

建设完善的数据资产管理能力,提升模型复用性,减少重复开发带来的程浪费,如建设易用的数据地图、数据血缘、指标管理工具等,通过完善的元数据信息,辅助数据使用者快速找到已有数据,同时平台需要具备一些重复任务的自动化检测能力

本文由人人都是产品经理作者【数据干饭人】,微信公众号:【数据干饭人】,原创/授权 发布于人人都是产品经理,未经许可,禁止转载。

题图来自Unsplash,基于 CC0 协议。