惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

博客园 - 【当耐特】
云风的 BLOG
云风的 BLOG
罗磊的独立博客
C
Check Point Blog
奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
Blog — PlanetScale
Blog — PlanetScale
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
月光博客
月光博客
大猫的无限游戏
大猫的无限游戏
Google DeepMind News
Google DeepMind News
Engineering at Meta
Engineering at Meta
N
Netflix TechBlog - Medium
宝玉的分享
宝玉的分享
Recent Announcements
Recent Announcements
酷 壳 – CoolShell
酷 壳 – CoolShell
博客园_首页
J
Java Code Geeks
Apple Machine Learning Research
Apple Machine Learning Research
人人都是产品经理
人人都是产品经理
爱范儿
爱范儿
I
InfoQ
Hugging Face - Blog
Hugging Face - Blog
T
Tailwind CSS Blog
B
Blog RSS Feed

Big Data

如何将远端 mysql 变更同步到本地 吐槽一下国内开源的一些东西 ETL 方案有哪些 今天听到一个笑话 任务调度系统系列之 Airflow 100G 左右数据, mysql 理论上可能会比大数据引擎快吗? 不影响业务系统的情况下如何做实时大屏展示呢? 迫于压力,求个好的大数据课程 硅谷最火的数据分析工具 dbt 究竟是什么? 一文读懂 clickhouse 集群监控 intellij 调试 spark 程序可以查看到 rdd 数据吗 talend 在业内(数据分析、ETL、BI)是什么情况?好用? Java 的实质性标准?成为坑了,被嗤之以鼻? etc...??? 有什么自建 [文件服务] 推荐,用来自建替代 S3 服务? 怎么加深大数据技能,进入大厂。好迷茫,求指点 复杂分布式架构下的计算治理之路 抖音上很火的数据可视化视频金十数鸽的制作方法,是用 unity3d 做的还是 moviepy 还是用动画制作软件手动做的? 课程项目有什么云应用大数据项目推荐吗 脑网络组图谱( Brainnetome Atlas) All of you working with Big Data, what is your Data? 请问哪里可以查到世界各国的普通人们的跑步数据,睡眠数据,脉搏数据等健康信息?有这样的统计机构存在吗? 突然在想: 大数据是不是只有像阿里巴巴这样的大企业才能玩?小公司,个人在大数据时代能做些什么呢? Presto-Distributed SQL query engine for big data Treasure Data 获得 Matz 投资... 有人用过 Treasure Data 么? Treasure Data
[系统设计] 广告系统的统计数据该怎么设计?
zealinux · 2020-02-21 · via Big Data

广告系统会跟踪一些数据(类似 log ),这些数据专门用来做统计的。

但是由于以后可能量比较大,不想着存数据库( MySQL )。

现在一般是怎么好做法?


比如,现在想到的比较笨的方法:

系统会有频繁跟踪数据传过来, 那么我就在 DB 里 [跟踪日志表] 里新建一条记录。

然后定时每 10 分钟汇总一些。记录在 [分小时统计表] 里。 然后再定时从 [分小时统计表] 算出总量,存放 [总量表] 的。

现在是 3 张表。

A - 跟踪记录表
B - 分小时统计表
C - 每个广告的统计总量表

感觉这种方法不好, A 表应该算是非主业务的,不应该与业务表们放在一起。 A 表也会越来越庞大。(大表做统计的话,可能会把 MySQL 搞崩溃掉) 其余两个表是由于 A 来算出来的。

应该会有更好的解决方法,求教