惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

美团技术团队
D
DataBreaches.Net
OSCHINA 社区最新新闻
OSCHINA 社区最新新闻
D
Docker
N
Netflix TechBlog - Medium
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
C
Check Point Blog
腾讯CDC
Stack Overflow Blog
Stack Overflow Blog
V
Visual Studio Blog
IT之家
IT之家
月光博客
月光博客
U
Unit 42
K
Kaspersky official blog
T
Threatpost
cs.AI updates on arXiv.org
cs.AI updates on arXiv.org
GbyAI
GbyAI
P
Proofpoint News Feed
Last Week in AI
Last Week in AI
云风的 BLOG
云风的 BLOG
酷 壳 – CoolShell
酷 壳 – CoolShell
I
InfoQ
Engineering at Meta
Engineering at Meta
Recorded Future
Recorded Future
Exploit-DB.com RSS Feed
Exploit-DB.com RSS Feed
freeCodeCamp Programming Tutorials: Python, JavaScript, Git & More
S
Security @ Cisco Blogs
MyScale Blog
MyScale Blog
大猫的无限游戏
大猫的无限游戏
Security Archives - TechRepublic
Security Archives - TechRepublic
Webroot Blog
Webroot Blog
cs.CV updates on arXiv.org
cs.CV updates on arXiv.org
Hacker News - Newest:
Hacker News - Newest: "LLM"
S
Schneier on Security
S
Secure Thoughts
The Register - Security
The Register - Security
B
Blog RSS Feed
The Last Watchdog
The Last Watchdog
P
Palo Alto Networks Blog
爱范儿
爱范儿
B
Blog
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
N
News and Events Feed by Topic
阮一峰的网络日志
阮一峰的网络日志
L
LINUX DO - 热门话题
C
Cisco Blogs
Spread Privacy
Spread Privacy
F
Full Disclosure
博客园 - 聂微东
T
The Blog of Author Tim Ferriss

Spark

求助广大网友 - V2EX 真的深入了解开源项目是动手实现--《Spark Core 精简版》 - V2EX 求助几个 Spark 问题 - V2EX spark 做内容推荐,希望大佬给一些思路上的指导 - V2EX 有没有不错的 SparkStreaming+Kafka 的开源项目可以用来入门和进阶? - V2EX Spark 解析复杂 xml,数据如何映射到多表中 - V2EX PayPal 招 资深大数据工程师 啦 - 技术栈: Spark, Scala, Java , Python 等 - V2EX 关于 Spark Task 的疑问 - V2EX 有没有在滴滴或者其他网约车公司的同学,请教一个数据量的问题 - V2EX spark 作业求助,剔除空值大于三的行 - V2EX spark 有用 kotlin 写代码的吗? - V2EX 现在写 spark 程序,都是用 scala 吗 - V2EX spark 核心构件之 Dependency 宽窄依赖 - V2EX spark 内存管理的实现 spark 源码研究 - V2EX spark straming。submit Python 脚本报错。 - V2EX CPython, PyPy 和 Scala 在 Spark 平台上的性能对比 - V2EX Spark/Scala 的细节讨论:在 map task 里的 map 会得到如何的处理? - V2EX SPARK 文档查询好费劲 - V2EX Apache Spark 之间的共享项目配置文件问题 疑问:spark对于迭代运算场景很有优势,那对于迭代不严重的计算场景呢? - V2EX First Steps with Spark – Screencast #1 - V2EX
spark 大数据离线分析 爬虫存到 csv 有的列是长度不固定的 list 请问应该怎么存到 hive?直接存 list 吗?该怎么分析呢? - V2EX
txc106 · 2021-04-08 · via Spark

txc106

V2EX  ›  Spark

 

txc106 · 2021 年 4 月 8 日 · 2182 次点击

这是一个创建于 1893 天前的主题,其中的信息可能已经有所发展或是发生改变。

完全没有头绪 另目前自己定的流程是爬虫-》 hdfs-》通过 scala 预处理后存 hive-》 scala 分析-》 mysql-》可视化 请问这个流程有什么问题吗? 看其他项目处理的数据都没有 list 我是因为那列有的是空有的有三四个数据 然后就直接存的 list 该怎么处理呢?我也没能查到其他人有类似的处理流程。。。

  • List
  • Scala
  • 流程
  • 处理

    1 条回复    2024-07-15 15:51:34 +08:00

    zwenooo

    1

    zwenooo      2024 年 7 月 15 日

    直接存 list 呀,用的时候炸开