惯性聚合 高效追踪和阅读你感兴趣的博客、新闻、科技资讯
阅读原文 在惯性聚合中打开

推荐订阅源

奇客Solidot–传递最新科技情报
奇客Solidot–传递最新科技情报
博客园_首页
大猫的无限游戏
大猫的无限游戏
让小产品的独立变现更简单 - ezindie.com
让小产品的独立变现更简单 - ezindie.com
Apple Machine Learning Research
Apple Machine Learning Research
B
Blog
B
Blog RSS Feed
Cyber Security Advisories - MS-ISAC
Cyber Security Advisories - MS-ISAC
P
Proofpoint News Feed
MyScale Blog
MyScale Blog
Engineering at Meta
Engineering at Meta
量子位
H
Hackread – Cybersecurity News, Data Breaches, AI and More
T
Tailwind CSS Blog
Stack Overflow Blog
Stack Overflow Blog
N
Netflix TechBlog - Medium
T
The Blog of Author Tim Ferriss
U
Unit 42
aimingoo的专栏
aimingoo的专栏
博客园 - 叶小钗
博客园 - 【当耐特】
云风的 BLOG
云风的 BLOG
博客园 - Franky
博客园 - 聂微东

博客园 - 南国故人(Wall)

oozie配置安装与原理 Livy原理详解 阿里(蚂蚁金服)招聘 Zeppelin原理简介 Spark job server原理初探 SparkSQL UDF使用方法与原理详解 如何修改Git commit的信息 CarbonData编译与安装 Namenode HA原理详解 Spark Shuffle 堆外内存溢出问题与解决(Shuffle通信原理) Spark SQL 代码简要阅读(基于Spark 1.1.0) RDD原理与详解 Spark详解 Spark Streaming 执行流程 Namenode HA原理详解 Spark架构与作业执行流程简介 Spark 开发环境搭建 YARN Application执行流程 [NM 状态机2] Container状态机详解
使用Intellij加载Spark源代码
南国故人(Wall) · 2016-12-17 · via 博客园 - 南国故人(Wall)

如何使用Intellij加载Spark源代码

转载注明原文http://www.cnblogs.com/shenh062326/p/6189643.html

查看Spark源代码或修改Spark源代码,都需要一个合适的IDE编辑器,而Spark源码编辑器首推Intellij,

但如果使用Intellij加载Spark源码方式不对,则会出现大量红点点,如下图所示,而且很多代码无法完成跳转,今天我就给大家介绍一下如何使用Intellij加载Spark源代码。

使用Intellij加载Spark代码

1. 首先下载Spark代码。

2. 使用mvn编译mvn -Pyarn -Dhadoop.version=2.6.0 -Dyarn.version=2.6.0 -DskipTests -Phive compile

3. 编译成功后打开Intellij,选择File->New->Project from Existing Sources。

 4. 选择项目目录后选择Import project from external model->maven。

5. 选择next后,在Import Project窗口中加上几个需要引入的项目,如下图。

6.之后一直选择next即可,打开项目后需要等待一段时间建立Index。

7.完成后的效果如下图,可以打开所有依赖的jar和class,Intellij就不会再出现大量红点点啦!

这样就能开心的码代码了。