我自己写的Spark代码怎么在TDH平台上运行


#1

请问,我自己写的Spark代码怎么在TDH平台上运行?


#2

TDH什么版本?discover带有spark 2.1


#3

TDH是5.1,我知道discover带有spark2.1,但是怎样运行我写的Spark代码呢?


#4

安装discover,discover的pod里面就有装有spark啊。
docker exec -it {$discover-containerID} bash 可以进入容器,然后跑spark你应该是知道的哈


#5

我刚刚开始学习使用TDH,对其了解甚少。星环discover的使用手册中,也没有对spark的使用介绍的章节,所以发了这个问题,请问哪篇doc有spark在TDH的使用呢?


#6

TDH对spark做了非常完善的封装和产品化,你可以用SQL做批处理和流处理,用拖拉拽工具做数据挖掘建模,完全可以把关注点放在价值发现业务上,而不用花大量时间琢磨怎么用spark代码实现的。
至于spark的使用,你可以参照spark官方的quick start:http://spark.apache.org/docs/latest/quick-start.html。


在线支持