oozie调度经常报错


#1

oozie调度spark的action经常报错,有点时候十次调度成功一次,有点时候五次成功四次,都是环境创建有问题。要不是第一mapducre报下面个错
java.lang.UnsupportedOperationException: Not implemented by the TFS FileSystem implementation
at org.apache.hadoop.fs.FileSystem.getScheme(FileSystem.java:214)
at org.apache.hadoop.fs.FileSystem.loadFileSystems(FileSystem.java:2559)
at org.apache.hadoop.fs.FileSystem.getFileSystemClass(FileSystem.java:2569)
at org.apache.hadoop.fs.FileSystem.createFileSystem(FileSystem.java:2586)
at org.apache.hadoop.fs.FileSystem.access$200(FileSystem.java:89)

要不就是第二个spark程序报
Log Type: stderr

Log Length: 269

find: /usr/lib/ngmr/examples': No such file or directory find:/usr/lib/ngmr/lib_managed/bundles/’: No such file or directory
Invalid initial heap size: -XmsG
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.

Log Type: stdout

Log Length: 396

-Djava.library.path=/usr/lib/hadoop/lib/native -XmsG -XmxG -server -XX:+UseParNewGC -XX:NewRatio=4 -XX:+CMSClassUnloadingEnabled -XX:MinHeapFreeRatio=100 -XX:MaxHeapFreeRatio=100 -XX:CMSMaxAbortablePrecleanTime=1000 -XX:+ExplicitGCInvokesConcurrent -XX:MaxTenuringThreshold=4 -XX:TargetSurvivorRatio=8 -XX:+HeapDumpOnOutOfMemoryError -XX:+UseConcMarkSweepGC -XX:CMSInitiatingOccupancyFraction=55

要不就两个都不报错,运行成功,这个如何解决?


#2

集群环境开安全了吗?


#3

没有,需要开安全吗


#4

不用。先确认一下环境情况。


#5

跑一般的spark程序都没问题,用oozie调用一个spark的wordcount,就会出现上面的错误,但是能成功几次。


#6

这个报错看起来是这个内存配置不对。


#7

我没配置内存这些参数,这个错是初始化jvm的时候有问题,不知道怎么解决?


#8

the TFS FileSystem implementation这个是什么 system


#9

TFS我也不知道,看google网上说的spark的jar版本的问题,可是我对比了十几个oozie博客,照着写的一步一步做的,还是报这个错。单独执行spark的程序是没有问题的,你们能不能提供一个可行的简单oozie例子?


#10

和开源的是一样的。我觉得是不是你哪里的连接写错了。这个tfs真的很奇怪


#11

能提供一个例子或者文档啥的吗?我调了好久都不行,我们这也没会的。


#12

不推荐写spark程序查询sql 。我们是直接用inceptor的


#13

我写的只是一个spark的wordcount,用oozie调用,没用sql语句


#14

请问这个问题后来你是怎么解决的?我在TDH4.8上也遇到了这个问题


在线支持