stream join table输出到kafka无效


#1

事件驱动模式下,

  1. 创建了一个输出流
    CREATE stream ao_out(frms_id int, frms_user_id string, frms_error string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '' TBLPROPERTIES("topic"="ao_out", "kafka.zookeeper"="172.19.49.22:2181", "kafka.broker.list"="172.19.49.22:9092");
  2. 创建streamjob
  3. 测试发现,无论怎么发数据,输出的kafka上面都接收不到任何数据,这是为啥啊? 如果不进行join关联可以

#2

help me


#3

help me


#4

你好 glkjoin 默认1000条数据join一次,测试数据没到1000条可能不会触发join和输出
可以尝试在启动流任务前更改每一次join的数据条数
SET stargate.global.lookup.join.batchsize = 1;

另外global lookup join 被关联的表需要是带索引的表,并且关联字段是索引字段,这边看不出demo_table情况,也可以检查一下是否符合要求。


#5

谢谢你的帮助


在线客服
在线客服
微信客服
微信客服