在线支持
在线支持
微信支持
微信支持
  • 知识分享 星小环 官方人员 发表时间:2022-10-27 19:30:24

【知识分享】小文件合并设计实现版本

当前设计实现方案: 小文件合并时机:在插入表数据后进行 (insert into等) 在插入后会启动一个 inceptorpostcompacttask来完成合并工作。 为了生成一个合理的operator tree, 方案借助了一个虚拟的sql来完成。 假设被插入表是t,那么会使用 insert into t select * from t来生成。 在4..

135
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-27 19:23:09

【知识分享】改进partition automerge

原来automerge (ngmr.partition.automerge) 不计算base本身的大小,并且可能会将两个大的数据块合并在一起 (不管阀值多小)。 改进的方法是: 1)合并之前检查自身的大小,如果已经超过阀值(默认8m),就不参与合并了。 2)合并时,把自身的大小计算在内。 阀值控制参数重用现有的:ngmr.partition.merg..

120
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-27 19:20:11

【知识分享】Automerge用法及注意事项

功能介绍 automerger 用于map端控制map task的数目,它根据每个partition(数据块)所在的位置及大小将多个partitions交给一个task去完成。 控制参数 总开关: ngmr.partition.automerge 默认false ngmr.partition.mergesize 默认3,控制额外merge的数据块个数 ng..

119
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-27 14:09:07

Slipstream中的概念与Kafka中的概念的对应关系

105
0
  • 产品使用示例 星小环 官方人员 发表时间:2022-10-24 18:48:46

【教程】安装Manager时如何配置RPM仓库

111
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-24 18:42:14

【API访问实例】使用hyperbase API访问启用Kerberos的服务demo

如果需使用api来进行权限的管理,可考虑如下实例: 使用java api访问启用kerberos的服务示例 环境准备: 配置kerberos客户端 配置默认路径:/etc/krb5.conf (linux) 或者 c://windows/krb5.ini (windows) 或者 添加java程序启动参数 -djava.sec..

113
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-24 18:36:43

【知识分享】Transwarp HyperBase 运行模式(cluster/local)

transwarp hyperbase可以运行在localmode和clustermode模式下,可通过set ngmr.exec.mode=local/cluster进行设置。 localmode localmode:单节点模式,同一时间只有一台机器读数据,是一个查询模型。主要应用在高并发实时业务场景,为hyperbase的高并发查询服务。job..

110
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-24 17:56:05

【知识分享】如何进行Prometheus 的存储容量规划

概述 aquila insight 使用prometheus (作为 aquila 角色之一) 收集和存储监控指标, 这些指标默认持久化在本地 (暂时不支持保存数据到第三方存储服务), 可以通过查看aquila 配置 prometheus.data.dir获得本地存储目录,建议将 prometheus.data.dir 单独挂到一块磁盘上, 使用默认值可能会..

168
0
  • 产品使用示例 星小环 官方人员 发表时间:2022-10-24 17:32:10 最新回复:2022-10-24 19:00:35

【产品使用示例】使用Aquila Insight运维示例(含演示视频)

124
2
  • 知识分享 LilJ 发表时间:2022-10-24 17:20:20

【知识分享】Sqoop通用参数&命令说明

① 通用参数说明 –username 源数据库名称 –password 密码 –connect 数据库jdbc连接串 –query sql语句,其中 where $conditions 是固定写法 –target-dir 写入hdfs目录 后面跟的hdfs目录需要确认用户有写权限 -m -m 4 map个数,抽数的线程数,默认为4 当..

121
0
  • 产品使用示例 星小环 官方人员 发表时间:2022-10-24 17:16:08

【教学视频】如何通过社区版TDH对数据进行分析探索

主要围绕以下5个操作点,感兴趣的同学可以点击链接进行查看: 1、初始化tdh客户端; 2、执行sqoop抽数脚本到hdfs目录,运行mapreduce任务 3、配置waterdrop连接quark 4、创建外表,加载sqoop抽取的数据到employee_ods表中 5、创建orc表,从ods表中插入数据进行数据分析探索。 https://tr..

125
0
  • 集成方案 星小环 官方人员 发表时间:2022-10-24 17:14:43

【集成方案】Sqoop对接TDH手把手教学贴

205
0
  • 集成方案 星小环 官方人员 发表时间:2022-10-24 17:03:09

【集成方案】Kettle对接TDH手把手教学贴

217
0
  • 新闻公告 星小环 官方人员 发表时间:2022-10-21 17:04:44

自主创新、领先一代,星环科技成功登陆科创板

91
0
  • 经典案例分享 星小环 官方人员 发表时间:2022-10-12 17:03:52

【案例】星环科技×某能源企业:数据中台实践

150
0
  • NoSQL宽表数据库Hyperbase LilJ 发表时间:2022-09-23 14:56:26 最新回复:2022-09-27 17:27:17

Hyperbase介绍以及在日常监测管理系统场景中的应用实践

238
3
  • 关系型分析引擎Inceptor 发表时间:2022-09-20 09:42:12 最新回复:2022-09-20 16:36:45

为什么8.0.2版本参数设置只有设置reduce数生效

set hive.merge.mapfiles=true; set hive.merge.mapredfiles=true; set hive.merge.size.per.task=256000000; set hive.merge.smallfiles.avgsize=16000000; set mapred.max.split.s..

160
1
  • 新闻公告 星小环 官方人员 发表时间:2022-09-15 19:41:16

星环科技亮相Gartner2022数据与分析峰会,以DSML技术助力联合国可持续发展目标实现

124
0
  • 新闻公告 星小环 官方人员 发表时间:2022-09-14 18:39:47

星环科技与南京大学签订合作框架协议,推动产学研深度融合

124
0
  • 星环组件 发表时间:2022-09-13 14:42:24 最新回复:2022-10-18 16:32:48

waterdrop工具在macbook M1 打开闪退

如题。 waterdrop是否支持m1?或者有其他替代方案? 根据回复已安装jdk1.8 打开软件提示: javavm fatal: failed to load the jvm library...

159
3
  • TDH商业版 发表时间:2022-07-28 09:45:36 最新回复:2022-08-01 12:37:34

批量创建存储过程

1.星环是否可以进行批量导出/创建存储过程,如从测试环境到生产环境的批量部署?要如何实现? 2.星环能否对数据库进行重命名操作..

235
1
  • 搜索引擎Scope 星小环 官方人员 发表时间:2022-07-27 15:10:33

Elasticsearch安全又双叒叕出问题? 搜索引擎还得看星环科技自主研发的Transwarp Scope

193
0
  • 图数据库StellarDB LilJ 发表时间:2022-07-25 11:33:39

图数据库是怎样一种数据库,和传统关系数据库的主要区别在哪里?

234
0
  • 图数据库StellarDB 星小环 官方人员 发表时间:2022-07-22 16:34:10

星环科技图数据库StellarDB在信用卡反欺诈场景的应用

206
0
  • TDH社区版 发表时间:2022-07-12 11:29:57 最新回复:2022-07-12 15:39:37

社区版有5.x版本吗

社区版有5.x版本的安装包吗?..

250
1
  • TDH商业版 星小环 官方人员 发表时间:2022-07-06 14:29:42

【经典案例分享】星环科技TDH成功替代开源CDH,春秋航空节油降本成果显著 精华

356
0
  • TDH社区版 星小环 官方人员 发表时间:2022-06-17 20:19:04

【下】TDH社区版专场完美落幕,来一起回顾看看TDH社区版的应用场景吧~

313
0
  • TDH社区版 星小环 官方人员 发表时间:2022-06-16 18:22:15

【上】TDH社区版专场完美落幕,来看看我们推出的背景以及几个核心组件的功能介绍吧~

414
0
  • 多模型数据平台监控软件AquilaInsight 星小环 官方人员 发表时间:2022-06-16 17:15:58

【社区版专场】Insight Server服务介绍(附带演示视频)

250
0
  • 多模型数据平台监控软件AquilaInsight 星小环 官方人员 发表时间:2022-06-16 17:06:06

【社区版专场】Aquila Server 介绍(附带演示视频)

275
0
共189条 1 2 3 4 5 6 7 下一页

登录 后发表话题。没有帐号? 注册 一个。