- 知识分享 星小环 官方人员 发表时间：2022-10-27 19:30:24
【知识分享】小文件合并设计实现版本
当前设计实现方案： 小文件合并时机：在插入表数据后进行 （insert into等） 在插入后会启动一个 inceptorpostcompacttask来完成合并工作。 为了生成一个合理的operator tree, 方案借助了一个虚拟的sql来完成。 假设被插入表是t，那么会使用 insert into t select * from t来生成。 在4..
135
0
- 知识分享 星小环 官方人员 发表时间：2022-10-27 19:23:09
【知识分享】改进partition automerge
原来automerge (ngmr.partition.automerge) 不计算base本身的大小，并且可能会将两个大的数据块合并在一起 （不管阀值多小）。 改进的方法是： 1）合并之前检查自身的大小，如果已经超过阀值（默认8m）,就不参与合并了。 2）合并时，把自身的大小计算在内。 阀值控制参数重用现有的：ngmr.partition.merg..
120
0
- 知识分享 星小环 官方人员 发表时间：2022-10-27 19:20:11
【知识分享】Automerge用法及注意事项
功能介绍 automerger 用于map端控制map task的数目，它根据每个partition(数据块)所在的位置及大小将多个partitions交给一个task去完成。 控制参数 总开关： ngmr.partition.automerge 默认false ngmr.partition.mergesize 默认3，控制额外merge的数据块个数 ng..
119
0
- 知识分享 星小环 官方人员 发表时间：2022-10-24 18:42:14
【API访问实例】使用hyperbase API访问启用Kerberos的服务demo
如果需使用api来进行权限的管理，可考虑如下实例： 使用java api访问启用kerberos的服务示例 环境准备: 配置kerberos客户端 配置默认路径：/etc/krb5.conf (linux) 或者 c://windows/krb5.ini (windows) 或者 添加java程序启动参数 -djava.sec..
113
0
- 知识分享 星小环 官方人员 发表时间：2022-10-24 18:36:43
【知识分享】Transwarp HyperBase 运行模式（cluster/local）
transwarp hyperbase可以运行在localmode和clustermode模式下，可通过set ngmr.exec.mode=local/cluster进行设置。 localmode localmode:单节点模式，同一时间只有一台机器读数据，是一个查询模型。主要应用在高并发实时业务场景，为hyperbase的高并发查询服务。job..
110
0
- 知识分享 星小环 官方人员 发表时间：2022-10-24 17:56:05
【知识分享】如何进行Prometheus 的存储容量规划
概述 aquila insight 使用prometheus (作为 aquila 角色之一) 收集和存储监控指标, 这些指标默认持久化在本地 (暂时不支持保存数据到第三方存储服务), 可以通过查看aquila 配置 prometheus.data.dir获得本地存储目录，建议将 prometheus.data.dir 单独挂到一块磁盘上, 使用默认值可能会..
168
0
- 产品使用示例 星小环 官方人员 发表时间：2022-10-24 17:32:10 最新回复：2022-10-24 19:00:35
【产品使用示例】使用Aquila Insight运维示例（含演示视频）
124
2
- 知识分享 LilJ 发表时间：2022-10-24 17:20:20
【知识分享】Sqoop通用参数&命令说明
① 通用参数说明 –username 源数据库名称 –password 密码 –connect 数据库jdbc连接串 –query sql语句，其中 where $conditions 是固定写法 –target-dir 写入hdfs目录 后面跟的hdfs目录需要确认用户有写权限 -m -m 4 map个数，抽数的线程数，默认为4 当..
121
0
- 产品使用示例 星小环 官方人员 发表时间：2022-10-24 17:16:08
【教学视频】如何通过社区版TDH对数据进行分析探索
主要围绕以下5个操作点，感兴趣的同学可以点击链接进行查看： 1、初始化tdh客户端； 2、执行sqoop抽数脚本到hdfs目录，运行mapreduce任务 3、配置waterdrop连接quark 4、创建外表，加载sqoop抽取的数据到employee_ods表中 5、创建orc表，从ods表中插入数据进行数据分析探索。 https://tr..
125
0
- NoSQL宽表数据库Hyperbase LilJ 发表时间：2022-09-23 14:56:26 最新回复：2022-09-27 17:27:17
Hyperbase介绍以及在日常监测管理系统场景中的应用实践
238
3
为什么8.0.2版本参数设置只有设置reduce数生效
set hive.merge.mapfiles=true; set hive.merge.mapredfiles=true; set hive.merge.size.per.task=256000000; set hive.merge.smallfiles.avgsize=16000000; set mapred.max.split.s..
160
1
waterdrop工具在macbook M1 打开闪退
如题。 waterdrop是否支持m1？或者有其他替代方案？ 根据回复已安装jdk1.8 打开软件提示: javavm fatal: failed to load the jvm library...
159
3
193
0
