在线支持
在线支持
微信支持
微信支持
  • 知识分享 LilJ 发表时间:2023-02-01 12:18:26

分享一篇文章:一文搞懂数据仓库、数据平台、数据中台、数据湖的概念和区别

29
0
  • 知识分享 星小环 官方人员 发表时间:2023-01-12 14:39:45

Inceptor 数据导入导出之Insert overwrite

面对一些重要数据,很多场景下都需要将数据仓库进行复制,这可以是整个数据库的更广泛级别,也可以是较小的级别,例如表或分区。本案例将演示使用insert overwrite dirctory 然后sql 建外表的方式导入导出。 inceptor 数据导入导出方法大致分为以下几种: 1. export/import 2. insert overwr..

47
0
  • 知识分享 星小环 官方人员 发表时间:2023-01-04 11:00:23

星环科技TDH多模型统一架构VS CDH架构

68
0
  • 知识分享 星小环 官方人员 发表时间:2022-12-27 17:03:27

Inceptor对PL/SQL中分号的支持

inceptor中默认对pl/sql语句块的分号是不支持的,也就是说在inceptor的默认配置中会识别分号为sql语句块结束的符号,但是在beeline中默认的并不是以分号结束,所以当使用beeline命令进行编译存储过程时就会报错。我们可以通过命令语句手动打开支持。使用命令的时候,我们需要在pl/sql文件的头部和尾部各加一条命令,具体如下: 1. ..

22
0
  • 知识分享 星小环 官方人员 发表时间:2022-12-27 16:47:41

beeline的常用操作命令

beeline cli支持以下命令行参数: -u <database_url> #要连接的jdbc url。如果需要,参数值中的特殊字符应使用url编码。 (例)beeline -u db_url -n <username> #连接的用户名 (例)beeline -n [valid_user] -p &l..

74
0
  • 知识分享 星小环 官方人员 发表时间:2022-12-27 15:04:17

Docker背景 精华

55
0
  • 知识分享 星小环 官方人员 发表时间:2022-12-27 15:04:11

Docker 常用命令

docker 常用命令 1.容器使用 $ docker run -it ubuntu /bin/bash ● -i: 交互式操作 ● -t: 终端 ● ubuntu: 镜像名 ● /bin/bash: 启动 shell 交互式命令 其他参数: ● -d: 后台运行 # 查看正在运行的容器列表..

53
0
  • 知识分享 星小环 官方人员 发表时间:2022-12-26 15:34:13 最新回复:2022-12-26 15:44:21

集群不同安全认证模式下beeline连接串使用方式

110
1
  • 知识分享 星小环 官方人员 发表时间:2022-12-13 11:07:15

端口被占用组件无法启动应该怎么修改端口 精华

54
0
  • 知识分享 星小环 官方人员 发表时间:2022-12-12 21:33:53

Quark Patch包更换操作文档 精华

61
0
  • 知识分享 星小环 官方人员 发表时间:2022-12-12 20:24:01

TORC Compact 常见故障诊断

62
0
  • 知识分享 星小环 官方人员 发表时间:2022-12-12 17:23:54 最新回复:2022-12-12 20:38:56

Compact那些事

1.背景 1.1 compact 是什么 用户在频繁的进行小数据量写入操作的时候,会产生大量的小文件(base/delta),并且内容很少(kb级别)。系统在必要的时候会将这些小的storefile合并成相对较大的storefile,这个过程就称之为compaction。 小文件过多可能导致io开销大,影响性能或者内存占用高,namenode崩溃..

78
1
  • 知识分享 星小环 官方人员 发表时间:2022-11-26 18:52:43

linux操作系统下怎么关闭icmp,Linux 开启和关闭Ping的操作方法

linux 默认是开启 ping 操作的,通过以下两种方式可以开启和关闭 ping 操作 。关闭服务器上的ping可以在一定程度上在互联网上隐藏自己,防止一些批量扫描软件探测主机,减少被入侵的几率。 1、修改内核参数 通过内核参数设置也有两种方式,一种是临时修改,一种是永久修改。 1.1 临时设置 ping 操作 # 禁止 ..

85
0
  • 知识分享 星小环 官方人员 发表时间:2022-11-26 15:27:24

【知识分享】Linux中查看主机名的10种方法 精华

主机名(也称为计算机名)是提供给连接到网络的设备(可以是系统、交换机、路由器等)的名称,用于通过网络对其进行标识。同一网络中不能有两个主机名相同的系统。linux系统给当前主机命名的目的是能够更容易记住,尤其是在部署集群的时候更加方便。一般主机名称都会有ip地址来关联,这样在其它集群中,主机换ip其它的集群机器不用相应的修改。 默认情况下,可以在终端中找..

97
0
  • 知识分享 星小环 官方人员 发表时间:2022-11-24 19:19:10

【知识分享】如何计算Task数量

97
0
  • 知识分享 星小环 官方人员 发表时间:2022-11-22 11:07:51

如何根据错误信息定位出现问题的发生阶段以及错误类别 精华

大家在使用inceptor的时候,可能会因为各种原因导致sql语句发生错误,一般错误信息会由如下几部分组成: 1. 错误发生阶段 compile failed:编译阶段(并未生成task) execution failed:执行阶段(已生成task,在task执行过程中出错) 2. 错误类别 parse error:词法/语法错误(由ant..

127
0
  • 知识分享 星小环 官方人员 发表时间:2022-11-21 16:27:22

运维神器--火焰图介绍

95
0
  • 知识分享 星小环 官方人员 发表时间:2022-11-21 15:43:34 最新回复:2022-12-12 17:31:31

【知识分享】UDF那些事

背景: udf来源与hive,hive可以允许用户编写自己定义的函数udf,来在查询中使用。inceptor中udf的开发规范与hive相同,有3种udf: udf: 以单个数据行为参数,输出单个数据行; udaf: 以多个数据行为参数,输出一个数据行。 udtf: 以一个数据行为参数,输出多个数据行为一个表作为输出。 ..

99
1
  • 知识分享 星小环 官方人员 发表时间:2022-11-14 14:50:38

【知识分享】Inceptor中不同的表格式对应的不同的应用场景

144
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-27 19:42:53

【知识分享】小文件相关的问题以及应该怎么处理

问题背景 很多客⼾在⽣产环境都会遇到⼩⽂件问题,⼩⽂件可能来⾃于上游系统,可能来⾃于书写不当的sql,也可能是错误数据导致join ⽣成⼤量⼩⽂件。 ⽤⼾侧观察到的现象就是,性能下降,任务报错,甚⾄executor lost。 问题分析 ⼩⽂件问题隐患: 1. 导致map 任务⾮常多,从而性能下降; 2. ⼩⽂件过多,可能会影响到后..

165
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-27 19:39:47

小文件合并以及automerge出现问题怎么解决

现有功能 改进的automerge 功能:https://community.transwarp.cn/thread?topicid=251 插入时候的全表/分区小文件合并功能:https://community.transwarp.cn/thread?topicid=252 现有功能可能出现的问题: 改进的automer..

147
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-27 19:30:24

【知识分享】小文件合并设计实现版本

当前设计实现方案: 小文件合并时机:在插入表数据后进行 (insert into等) 在插入后会启动一个 inceptorpostcompacttask来完成合并工作。 为了生成一个合理的operator tree, 方案借助了一个虚拟的sql来完成。 假设被插入表是t,那么会使用 insert into t select * from t来生成。 在4..

136
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-27 19:23:09

【知识分享】改进partition automerge

原来automerge (ngmr.partition.automerge) 不计算base本身的大小,并且可能会将两个大的数据块合并在一起 (不管阀值多小)。 改进的方法是: 1)合并之前检查自身的大小,如果已经超过阀值(默认8m),就不参与合并了。 2)合并时,把自身的大小计算在内。 阀值控制参数重用现有的:ngmr.partition.merg..

120
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-27 19:20:11

【知识分享】Automerge用法及注意事项

功能介绍 automerger 用于map端控制map task的数目,它根据每个partition(数据块)所在的位置及大小将多个partitions交给一个task去完成。 控制参数 总开关: ngmr.partition.automerge 默认false ngmr.partition.mergesize 默认3,控制额外merge的数据块个数 ng..

120
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-27 14:09:07

Slipstream中的概念与Kafka中的概念的对应关系

105
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-24 18:42:14

【API访问实例】使用hyperbase API访问启用Kerberos的服务demo

如果需使用api来进行权限的管理,可考虑如下实例: 使用java api访问启用kerberos的服务示例 环境准备: 配置kerberos客户端 配置默认路径:/etc/krb5.conf (linux) 或者 c://windows/krb5.ini (windows) 或者 添加java程序启动参数 -djava.sec..

113
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-24 18:36:43

【知识分享】Transwarp HyperBase 运行模式(cluster/local)

transwarp hyperbase可以运行在localmode和clustermode模式下,可通过set ngmr.exec.mode=local/cluster进行设置。 localmode localmode:单节点模式,同一时间只有一台机器读数据,是一个查询模型。主要应用在高并发实时业务场景,为hyperbase的高并发查询服务。job..

110
0
  • 知识分享 星小环 官方人员 发表时间:2022-10-24 17:56:05

【知识分享】如何进行Prometheus 的存储容量规划

概述 aquila insight 使用prometheus (作为 aquila 角色之一) 收集和存储监控指标, 这些指标默认持久化在本地 (暂时不支持保存数据到第三方存储服务), 可以通过查看aquila 配置 prometheus.data.dir获得本地存储目录,建议将 prometheus.data.dir 单独挂到一块磁盘上, 使用默认值可能会..

168
0
  • 知识分享 LilJ 发表时间:2022-10-24 17:20:20

【知识分享】Sqoop通用参数&命令说明

① 通用参数说明 –username 源数据库名称 –password 密码 –connect 数据库jdbc连接串 –query sql语句,其中 where $conditions 是固定写法 –target-dir 写入hdfs目录 后面跟的hdfs目录需要确认用户有写权限 -m -m 4 map个数,抽数的线程数,默认为4 当..

121
0
共29条 1

登录 后发表话题。没有帐号? 注册 一个。