首先恭喜获奖的同学~这篇帖子来带大家回顾一下专场活动里提到的内容。
首先是回顾了一下推出社区版的背景。
随着集群规模和企业业务的不断发展,传统数据库的IT架构以及处理技术已经逐渐无法满足海量数据的管理需求以及复杂的数据分析需求,并且可扩展性也不足。当面对业务扩展、不可预测的需求变化等情况时,企业往往则需要使用多种单一的数据存储模型来应对不同的场景,那么就可能会出现数据孤岛、数据冗余、数据跨库分析难等一系列的问题。社区版依托了商业版的核心特性,支持海量数据的存储与管理,满足一站式数据处理需求。并且,关键核心技术自主可控也已经成为国家主要战略之一,社区版核心技术自主研发,核心组件皆完成了与主流信创生态厂商的适配互认工作,同时,社区版也兼容传统数据库及周边生态,国产生态,兼容开源Hadoop生态,充分降低了大家的迁移成本。
除了传统数据库以外,市面上常见的社区版版本大多数都由开源产品组成,版本管理混乱,同时,多产品的语言与接口不统一,很难系统性的解决全局问题。学习成本,运维成本,系统的总拥有成本也会不断的升高。而且大多数开源封装产品依赖开源,很多组件也受他国法律限制,无法规避“被制裁”的风险。
像业内较为出名的大数据管理平台CDH从去年的一月份开始也已经不再提供免费的社区版版本,用户无法获取新的功能以及支持,所有软件目前都需要订阅,订阅的价格十分高昂。而且,像Hive等SQL的支持能力、分布式事务、混合负载能力、数据处理性能等等有时无法满足企业的业务需求,平台的易用性以及稳定性也不佳。因此随着CDH系统的停止维护,社区版也将成为您进行数据管理处理分析的不二选择。
企业用户可以通过订阅的方式,低成本的搭建批处理数据仓库,构建数据湖。平台将为企业用户提供海量无上限的数据容量支持,以及更高级别的技术支持,用户可以更深入的洞察业务创新机遇,助力业务决策的支持。
如果您是出于学习、教学、科研等用途使用,我们将免费为您提供社区版版本,我们将免费提供 4节点 10TB 的数据容量支持,充分满足您的使用场景。
首先是轻量,社区版此次大幅度的降低了系统组件的资源占用,最低配置仅需4核8GB就可以联网进行安装使用,用户可以自行选择组件与配套的服务,按需进行安装。
虽然我们降低了大家接触大数据技术的使用门槛与成本,但我们在性能以及组件能力上不做任何裁剪、妥协,借助我们提供的全功能组件,平台可以一站搞定数据湖、数据仓库、高并发写入查询等大数据业务场景。并且社区版与商业版一样配备了统一的SQL编译器、拥有SQL编译优化、分布式计算与存储、分布式事务、资源管理等领先技术。
相较于其他大数据平台的产品,社区版在部署步骤以及部署整体时间都有大幅度的简化缩短,即使零经验使用者也可以做到快速上手。
TDH自2013年创建以来经过不断的打磨与创新已经拥有了大量的实战经验,为了让大数据技术得到更广泛的使用与应用从而创造更大的价值,我们将这九年中获取到的成功经验以及核心组件进行了浓缩打造,一起放进了这款备受欢迎的大数据管理平台TDH的社区版中。社区版TDH充分依托了商业版的技术优势,此次配备了星环极具竞争力的成熟组件Inceptor、Waterdrop等自研开发工具以及Hadoop3.0精选组件等等,可以帮助用户有效解决大数据处理和分析的各种技术难题。
此次我们将全功能的inceptor放进了社区版中,用户可以使用inceptor进行批处理、关联分析、聚合计算等一系列的功能。Inceptor是我们推出的用于数据仓库和交互式分析的关系型分析引擎,它是全球首个通过分析决策系统国际基准测试TPC-DS的产品,查询性能是开源解决方案的7-25倍。Inceptor优势之一在于其完整的SQL支持,Inceptor支持SQL 99/2003标准,支持存储过程,同时也支持Oracle、DB2、Teradata等数据库方言,可以实现业务间的平滑迁移,充分降低用户的迁移成本以及开发门槛。此外,Inceptor支持动态调整调度逻辑,通过其内置的协调调度中心为不同类型的任务配置不同的计算资源及优先级,可以提供更好的集群整体并发服务的能力,从而实现混合负载均衡管理的能力。
Manager是负责部署、配置、管理和运维TDH集群的图形化工具管理应用程序,大家可以使用基于Web的图形化按钮来控制 Hadoop 集群,更直观的进行服务安装,服务控制,服务配置,服务升级,服务迁移等操作,无需操作指令行就可以简单便捷的完成服务部署、运维等等。Manager采用心跳通信机制与所管理的集群保持通讯。心跳通讯机制可以定期把集群服务器的现有状态汇报给Manager 服务器,TDH管理服务器会汇总各个代理的信息整体展现给用户。如果Manager不能收到代理的通讯或某项服务启动失败的话,比如说进程无法启动,那么Manager的页面上将会显示告警。
基于社区版提供的云原生操作系统TCOS,manager还支持基于优先级的抢占式资源调度和细粒度资源分配,提高资源利用率与资源隔离,可以有效的提高生产力。
具体来看,Manager提供以下这些功能模块,比如说集群管理,manager提供的可视化页面提供节点、集群信息、服务及角色状态展示,并且提供了不同层次的监控图表。在用户和账号管理模块,manager提供基于用户/组/角色的权限管理。Manager的图形化工具大大简化了用户的使用以及运维过程,全方位提升了开发效率,降低技术门槛。
演示视频链接:https://transwarp-ce-1253207870.cos.ap-shanghai.myqcloud.com/manager%E6%BC%94%E7%A4%BA%E8%A7%86%E9%A2%91.mp4
Aquila是我们自主研发的一款一站式综合运维平台,功能架构主要分为数据处理层、功能能力模块以及场景运维应用三层。Aquila提供监控仪表盘、告警通知、日志生命周期管理、日志检索、审计日志等功能。
Aquila预置了大数据和数据库产品的运维仪表盘和告警规则等等,通过各种技术,实现大数据运维的各个维度的运维监控,在流程上覆盖了事前预警,事中告警,事后分析处理,同时结合运维知识库实现一套完整的大数据运维体系。管理人员、运维人员可以从不同的视角对集群, 租户, 服务进行监控,通过对常见大数据组件进行业务性能和稳定性监控, 能够及时发现、定位问题。
Aquila提供了指标采集,仪表盘,告警通知、日志搜索、权限管控、集群、组件监控等几大核心功能,演示视频链接:https://transwarp-ce-1253207870.cos.ap-shanghai.myqcloud.com/Aquila%E6%BC%94%E7%A4%BA%E8%A7%86%E9%A2%91.mp4
DBA Service是Aquila提供的一个角色,可以用来收集、分析、展示数据库产品的运行情况,同时支持运维交互操作。DBA Service采用革新性的数据库自治技术重新定义了数据管理, 可以大程度的节约运维成本。在DBA Service中,大家可以实时展示计算引擎的运行情况,无需手动刷新,就可以通过可视化界面查看更为直观的数据展示。
以上就是社区版部分核心组件的介绍,有关更细节的内容欢迎大家访问官网文档站查看。
在下一篇帖子中我们来看一下社区版可以满足哪些应用场景。