在线支持
在线支持
微信支持
微信支持
  • 唠唠技术 LilJ 发表时间:2022-06-06 16:13:22

应用解读 | 一文读懂星环科技搜索引擎Scope查询优化技术

321
0
  • 唠唠技术 lulala 发表时间:2022-04-25 17:19:59

星环ArgoDB+英特尔第三代至强=分布式分析型数据库“蜕变”

数字化时代,我们的一举一动,一言一行,都幻化成了海量的数据。 许多人都有过这样的经历——你可以随时在银行、运营商查询最近几个月或者近一年的账单;但当时间跨度超过一年的时候,系统查询的时间就要长一些,你可能会间歇性的等待几秒钟。这并不是系统在“偷懒”,相反它正在全速帮你从曾经的数据库中检索数据。 这就是在线业务与离线业务的区别。对于那些检索频次高、..

114
0
  • 唠唠技术 lulala 发表时间:2022-04-25 17:16:07

一站式多模型数据管理平台:星环科技TDH8.1.0全新升级

星环科技作为国内出色的基础软件厂商,致力于围绕数据全生命周期为企业提供基础软件及支持。transwarp data hub(后文统称tdh)是星环科技自主研发的企业级一站式多模型数据管理平台。 凭借星环科技创新的技术架构和深厚的产品研发能力,自诞生以来,tdh平台帮助数千家企业实现了对海量数据的统一管理与集群服务的统一运维。通过构建业内极具特色的计算引擎..

263
0
  • 唠唠技术 Rachel.H 发表时间:2022-04-24 18:02:58

深入机器学习系列24-强化学习

目录 一、基本概念 二、传统强化学习 dynamic programming monte carlo method temporal difference learnin 三、深度强化学习 dqn policy gradient actor critic 四、强化学习的应用 一、基本概念 强化学习是机器学..

299
0
  • 唠唠技术 Rachel.H 发表时间:2022-04-24 18:02:04

五分钟了解k8s调度器kube-scheduler

kube-scheduler简介 调度是容器编排的重要环节,需要经过严格的监控和控制,现实生产通常对调度有各类限制,譬如某些服务必须在业务独享的机器上运行,或者从灾备的角度考虑尽量把服务调度到不同机器,这些需求在kubernetes集群依靠调度组件kube-scheduler满足。 kube-scheduler是kubernetes中的关键模块,扮演..

255
0
  • 唠唠技术 Rachel.H 发表时间:2022-04-24 17:53:07

Docker与Kubernetes的前世今生(上)

前 言 随着大数据和移动技术的快速发展以及企业业务需求的不断变化,越来越多的企业选择使用云服务器来处理业务,以适应庞大数据量和复杂业务下基础设施部署困难、运营成本高的现状。在这样的背景下,诞生了许许多多的云服务商,一系列和云服务相关的概念如iaas、paas、saas也孕育而生。 在云服务发展的过程中,容器技术和云服务促成了相互推进和成就,而其中知名度..

233
0
  • 唠唠技术 Rachel.H 发表时间:2022-04-24 17:52:30

Docker与Kubernetes的前世今生(下)

前 言 上篇讲到docker容器技术在快速部署、环境标准化、隔离性方面的优势得到了开发人员普遍认可,但是如果以一个完整paas平台为标准来衡量这些还不够。首先,docker提供了名为“容器”的隔离环境,但是面对多容器间有拓扑有关联的场景,docker还难以应对;其次,虽然容器解决了应用交付规范问题,但难以实现完全应用托管;另外,随着基础设施规模的扩大,开发..

290
0
  • 唠唠技术 Rachel.H 发表时间:2022-04-24 17:50:42

十分钟漫谈容器网络方案—Flannel

前 言 在《docker和kubernetes的前世今生(下)》中我们介绍了作为目前主流的容器编排系统,kubernetes支持的功能和为容器集群业务带来的便利。而为了设计并保障编排系统运作,kubernetes对容器集群进行了这样的要求:任何pods之间的通信都可以在不使用nat的情况下进行,即设定集群内所有容器都是连通的。但docker容器通过name..

263
0
  • 唠唠技术 Rachel.H 发表时间:2022-04-24 17:49:03

内存数据库解析与主流产品对比(一)

8月26日,星环邀请来自华东师范大学软件工程学院的博士生导师宫学庆教授带来《数据库前沿技术系列讲座》,分享数据库业内前沿发展和研究热点。现将宫学庆教授的培训第一讲内容:内存数据库的技术发展分享给大家。 基于磁盘的数据库管理系统 传统的数据库管理系统(dbms)通常是采用基于磁盘的设计,原因在于早期数据库管理系统设计时受到了硬件资源如单cpu、单核、..

221
0
  • 唠唠技术 发表时间:2022-04-24 17:48:19

【干货】分布式机器学习与实战:Transwarp Discover K-means聚类算法

摘要:聚类是研究数据间逻辑上或物理上的相互关系的技术,其分析结果不仅可以揭示数据间的内在联系与区别,还可以为进一步的数据分析与知识发现提供重要依据 [图片] 聚类是研究数据间逻辑上或物理上的相互关系的技术,其分析结果不仅可以揭示数据间的内在联系与区别,还可以为进一步的数据分析与知识发现提供重要依据。在商务上,聚类能帮助市场分析人员从客户基本库中..

225
0
  • 唠唠技术 发表时间:2022-04-24 17:41:00

基于SQL on Hadoop的数据仓库技术

摘要:数据仓库是企业的统一的数据管理的方式,将不同的应用中的数据汇聚,然后对这些数据加工和多维度分析,并最终展现给用户。它帮助企业将纷繁浩杂的数据整合加工,并最终转换为关键流程上的kpi 数据仓库简介 数据仓库是企业的统一的数据管理的方式,将不同的应用中的数据汇聚,然后对这些数据加工和多维度分析,并最终展现给用户。它帮助企业将纷繁浩杂的数据整合..

207
0
  • 唠唠技术 发表时间:2022-04-24 17:40:01

企业数仓OLAP业务的优化技术介绍

摘要:在2016 hadoop技术峰会的大数据优化技术专题论坛上,星环科技首席架构师陈博士分享星环tdh如何克服一个个技术难关,在不做数据分区的情况下,通过tpc-ds 100t测试,处理5500多亿条记录 跨越大数据基准测试tpc-ds100t 在2016 hadoop技术峰会的大数据优化技术专题论坛上,星环科技首席架构师陈博士分享星环tdh..

202
0
  • 唠唠技术 发表时间:2022-04-24 17:38:12

从PageRank算法入门Graphene

摘要:pagerank是google研发的主要应用于评估网站可靠度和重要性的一种算法,是进行网页排名的考量指标之一。本文将对pagerank的原理进行讲解 pagerank是google研发的主要应用于评估网站可靠度和重要性的一种算法,是进行网页排名的考量指标之一。本文将对pagerank的原理进行讲解,并以此为出发点介绍如何利用transwarp..

183
0
  • 唠唠技术 发表时间:2022-04-24 16:14:31

星环科技分布式分析型数据库——ArgoDB

摘要:transwarp argodb是星环科技全新推出的一款分布式分析型数据库产品 随着大数据技术在企业中应用得越来越深、越来越广,用户的需求变得越来越复杂,主要体现在:离线业务与在线业务并存,分析型业务与检索型业务并存,结构化数据与非结构化数据并存。传统的大数据架构并不能很好的满足这些新需求,需要用到多种架构和多款产品,这直接导致平台复杂性急剧..

123
0
  • 唠唠技术 发表时间:2022-04-24 16:10:34

深入机器学习系列22-Word2Vec

摘要:一文带你了解word2vec的基本模型和方法。 word2vec的核心是神经网络的方法,采用 cbow(continuou*ag-of-words,即连续的词袋模型)和 skip-gram 两种模型,通过训练,可以把对文本内容的处理简化为 k 维向量空间中的向量运算,而向量空间上的相似度可以用来表示文本语义上的相似度。 举个例子,第21届..

188
0
  • 唠唠技术 发表时间:2022-04-24 16:10:00

深入机器学习系列23-分词和HMM

摘要:中文分词算法是指将一个汉字序列切分成一个一个单独的词,与英文以空格作为天然的分隔符不同,中文字符在语义识别时,需要把数个字符组合成词,才能表达出真正的含义。分词算法是文本挖掘的基础,通常应用于自然语言处理、搜索引擎、智能推荐等领域。 目录 一、分词的定义 二、分词的难点 三、分词的方法 四、马尔可夫模型介绍 五、隐马尔可夫..

170
0
  • 唠唠技术 发表时间:2022-04-24 16:09:12

浅出深度学习系列-说说“人脸识别”

摘要:人脸识别是一项既有科学研究价值,又有广泛应用前景的研究课题。该领域研究成果丰硕,理论和研发日新月异,并在某些限定条件下得到了成功应用。 我们生存的这个星球上,居住着70多亿人。每个人的面孔组成部分相同,它们之间的大*置关系也是固定的,并且每张脸的大小差异也不大。然而,它们居然就形成了那么复杂的模式——即使是面容极其相似的双胞胎,也能由微妙的差..

183
0
  • 唠唠技术 发表时间:2022-04-24 16:06:07

深入机器学习系列25-集成学习

摘要:集成学习体现了“moreisalwaysbetter”(多多益善)的思想,它是是目前机器学习的一大热门方向,所谓集成学习简单理解就是指采用多个分类器对数据集进行预测,从而提高整体分类器的泛化能力。 [图片] 这张图片很清楚显示出其原理,假设需要预测的对象很大,每个模型可能只能处理其部分问题,多训练一些模型就能更有效率也更准确地得到预测..

169
0
  • 唠唠技术 发表时间:2022-04-24 14:52:33

内存数据库解析与主流产品对比(二)

摘要:内存数据库中的数据组织和索引介绍 引 言 在上一篇文章《内存数据库解析与主流产品对比(一)》中,我们介绍了基于磁盘的数据库管理系统相关知识,并简述了内存数据库的技术发展。本篇文章将从数据组织和索引的角度来介绍内存数据库的特点,并介绍几款产品实际的技术实现。 数据库管理系统中的数据组织 定长block vs 变长block 内存数据..

190
0
  • 唠唠技术 发表时间:2022-04-24 14:50:37

内存数据库解析与主流产品对比(三)

摘要:内存数据库技术之并发控制、持久化和查询处理介绍 在上一篇文章《内存数据库解析与主流产品对比(二)》中,我们从数据组织和索引的角度介绍了内存数据库的特点和几款产品的技术实现。本文将继续解析内存数据库,从并发控制、持久化和查询处理的角度介绍几款技术,带来更多维度、更细致的内存数据库技术讨论。 数据库管理系统中的并发控制 1. 内存数..

183
0
  • 唠唠技术 发表时间:2022-04-24 14:27:59

数据库恢复子系统的常见技术和方案对比(一)

摘要:对于事务型数据库而言,最关键的功能是要保证事物acid属性,其中原子性和持久性依靠恢复子系统保证。事务在进行中如果发现无法继续,就需要用恢复子系统进行回滚;或者出现系统崩溃,也需要依靠恢复子系统把数据库恢复到崩溃前状态。在本专栏中,我们主要介绍logging protocols / recovery algorithms,它们分别是事务型数据库恢复子系..

188
0
  • 唠唠技术 发表时间:2022-04-24 14:25:06

数据库恢复子系统的常见技术和方案对比(二)

摘要:上一篇文章中,我们基本介绍了数据库管理系统中的logging & recovery恢复子系统,详细讨论了基于physical logging的主流恢复算法aries的概念和技术实现。本文将华师大宫学庆教授关于介绍logical undo logging 的原理以及两种数据库系统sql server(azure)和silo的恢复技术的介绍分享给大..

206
0
  • 唠唠技术 发表时间:2022-04-24 14:22:07

优化的Hadoop发行版使混合架构成为过去

摘要:数据是企业最重要的资产。对数据价值的挖掘,一直以来都是企业应用、技术、架构、服务等创新的源泉。经过十数年技术发展,企业的核心数据处理逐渐分为两大模块: 以关系型数据库(rdbms)为主 数据是企业最重要的资产。对数据价值的挖掘,一直以来都是企业应用、技术、架构、服务等创新的源泉。经过十数年技术发展,企业的核心数据处理逐渐分为两大模块: 以关..

177
0
  • 唠唠技术 发表时间:2022-04-24 14:16:57

《数据安全法》实施后,企业如何依法进行数据安全加固及创新

90
0
  • 唠唠技术 sammie 发表时间:2022-04-24 14:08:15

OLAP Cube可视化设计工具—Transwarp Rubik

transwarp rubik是一款用于设计olap cube的可视化工具,本文将具体介绍如何利用它进行olap cube设计与实例化。 为了保证读者都清楚olap cube的概念,我们在开始介绍工具的使用方式之前,先来看看什么是olap cube。 olap cube介绍 olap(联机分析处理)是一种多维分析技术,帮助业务人员快速、交互的从..

208
0
  • 唠唠技术 sammie 发表时间:2022-04-24 14:06:35

Transwarp announcing the first ever audited result of the TPC-D*enchmark

the tpc-d*enchmark is a decision support benchmark originally published in 2006. since then, no one has published a fully audited result of the tpc-d*enchmark. until now. in march ..

169
0
  • 唠唠技术 发表时间:2022-04-24 13:54:37

一图看懂星环大数据安全五重防护

204
0
  • 唠唠技术 sammie 发表时间:2022-04-24 13:54:32

Transwarp Data Hub中的指标监控利器

基本介绍 作为一个分布式大数据处理平台,transwarp data hub(tdh)中的服务通常有多个角色,例如hdfs服务角色包括namenode (namenode又分active namenode和standby namenode)、多个datanode和多个journalnode。每个角色都有一系列的指标来衡量其健康状况,所有角色的健康状况决定了..

175
0

为Hadoop集群装备上警报系统

分布性是hadoop的一个重要特征,hadoop集群由众多机器构成,其中的节点数可多达数百甚至1000+,这样的部署特性使集群性能监控成为一个棘手问题。运维人员在管理hadoop集群时,为了及时了解系统运行情况,避免风险的产生,可能需要长期不断的收集各种信息,以掌握资源使用情况进程运行状况。这种落后方式的精确度不高且实时性较差,使很多性能问题只有在当服务运行..

216
0

Hadoop平台中SQL优化的四个思路

要正确的优化sql,必须能快速定位性能瓶颈点,或者说快速找到sql主要的开销所在。最慢的设备通常是瓶颈点的成因,如文件下载时的瓶颈点可能是网络速度,本地文件*时的瓶颈点可能在于硬盘性能。 为了快速找到sql的性能瓶颈点,首先需要读者对各种设备的性能数据有一些基本的认识,如千兆网络带宽是1000mbps,硬盘转速为每分钟7200/10000转等。 下图..

242
0
共76条 1 2 3 下一页

登录 后发表话题。没有帐号? 注册 一个。