- ClickHouse的CollapsingMergeTree深入了解在ClickHouse中不支持对数据update和delete操作（不能使用标准的更新和删除语法操作CK），但在增量计算场景下，状态更新是一个常见的现象，此时update操作似乎更符合这种需求。ClickHouse提供了一个CollapsingMergeTree表引擎，它继承于MergeTree引擎，是通过一种变通的方式来... ClickHouse的CollapsingMergeTree深入了解在ClickHouse中不支持对数据update和delete操作（不能使用标准的更新和删除语法操作CK），但在增量计算场景下，状态更新是一个常见的现象，此时update操作似乎更符合这种需求。ClickHouse提供了一个CollapsingMergeTree表引擎，它继承于MergeTree引擎，是通过一种变通的方式来...
- ClickHouse的SummingMergeTree深入了解ClickHouse通过SummingMergeTree来支持对主键列进行预聚合。在后台合并时，会将主键相同的多行进行sum求和，然后使用一行数据取而代之，从而大幅度降低存储空间占用，提升聚合计算性能。ClickHouse只在后台Compaction时才会进行数据的预先聚合，而compaction的执行时机无法预测，所以可能会存... ClickHouse的SummingMergeTree深入了解ClickHouse通过SummingMergeTree来支持对主键列进行预聚合。在后台合并时，会将主键相同的多行进行sum求和，然后使用一行数据取而代之，从而大幅度降低存储空间占用，提升聚合计算性能。ClickHouse只在后台Compaction时才会进行数据的预先聚合，而compaction的执行时机无法预测，所以可能会存...
- ClickHouse快速入门一、安装ClickHouse（单机）1、安装yum-utils工具包yum install yum-utils2、添加ClickHouse的yum源yum-config-manager --add-repo https://repo.yandex.ru/clickhouse/rpm/stable/x86_643、安装ClickHouse的服务端和客户... ClickHouse快速入门一、安装ClickHouse（单机）1、安装yum-utils工具包yum install yum-utils2、添加ClickHouse的yum源yum-config-manager --add-repo https://repo.yandex.ru/clickhouse/rpm/stable/x86_643、安装ClickHouse的服务端和客户...
- ClickHouse的使用案例一、电信行业用于存储数据和统计数据使用我国的中国电信G网数据分析应用采用ClickHouse作为数据存储引擎，主要存储网络基站设备数据、监控设备和骨干网等数据，这些数据日的增量500亿条左右，约700GB。并进行相应的分析处理，最终提供BI应用、数据挖掘等系统使用。二、新浪微博用于用户行为数据记录和分析工作新浪微博APP监控系统采用ClickHouse作为数据存... ClickHouse的使用案例一、电信行业用于存储数据和统计数据使用我国的中国电信G网数据分析应用采用ClickHouse作为数据存储引擎，主要存储网络基站设备数据、监控设备和骨干网等数据，这些数据日的增量500亿条左右，约700GB。并进行相应的分析处理，最终提供BI应用、数据挖掘等系统使用。二、新浪微博用于用户行为数据记录和分析工作新浪微博APP监控系统采用ClickHouse作为数据存...
- 实时OLAP分析需求一、背景介绍在之前的文章学习了离线数仓的构建，但是离线数仓的最大问题即：慢，数据无法实时的通过可视化页面展示出来，通常离线数仓分析的是“T+1”的数据，针对于时效性要求比较高的场景，则无法满足需求，例如：快速实时返回“分组+聚合计算+排序聚合指标”查询需求。因此智慧物流系统的应用场景分为以下几个部分：Spark-to-Kudu 小时/日级场景Spark-t... 实时OLAP分析需求一、背景介绍在之前的文章学习了离线数仓的构建，但是离线数仓的最大问题即：慢，数据无法实时的通过可视化页面展示出来，通常离线数仓分析的是“T+1”的数据，针对于时效性要求比较高的场景，则无法满足需求，例如：快速实时返回“分组+聚合计算+排序聚合指标”查询需求。因此智慧物流系统的应用场景分为以下几个部分：Spark-to-Kudu 小时/日级场景Spark-t...
- Impala优化一、Impala关键配置分配给此角色的内存软限制，由 Linux 内核强制执行。当达到此限制时，内核将只在主机面临内存压力时回收已分配给进程的页面。如果回收失败，内核可能会停止这些进程。分配给此角色的内存硬限制，由 Linux 内核强制执行。当达到此限制时，内核将会回收已分配给进程的页面。如果回收失败，内核可能会停止这些进程。Impala Daemon 服务的... Impala优化一、Impala关键配置分配给此角色的内存软限制，由 Linux 内核强制执行。当达到此限制时，内核将只在主机面临内存压力时回收已分配给进程的页面。如果回收失败，内核可能会停止这些进程。分配给此角色的内存硬限制，由 Linux 内核强制执行。当达到此限制时，内核将会回收已分配给进程的页面。如果回收失败，内核可能会停止这些进程。Impala Daemon 服务的...
- Kudu的优化一、Kudu关键配置TabletServer 在开始拒绝所有传入的写入之前可以消耗的最大内存量：memory_limit_hard_bytes=1073741824分配给 Kudu Tablet Server 块缓存的最大内存量：block_cache_capacity_mb=512二、Kudu的使用限制1、主键创建表后，... Kudu的优化一、Kudu关键配置TabletServer 在开始拒绝所有传入的写入之前可以消耗的最大内存量：memory_limit_hard_bytes=1073741824分配给 Kudu Tablet Server 块缓存的最大内存量：block_cache_capacity_mb=512二、Kudu的使用限制1、主键创建表后，...
- Kudu的读写原理一、工作模式Kudu的工作模式如下图，有些在上面的内容中已经介绍了，这里简单标注一下：每个kudu table按照hash或range分区为多个tablet；每个tablet中包含一个MemRowSet以及多个DiskRowSet；每个DiskRowSet包含BaseData以及DeltaStores；DeltaStores由多个DeltaFile和一个De... Kudu的读写原理一、工作模式Kudu的工作模式如下图，有些在上面的内容中已经介绍了，这里简单标注一下：每个kudu table按照hash或range分区为多个tablet；每个tablet中包含一个MemRowSet以及多个DiskRowSet；每个DiskRowSet包含BaseData以及DeltaStores；DeltaStores由多个DeltaFile和一个De...
- Kudu原理一、表与schemaKudu设计是面向结构化存储的，因此Kudu的表需要用户在建表时定义它的Schema信息，这些Schema信息包含：列定义（含类型）Primary Key定义（用户指定的若干个列的有序组合）数据的唯一性，依赖于用户所提供的Primary Key中的Column组合的值的唯一性。Kudu提供了Alter命令来增删列，但位于Primary Key中的列是不允许删除... Kudu原理一、表与schemaKudu设计是面向结构化存储的，因此Kudu的表需要用户在建表时定义它的Schema信息，这些Schema信息包含：列定义（含类型）Primary Key定义（用户指定的若干个列的有序组合）数据的唯一性，依赖于用户所提供的Primary Key中的Column组合的值的唯一性。Kudu提供了Alter命令来增删列，但位于Primary Key中的列是不允许删除...
- Impala映射kudu表一、登录Hue页面1、选择Impala2、登录Hue页面二、选择Impala执行引擎1、选择Impala执行引擎2、进入编写执行sql语句窗口三、执行sql语句映射Kudu表若数据库已经存在，则使用级联的方式删除：DROP DATABASE logistics cascade;编写kudu与impala表的映射关系，Sql语句如下：CREATE DA... Impala映射kudu表一、登录Hue页面1、选择Impala2、登录Hue页面二、选择Impala执行引擎1、选择Impala执行引擎2、进入编写执行sql语句窗口三、执行sql语句映射Kudu表若数据库已经存在，则使用级联的方式删除：DROP DATABASE logistics cascade;编写kudu与impala表的映射关系，Sql语句如下：CREATE DA...
- 使用Impala对kudu更改表属性操作开发人员可以通过更改表的属性来更改 Impala 与给定 Kudu 表相关的元数据。这些属性包括表名， Kudu 主地址列表，以及表是否由 Impala （内部）或外部管理。一、重命名Impala映射表ALTER TABLE PERSON RENAME TO person_temp;重命名impala表的时候，只会修改impala表的名字，不会修改ku... 使用Impala对kudu更改表属性操作开发人员可以通过更改表的属性来更改 Impala 与给定 Kudu 表相关的元数据。这些属性包括表名， Kudu 主地址列表，以及表是否由 Impala （内部）或外部管理。一、重命名Impala映射表ALTER TABLE PERSON RENAME TO person_temp;重命名impala表的时候，只会修改impala表的名字，不会修改ku...
- 使用impala创建kudu表一、impala操作kudu前的准备需要先启动hdfs、hive、kudu、impala使用impala的shell控制台执行命令impala-shell1、使用该impala-shell命令启动Impala Shell。默认情况下，impala-shell 尝试连接到localhost端口21000 上的Impala守护程序。要连接到其他主机，请使用该-i ... 使用impala创建kudu表一、impala操作kudu前的准备需要先启动hdfs、hive、kudu、impala使用impala的shell控制台执行命令impala-shell1、使用该impala-shell命令启动Impala Shell。默认情况下，impala-shell 尝试连接到localhost端口21000 上的Impala守护程序。要连接到其他主机，请使用该-i ...
- impala-shell命令参数一、impala-shell外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置，用于修改命令执行环境。impala-shell –h可以帮助我们查看帮助手册比如几个常见的：impala-shell ... impala-shell命令参数一、impala-shell外部命令所谓的外部命令指的是不需要进入到impala-shell交互命令行当中即可执行的命令参数。impala-shell后面执行的时候可以带很多参数。你可以在启动 impala-shell 时设置，用于修改命令执行环境。impala-shell –h可以帮助我们查看帮助手册比如几个常见的：impala-shell ...
- 在这个灵鲲数智云脑里，我们构建了一个以智能算法为核心的系统，来增强和辅助决策的能力。我们主要从三个方面构建应用场景，分别是：供应网络层面要能实现配置的最优解，实现网络在遇到风险的情况下能够自愈、自优和自适应。供需网络层面要实现供需配置的最优解，实现计划的双向模拟和双向牵引，以及整个资源的供需管理和成本的最优。面向整个供应链全局要实现重大事件的及时有效感知、分析、评估和决策，最终，实现面向客户... 在这个灵鲲数智云脑里，我们构建了一个以智能算法为核心的系统，来增强和辅助决策的能力。我们主要从三个方面构建应用场景，分别是：供应网络层面要能实现配置的最优解，实现网络在遇到风险的情况下能够自愈、自优和自适应。供需网络层面要实现供需配置的最优解，实现计划的双向模拟和双向牵引，以及整个资源的供需管理和成本的最优。面向整个供应链全局要实现重大事件的及时有效感知、分析、评估和决策，最终，实现面向客户...
- 工作流工作流概念：工作的一个流程,事物发展的一个业务过程流程:请假流程:员工申请—部门经理—总经理—人事存档传统方式下：请假条的传递来实现无纸化办公：线上申请—线上审批—一条请假记录工作流(Workflow)，就是通过计算机对业务流程自动化执行管理。它主要解决的是“使在多个参与者之间按照某种预定义的规则自动进行传递文档、信息或任务的过程,从而实现某个预期的业务目标,或者促使此目标的实现”。... 工作流工作流概念：工作的一个流程,事物发展的一个业务过程流程:请假流程:员工申请—部门经理—总经理—人事存档传统方式下：请假条的传递来实现无纸化办公：线上申请—线上审批—一条请假记录工作流(Workflow)，就是通过计算机对业务流程自动化执行管理。它主要解决的是“使在多个参与者之间按照某种预定义的规则自动进行传递文档、信息或任务的过程,从而实现某个预期的业务目标,或者促使此目标的实现”。...
上滑加载中
推荐直播
-
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
回顾中 -
走进数据库：数据库基础知识精讲2024/12/27 周五 16:00-17:30
Steven 华为云学堂技术讲师
数据管理是数据库的核心任务，本期直播将带领大家一起走进数据库，了解期发展趋势、基础模型、架构演进及相关的技术特点。同时还会介绍数据库对象和相关概念，帮助开发者对数据库使用和实践夯实基础。
去报名
热门标签