- 本文为现网变更支撑工作入门篇,通过本文熟悉DWS产品现网变更的主要工作,目的是可以快速上手支撑变更。 本文为现网变更支撑工作入门篇,通过本文熟悉DWS产品现网变更的主要工作,目的是可以快速上手支撑变更。
- 调度框架的目标是,根据用户注册的运维任务计划,在合适的时间调起相关任务,并自动感知用户业务负载,动态地调整运维任务并发,并对运维任务过程中产生的错误进行报警、跳过错误项等处理,减轻一线运维人员工作强度。 调度框架的目标是,根据用户注册的运维任务计划,在合适的时间调起相关任务,并自动感知用户业务负载,动态地调整运维任务并发,并对运维任务过程中产生的错误进行报警、跳过错误项等处理,减轻一线运维人员工作强度。
- 背景前面博客已经介绍了如何配置Hadoop和Hive运行环境。即本文开始前,本地已经顺利运行Hive,并可以提交hive on mr任务。在hive领域中,tez是其中一款比较常用的执行引擎。其支持DAG作业模式,可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Hive也有一部分优化特性基于tez实现。本文介绍如何让hive能够启动执行tez任务。下面内容有一部分依赖WS... 背景前面博客已经介绍了如何配置Hadoop和Hive运行环境。即本文开始前,本地已经顺利运行Hive,并可以提交hive on mr任务。在hive领域中,tez是其中一款比较常用的执行引擎。其支持DAG作业模式,可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Hive也有一部分优化特性基于tez实现。本文介绍如何让hive能够启动执行tez任务。下面内容有一部分依赖WS...
- 客户要求获取数据库表数据操纵的实时日志信息,包括对具体表的增删改操作,并且需要保留具体参数的值,我们通过参数log_statement的值调整系统日志记录内容,使系统日志中记录表数据操作信息,再将这客户所需部分信息提取出来另行保存。 客户要求获取数据库表数据操纵的实时日志信息,包括对具体表的增删改操作,并且需要保留具体参数的值,我们通过参数log_statement的值调整系统日志记录内容,使系统日志中记录表数据操作信息,再将这客户所需部分信息提取出来另行保存。
- GaussDB在大规模集群上运行的过程中,随着时间推移,部分节点可能会出现性能严重下降的情况。此时这些节点仍然能对外提供服务,但响应明显变慢,处理同样的请求所需时间较其他正常节点大很多,从而影响了整个集群的性能。这样的节点称为“亚健康节点”,或“慢节点”。 GaussDB在大规模集群上运行的过程中,随着时间推移,部分节点可能会出现性能严重下降的情况。此时这些节点仍然能对外提供服务,但响应明显变慢,处理同样的请求所需时间较其他正常节点大很多,从而影响了整个集群的性能。这样的节点称为“亚健康节点”,或“慢节点”。
- 问题现象:用户在创建、扩容、删除dws集群时,在事件管理的菜单目录上查询不到操作的事件记录排查思路:1.检查serviceCM =》consoleframework服务配置 =》silvan配置信息 =》region关联service 里面有没有配置当前局点的eventservice服务,并且检查lb地址以及端口是否为31417。consoleframework服务配置2.登录部署dws服务... 问题现象:用户在创建、扩容、删除dws集群时,在事件管理的菜单目录上查询不到操作的事件记录排查思路:1.检查serviceCM =》consoleframework服务配置 =》silvan配置信息 =》region关联service 里面有没有配置当前局点的eventservice服务,并且检查lb地址以及端口是否为31417。consoleframework服务配置2.登录部署dws服务...
- Sphinx自动生成Python文档sphinx是一种基于Python的文档工具,它可以令人轻松的撰写出清晰且优美的文档,由Georg Brandl在BSD许可证下开发。新版的Python3文档就是由sphinx生成的,其他诸如机器学习库scikit-learn、Jupyter Notebook也是基于sphinx生成的。 安装sphinx包pip install sphinx 尝试1)新... Sphinx自动生成Python文档sphinx是一种基于Python的文档工具,它可以令人轻松的撰写出清晰且优美的文档,由Georg Brandl在BSD许可证下开发。新版的Python3文档就是由sphinx生成的,其他诸如机器学习库scikit-learn、Jupyter Notebook也是基于sphinx生成的。 安装sphinx包pip install sphinx 尝试1)新...
- 万字长文总结特征工程干货 1. 简介( Feature Engineering) 1.1问题定义“Feature engineering is the art part of data science” —Sergey YurgensonFeature engineering is the process of using domain knowledge to extract feat... 万字长文总结特征工程干货 1. 简介( Feature Engineering) 1.1问题定义“Feature engineering is the art part of data science” —Sergey YurgensonFeature engineering is the process of using domain knowledge to extract feat...
- TopSQL简析,TopSQL视图,TopSQL流程 TopSQL简析,TopSQL视图,TopSQL流程
- GuassDB(DWS)支持多种方式实现云端数据迁移,包括EC外表,CDM迁移,备份恢复,OBS导入导出等,其中EC外表,CDM迁移,OBS导入导出的方式在其他博文已经有详细介绍,本节将主要介绍如何使用快照恢复的方式实现云端集群间的数据迁移 GuassDB(DWS)支持多种方式实现云端数据迁移,包括EC外表,CDM迁移,备份恢复,OBS导入导出等,其中EC外表,CDM迁移,OBS导入导出的方式在其他博文已经有详细介绍,本节将主要介绍如何使用快照恢复的方式实现云端集群间的数据迁移
- 使用Sprak的scala接口往GaussDB(DWS)导入数据时,当数据源表和目标表数据不一致时,可能会触发导入作业异常 使用Sprak的scala接口往GaussDB(DWS)导入数据时,当数据源表和目标表数据不一致时,可能会触发导入作业异常
- Kettle是一款国外开元的ETL工具,可以完成数据的抽取、转换、装入和加载。 Kettle是一款国外开元的ETL工具,可以完成数据的抽取、转换、装入和加载。
- 数据库安全的所有操作写对数据库系统来说至关重要,而数据库审计日志是数据库安全的重要一环。本文主要讲解GaussDB(DWS)审计功能如何使用,主要分为:审计日志配置、审计日志查看、审计日志维护三个方面。 数据库安全的所有操作写对数据库系统来说至关重要,而数据库审计日志是数据库安全的重要一环。本文主要讲解GaussDB(DWS)审计功能如何使用,主要分为:审计日志配置、审计日志查看、审计日志维护三个方面。
- 在数据库使用过程中,数据库对象名不仅限于英文字母、数字和上下划线,因而数据库表的可读性会产生可读性差,表字段规则不统一等问题,造成数据查询,数据使用效率低下。 在数据库使用过程中,数据库对象名不仅限于英文字母、数字和上下划线,因而数据库表的可读性会产生可读性差,表字段规则不统一等问题,造成数据查询,数据使用效率低下。
- 使用yarn运行任务,有时候需要配置不同用户之间的权限隔离。本文档主要指导如何配置MRS集群不同用户之间的yarn任务隔离。 使用yarn运行任务,有时候需要配置不同用户之间的权限隔离。本文档主要指导如何配置MRS集群不同用户之间的yarn任务隔离。
上滑加载中
推荐直播
-
HDC深度解读系列 - AI时代的华为开发者空间
2025/07/24 周四 16:30-18:00
Edwin 华为开发者空间产品总监 姚圣伟 HCDG天津核心组代表&HCDE
继HDC发布开发者空间新特性后,本期直播聚焦华为开发者空间核心升级,邀您一起深度解读其如何赋能AI时代智能应用开发,解锁开发新体验
回顾中 -
OpenHarmony生态构建
2025/07/24 周四 19:00-20:00
王天一、聂嘉一 -华为开发者布道师-高校学生
本次直播将结合讲师的实践经验,深入剖析OpenHarmony开发中的核心痛点与难点,展示从入门到进阶的多层次开发案例,并分享高效的学习路径、实用开发技巧和常见问题的解决方案。同时,我们还将探讨OpenHarmony的生态建设,解析测试规范与开发实践,帮助开发者更好地适配多设备,共同推动OpenHarmony生态的发展。
回顾中
热门标签