- 1 获取并安装巡检工具1.1 安装说明1、此方法适用于所有的线上版本（HCS\HCSO\HC等）。2、2020.9.30 发布版本，将工具已经集成到了产品的镜像中，新安装环境可以进入沙箱内的/opt/dws/opstool/ 目录下，因此可以不需要安装，进入沙箱中/opt/dws/opstool/目录，直接执行gs_check命令即可；升级上来的集群，因为不会重新安装镜像，所以沙箱内的/op... 1 获取并安装巡检工具1.1 安装说明1、此方法适用于所有的线上版本（HCS\HCSO\HC等）。2、2020.9.30 发布版本，将工具已经集成到了产品的镜像中，新安装环境可以进入沙箱内的/opt/dws/opstool/ 目录下，因此可以不需要安装，进入沙箱中/opt/dws/opstool/目录，直接执行gs_check命令即可；升级上来的集群，因为不会重新安装镜像，所以沙箱内的/op...
- HetuEngine支持查询hive递归目录外部表需要添加参数hive.recursive-directories = true HetuEngine支持查询hive递归目录外部表需要添加参数hive.recursive-directories = true
- 现象：在向HetuEngine提交某些长sql在提交任务时报“Request Header Fields Too Large”java.sql.SQLException: Error executing query at io.prestosql.jdbc.PrestoStatement.internalExecute(PrestoStatement.java:274) ... 现象：在向HetuEngine提交某些长sql在提交任务时报“Request Header Fields Too Large”java.sql.SQLException: Error executing query at io.prestosql.jdbc.PrestoStatement.internalExecute(PrestoStatement.java:274) ...
- 概述 程序在运行过程中，需要使用最小化权限进行控制，以符合安全规范，所以一般程序都是以普通用户调用起来使用。有些时候，程序需要完成只有root权限才能完成的任务，这个时候就需要来使用sudo来达成目的。 不使用su命令切换到root来达成目的的原因是：如果这么使用，一方面容易导致root密码管理问题(比如修改后需要通知应用程序，应用程序存储root密码也容易泄露)。... 概述 程序在运行过程中，需要使用最小化权限进行控制，以符合安全规范，所以一般程序都是以普通用户调用起来使用。有些时候，程序需要完成只有root权限才能完成的任务，这个时候就需要来使用sudo来达成目的。 不使用su命令切换到root来达成目的的原因是：如果这么使用，一方面容易导致root密码管理问题(比如修改后需要通知应用程序，应用程序存储root密码也容易泄露)。...
- 【问题现象】集群安装完成后，界面频繁上报Manager主备倒换告警，根据现场工程师反馈每间隔1-2小时会发生一次主备倒换，短暂性导致界面异常，无法进行运维监控操作，如下所示：【可能原因】1、httpd服务异常2、pms资源异常3、底层软件异常4、其他原因等【分析过程】1、主备OMS发生倒换，优先看主备oms的ha.log日志《日志路径：/var/log/Bigdata/omm/oms/ha/... 【问题现象】集群安装完成后，界面频繁上报Manager主备倒换告警，根据现场工程师反馈每间隔1-2小时会发生一次主备倒换，短暂性导致界面异常，无法进行运维监控操作，如下所示：【可能原因】1、httpd服务异常2、pms资源异常3、底层软件异常4、其他原因等【分析过程】1、主备OMS发生倒换，优先看主备oms的ha.log日志《日志路径：/var/log/Bigdata/omm/oms/ha/...
- Flume, Source, Sink, Kafka Flume, Source, Sink, Kafka
- 本文主要为大家介绍MRS IoTDB的单机架构。MRS IoTDB主要聚焦在IoT物联网领域的设备传感器测点值的实时处理，因此，MRS IoTDB的基础架构设计以设备、传感器为核心概念，同时为了便于用户使用和IoTDB管理时间序列数据，增加了存储组的概念。 本文主要为大家介绍MRS IoTDB的单机架构。MRS IoTDB主要聚焦在IoT物联网领域的设备传感器测点值的实时处理，因此，MRS IoTDB的基础架构设计以设备、传感器为核心概念，同时为了便于用户使用和IoTDB管理时间序列数据，增加了存储组的概念。
- 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘... 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘...
- 伴随政企数字化转型进入深水区，面对错综复杂的数据分析场景和数据激增带来的数据结构变化，华为云FusionInsight MRS云原生数据湖又是如何推动大数据分析从离线走向实时，帮助政企客户解决多场景的数据分析诉求，成为政企数字化转型中首选的数据底座呢？6月18日，让我们一起相约华为云TechWave全球技术峰会（人工智能&数据）。 伴随政企数字化转型进入深水区，面对错综复杂的数据分析场景和数据激增带来的数据结构变化，华为云FusionInsight MRS云原生数据湖又是如何推动大数据分析从离线走向实时，帮助政企客户解决多场景的数据分析诉求，成为政企数字化转型中首选的数据底座呢？6月18日，让我们一起相约华为云TechWave全球技术峰会（人工智能&数据）。
- 自然语言处理（Natural Language Processing, NLP）领域中，近年来出现了一批以GPT、BERT为代表的大模型崭露头角，在各类任务上大幅提升了精度，并逐渐成为主流。但是大模型并不是万能的，在当前这个环境下，我们该如何看待大模型呢？ 自然语言处理（Natural Language Processing, NLP）领域中，近年来出现了一批以GPT、BERT为代表的大模型崭露头角，在各类任务上大幅提升了精度，并逐渐成为主流。但是大模型并不是万能的，在当前这个环境下，我们该如何看待大模型呢？
- hbase集成ranger鉴权，ranger统一管控权限。 hbase集成ranger鉴权，ranger统一管控权限。
- 查询规范建议1）定义好mappings和settings，不同的数据类型查询效率不一样，建议只需做精确查询以及范围查询的字段设置为keyword类型。对于要进行全文检索的字段设置合理的分词器。2）对于只需要查询数据结果而不需要结果的相关度计算的情况，使用filter query能大幅提升你的查询效率。例如过滤某车牌和号码。3）避免一次性取出大量的数量：Elasticsearch被设计为一个搜... 查询规范建议1）定义好mappings和settings，不同的数据类型查询效率不一样，建议只需做精确查询以及范围查询的字段设置为keyword类型。对于要进行全文检索的字段设置合理的分词器。2）对于只需要查询数据结果而不需要结果的相关度计算的情况，使用filter query能大幅提升你的查询效率。例如过滤某车牌和号码。3）避免一次性取出大量的数量：Elasticsearch被设计为一个搜...
- 华为云社区“内容共创计划”第四弹来袭啦！交稿时间2021年5月31日之前，欢迎参与。学习提升思考，赢取精彩奖励！ 华为云社区“内容共创计划”第四弹来袭啦！交稿时间2021年5月31日之前，欢迎参与。学习提升思考，赢取精彩奖励！
- 5月20日，华为云TechWave云原生2.0专题将线上举行，更多云原生创新技术和丰富实践还将与大家见面，华为云FusionInsight MRS专家还将带来“华为云FusionInsight MRS，一个架构实现三种数据湖”的主题演讲，从行业趋势、技术创新、业务实践等方面深度剖析MRS云原生数据湖。 5月20日，华为云TechWave云原生2.0专题将线上举行，更多云原生创新技术和丰富实践还将与大家见面，华为云FusionInsight MRS专家还将带来“华为云FusionInsight MRS，一个架构实现三种数据湖”的主题演讲，从行业趋势、技术创新、业务实践等方面深度剖析MRS云原生数据湖。
- 近日，国际权威分析机构弗若斯特沙利文Frost & Sullivan（以下简称“沙利文”）发布了《2020年中国数据管理解决方案市场报告》，对中国主流大数据厂商从产品创新能力、成长能力、基础能力三个维度进行了全面评估。华为云凭借FusionInsight的持续创新位居中国数据管理解决方案领导者，并在中国大数据厂商中全面领先。 近日，国际权威分析机构弗若斯特沙利文Frost & Sullivan（以下简称“沙利文”）发布了《2020年中国数据管理解决方案市场报告》，对中国主流大数据厂商从产品创新能力、成长能力、基础能力三个维度进行了全面评估。华为云凭借FusionInsight的持续创新位居中国数据管理解决方案领导者，并在中国大数据厂商中全面领先。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签