- Kafka集群在使用过程中会出现各种各样的操作场景,修改配置参数、集群异常等各种重启场景等,操作过程中需要注意一些注意事项。 离线重启kafka集群如果需要修改kafka服务端的配置,点击保存配置后,不要勾选“重新启动受影响的服务或实例”。重启kafka进程前,需要停止生产端的业务,否则很容易出现kafka由于数据不同步导致的无法启动或者启动缓慢。停止生产端业务后,等待1~2分钟,停止kaf... Kafka集群在使用过程中会出现各种各样的操作场景,修改配置参数、集群异常等各种重启场景等,操作过程中需要注意一些注意事项。 离线重启kafka集群如果需要修改kafka服务端的配置,点击保存配置后,不要勾选“重新启动受影响的服务或实例”。重启kafka进程前,需要停止生产端的业务,否则很容易出现kafka由于数据不同步导致的无法启动或者启动缓慢。停止生产端业务后,等待1~2分钟,停止kaf...
- FTP-Server简介FusionInsight MRS的FTP-Server服务是一个纯Java的、基于现有开放的FTP协议的FTP服务。FTP-Server支持FTP、FTPS协议,每个服务都支持PORT、PASSIVE数据通信协议。用户或业务组件可通过通用的FTP客户端、FTP协议对HDFS文件系统进行基本的操作,如:文件上传,文件下载,目录查看,目录创建,目录删除,文件权限修改等... FTP-Server简介FusionInsight MRS的FTP-Server服务是一个纯Java的、基于现有开放的FTP协议的FTP服务。FTP-Server支持FTP、FTPS协议,每个服务都支持PORT、PASSIVE数据通信协议。用户或业务组件可通过通用的FTP客户端、FTP协议对HDFS文件系统进行基本的操作,如:文件上传,文件下载,目录查看,目录创建,目录删除,文件权限修改等...
- 背景Apache Superset是一款由 Airbnb 开源的、现代的、轻量级BI分析工具,能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘,且拥有友好的用户界面,十分易用。由于Superset能够对接常用的大数据分析工具,如Hive、Kylin、Druid、ClickHouse等,且支持自定义仪表盘,可作为可视化工具来使用。 前提条件完成Apache Superset的安装... 背景Apache Superset是一款由 Airbnb 开源的、现代的、轻量级BI分析工具,能够对接多种数据源、拥有丰富的图标展示形式、支持自定义仪表盘,且拥有友好的用户界面,十分易用。由于Superset能够对接常用的大数据分析工具,如Hive、Kylin、Druid、ClickHouse等,且支持自定义仪表盘,可作为可视化工具来使用。 前提条件完成Apache Superset的安装...
- 5月20日,本人在“华为云TechWave云原生2.0专题日”上发表《华为云FusionInsight MRS,一个架构实现三种数据湖》的主题演讲,分享了智能数据时代的数据湖发展趋势、MRS云原生数据湖技术创新实现一个架构构建离线、实时、逻辑三种数据湖,以及业务实践中的成功案例等。进入智能数据时代,业界建设数据湖的十大共识 经过数十年的快速发展,大数据处理技术已日渐成熟,围绕数... 5月20日,本人在“华为云TechWave云原生2.0专题日”上发表《华为云FusionInsight MRS,一个架构实现三种数据湖》的主题演讲,分享了智能数据时代的数据湖发展趋势、MRS云原生数据湖技术创新实现一个架构构建离线、实时、逻辑三种数据湖,以及业务实践中的成功案例等。进入智能数据时代,业界建设数据湖的十大共识 经过数十年的快速发展,大数据处理技术已日渐成熟,围绕数...
- 1. 集群合理的规格从业务侧来看,主要是控制集群的shard数量,数据存储量,segment数量在合理的范围内。1.单EsNode Shard数以单EsNode实例31GB为例,管理500个shard为合理范围。基于单EsNode数据量不超过15T及集群整体shard数不超过50000考虑。2.Shard大小每个分片大小20~30GB,最多不超过50G3. 单集群数据实例数推荐300以内,否... 1. 集群合理的规格从业务侧来看,主要是控制集群的shard数量,数据存储量,segment数量在合理的范围内。1.单EsNode Shard数以单EsNode实例31GB为例,管理500个shard为合理范围。基于单EsNode数据量不超过15T及集群整体shard数不超过50000考虑。2.Shard大小每个分片大小20~30GB,最多不超过50G3. 单集群数据实例数推荐300以内,否...
- Tableau使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine Tableau使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine
- DBeaver使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine DBeaver使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine
- FineBI使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine FineBI使用用户名密码方式对接FusionInsight 8.1.0 HetuEngine
- PowerBI使用用户名密码方式对接FusionInsight8.1.0 HetuEngine PowerBI使用用户名密码方式对接FusionInsight8.1.0 HetuEngine
- 伴随政企客户数字化转型进入深水区,数据激增带来更多的数据结构变化,增加了数据分析场景的复杂性,为政企数字化转型带来了更多的机遇和挑战,华为云FusionInsight MRS云原生数据湖为政企提供湖仓一体、云原生的数据湖解决方案,一个架构构建逻辑、实时、离线三种数据湖,支撑全量数据的离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入和治理等大数据应用场景,使政企高效用数、简化用数 伴随政企客户数字化转型进入深水区,数据激增带来更多的数据结构变化,增加了数据分析场景的复杂性,为政企数字化转型带来了更多的机遇和挑战,华为云FusionInsight MRS云原生数据湖为政企提供湖仓一体、云原生的数据湖解决方案,一个架构构建逻辑、实时、离线三种数据湖,支撑全量数据的离线分析、实时分析、数仓集市、交互查询、实时检索、多模分析、数据接入和治理等大数据应用场景,使政企高效用数、简化用数
- 前提条件:FusionInsight HD 集群安装完毕,集群状态健康已安装最新版本HetuEngine服务已在FusionInsight Hetu集群中创建“人机”用户Windows环境已安装SmartBI执行步骤: 步骤1:进入smartbi安装目录C:\Smartbi\Tomcat\bin\dynamicLibraryPath,新建驱动存放路径,例如MRS,并将hetu的JDBC驱动放... 前提条件:FusionInsight HD 集群安装完毕,集群状态健康已安装最新版本HetuEngine服务已在FusionInsight Hetu集群中创建“人机”用户Windows环境已安装SmartBI执行步骤: 步骤1:进入smartbi安装目录C:\Smartbi\Tomcat\bin\dynamicLibraryPath,新建驱动存放路径,例如MRS,并将hetu的JDBC驱动放...
- 近日, Frost&Sullivan弗若斯特沙利文发布了《2020年中国数据管理解决方案市场报告》,从产品创新能力、成长能力、基础能力三个维度对主流大数据厂商进行全面评估,报告显示华为云位居“领导者”位置,在中国大数据厂商中全面领先。 近日, Frost&Sullivan弗若斯特沙利文发布了《2020年中国数据管理解决方案市场报告》,从产品创新能力、成长能力、基础能力三个维度对主流大数据厂商进行全面评估,报告显示华为云位居“领导者”位置,在中国大数据厂商中全面领先。
- 背景FusionInsight MRS集群默认安装Ranger服务并启用了Ranger鉴权模型,管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。目前安全模式集群中支持Ranger的组件包括:HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm、Elasticsearch、HetuEngine。 使用场景MRS3.0.2以前的版本中只需要在Fu... 背景FusionInsight MRS集群默认安装Ranger服务并启用了Ranger鉴权模型,管理员可以通过组件权限插件对组件资源的访问设置细粒度的安全访问策略。目前安全模式集群中支持Ranger的组件包括:HDFS、Yarn、HBase、Hive、Spark2x、Kafka、Storm、Elasticsearch、HetuEngine。 使用场景MRS3.0.2以前的版本中只需要在Fu...
- 开源Kettle版本不支持Kerberos认证的Hadoop集群,本文通过简单的插件改造,使得Kettle 8.3能够连接开启Kerberos认证的MRS集群的HDFS组件 开源Kettle版本不支持Kerberos认证的Hadoop集群,本文通过简单的插件改造,使得Kettle 8.3能够连接开启Kerberos认证的MRS集群的HDFS组件
- 工商银行作为数字金融的领导者,践行“科技引领,创新赋能”的发展理念,持续提升工行金融服务实体经济的能力。工商银行和华为开展联创工作,引入了华为云FusionInsight智能数据湖,搭建了自主可靠的大数据平台,解决了大数据全场景生态化应用的存储、算力和算法挑战,支撑了工商银行企业级数据湖、数据仓库、集团信息库的建设,数据智能服务由事后快速演进到事前、事中的阶段。【业务挑战】传统大数据存储计算... 工商银行作为数字金融的领导者,践行“科技引领,创新赋能”的发展理念,持续提升工行金融服务实体经济的能力。工商银行和华为开展联创工作,引入了华为云FusionInsight智能数据湖,搭建了自主可靠的大数据平台,解决了大数据全场景生态化应用的存储、算力和算法挑战,支撑了工商银行企业级数据湖、数据仓库、集团信息库的建设,数据智能服务由事后快速演进到事前、事中的阶段。【业务挑战】传统大数据存储计算...
上滑加载中
推荐直播
-
仓颉编程语言开源创新人才培养经验分享
2025/08/06 周三 19:00-20:00
张引 -华为开发者布道师-高校教师
热情而富有活力的仓颉社区为学生的学习提供了一个充满机遇和挑战的平台。本次直播探讨如何运用社区的力量帮助同学们变身为开源开发者,从而完成从学生到工程师身份的转变。
回顾中 -
“全域洞察·智控未来” ——云资源监控实战
2025/08/08 周五 15:00-16:00
星璇 华为云监控产品经理,霄图 华为云监控体验设计师,云枢 华为云可观测产品经理
本期直播深度解析全栈监控技术实践,揭秘华为云、头部企业如何通过智能监控实现业务零中断,分享高可用系统背后的“鹰眼系统”。即刻预约,解锁数字化转型的运维密码!
回顾中
热门标签