- 在分布式系统中负载均衡是一个非常重要的功能，Apache HBase通常通过Region的数量实现负载均衡，StochasticLoadBalancer将不仅仅考虑Region数量，还会考虑Region负载、表负载、数据本地化、MemStore大小、Storefile大小等。本文将展开分析HBase负载均衡中StochasticLoadBalancer相关内容。 在分布式系统中负载均衡是一个非常重要的功能，Apache HBase通常通过Region的数量实现负载均衡，StochasticLoadBalancer将不仅仅考虑Region数量，还会考虑Region负载、表负载、数据本地化、MemStore大小、Storefile大小等。本文将展开分析HBase负载均衡中StochasticLoadBalancer相关内容。
- 华为云可信智能计算服务TICS，旨在打破组织内部、行业内部、跨行业之间的数据孤岛，基于可信执行环境、安全多方计算、同态加密、区块链等技术，实现在数据隐私保护下的多方数据联合SQL分析和联邦学习，协同伙伴和客户，推动数据要素的可信流通和开发利用。本案例以普惠金融为背景，介绍下华为可信智能计算服务TICs是如何助力城市跨部门数据实现隐私计算的。TICS官网链接1、普惠金融的背景 ... 华为云可信智能计算服务TICS，旨在打破组织内部、行业内部、跨行业之间的数据孤岛，基于可信执行环境、安全多方计算、同态加密、区块链等技术，实现在数据隐私保护下的多方数据联合SQL分析和联邦学习，协同伙伴和客户，推动数据要素的可信流通和开发利用。本案例以普惠金融为背景，介绍下华为可信智能计算服务TICs是如何助力城市跨部门数据实现隐私计算的。TICS官网链接1、普惠金融的背景 ...
- 1 内存管理的概念内存管理指操作系统对内存的划分和动态分配地址空间：逻辑地址空间： 相对地址， 从0开始编址物理地址空间： 地址转换的最终地址程序运行时和编译： 吧源代码编译成目标模块链接： 吧目标模块、库函数链接成1个装入模块链接属于形成进程逻辑地址的过程装入：绝对装入： 编译时就确定了装入地址可重定位装入： 根据内存情况， 把程序装到适当位置运行时动态装入：运行前才真正把程序装起来... 1 内存管理的概念内存管理指操作系统对内存的划分和动态分配地址空间：逻辑地址空间： 相对地址， 从0开始编址物理地址空间： 地址转换的最终地址程序运行时和编译： 吧源代码编译成目标模块链接： 吧目标模块、库函数链接成1个装入模块链接属于形成进程逻辑地址的过程装入：绝对装入： 编译时就确定了装入地址可重定位装入： 根据内存情况， 把程序装到适当位置运行时动态装入：运行前才真正把程序装起来...
- 1.IP地址 1.1 分类表示法： 1.1.2 分类表示地址的其他说明 1.2 无分类编址CIDR 2 IP数据报文格式 Q: IP报文里有什么？可以不按顺序或者字节来讲一讲 3.路由概念 3.1 路由表 3.2 路由网络匹配 3.3 ARP解析 3.4 RARP逆地址解析协议 4 ICMP协议 5 DHCP协议 6.路由表的最优下一跳地址如何计算？ 6.1 RIP协议 6.2 OSPF协... 1.IP地址 1.1 分类表示法： 1.1.2 分类表示地址的其他说明 1.2 无分类编址CIDR 2 IP数据报文格式 Q: IP报文里有什么？可以不按顺序或者字节来讲一讲 3.路由概念 3.1 路由表 3.2 路由网络匹配 3.3 ARP解析 3.4 RARP逆地址解析协议 4 ICMP协议 5 DHCP协议 6.路由表的最优下一跳地址如何计算？ 6.1 RIP协议 6.2 OSPF协...
- Q: 为什么需要线上压测？A:需要在某些活动、大促前，评估机器扩容数量，验证系统能否有效支撑流量峰值。线下测试环境的机器资源有限， 无法完全模拟现网。 同时很多配置可能配置不相同，如果没对上导致机器数量估计错误，可能引发重大故事。所以必须要在线上做压测。 Q: 全链路压测和接口压测的区别？A:在特定的业务场景下， 将相关的链路完整地串联起来同时施压， 尽可能模拟出真实的用户行为。接口A做... Q: 为什么需要线上压测？A:需要在某些活动、大促前，评估机器扩容数量，验证系统能否有效支撑流量峰值。线下测试环境的机器资源有限， 无法完全模拟现网。 同时很多配置可能配置不相同，如果没对上导致机器数量估计错误，可能引发重大故事。所以必须要在线上做压测。 Q: 全链路压测和接口压测的区别？A:在特定的业务场景下， 将相关的链路完整地串联起来同时施压， 尽可能模拟出真实的用户行为。接口A做...
- HashMap核心原理 hashMap完整的put过程以下是对上图的详细解释：首先，要获取key的哈希值。如果为空，就统一是0否则，调用对象的.hashCode()方法，接着再与自己的右移16位进行异或，以便充分利用高位信息。接着判断内部node数组是否为空，如果是，先进行初始化扩容。默认为16。根据(n-1)&hash值，获取哈希表索引位置。 （&的性能比取余要高,具体讨论见CPU取余原... HashMap核心原理 hashMap完整的put过程以下是对上图的详细解释：首先，要获取key的哈希值。如果为空，就统一是0否则，调用对象的.hashCode()方法，接着再与自己的右移16位进行异或，以便充分利用高位信息。接着判断内部node数组是否为空，如果是，先进行初始化扩容。默认为16。根据(n-1)&hash值，获取哈希表索引位置。 （&的性能比取余要高,具体讨论见CPU取余原...
- condition的用法 condition 和 object.wait/notify的区别 condition原理分析 超大原理流程图 代码结构部分： 原理实现部分 等待队列 等待过程 唤醒过程signal() condition的用法condition用于显式的等待通知，等待过程可以挂起并释放锁，唤醒后重新拿到锁。和直接用lock\unlock去做等待通知的区别在于，lock是不会释放... condition的用法 condition 和 object.wait/notify的区别 condition原理分析 超大原理流程图 代码结构部分： 原理实现部分 等待队列 等待过程 唤醒过程signal() condition的用法condition用于显式的等待通知，等待过程可以挂起并释放锁，唤醒后重新拿到锁。和直接用lock\unlock去做等待通知的区别在于，lock是不会释放...
- java中AQS究竟是做什么的？ AQS简要步骤 AQS的资源state state定义 已经有CAS方法了，为什么资源state还要定义成volatile的？ 对资源的操作什么时候用CAS，什么使用setState？ AQS的CLH队列 为什么需要一个CLH队列 CLH本质？是一个Queue容器吗 入队是怎么保证安全的？ 出队过程会发生什么？ AQS详细资源获取流程 1. tryAcqu... java中AQS究竟是做什么的？ AQS简要步骤 AQS的资源state state定义 已经有CAS方法了，为什么资源state还要定义成volatile的？ 对资源的操作什么时候用CAS，什么使用setState？ AQS的CLH队列 为什么需要一个CLH队列 CLH本质？是一个Queue容器吗 入队是怎么保证安全的？ 出队过程会发生什么？ AQS详细资源获取流程 1. tryAcqu...
- 可信智能计算服务TICS 配套HCS 8.2.0版本正式发布，将联合伙伴打造端到端的数据可信流通解决方案。产品功能动态联盟管理动态构建可信计算联盟，实现联盟内严格可控的数据使用和监管。邀请云租户作为数据方，动态构建可信计算联盟，实现联盟内严格可控的数据使用和监管。联盟是联邦计算的载体，合作方只有加入联盟才能参与联邦计算。安全的作业管理作业时，数据使用的过程可审计、可追溯。TICS数据集成支持... 可信智能计算服务TICS 配套HCS 8.2.0版本正式发布，将联合伙伴打造端到端的数据可信流通解决方案。产品功能动态联盟管理动态构建可信计算联盟，实现联盟内严格可控的数据使用和监管。邀请云租户作为数据方，动态构建可信计算联盟，实现联盟内严格可控的数据使用和监管。联盟是联邦计算的载体，合作方只有加入联盟才能参与联邦计算。安全的作业管理作业时，数据使用的过程可审计、可追溯。TICS数据集成支持...
- 同名Schema是用户的私有Schema。在私有Schema中创建对象，对象Owner会切换到同名用户。视图规则是按照视图Owner来检查对基表的权限。由于私有Schema的Owner切换机制和视图规则导致了同名Schema的权限报错。根据报错的提示，授予用户相应的权限就可以解决权限报错问题。 同名Schema是用户的私有Schema。在私有Schema中创建对象，对象Owner会切换到同名用户。视图规则是按照视图Owner来检查对基表的权限。由于私有Schema的Owner切换机制和视图规则导致了同名Schema的权限报错。根据报错的提示，授予用户相应的权限就可以解决权限报错问题。
- FusionInsight Manager的WEB UI运行在Tomcat上，Manager作为MRS的集群管理界面，其重要性不言而喻，一旦Tomcat出现故障，管理界面将不可用。因此监控Tomcat的JVM进程是有必要的，当再次出现类似的Tomcat异常情况时可以提前预知。Manager作为MRS集群的监控，自身的进程并没有可视化的监控界面。本文介绍一种通过JMX方式监控Tomcat进程。 FusionInsight Manager的WEB UI运行在Tomcat上，Manager作为MRS的集群管理界面，其重要性不言而喻，一旦Tomcat出现故障，管理界面将不可用。因此监控Tomcat的JVM进程是有必要的，当再次出现类似的Tomcat异常情况时可以提前预知。Manager作为MRS集群的监控，自身的进程并没有可视化的监控界面。本文介绍一种通过JMX方式监控Tomcat进程。
- 最近在处理一些现网问题时，发现好几例因为建表或者rowkey设计不合理导致的性能问题。这类问题往往在测试环境因为压力不够或者数据量过小，不易被发现。但是一旦部署到生产环境再去解决，代价往往会非常大。 根据对HBase用户对了解，往往存在如下误解： 我之前使用MySql没听说要做什么预分区； HBase对region有自动分裂的能力，为什么要做预分区？ 最近在处理一些现网问题时，发现好几例因为建表或者rowkey设计不合理导致的性能问题。这类问题往往在测试环境因为压力不够或者数据量过小，不易被发现。但是一旦部署到生产环境再去解决，代价往往会非常大。 根据对HBase用户对了解，往往存在如下误解： 我之前使用MySql没听说要做什么预分区； HBase对region有自动分裂的能力，为什么要做预分区？
- 传统上我们使用图来解决一些数学问题。比如图论起源于著名的柯尼斯堡七桥问题, 该问题被欧拉推广为：怎样判断是否存在着一个恰好包含了所有边，且没有重复的路径。即一笔画问题。当然了，图并非只能解决这类图论经典问题(如 四色问题，马的遍历问题，邮递员问题, 网络流问题 )，只要能够将研究对象表示为图结构，就能利用图的特点来解决问题，甚至大部分情况下，并不需要使用到多么高深的算法。 传统上我们使用图来解决一些数学问题。比如图论起源于著名的柯尼斯堡七桥问题, 该问题被欧拉推广为：怎样判断是否存在着一个恰好包含了所有边，且没有重复的路径。即一笔画问题。当然了，图并非只能解决这类图论经典问题(如 四色问题，马的遍历问题，邮递员问题, 网络流问题 )，只要能够将研究对象表示为图结构，就能利用图的特点来解决问题，甚至大部分情况下，并不需要使用到多么高深的算法。
- Alluxio在mrs的数据处理生态中处于计算和存储之间，为上层spark、presto、mapredue、hive计算框架提供了数据抽象层，计算框架可以通过统一的客户端api和全局命名空间访问底层的存储系统，并切提供内存级服务。 Alluxio在mrs的数据处理生态中处于计算和存储之间，为上层spark、presto、mapredue、hive计算框架提供了数据抽象层，计算框架可以通过统一的客户端api和全局命名空间访问底层的存储系统，并切提供内存级服务。
- 数据标准是在组织层面形成统一数据定义和规则，提升组织数据重用和数据质量的基础。数据标准一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。 数据标准是在组织层面形成统一数据定义和规则，提升组织数据重用和数据质量的基础。数据标准一旦确定下来，就应作为企业层面的标准在企业内被共同遵守。
上滑加载中
推荐直播
-
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中
热门标签