- 模块的概念模块是python程序架构的一个核心概念每一个以扩展名.py结尾的Python源代码文件都是上一个模块。模块名同样也是一个标识符，需要符合标识符的命名规则在模块中定义的全局变量、函数、类 都是提供给外接直接使用的工具。模块就好比是工具包，要想使用这个工具包中的工具，就需要先导入这个模块。模块的两种导入方式import导入在导入多个模块时，每个导入应独占一行import 模块名1im... 模块的概念模块是python程序架构的一个核心概念每一个以扩展名.py结尾的Python源代码文件都是上一个模块。模块名同样也是一个标识符，需要符合标识符的命名规则在模块中定义的全局变量、函数、类 都是提供给外接直接使用的工具。模块就好比是工具包，要想使用这个工具包中的工具，就需要先导入这个模块。模块的两种导入方式import导入在导入多个模块时，每个导入应独占一行import 模块名1im...
- 相信大家经常会遇到这种问题可是这个知识点是为什么呢？ 我继续以问题的形式来记忆这个问题中的原理。Q： 什么是操作数栈A：可以理解为jvm做计算时，需要一个临时的寄存器，把需要计算的数据或者传方法的参数放到栈中，然后做计算。Q： 什么是栈帧？A： 每个线程有一个自己的栈帧，然后运行到每个方法时，每个方法中都会可以理解为是摄影里的一帧。Q： 栈帧里包含什么？A：局部变量表操作数栈动态链接方法返回... 相信大家经常会遇到这种问题可是这个知识点是为什么呢？ 我继续以问题的形式来记忆这个问题中的原理。Q： 什么是操作数栈A：可以理解为jvm做计算时，需要一个临时的寄存器，把需要计算的数据或者传方法的参数放到栈中，然后做计算。Q： 什么是栈帧？A： 每个线程有一个自己的栈帧，然后运行到每个方法时，每个方法中都会可以理解为是摄影里的一帧。Q： 栈帧里包含什么？A：局部变量表操作数栈动态链接方法返回...
- Hive UDF是什么？有什么用？怎么用？什么原理？本文从UDF使用入手，简要介绍相关源码，UDF从零开始。 Hive UDF是什么？有什么用？怎么用？什么原理？本文从UDF使用入手，简要介绍相关源码，UDF从零开始。
- ForkJoin线程池在常规的java书籍里还是提到比较少的，毕竟是java8引入的产物。首先这里简单解释一下forkJoin的运作原理， 本质上有点像归并计算。他会将提交大任务按照一定规则拆解（fork）成多个小任务当任务小到一定程度时，就会执行计算执行完成时会和其他的小任务进行合并（join）， 逐步将所有小结果合成一个大结果。可以看这个forkJoinTask的实现伪代码，即如果想使用... ForkJoin线程池在常规的java书籍里还是提到比较少的，毕竟是java8引入的产物。首先这里简单解释一下forkJoin的运作原理， 本质上有点像归并计算。他会将提交大任务按照一定规则拆解（fork）成多个小任务当任务小到一定程度时，就会执行计算执行完成时会和其他的小任务进行合并（join）， 逐步将所有小结果合成一个大结果。可以看这个forkJoinTask的实现伪代码，即如果想使用...
- ROACH/交互测试/存储/集群管理OM/sql/安全；交互测试可以最大程度地提升特性在实际系统运行过程中的稳定性。本文对ROACH常见的交互特性，分类介绍各个特性的基础概念和交互方法以及交互观察点。 ROACH/交互测试/存储/集群管理OM/sql/安全；交互测试可以最大程度地提升特性在实际系统运行过程中的稳定性。本文对ROACH常见的交互特性，分类介绍各个特性的基础概念和交互方法以及交互观察点。
- 1、注意替换Spark jar包为高危操作！替换jar包有误可能导致Spark任务异常，非必要情况请勿随意替换。替换的jar包需要先修改属组为：omm:wheel 。 2、具体步骤 2、1替换服务端jar包使用PuTTY以root用户登录主管理节点，进入“/opt/FusionInsight_SetupTool/preinstall/tools/cluster”目录，执行vi cluste... 1、注意替换Spark jar包为高危操作！替换jar包有误可能导致Spark任务异常，非必要情况请勿随意替换。替换的jar包需要先修改属组为：omm:wheel 。 2、具体步骤 2、1替换服务端jar包使用PuTTY以root用户登录主管理节点，进入“/opt/FusionInsight_SetupTool/preinstall/tools/cluster”目录，执行vi cluste...
- 早期编译过程 晚期编译优化 jvm编译优化学习笔记 早期 第一步： -------词法分析： -------语法分析（注意实际上只是生成一个语法树，还没做语法的校验）： -------填充符号表： 第二步： -------注解处理器： 第三步： -------语义分析： -------解语法糖: -------字节码生成： 晚期 解释器Interperter 编译器 晚期优化的一些常见措施... 早期编译过程 晚期编译优化 jvm编译优化学习笔记 早期 第一步： -------词法分析： -------语法分析（注意实际上只是生成一个语法树，还没做语法的校验）： -------填充符号表： 第二步： -------注解处理器： 第三步： -------语义分析： -------解语法糖: -------字节码生成： 晚期 解释器Interperter 编译器 晚期优化的一些常见措施...
- 入库命令hbase org.apache.phoenix.mapreduce.CsvBulkLoadTool --table $1 --input $2 2 执行逻辑2.1 Map 逻辑CsvBulkLoadTool使用的是hbase bulkload入库方式，重写了map 和reduce等实现。Map逻辑在CsvToKeyValueMapper类中。Map读取csv文件中的每一行数据，在c... 入库命令hbase org.apache.phoenix.mapreduce.CsvBulkLoadTool --table $1 --input $2 2 执行逻辑2.1 Map 逻辑CsvBulkLoadTool使用的是hbase bulkload入库方式，重写了map 和reduce等实现。Map逻辑在CsvToKeyValueMapper类中。Map读取csv文件中的每一行数据，在c...
- Phoenix开源问题贡献社区 Phoenix开源问题贡献社区
- 大数据时代的技术特点导致一个企业的数据分散存储在不同组件甚至不同地域的不同组件之中，为企业数据的高效使用带来挑战。数据虚拟化技术使应用在不关心数据源的数据格式及物理存储位置的情况下以一种统一的方式获取和使用整个组织中所有的数据。华为云原生数据湖MRS HetuEngine就是一款优秀的数据虚拟化引擎，并在众多企业的数字化转型过程中落地实践。 大数据时代的技术特点导致一个企业的数据分散存储在不同组件甚至不同地域的不同组件之中，为企业数据的高效使用带来挑战。数据虚拟化技术使应用在不关心数据源的数据格式及物理存储位置的情况下以一种统一的方式获取和使用整个组织中所有的数据。华为云原生数据湖MRS HetuEngine就是一款优秀的数据虚拟化引擎，并在众多企业的数字化转型过程中落地实践。
- 操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对... 操作场景默认情况下，HDFS NameNode自动选择DataNode保存数据的副本。在实际业务中，可能存在以下场景：DataNode上可能存在不同的存储设备，数据需要选择一个合适的存储设备分级存储数据。DataNode不同目录中的数据重要程度不同，数据需要根据目录标签选择一个合适的DataNode节点保存。DataNode集群使用了异构服务器，关键数据需要保存在具有高度可靠性的机架组中。对...
- 概述传统大数据集群中，用户数据明文保存在HDFS中，集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。FusionInsight MRS引入了Hadoop KMS服务并进行增强，通过对接第三方KMS，可实现数据的透明加密，保障用户数据安全。HDFS支持透明加密，Hive、HBase等在HDFS保存数据的上层组件也将通过HDFS加密保护，加密密钥通... 概述传统大数据集群中，用户数据明文保存在HDFS中，集群的维护人员或者恶意攻击者可在OS层面绕过HDFS的权限控制机制或者窃取磁盘直接访问用户数据。FusionInsight MRS引入了Hadoop KMS服务并进行增强，通过对接第三方KMS，可实现数据的透明加密，保障用户数据安全。HDFS支持透明加密，Hive、HBase等在HDFS保存数据的上层组件也将通过HDFS加密保护，加密密钥通...
- 使用Gaussdb（DWS）集群过程中经常会因为一些网络、磁盘等故障造成集群降级甚至不可用的情况；也会经常碰到实例状态出现catchup；某个实例xlog目录占用几百G甚至上T空间。本篇总结现网碰到以上问题处理套路，以便应急处理。 使用Gaussdb（DWS）集群过程中经常会因为一些网络、磁盘等故障造成集群降级甚至不可用的情况；也会经常碰到实例状态出现catchup；某个实例xlog目录占用几百G甚至上T空间。本篇总结现网碰到以上问题处理套路，以便应急处理。
- dbeaver是免费和开源为开发人员和数据库管理员通用数据库工具。本文介绍如何配置dbeaver对接FusionInsigth MRS Spark2x dbeaver是免费和开源为开发人员和数据库管理员通用数据库工具。本文介绍如何配置dbeaver对接FusionInsigth MRS Spark2x
- 开发者`李雷`小朋友维护了一个自己的关系链图数据库，他怎么能从图数据库中查询出与他互相关注且年龄大于30的朋友呢？这里先介绍几种图原生查询语言写法：1.gremlin ... 2.cypher ... 以上两种写法等价，只是使用的图查询语言有区别。前者使用gremlin（Apache软件基金会下TinkerPop开发的graph traversal language）编写, 后者为Neo4j... 开发者`李雷`小朋友维护了一个自己的关系链图数据库，他怎么能从图数据库中查询出与他互相关注且年龄大于30的朋友呢？这里先介绍几种图原生查询语言写法：1.gremlin ... 2.cypher ... 以上两种写法等价，只是使用的图查询语言有区别。前者使用gremlin（Apache软件基金会下TinkerPop开发的graph traversal language）编写, 后者为Neo4j...
上滑加载中
推荐直播
-
基于HarmonyOS NEXT应用开发之旅2025/07/17 周四 19:00-20:00
吴玉佩、刘俊威-华为开发者布道师-高校学生
两位学生华为开发者布道师，连续两届HarmonyOS极客马拉松获奖选手联袂呈现HarmonyOS NEXT开发全景！从基础筑基，到工具提效。为您铺就一条从入门到精通的鸿蒙应用开发之路。无论您是新手开发者，还是经验老手，都能在此收获满满干货，开启您的HarmonyOS NEXT高效、智能开发新篇章！
回顾中
热门标签