- 结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置（1）首先安装包要选择对，否则就没有开始了。Hive版本:apache-h... 结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置（1）首先安装包要选择对，否则就没有开始了。Hive版本:apache-h...
- 说一下oracle实例恢复时，要用到哪些redo。至于何时需要实例恢复就不多说了。我们都知道实例恢复时，需要找到redo的起点（lrba，也就是checkpoint rba：检查点队列中第一脏块的lrba）和终点（on-disk rba）。终点自然就是redo的结尾，起点就比较麻烦了。检查点队列头部的那个脏块第一次被修改对应的日志位置就是lrba，在这个lrba之前的redo所保护的data... 说一下oracle实例恢复时，要用到哪些redo。至于何时需要实例恢复就不多说了。我们都知道实例恢复时，需要找到redo的起点（lrba，也就是checkpoint rba：检查点队列中第一脏块的lrba）和终点（on-disk rba）。终点自然就是redo的结尾，起点就比较麻烦了。检查点队列头部的那个脏块第一次被修改对应的日志位置就是lrba，在这个lrba之前的redo所保护的data...
- 并发访问共享资源，如果不加锁，可能会导致数据不一致问题，通常为了解决并发访问问题，我们都会在访问共享资源之前加锁，保证同一时刻只有一个线程访问。下面我们用问答的方式说明下各种并发锁的概念、优缺点及其应用场景。1、什么是互斥锁和自旋锁，各有什么优缺点？互斥锁和自旋锁是最底层的两种锁，其他的很多锁都是基于他们的实现。当线程A获取到锁后，线程B再去获取锁，有两种处理方式，第一种是线程B循环的去尝试... 并发访问共享资源，如果不加锁，可能会导致数据不一致问题，通常为了解决并发访问问题，我们都会在访问共享资源之前加锁，保证同一时刻只有一个线程访问。下面我们用问答的方式说明下各种并发锁的概念、优缺点及其应用场景。1、什么是互斥锁和自旋锁，各有什么优缺点？互斥锁和自旋锁是最底层的两种锁，其他的很多锁都是基于他们的实现。当线程A获取到锁后，线程B再去获取锁，有两种处理方式，第一种是线程B循环的去尝试...
- Sleuth链路追踪学习与分享 微服务架构带来的一些思考 随着微服务架构的流行，服务按照不同的维度进行拆分，一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候... Sleuth链路追踪学习与分享 微服务架构带来的一些思考 随着微服务架构的流行，服务按照不同的维度进行拆分，一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候...
- 拥有一个成熟且完整的主数据管理平台，来助力企业快速对大量数据进行管理，将成为企业应对外部变化及内部发展的基石。主数据标准规划与平台建设，提升了对主数据的运营管理能力，同时更好地实现企业内部的信息共享及利用率最大化。 拥有一个成熟且完整的主数据管理平台，来助力企业快速对大量数据进行管理，将成为企业应对外部变化及内部发展的基石。主数据标准规划与平台建设，提升了对主数据的运营管理能力，同时更好地实现企业内部的信息共享及利用率最大化。
- 场景概述如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。操作步骤在华为云控制条搜索云服务监控CES。图1 搜索CES进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。图2 云服务监控选择队列进行查看。图3 查看队列负载 场景概述如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。操作步骤在华为云控制条搜索云服务监控CES。图1 搜索CES进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。图2 云服务监控选择队列进行查看。图3 查看队列负载
- 背景 在银行传统的信用评估决策机制中，最常用的几个特征维度无非是个人资产、收入、信贷历史、抵押担保等。这些维度虽然能够反映借款人的还款能力，但是过于简单的规则往往也会拒绝掉很多潜在的优质客户。并且审核过程过于依赖网点客户经理，不但成本很高，人为风险也比较大。 随着互联网的快速发展，我们在网络上留下越来越多的轨迹，比如购物、租房、招聘、学历、社交信息等等。将这些特征引入... 背景 在银行传统的信用评估决策机制中，最常用的几个特征维度无非是个人资产、收入、信贷历史、抵押担保等。这些维度虽然能够反映借款人的还款能力，但是过于简单的规则往往也会拒绝掉很多潜在的优质客户。并且审核过程过于依赖网点客户经理，不但成本很高，人为风险也比较大。 随着互联网的快速发展，我们在网络上留下越来越多的轨迹，比如购物、租房、招聘、学历、社交信息等等。将这些特征引入...
- 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou... 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou...
- 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou... 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou...
- Antlr4是一款十分优秀的语法解析工具，由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用，我们可以构建自己的语法解析方法。 Antlr4是一款十分优秀的语法解析工具，由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用，我们可以构建自己的语法解析方法。
- 问题场景：某个需求里，需要使用calcite， 将优化后的calcite逻辑计划树转成sql语句。 static String toSql(RelNode root, DataSourceType dataSourceType) { SqlDialect dialect; // 根据对应数据库类型决定dialect dialect = dat... 问题场景：某个需求里，需要使用calcite， 将优化后的calcite逻辑计划树转成sql语句。 static String toSql(RelNode root, DataSourceType dataSourceType) { SqlDialect dialect; // 根据对应数据库类型决定dialect dialect = dat...
- 在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re... 在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re...
- 首先让我们先来总结一下用户修改块时，Oracle内部都发生了什么：1、如果块不在Buffer cache，将块读入Buffer cache2、先生成重做记录，并记入日志缓存，在用户提交时写到日志文件中3、在Buffer cache中修改块4、在Buffer cache中设置块的脏标志位，标志块变成脏块，同时在检查点队列末尾增加一个新节点，记录这个新脏块的信息，信息包括：脏块在Buffer c... 首先让我们先来总结一下用户修改块时，Oracle内部都发生了什么：1、如果块不在Buffer cache，将块读入Buffer cache2、先生成重做记录，并记入日志缓存，在用户提交时写到日志文件中3、在Buffer cache中修改块4、在Buffer cache中设置块的脏标志位，标志块变成脏块，同时在检查点队列末尾增加一个新节点，记录这个新脏块的信息，信息包括：脏块在Buffer c...
- 背景前面博客已经介绍了如何配置Hadoop和Hive运行环境。即本文开始前，本地已经顺利运行Hive，并可以提交hive on mr任务。在hive领域中，tez是其中一款比较常用的执行引擎。其支持DAG作业模式，可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Hive也有一部分优化特性基于tez实现。本文介绍如何让hive能够启动执行tez任务。下面内容有一部分依赖WS... 背景前面博客已经介绍了如何配置Hadoop和Hive运行环境。即本文开始前，本地已经顺利运行Hive，并可以提交hive on mr任务。在hive领域中，tez是其中一款比较常用的执行引擎。其支持DAG作业模式，可以将多个有依赖的作业转换为一个作业从而大幅提升DAG作业的性能。Hive也有一部分优化特性基于tez实现。本文介绍如何让hive能够启动执行tez任务。下面内容有一部分依赖WS...
- 今日题目：今天你的静态变量和静态代码块执行了吗？ 话不多说，开始今天的题目讲解吧。 先介绍个常识:静态成员属性的初始化早于静态代码块；静态代码块是指的类的初始化操作，初始化早于对象的创建；类静态域的只会初始化一次。 题目一：输出啥？class Father{ public static int m = 33; static{ System.out.println(... 今日题目：今天你的静态变量和静态代码块执行了吗？ 话不多说，开始今天的题目讲解吧。 先介绍个常识:静态成员属性的初始化早于静态代码块；静态代码块是指的类的初始化操作，初始化早于对象的创建；类静态域的只会初始化一次。 题目一：输出啥？class Father{ public static int m = 33; static{ System.out.println(...
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签