- CAP定理数据库可以在网络分区期间提供强一致性和系统可用性。人们普遍认为这种组合是不可能的，是基于对CAP定理的误解。什么是CAP定理？2000 年，Eric Brewer 推测分布式系统不能同时提供以下所有三个理想属性：一致性：读取看到所有以前完成的写入。可用性：读取和写入总是成功。分区容错性：即使网络故障阻止某些机器与其他机器进行通信，也能保持有保证的属性。2002 年，吉尔伯特和林奇在... CAP定理数据库可以在网络分区期间提供强一致性和系统可用性。人们普遍认为这种组合是不可能的，是基于对CAP定理的误解。什么是CAP定理？2000 年，Eric Brewer 推测分布式系统不能同时提供以下所有三个理想属性：一致性：读取看到所有以前完成的写入。可用性：读取和写入总是成功。分区容错性：即使网络故障阻止某些机器与其他机器进行通信，也能保持有保证的属性。2002 年，吉尔伯特和林奇在...
- DLI Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。为了避免系统故障导致作业异常自动重启后，丢失数据：对于Flink SQL作业，您可以勾选“开启Checkpoint”，并合理配置Checkpoint间隔（权衡执行Checkpoint对业务性能的影响以及异常恢复的时长），同时勾选“异常自动重启”，... DLI Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。为了避免系统故障导致作业异常自动重启后，丢失数据：对于Flink SQL作业，您可以勾选“开启Checkpoint”，并合理配置Checkpoint间隔（权衡执行Checkpoint对业务性能的影响以及异常恢复的时长），同时勾选“异常自动重启”，...
- 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。图1 创建主题图2 添加订阅登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。说明：Flink Jar作业可靠性配置与SQL作业相同... 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。图1 创建主题图2 添加订阅登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。说明：Flink Jar作业可靠性配置与SQL作业相同...
- 结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置（1）首先安装包要选择对，否则就没有开始了。Hive版本:apache-h... 结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置（1）首先安装包要选择对，否则就没有开始了。Hive版本:apache-h...
- 说一下oracle实例恢复时，要用到哪些redo。至于何时需要实例恢复就不多说了。我们都知道实例恢复时，需要找到redo的起点（lrba，也就是checkpoint rba：检查点队列中第一脏块的lrba）和终点（on-disk rba）。终点自然就是redo的结尾，起点就比较麻烦了。检查点队列头部的那个脏块第一次被修改对应的日志位置就是lrba，在这个lrba之前的redo所保护的data... 说一下oracle实例恢复时，要用到哪些redo。至于何时需要实例恢复就不多说了。我们都知道实例恢复时，需要找到redo的起点（lrba，也就是checkpoint rba：检查点队列中第一脏块的lrba）和终点（on-disk rba）。终点自然就是redo的结尾，起点就比较麻烦了。检查点队列头部的那个脏块第一次被修改对应的日志位置就是lrba，在这个lrba之前的redo所保护的data...
- 并发访问共享资源，如果不加锁，可能会导致数据不一致问题，通常为了解决并发访问问题，我们都会在访问共享资源之前加锁，保证同一时刻只有一个线程访问。下面我们用问答的方式说明下各种并发锁的概念、优缺点及其应用场景。1、什么是互斥锁和自旋锁，各有什么优缺点？互斥锁和自旋锁是最底层的两种锁，其他的很多锁都是基于他们的实现。当线程A获取到锁后，线程B再去获取锁，有两种处理方式，第一种是线程B循环的去尝试... 并发访问共享资源，如果不加锁，可能会导致数据不一致问题，通常为了解决并发访问问题，我们都会在访问共享资源之前加锁，保证同一时刻只有一个线程访问。下面我们用问答的方式说明下各种并发锁的概念、优缺点及其应用场景。1、什么是互斥锁和自旋锁，各有什么优缺点？互斥锁和自旋锁是最底层的两种锁，其他的很多锁都是基于他们的实现。当线程A获取到锁后，线程B再去获取锁，有两种处理方式，第一种是线程B循环的去尝试...
- Sleuth链路追踪学习与分享 微服务架构带来的一些思考 随着微服务架构的流行，服务按照不同的维度进行拆分，一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候... Sleuth链路追踪学习与分享 微服务架构带来的一些思考 随着微服务架构的流行，服务按照不同的维度进行拆分，一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候...
- 拥有一个成熟且完整的主数据管理平台，来助力企业快速对大量数据进行管理，将成为企业应对外部变化及内部发展的基石。主数据标准规划与平台建设，提升了对主数据的运营管理能力，同时更好地实现企业内部的信息共享及利用率最大化。 拥有一个成熟且完整的主数据管理平台，来助力企业快速对大量数据进行管理，将成为企业应对外部变化及内部发展的基石。主数据标准规划与平台建设，提升了对主数据的运营管理能力，同时更好地实现企业内部的信息共享及利用率最大化。
- 场景概述如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。操作步骤在华为云控制条搜索云服务监控CES。图1 搜索CES进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。图2 云服务监控选择队列进行查看。图3 查看队列负载 场景概述如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。操作步骤在华为云控制条搜索云服务监控CES。图1 搜索CES进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。图2 云服务监控选择队列进行查看。图3 查看队列负载
- 背景 在银行传统的信用评估决策机制中，最常用的几个特征维度无非是个人资产、收入、信贷历史、抵押担保等。这些维度虽然能够反映借款人的还款能力，但是过于简单的规则往往也会拒绝掉很多潜在的优质客户。并且审核过程过于依赖网点客户经理，不但成本很高，人为风险也比较大。 随着互联网的快速发展，我们在网络上留下越来越多的轨迹，比如购物、租房、招聘、学历、社交信息等等。将这些特征引入... 背景 在银行传统的信用评估决策机制中，最常用的几个特征维度无非是个人资产、收入、信贷历史、抵押担保等。这些维度虽然能够反映借款人的还款能力，但是过于简单的规则往往也会拒绝掉很多潜在的优质客户。并且审核过程过于依赖网点客户经理，不但成本很高，人为风险也比较大。 随着互联网的快速发展，我们在网络上留下越来越多的轨迹，比如购物、租房、招聘、学历、社交信息等等。将这些特征引入...
- 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou... 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou...
- 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou... 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou...
- Antlr4是一款十分优秀的语法解析工具，由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用，我们可以构建自己的语法解析方法。 Antlr4是一款十分优秀的语法解析工具，由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用，我们可以构建自己的语法解析方法。
- 问题场景：某个需求里，需要使用calcite， 将优化后的calcite逻辑计划树转成sql语句。 static String toSql(RelNode root, DataSourceType dataSourceType) { SqlDialect dialect; // 根据对应数据库类型决定dialect dialect = dat... 问题场景：某个需求里，需要使用calcite， 将优化后的calcite逻辑计划树转成sql语句。 static String toSql(RelNode root, DataSourceType dataSourceType) { SqlDialect dialect; // 根据对应数据库类型决定dialect dialect = dat...
- 在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re... 在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签