- CAP定理数据库可以在网络分区期间提供强一致性和系统可用性。人们普遍认为这种组合是不可能的，是基于对CAP定理的误解。什么是CAP定理？2000 年，Eric Brewer 推测分布式系统不能同时提供以下所有三个理想属性：一致性：读取看到所有以前完成的写入。可用性：读取和写入总是成功。分区容错性：即使网络故障阻止某些机器与其他机器进行通信，也能保持有保证的属性。2002 年，吉尔伯特和林奇在... CAP定理数据库可以在网络分区期间提供强一致性和系统可用性。人们普遍认为这种组合是不可能的，是基于对CAP定理的误解。什么是CAP定理？2000 年，Eric Brewer 推测分布式系统不能同时提供以下所有三个理想属性：一致性：读取看到所有以前完成的写入。可用性：读取和写入总是成功。分区容错性：即使网络故障阻止某些机器与其他机器进行通信，也能保持有保证的属性。2002 年，吉尔伯特和林奇在...
- DLI Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。为了避免系统故障导致作业异常自动重启后，丢失数据：对于Flink SQL作业，您可以勾选“开启Checkpoint”，并合理配置Checkpoint间隔（权衡执行Checkpoint对业务性能的影响以及异常恢复的时长），同时勾选“异常自动重启”，... DLI Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。为了避免系统故障导致作业异常自动重启后，丢失数据：对于Flink SQL作业，您可以勾选“开启Checkpoint”，并合理配置Checkpoint间隔（权衡执行Checkpoint对业务性能的影响以及异常恢复的时长），同时勾选“异常自动重启”，...
- 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。图1 创建主题图2 添加订阅登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。说明：Flink Jar作业可靠性配置与SQL作业相同... 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。图1 创建主题图2 添加订阅登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。说明：Flink Jar作业可靠性配置与SQL作业相同...
- 结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置（1）首先安装包要选择对，否则就没有开始了。Hive版本:apache-h... 结构上Hive On Spark和SparkSQL都是一个翻译层，把一个SQL翻译成分布式可执行的Spark程序。Hive和SparkSQL都不负责计算。Hive的默认执行引擎是mr，还可以运行在Spark和Tez。Spark可以连接多种数据源，然后使用SparkSQL来执行分布式计算。Hive On Spark 配置（1）首先安装包要选择对，否则就没有开始了。Hive版本:apache-h...
- 说一下oracle实例恢复时，要用到哪些redo。至于何时需要实例恢复就不多说了。我们都知道实例恢复时，需要找到redo的起点（lrba，也就是checkpoint rba：检查点队列中第一脏块的lrba）和终点（on-disk rba）。终点自然就是redo的结尾，起点就比较麻烦了。检查点队列头部的那个脏块第一次被修改对应的日志位置就是lrba，在这个lrba之前的redo所保护的data... 说一下oracle实例恢复时，要用到哪些redo。至于何时需要实例恢复就不多说了。我们都知道实例恢复时，需要找到redo的起点（lrba，也就是checkpoint rba：检查点队列中第一脏块的lrba）和终点（on-disk rba）。终点自然就是redo的结尾，起点就比较麻烦了。检查点队列头部的那个脏块第一次被修改对应的日志位置就是lrba，在这个lrba之前的redo所保护的data...
- 并发访问共享资源，如果不加锁，可能会导致数据不一致问题，通常为了解决并发访问问题，我们都会在访问共享资源之前加锁，保证同一时刻只有一个线程访问。下面我们用问答的方式说明下各种并发锁的概念、优缺点及其应用场景。1、什么是互斥锁和自旋锁，各有什么优缺点？互斥锁和自旋锁是最底层的两种锁，其他的很多锁都是基于他们的实现。当线程A获取到锁后，线程B再去获取锁，有两种处理方式，第一种是线程B循环的去尝试... 并发访问共享资源，如果不加锁，可能会导致数据不一致问题，通常为了解决并发访问问题，我们都会在访问共享资源之前加锁，保证同一时刻只有一个线程访问。下面我们用问答的方式说明下各种并发锁的概念、优缺点及其应用场景。1、什么是互斥锁和自旋锁，各有什么优缺点？互斥锁和自旋锁是最底层的两种锁，其他的很多锁都是基于他们的实现。当线程A获取到锁后，线程B再去获取锁，有两种处理方式，第一种是线程B循环的去尝试...
- Sleuth链路追踪学习与分享 微服务架构带来的一些思考 随着微服务架构的流行，服务按照不同的维度进行拆分，一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候... Sleuth链路追踪学习与分享 微服务架构带来的一些思考 随着微服务架构的流行，服务按照不同的维度进行拆分，一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候...
- 拥有一个成熟且完整的主数据管理平台，来助力企业快速对大量数据进行管理，将成为企业应对外部变化及内部发展的基石。主数据标准规划与平台建设，提升了对主数据的运营管理能力，同时更好地实现企业内部的信息共享及利用率最大化。 拥有一个成熟且完整的主数据管理平台，来助力企业快速对大量数据进行管理，将成为企业应对外部变化及内部发展的基石。主数据标准规划与平台建设，提升了对主数据的运营管理能力，同时更好地实现企业内部的信息共享及利用率最大化。
- 场景概述如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。操作步骤在华为云控制条搜索云服务监控CES。图1 搜索CES进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。图2 云服务监控选择队列进行查看。图3 查看队列负载 场景概述如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。操作步骤在华为云控制条搜索云服务监控CES。图1 搜索CES进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。图2 云服务监控选择队列进行查看。图3 查看队列负载
- 背景 在银行传统的信用评估决策机制中，最常用的几个特征维度无非是个人资产、收入、信贷历史、抵押担保等。这些维度虽然能够反映借款人的还款能力，但是过于简单的规则往往也会拒绝掉很多潜在的优质客户。并且审核过程过于依赖网点客户经理，不但成本很高，人为风险也比较大。 随着互联网的快速发展，我们在网络上留下越来越多的轨迹，比如购物、租房、招聘、学历、社交信息等等。将这些特征引入... 背景 在银行传统的信用评估决策机制中，最常用的几个特征维度无非是个人资产、收入、信贷历史、抵押担保等。这些维度虽然能够反映借款人的还款能力，但是过于简单的规则往往也会拒绝掉很多潜在的优质客户。并且审核过程过于依赖网点客户经理，不但成本很高，人为风险也比较大。 随着互联网的快速发展，我们在网络上留下越来越多的轨迹，比如购物、租房、招聘、学历、社交信息等等。将这些特征引入...
- 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou... 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou...
- 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou... 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou...
- Antlr4是一款十分优秀的语法解析工具，由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用，我们可以构建自己的语法解析方法。 Antlr4是一款十分优秀的语法解析工具，由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用，我们可以构建自己的语法解析方法。
- 问题场景：某个需求里，需要使用calcite， 将优化后的calcite逻辑计划树转成sql语句。 static String toSql(RelNode root, DataSourceType dataSourceType) { SqlDialect dialect; // 根据对应数据库类型决定dialect dialect = dat... 问题场景：某个需求里，需要使用calcite， 将优化后的calcite逻辑计划树转成sql语句。 static String toSql(RelNode root, DataSourceType dataSourceType) { SqlDialect dialect; // 根据对应数据库类型决定dialect dialect = dat...
- 在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re... 在kafka-0.8.2之后，producer不再区分同步(sync)和异步方式(async)，所有的请求以异步方式发送，这样提升了客户端效率。producer请求会返回一个应答对象，包括偏移量或者错误信。这种异步方地批量的发送消息到kafka broker节点，因而可以减少server端资源的开销。新的producer和所有的服务器网络通信都是异步地，在ack=-1模式下需要等待所有的re...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签