- @[toc] 大数据平台架构解析——以讯飞大数据平台Odeon为例 定义Odeon大数据平台以全图形化Web操作的形式为用户提供一站式的大数据能力：包括数据采集、任务编排、调度及处理、数据展现（BI）等；同时提供完善的权限管理、日志追踪、集群监控等能力 功能数据通道：SQL、NoSql数据库及日志多源数据接入与导出数据管理：完善的元数据管理、数据质量标准管理体系，同时具备完整的数据隔离及授权... @[toc] 大数据平台架构解析——以讯飞大数据平台Odeon为例 定义Odeon大数据平台以全图形化Web操作的形式为用户提供一站式的大数据能力：包括数据采集、任务编排、调度及处理、数据展现（BI）等；同时提供完善的权限管理、日志追踪、集群监控等能力 功能数据通道：SQL、NoSql数据库及日志多源数据接入与导出数据管理：完善的元数据管理、数据质量标准管理体系，同时具备完整的数据隔离及授权...
- 近期为公司签到做的一个为期一年的规划，从个人优势，资源整合，以及未来发展。提升团队协作能力，增强整体素质核心竞争力。 近期为公司签到做的一个为期一年的规划，从个人优势，资源整合，以及未来发展。提升团队协作能力，增强整体素质核心竞争力。
- 实战多种自定义flink数据源 实战多种自定义flink数据源
- 首先确定4个概念,TP,FP,TN,FNTP（True Positive）：在判定为positive的样本中，判断正确的数目。 FP（False Positive）：在判定为positive的样本中，判断错误的数目。 TN（True Negative）：在判定为negative的样本中，判断正确的数目。 FN（False Negative）：在判定为negative的样本中，判断错误的数目。... 首先确定4个概念,TP,FP,TN,FNTP（True Positive）：在判定为positive的样本中，判断正确的数目。 FP（False Positive）：在判定为positive的样本中，判断错误的数目。 TN（True Negative）：在判定为negative的样本中，判断正确的数目。 FN（False Negative）：在判定为negative的样本中，判断错误的数目。...
- spark中存在一个cacheManager，它的作用是什么？ 缓存原理又是如何的？ 以及和内存memoryStore对应的diskManager，它又是如何和内存管理做交互，实现spark很重要的落盘机制的？本文将给你进行一一讲解 spark中存在一个cacheManager，它的作用是什么？ 缓存原理又是如何的？ 以及和内存memoryStore对应的diskManager，它又是如何和内存管理做交互，实现spark很重要的落盘机制的？本文将给你进行一一讲解
- 我们看下spark是怎么针对master、worker、executor的异常情况做处理的。 容错机制-exeuctor退出首先可以假设worker中的executor执行任务时，发送了莫名其妙的异常或者错误，然后对应线程消失了。我们看这个时候会做什么事情上图总结下来就是：executor由backend进程包着，如果抛异常，他会感知到，并调用executorRunner.exitStatu... 我们看下spark是怎么针对master、worker、executor的异常情况做处理的。 容错机制-exeuctor退出首先可以假设worker中的executor执行任务时，发送了莫名其妙的异常或者错误，然后对应线程消失了。我们看这个时候会做什么事情上图总结下来就是：executor由backend进程包着，如果抛异常，他会感知到，并调用executorRunner.exitStatu...
- 一、RabbitMQ简介MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用... 一、RabbitMQ简介MQ全称为Message Queue, 消息队列（MQ）是一种应用程序对应用程序的通信方法。应用程序通过读写出入队列的消息（针对应用程序的数据）来通信，而无需专用连接来链接它们。消息传递指的是程序之间通过在消息中发送数据进行通信，而不是通过直接调用彼此来通信，直接调用通常是用于诸如远程过程调用的技术。排队指的是应用程序通过 队列来通信。队列的使用除去了接收和发送应用...
- 摘要本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，今天我和大家一起实现tensorflow2.X版本图像分类任务，分类的模型使用MobileNetV1。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2、加载模型的预训练权重，训练时间更短。3、数据增强选用albumentations。关于... 摘要本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，今天我和大家一起实现tensorflow2.X版本图像分类任务，分类的模型使用MobileNetV1。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2、加载模型的预训练权重，训练时间更短。3、数据增强选用albumentations。关于...
- 刷帖子翻页需要分页查询，搜索商品也需分页查询。当遇到上千万、上亿数据量，怎么快速拉取全量数据呢？比如：大商家拉取每月千万级别的订单数量到自己独立的ISV做财务统计拥有百万千万粉丝的大v，给全部粉丝推送消息 案例常见错误写法SELECT *FROM tablewhere kid = 1342 and type = 1order id asclimit 149420,20;典型的排序+分页查询... 刷帖子翻页需要分页查询，搜索商品也需分页查询。当遇到上千万、上亿数据量，怎么快速拉取全量数据呢？比如：大商家拉取每月千万级别的订单数量到自己独立的ISV做财务统计拥有百万千万粉丝的大v，给全部粉丝推送消息 案例常见错误写法SELECT *FROM tablewhere kid = 1342 and type = 1order id asclimit 149420,20;典型的排序+分页查询...
- 【云驻共创】完全零基础，怎样入门大数据？ 本文从三个方向说明学习过程，可以进行快速入门，当然个人建议大学生们夯实基础，逐一进行，已经工作的可以跳过基础，直接进入第三部分。 1、大数据发展趋势（目的：帮助您坚定思想） 2、大数据基础铺垫（目的：帮助您打牢基础） 3、大数据正式学习（目的：帮助您项目实操） 潜心学习，必有收获。 【云驻共创】完全零基础，怎样入门大数据？ 本文从三个方向说明学习过程，可以进行快速入门，当然个人建议大学生们夯实基础，逐一进行，已经工作的可以跳过基础，直接进入第三部分。 1、大数据发展趋势（目的：帮助您坚定思想） 2、大数据基础铺垫（目的：帮助您打牢基础） 3、大数据正式学习（目的：帮助您项目实操） 潜心学习，必有收获。
- 大家好，我是程序员学长。距离上次更文已经相隔一个多月了，大家不会把我给忘了吧，哈哈~~由于最近一直在忙家里装修的事情，所以就一直没精力去更新文章，好在基本已经搞得差不多了，也可以回归了，等彻底搞定了，给大家分享出来。金三银四马上就要到了，去年更新的高频算法系列基本已经更新完事了，一共有100多道面试高频题，每道题都有详细的解析。如果需要这份pdf，大家可以关注公众号，回复666，可得。资料获... 大家好，我是程序员学长。距离上次更文已经相隔一个多月了，大家不会把我给忘了吧，哈哈~~由于最近一直在忙家里装修的事情，所以就一直没精力去更新文章，好在基本已经搞得差不多了，也可以回归了，等彻底搞定了，给大家分享出来。金三银四马上就要到了，去年更新的高频算法系列基本已经更新完事了，一共有100多道面试高频题，每道题都有详细的解析。如果需要这份pdf，大家可以关注公众号，回复666，可得。资料获...
- 华为云探访帆软软件 | 从一家好公司，做个好产品开始 华为云探访帆软软件 | 从一家好公司，做个好产品开始
- 数字化转型是以支撑主业成功为目标，构建全球高质量竞争力。在过去5年，华为依托丰富的业务场景不断扩大实践范围，从战略决心、业务重构等方面不断推进数字化转型，在追求客户满意的同时实现效率和效益的提升，并通过数字化的引入为华为带来新的商业价值。 数字化转型是以支撑主业成功为目标，构建全球高质量竞争力。在过去5年，华为依托丰富的业务场景不断扩大实践范围，从战略决心、业务重构等方面不断推进数字化转型，在追求客户满意的同时实现效率和效益的提升，并通过数字化的引入为华为带来新的商业价值。
- InceptionV3实战：tensorflow2.X版本，InceptionV3图像分类任务（大数据集） 摘要本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，今天我和大家一起实现tensorflow2，分类的模型使用InceptionV3。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2... InceptionV3实战：tensorflow2.X版本，InceptionV3图像分类任务（大数据集） 摘要本例提取了植物幼苗数据集中的部分数据做数据集，数据集共有12种类别，今天我和大家一起实现tensorflow2，分类的模型使用InceptionV3。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2...
- ResNet实战：tensorflow2.X版本，ResNet50图像分类任务（大数据集） 摘要本例提取了猫狗大战数据集中的部分数据做数据集，演示tensorflow2.X版本如何使用Keras实现图像分类，分类的模型使用ResNet50。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2、加载模型的预训练权重... ResNet实战：tensorflow2.X版本，ResNet50图像分类任务（大数据集） 摘要本例提取了猫狗大战数据集中的部分数据做数据集，演示tensorflow2.X版本如何使用Keras实现图像分类，分类的模型使用ResNet50。本文实现的算法有一下几个特点：1、自定义了图片加载方式，更加灵活高效，不用将图片一次性加载到内存中，节省内存,适合大规模数据集。2、加载模型的预训练权重...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签