- 摘要本例提取了猫狗大战数据集中的部分数据做数据集,演示tensorflow2.0以上的版本如何使用Keras实现图像分类,分类的模型使用DenseNet121。本文实现的算法有一下几个特点:1、自定义了图片加载方式,更加灵活高效,节省内存2、加载模型的预训练权重,训练时间更短。3、数据增强选用albumentations。 训练 第一步 导入需要的数据包,设置全局参数import nump... 摘要本例提取了猫狗大战数据集中的部分数据做数据集,演示tensorflow2.0以上的版本如何使用Keras实现图像分类,分类的模型使用DenseNet121。本文实现的算法有一下几个特点:1、自定义了图片加载方式,更加灵活高效,节省内存2、加载模型的预训练权重,训练时间更短。3、数据增强选用albumentations。 训练 第一步 导入需要的数据包,设置全局参数import nump...
- 有不少同学 对 acks 和 min.insync.replicas 的配置存在不少误解. 那么你确定掌握了吗 有不少同学 对 acks 和 min.insync.replicas 的配置存在不少误解. 那么你确定掌握了吗
- 引言 不知道你是否和我有过同样的感受,《计算机组成原理》这门学科学起来如此的艰难:一节课下来,教室黑板上留下了满满的 “足迹”,看上去也挺简单的,不就是 0 和 1 嘛。但这些看起来简简单单的 0 1 码却成为了我当时学习路上的绊脚石。源码、反码、补码等等等等,各种的码制转换令我一头雾水,我曾一度怀疑这就是计算机干的活儿吗? 随着后面慢慢了解《计算机组成原理》后,我愿称计算机为世界上最... 引言 不知道你是否和我有过同样的感受,《计算机组成原理》这门学科学起来如此的艰难:一节课下来,教室黑板上留下了满满的 “足迹”,看上去也挺简单的,不就是 0 和 1 嘛。但这些看起来简简单单的 0 1 码却成为了我当时学习路上的绊脚石。源码、反码、补码等等等等,各种的码制转换令我一头雾水,我曾一度怀疑这就是计算机干的活儿吗? 随着后面慢慢了解《计算机组成原理》后,我愿称计算机为世界上最...
- 马上过年了,紧接着就是一年一度的跳槽季,送上一份Spark面试干货,提前预热~~ 马上过年了,紧接着就是一年一度的跳槽季,送上一份Spark面试干货,提前预热~~
- 海量数据实时计算:Spark和Flink引擎如何保证Exactly-Once一致性? 海量数据实时计算:Spark和Flink引擎如何保证Exactly-Once一致性?
- 今天和大家介绍Spark的内存模型,干货多多,不要错过奥~ 今天和大家介绍Spark的内存模型,干货多多,不要错过奥~
- 技术背景随着互联网高速的发展,云计算、大数据、人工智能AI、物联网等前沿技术已然成为当今时代主流的高新技术,诸如电商网站、人脸识别、无人驾驶、智能家居、智慧城市等等,不仅方面方便了人们的衣食住行,背后更是时时刻刻有大量的数据在经过各种各样的系统平台的采集、清晰、分析,而保证数据的低时延、高吞吐、安全性就显得尤为重要,Apache Avro本身通过Schema的方式序列化后进行二进制传输,一方... 技术背景随着互联网高速的发展,云计算、大数据、人工智能AI、物联网等前沿技术已然成为当今时代主流的高新技术,诸如电商网站、人脸识别、无人驾驶、智能家居、智慧城市等等,不仅方面方便了人们的衣食住行,背后更是时时刻刻有大量的数据在经过各种各样的系统平台的采集、清晰、分析,而保证数据的低时延、高吞吐、安全性就显得尤为重要,Apache Avro本身通过Schema的方式序列化后进行二进制传输,一方...
- 1.Hive 表关联查询,如何解决数据倾斜的问题?1.倾斜原因:map 输出数据按 key Hash 的分配到 reduce 中,由于 key 分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的 reduce 上的数据量差异过大。1)key 分布不均匀;2)业务数据本身的特性;3)建表时考虑不周;4)某些 SQL 语句本身就有数据倾斜;如何避免:对于 key 为空产生的数据倾斜,可... 1.Hive 表关联查询,如何解决数据倾斜的问题?1.倾斜原因:map 输出数据按 key Hash 的分配到 reduce 中,由于 key 分布不均匀、业务数据本身的特、建表时考虑不周、等原因造成的 reduce 上的数据量差异过大。1)key 分布不均匀;2)业务数据本身的特性;3)建表时考虑不周;4)某些 SQL 语句本身就有数据倾斜;如何避免:对于 key 为空产生的数据倾斜,可...
- 大数据(big data),是近几年很火的一共概念。**什么是大数据?**就举一个生活中很常见的一个例子,平常我们使用APP在各大商城进行商品浏览购物的时候,你会发现,当你在一类商品停留的时间较长时,回到首页,轮播图推荐跟猜你喜欢那一栏就有很大的可能给你推荐你刚刚浏览过去商品的同类。这里面就涉及到了大数据的一个概念,APP通过你的浏览记录,分析用户行为,再根据大数据的推荐系统,就完成了从点击... 大数据(big data),是近几年很火的一共概念。**什么是大数据?**就举一个生活中很常见的一个例子,平常我们使用APP在各大商城进行商品浏览购物的时候,你会发现,当你在一类商品停留的时间较长时,回到首页,轮播图推荐跟猜你喜欢那一栏就有很大的可能给你推荐你刚刚浏览过去商品的同类。这里面就涉及到了大数据的一个概念,APP通过你的浏览记录,分析用户行为,再根据大数据的推荐系统,就完成了从点击...
- hello,你好呀,我是灰小猿,一个超会写bug的程序猿!这一篇文呢想和大家分享一些我在Redis操作中,会经常用到一些命令和使用场景总结,以及对Redis中五大数据类型如何使用cmd命令行的形式进行操作的方法。 Redis的几个常用命令首先这里写上几个我在Redis中比较常用到的几个操作命令。 数据库切换我们知道Redis默认有16个数据库,默认是第0个数据库,那么如果在需要对数据库进行切... hello,你好呀,我是灰小猿,一个超会写bug的程序猿!这一篇文呢想和大家分享一些我在Redis操作中,会经常用到一些命令和使用场景总结,以及对Redis中五大数据类型如何使用cmd命令行的形式进行操作的方法。 Redis的几个常用命令首先这里写上几个我在Redis中比较常用到的几个操作命令。 数据库切换我们知道Redis默认有16个数据库,默认是第0个数据库,那么如果在需要对数据库进行切...
- 1.什么是用户画像在给用户画像做定义之前,我们先来了解一下什么是推荐系统场景:在现在的互联网时代,网上购物已经称为常态,当我们在各大电商平台购物的时候,不难发现这样一个现象。当你搜索某个上面进行浏览的时候,点击目标商品,之后返回到首页,很大概率你就可以发现,你刚才搜索的商品的相关产品已经在首页的推荐栏目。例如,你购买了一件护肤品面霜,回到首页推荐处,系统可能就会给你推荐口红或者相关护肤品。... 1.什么是用户画像在给用户画像做定义之前,我们先来了解一下什么是推荐系统场景:在现在的互联网时代,网上购物已经称为常态,当我们在各大电商平台购物的时候,不难发现这样一个现象。当你搜索某个上面进行浏览的时候,点击目标商品,之后返回到首页,很大概率你就可以发现,你刚才搜索的商品的相关产品已经在首页的推荐栏目。例如,你购买了一件护肤品面霜,回到首页推荐处,系统可能就会给你推荐口红或者相关护肤品。...
- 在 Linux 或 Unix 系统中创建用户是系统管理员的日常任务。 有时您可能会使用默认配置创建单个用户,或者使用自定义配置创建单个用户,或者使用一些批量用户创建方法同时创建多个用户。 在 Linux 或 Unix 系统中创建用户是系统管理员的日常任务。 有时您可能会使用默认配置创建单个用户,或者使用自定义配置创建单个用户,或者使用一些批量用户创建方法同时创建多个用户。
- 汉服,是真的漂亮 阅读本篇博客你将收获Python 技术的提升40000+张汉服照片,或者更多 汉服照片采集术 目标数据源分析本次要抓取的目标数据参考下图。目标网站为 https://www.hanfuhui.com/,一个以汉服同袍为中心的垂直社区。本篇博客将要涉及的知识点requests 读取 json 数据;json 格式数据解析;csv 文件存储;文件读取+图片保存。数据来源分析本次... 汉服,是真的漂亮 阅读本篇博客你将收获Python 技术的提升40000+张汉服照片,或者更多 汉服照片采集术 目标数据源分析本次要抓取的目标数据参考下图。目标网站为 https://www.hanfuhui.com/,一个以汉服同袍为中心的垂直社区。本篇博客将要涉及的知识点requests 读取 json 数据;json 格式数据解析;csv 文件存储;文件读取+图片保存。数据来源分析本次...
- 首先回顾一下memoryStore是做什么的。他主要是将没有序列化的java对象数组或者序列化的byteBuffer放到内存中。 首先回顾一下memoryStore是做什么的。他主要是将没有序列化的java对象数组或者序列化的byteBuffer放到内存中。
- 本章主要讲述华为云大数据解决方案,云上大数据处理与分析方法。介绍了华为云EI主流大数据服务,如MRS服务、DWS服务和CSS服务。由此引出两种常见的大数据解决方案,离线处理和实时流处理,并对它们的架构优势、实现原理、应用分析与案例场景进行讲解。最后对DAYU数据运营平台进行了介绍。 本章主要讲述华为云大数据解决方案,云上大数据处理与分析方法。介绍了华为云EI主流大数据服务,如MRS服务、DWS服务和CSS服务。由此引出两种常见的大数据解决方案,离线处理和实时流处理,并对它们的架构优势、实现原理、应用分析与案例场景进行讲解。最后对DAYU数据运营平台进行了介绍。
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新,构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间,华为云展示了Serverless与MCP融合创新的解决方案,本期访谈直播,由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持,华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中,探讨处理器生态的关键要素及其联系,分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源,3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源,3步轻松管理成本,帮助提升日常管理效率!
回顾中
热门标签