- 1. items.py class DouyuspiderItem(scrapy.Item): name = scrapy.Field()# 存储照片的名字 imagesUrls = scrapy.Field()# 照片的url路径 imagesPath = scrapy.Field()# 照片保存在本地的路径 2... 1. items.py class DouyuspiderItem(scrapy.Item): name = scrapy.Field()# 存储照片的名字 imagesUrls = scrapy.Field()# 照片的url路径 imagesPath = scrapy.Field()# 照片保存在本地的路径 2...
- JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。 JSON和XML的比较可谓不相上下。 Python 2.7中自带了JSON模块，直接import json就可以... JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式，它使得人们很容易的进行阅读和编写。同时也方便了机器进行解析和生成。适用于进行数据交互的场景，比如网站前台与后台之间的数据交互。 JSON和XML的比较可谓不相上下。 Python 2.7中自带了JSON模块，直接import json就可以...
- 训练Tesseract 大多数其他的验证码都是比较简单的。例如，流行的 PHP 内容管理系统 Drupal 有一个著 名的验证码模块(https://www.drupal.org/project/captcha)，可以生成不同难度的验证码。 那么与其他验证码相比，究竟是什么让这个验证码更容易被人类和机器读懂呢? ... 训练Tesseract 大多数其他的验证码都是比较简单的。例如，流行的 PHP 内容管理系统 Drupal 有一个著 名的验证码模块(https://www.drupal.org/project/captcha)，可以生成不同难度的验证码。 那么与其他验证码相比，究竟是什么让这个验证码更容易被人类和机器读懂呢? ...
- Request Request 部分源码： # 部分代码class Request(object_ref): def __init__(self, url, callback=None, method='GET', headers=None, body=None, cookies=None,... Request Request 部分源码： # 部分代码class Request(object_ref): def __init__(self, url, callback=None, method='GET', headers=None, body=None, cookies=None,...
- 爬取新浪网导航页所有下所有大类、小类、小类里的子链接，以及子链接页面的新闻内容。 效果演示图： items.py import scrapyimport sysreload(sys)sys.setdefaultencoding("utf-8") class SinaItem(scrapy... 爬取新浪网导航页所有下所有大类、小类、小类里的子链接，以及子链接页面的新闻内容。 效果演示图： items.py import scrapyimport sysreload(sys)sys.setdefaultencoding("utf-8") class SinaItem(scrapy...
- 代理IP通过https://www.kuaidaili.com/free/ 获取，我使用的的是http 协议的代理。根据自己需求选择http或者https 协议的页面。 访问量会有增长，但效果不是非常理想，后面找时间在研究下、废话不多说，直接上代码。 # -*- coding:utf-8 -*- import reques... 代理IP通过https://www.kuaidaili.com/free/ 获取，我使用的的是http 协议的代理。根据自己需求选择http或者https 协议的页面。 访问量会有增长，但效果不是非常理想，后面找时间在研究下、废话不多说，直接上代码。 # -*- coding:utf-8 -*- import reques...
- 使用Thrift需要进行安装，主要安装两个工具： 接口定义文件（.thrift）的编译器不同语言的公共基础库程序 1 安装依赖工具和库 yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel pyt... 使用Thrift需要进行安装，主要安装两个工具： 接口定义文件（.thrift）的编译器不同语言的公共基础库程序 1 安装依赖工具和库 yum install automake libtool flex bison pkgconfig gcc-c++ boost-devel libevent-devel zlib-devel pyt...
- 服务器 Thrift提供的常见服务端类型有一下几种： thrift.server.TServer.TSimpleServer 单线程服务器thrift.server.TServer.TThreadedServer 多线程服务器thrift.server.TServer.TThreadPoolServer ... 服务器 Thrift提供的常见服务端类型有一下几种： thrift.server.TServer.TSimpleServer 单线程服务器thrift.server.TServer.TThreadedServer 多线程服务器thrift.server.TServer.TThreadPoolServer ...
- 前几天小菌分享的博客《用python爬虫制作图片下载器(超有趣!)》收到了粉丝们较多的关注,小菌决定再分享一... 前几天小菌分享的博客《用python爬虫制作图片下载器(超有趣!)》收到了粉丝们较多的关注,小菌决定再分享一...
- 验证码 在用户注册、登录页面，为了防止暴力请求，可以加入验证码功能，如果验证码错误，则不需要继续处理，可以减轻一些服务器的压力使用验证码也是一种有效的防止crsf的方法验证码效果如下图： 验证码视图 新建viewsUtil.py，定义函数verifycode此段代码用到了PIL中的Image、ImageDraw、... 验证码 在用户注册、登录页面，为了防止暴力请求，可以加入验证码功能，如果验证码错误，则不需要继续处理，可以减轻一些服务器的压力使用验证码也是一种有效的防止crsf的方法验证码效果如下图： 验证码视图 新建viewsUtil.py，定义函数verifycode此段代码用到了PIL中的Image、ImageDraw、...
- 创建虚拟环境 创建：mkvirtualenv [虚拟环境名称]删除：rmvirtualenv [虚拟环境名称]进入：workon [虚拟环境名称]退出：deactivate所有的虚拟环境，都位于/home/.virtualenvs目录下进入虚拟环境前的提示： 进入虚拟环境后的提示： 查看当前的所有虚拟环... 创建虚拟环境 创建：mkvirtualenv [虚拟环境名称]删除：rmvirtualenv [虚拟环境名称]进入：workon [虚拟环境名称]退出：deactivate所有的虚拟环境，都位于/home/.virtualenvs目录下进入虚拟环境前的提示： 进入虚拟环境后的提示： 查看当前的所有虚拟环...
- 现实生活中会出现一些情况，当我们需要做出一些决定时，我们会根据这些决定来决定下一步应该做什么。类似的情况也出现在编程中，我们需要做出一些决定，并根据这些决定我们将执行下一个代码块。 本文章为系... 现实生活中会出现一些情况，当我们需要做出一些决定时，我们会根据这些决定来决定下一步应该做什么。类似的情况也出现在编程中，我们需要做出一些决定，并根据这些决定我们将执行下一个代码块。 本文章为系...
- [toc] 继承 继承是面向对象程序设计的重要特征, 也是实现 "代码复用" 的重要手段. 如果一个新类继承自己一个设计好的类, 就直接具备了已有类的特征, 就大大降低了工作难度. 已有的类, 我们称为 "父类或者基类", 新的类, 我们称为 "子类或者派生类". 语法格式... [toc] 继承 继承是面向对象程序设计的重要特征, 也是实现 "代码复用" 的重要手段. 如果一个新类继承自己一个设计好的类, 就直接具备了已有类的特征, 就大大降低了工作难度. 已有的类, 我们称为 "父类或者基类", 新的类, 我们称为 "子类或者派生类". 语法格式...
- [toc] walk() 递归遍历所有的文件 os.walk() 方法: 返回一个 3 个元素的元组, ( dirpath, dirnames, filenames ), dirpath: 要列出指定目录的 dirnames: 目录下的所有文件夹 &nbs... [toc] walk() 递归遍历所有的文件 os.walk() 方法: 返回一个 3 个元素的元组, ( dirpath, dirnames, filenames ), dirpath: 要列出指定目录的 dirnames: 目录下的所有文件夹 &nbs...
- [toc] 函数用法和底层分析 函数是可以重负调用的代码块. 函数的作用, 不仅可以实现代码的复用, 更能实现代码的一致性. 一致性指的是, 只有要修改函数的代码. 则所有调用该函数的地方都能体现. 在编写函数时, 函数体中的代码写法和我们前面讲述的基本一致, 只是对代码实现... [toc] 函数用法和底层分析 函数是可以重负调用的代码块. 函数的作用, 不仅可以实现代码的复用, 更能实现代码的一致性. 一致性指的是, 只有要修改函数的代码. 则所有调用该函数的地方都能体现. 在编写函数时, 函数体中的代码写法和我们前面讲述的基本一致, 只是对代码实现...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签