- 刚开始接触爬虫的时候，简直惊为天人，十几行代码，就可以将无数网页的信息全部获取下来，自动选取网页元素，自动整理成结构化的文件。利用这些数据，可以做很多领域的分析、市场调研，获得很多有价值的信息，可以应用在很多的工作场景，于是果断开始学习。- ❶ -并非开始都是最容易的刚开始对爬虫不是很了解，又没有任何的计算机、编程基础，确实有点懵逼。从哪里开始，哪些是最开始应该学的，哪些应该等到有一定基础之... 刚开始接触爬虫的时候，简直惊为天人，十几行代码，就可以将无数网页的信息全部获取下来，自动选取网页元素，自动整理成结构化的文件。利用这些数据，可以做很多领域的分析、市场调研，获得很多有价值的信息，可以应用在很多的工作场景，于是果断开始学习。- ❶ -并非开始都是最容易的刚开始对爬虫不是很了解，又没有任何的计算机、编程基础，确实有点懵逼。从哪里开始，哪些是最开始应该学的，哪些应该等到有一定基础之...
- 随着 Python 和大数据的火热，大量的工程师蜂拥而上，爬虫技术由于易学、效果显著首当其冲的成为了大家追捧的对象，爬虫的发展进入了高峰期，因此给服务器带来的压力则是成倍的增加。企业或为了保证服务的正常运转或为了降低压力与成本，不得不使出各种各样的技术手段来阻止爬虫工程师们毫无节制的向服务器索取资源，我们将这种行为称为『反爬虫』。 随着 Python 和大数据的火热，大量的工程师蜂拥而上，爬虫技术由于易学、效果显著首当其冲的成为了大家追捧的对象，爬虫的发展进入了高峰期，因此给服务器带来的压力则是成倍的增加。企业或为了保证服务的正常运转或为了降低压力与成本，不得不使出各种各样的技术手段来阻止爬虫工程师们毫无节制的向服务器索取资源，我们将这种行为称为『反爬虫』。
- Requests库是Python爬虫中最最最最最最重要与常见的库，一定要熟练掌握它. Requests库是Python爬虫中最最最最最最重要与常见的库，一定要熟练掌握它.
- 最近闲来无事为了提高自己，到查试图抓取一些企业信息，可是发现在抓取其企业列表页时，看到的企业名称和实际抓到的不一样，网站对其进行了加密（今天又正常了），同样例如猫眼电影的电影票房信息也进行了加密处理。结合之前处理验证码的经验我在想能不能利用图像识别的方法抓取这些内容，因为一般网页上的内容都很规整，据我目前的测试Tesseract对规整数字的识别率已经达到95%以上，走通这个流程后不但可以实现... 最近闲来无事为了提高自己，到查试图抓取一些企业信息，可是发现在抓取其企业列表页时，看到的企业名称和实际抓到的不一样，网站对其进行了加密（今天又正常了），同样例如猫眼电影的电影票房信息也进行了加密处理。结合之前处理验证码的经验我在想能不能利用图像识别的方法抓取这些内容，因为一般网页上的内容都很规整，据我目前的测试Tesseract对规整数字的识别率已经达到95%以上，走通这个流程后不但可以实现...
- 好东西就是用来分享的，每天一个Python练手项目，坚持下去总会有意想不到的收获！ 好东西就是用来分享的，每天一个Python练手项目，坚持下去总会有意想不到的收获！
- Python内心OS:“你要的全拿走，剩下的我承受” Python内心OS:“你要的全拿走，剩下的我承受”
- Scrapy是一种快速的高级Web爬行和Web抓取框架，用于抓取网站并从其页面中提取结构化数据。它可用于各种用途，从数据挖掘到监控和自动化测试。 Scrapy是一种快速的高级Web爬行和Web抓取框架，用于抓取网站并从其页面中提取结构化数据。它可用于各种用途，从数据挖掘到监控和自动化测试。
- 今天开源了一个百度云网盘爬虫项目，地址是https://github.com/callmelanmao/yunshare。百度云分享爬虫项目github上有好几个这样的开源项目，但是都只提供了爬虫部分，这个项目在爬虫的基础上还增加了保存数据，建立elasticsearch索引的模块，可以用在实际生产环境中，不过web模块还是需要自己开发安装安装node.js和pm2，node用来运行爬虫程序... 今天开源了一个百度云网盘爬虫项目，地址是https://github.com/callmelanmao/yunshare。百度云分享爬虫项目github上有好几个这样的开源项目，但是都只提供了爬虫部分，这个项目在爬虫的基础上还增加了保存数据，建立elasticsearch索引的模块，可以用在实际生产环境中，不过web模块还是需要自己开发安装安装node.js和pm2，node用来运行爬虫程序...
- 都云时代了，前段时间做一个IC卡读卡器的辅助工具。其中用到了Win32 API和C# WebBrowser的爬虫，记录并分享一下。 都云时代了，前段时间做一个IC卡读卡器的辅助工具。其中用到了Win32 API和C# WebBrowser的爬虫，记录并分享一下。
- 一学就会，WebSocket 实时数据爬取。从分析到编码，666 一学就会，WebSocket 实时数据爬取。从分析到编码，666
- 用Python获取知乎问题答案并转换为MarkDown文件 用Python获取知乎问题答案并转换为MarkDown文件
- python并发爬虫利器tomorrow python并发爬虫利器tomorrow
- 新手学习爬虫之创建第一个完整的scrapy工程-糗事百科 新手学习爬虫之创建第一个完整的scrapy工程-糗事百科
- 前一节我们了解了请求的发送过程，但是在网络不好的情况下，如果出现了异常，该怎么办呢？这时如果不处理这些异常，程序很可能因报错而终止运行，所以异常处理还是十分有必要的。 前一节我们了解了请求的发送过程，但是在网络不好的情况下，如果出现了异常，该怎么办呢？这时如果不处理这些异常，程序很可能因报错而终止运行，所以异常处理还是十分有必要的。
- 使用urllib的request模块，我们可以方便地实现请求的发送并得到响应，本节就来看下它的具体用法。 使用urllib的request模块，我们可以方便地实现请求的发送并得到响应，本节就来看下它的具体用法。
上滑加载中
推荐直播
-
华为云码道-玩转OpenClaw，在线养虾2026/03/11 周三 19:00-21:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力，华为云开发者生态运营总监/姚圣伟，华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发，看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw，让小艺成为你的AI助理。
回顾中 -
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中
热门标签