- 以下是常见头部反爬技巧与验证方式的大纲：User-Agent 字段的伪装方式，Referer 字段的伪装方式，Cookie 字段的伪装方式。 1. ⛳️ 头部反爬技巧 1.1. User-Agent 字段&User-Agent 的作用User-Agent字段是 HTTP 协议中的一个请求头部，通常用于标识客户端发送请求的应用程序、操作系统、设备类型、版本等信息。服务器可以根据 User-Ag... 以下是常见头部反爬技巧与验证方式的大纲：User-Agent 字段的伪装方式，Referer 字段的伪装方式，Cookie 字段的伪装方式。 1. ⛳️ 头部反爬技巧 1.1. User-Agent 字段&User-Agent 的作用User-Agent字段是 HTTP 协议中的一个请求头部，通常用于标识客户端发送请求的应用程序、操作系统、设备类型、版本等信息。服务器可以根据 User-Ag...
- 常见加密手段 实验介绍本实验为大家介绍一下常见的加密技术，掌握之后，可以在反爬时加入各加密算法，从而提高爬虫采集难度，本实验为大家介绍三类加密，其一是消息摘要算法/签名算法，其二是对称加密，最后一种是非对称加密，每一类型，都通过 Python 代码进行实践。特别提醒，本实验内容不会对加密算法底层逻辑进行解析，学习重点在应用层。 知识点消息摘要算法/签名算法实践对称加密算法实践非对称加密算法... 常见加密手段 实验介绍本实验为大家介绍一下常见的加密技术，掌握之后，可以在反爬时加入各加密算法，从而提高爬虫采集难度，本实验为大家介绍三类加密，其一是消息摘要算法/签名算法，其二是对称加密，最后一种是非对称加密，每一类型，都通过 Python 代码进行实践。特别提醒，本实验内容不会对加密算法底层逻辑进行解析，学习重点在应用层。 知识点消息摘要算法/签名算法实践对称加密算法实践非对称加密算法...
- 在爬虫实战过程中，常见的反爬手段如下所示。IP 地址限制：网站可以检测爬虫的 IP 地址，并限制爬虫访问。User-Agent 限制：网站可以通过检测请求头中的 User-Agent 来识别爬虫。Referrer 限制：网站可以通过检测请求头中的 Referrer 字段来识别爬虫。Cookies 限制：网站可以通过在响应中发送 Cookies 来识别爬虫。频率限制：网站可以限制爬虫访问频率，... 在爬虫实战过程中，常见的反爬手段如下所示。IP 地址限制：网站可以检测爬虫的 IP 地址，并限制爬虫访问。User-Agent 限制：网站可以通过检测请求头中的 User-Agent 来识别爬虫。Referrer 限制：网站可以通过检测请求头中的 Referrer 字段来识别爬虫。Cookies 限制：网站可以通过在响应中发送 Cookies 来识别爬虫。频率限制：网站可以限制爬虫访问频率，...
- Python 压缩文件系列文章，我们已经完成了 2 篇，具体如下：本篇博客将学习压缩 JS 代码，首先要学习的模块是 jsmin。 🚩 jsmin 库Python 中的 jsmin 库来压缩 JavaScript 文件。这个库可以通过删除不必要的空格和注释来最小化 JavaScript 代码。 🎨 库的安装在控制台使用如下命令即可安装，注意如果网络不好，请切换国内源。pip instal... Python 压缩文件系列文章，我们已经完成了 2 篇，具体如下：本篇博客将学习压缩 JS 代码，首先要学习的模块是 jsmin。 🚩 jsmin 库Python 中的 jsmin 库来压缩 JavaScript 文件。这个库可以通过删除不必要的空格和注释来最小化 JavaScript 代码。 🎨 库的安装在控制台使用如下命令即可安装，注意如果网络不好，请切换国内源。pip instal...
- 📖 导读本篇博客我们将全面了解 Flask 中关于请求的相关设置，开始前你需要先配置 Flask 的基础框架。from flask import Flask, make_responseapp = Flask(__name__)@app.route('/')def index(): response = make_response("Hello, 梦想橡皮擦") respon... 📖 导读本篇博客我们将全面了解 Flask 中关于请求的相关设置，开始前你需要先配置 Flask 的基础框架。from flask import Flask, make_responseapp = Flask(__name__)@app.route('/')def index(): response = make_response("Hello, 梦想橡皮擦") respon...
- 本篇博客为大家详细介绍一下如何在 Python 中压缩 CSS 文件。正式开始前，需要准备一个未压缩过的 CSS 文件。 csscompressor 库使用在 Python 中可以使用多种方法来压缩 CSS 文件。其中一种流行的方法是使用 csscompressor 库，这个库可以帮助你压缩 CSS 代码，减小文件大小。在控制台中运行 pip install csscompressor 来安... 本篇博客为大家详细介绍一下如何在 Python 中压缩 CSS 文件。正式开始前，需要准备一个未压缩过的 CSS 文件。 csscompressor 库使用在 Python 中可以使用多种方法来压缩 CSS 文件。其中一种流行的方法是使用 csscompressor 库，这个库可以帮助你压缩 CSS 代码，减小文件大小。在控制台中运行 pip install csscompressor 来安...
- 在正式学习本篇博客前，先要了解一下什么是 SVG（Scalable Vector Graphics），它是一种矢量图形格式，可以用来在网页上创建可伸缩的图形。使用 SVG 技术实现反爬虫的方法有以下几种：验证码：使用 SVG 创建验证码图形，用户需要识别图形中的文字或数字来完成验证。图形拼图：将一张图片分成多个小图片，用户需要将小图片拼回原图才能访问网站。滑动验证：使用 SVG 创建滑块，用... 在正式学习本篇博客前，先要了解一下什么是 SVG（Scalable Vector Graphics），它是一种矢量图形格式，可以用来在网页上创建可伸缩的图形。使用 SVG 技术实现反爬虫的方法有以下几种：验证码：使用 SVG 创建验证码图形，用户需要识别图形中的文字或数字来完成验证。图形拼图：将一张图片分成多个小图片，用户需要将小图片拼回原图才能访问网站。滑动验证：使用 SVG 创建滑块，用...
- 前言什么是树在学习二叉树之前.我们先来了解什么是树,跟我们现实生活中的树有什么联系,又有什么区别,树是一种很简单的结构,他是非线性的结构.在这种结构中,所有的元素之间的关系具有明显的层次特性,节点（Node）是树的基本构成部分,每个节点只有一个前件,成为父节点,没前件的父节点只有一个,那就是树的根节点（Root）.每个节点可以有多个后件,这就是树的子节点（Children）.没有后件(没有子... 前言什么是树在学习二叉树之前.我们先来了解什么是树,跟我们现实生活中的树有什么联系,又有什么区别,树是一种很简单的结构,他是非线性的结构.在这种结构中,所有的元素之间的关系具有明显的层次特性,节点（Node）是树的基本构成部分,每个节点只有一个前件,成为父节点,没前件的父节点只有一个,那就是树的根节点（Root）.每个节点可以有多个后件,这就是树的子节点（Children）.没有后件(没有子...
- 0x00 前言python shellcode免杀的常用手法，实现过常见AV的效果。本文分为几个部分：1、shellcode加载器实现；2、代码混淆；3、寻找免杀api4、分离免杀，分离加载器与shellcode；5、python打包成exe6、组合，免杀效果分析0x01 shellcode加载器实现第一个shellcode加载器大部分脚本语言加载Shellcode都是通过c的ffi去调用操... 0x00 前言python shellcode免杀的常用手法，实现过常见AV的效果。本文分为几个部分：1、shellcode加载器实现；2、代码混淆；3、寻找免杀api4、分离免杀，分离加载器与shellcode；5、python打包成exe6、组合，免杀效果分析0x01 shellcode加载器实现第一个shellcode加载器大部分脚本语言加载Shellcode都是通过c的ffi去调用操...
- 前言每学习一个新东西总要首先知道他是什么，能做什么，怎么做，类似于哲学中的三大问题：我是谁，从哪里来，要到哪里去。或许我们一直徘徊在哲学的迷思中，也许一直想不明白，但是在思考的过程中或许会越来越接近真相，也让自己变得更强，所以进步从思考开始，我们学习算法也一样，我们得知道他是什么，思考他能解决哪些问题，具体怎么实现。那插入排序是什么呢？使用它需要满足什么条件？何为插入排序顾名思义,插入排序是... 前言每学习一个新东西总要首先知道他是什么，能做什么，怎么做，类似于哲学中的三大问题：我是谁，从哪里来，要到哪里去。或许我们一直徘徊在哲学的迷思中，也许一直想不明白，但是在思考的过程中或许会越来越接近真相，也让自己变得更强，所以进步从思考开始，我们学习算法也一样，我们得知道他是什么，思考他能解决哪些问题，具体怎么实现。那插入排序是什么呢？使用它需要满足什么条件？何为插入排序顾名思义,插入排序是...
- 介绍在数据分析和经济研究中，了解中国各省份的GDP数据是非常重要的。然而，手动收集这些数据可能是一项繁琐且费时的任务。幸运的是，Python提供了一些强大的工具和库，使我们能够自动化地从互联网上爬取数据。本文将介绍如何使用Python爬取中国各省份的GDP数据，并展示如何进行数据清洗和分析。 步骤 1. 导入所需的库首先，我们需要导入Python中的一些库，包括requests和Beaut... 介绍在数据分析和经济研究中，了解中国各省份的GDP数据是非常重要的。然而，手动收集这些数据可能是一项繁琐且费时的任务。幸运的是，Python提供了一些强大的工具和库，使我们能够自动化地从互联网上爬取数据。本文将介绍如何使用Python爬取中国各省份的GDP数据，并展示如何进行数据清洗和分析。 步骤 1. 导入所需的库首先，我们需要导入Python中的一些库，包括requests和Beaut...
- 0x00 前言之前一直在研究webpack的问题（有兴趣可以看我之前的两篇文章），最近感觉自己webapck已经大成，就看了看别的漏洞，在TOP10里我毫不犹豫的选择了主攻注入。我通常都是边学边挖的，这篇记录一下挖到的一个小通杀，这篇文章中的注入虽然很简单但也给了我很大的动力0x01 过程通杀挖掘TIPS：EDU有个开发商排行榜，拿下一个就是通杀作为想上大分的人，快人一步开始打点，鹰图语法：... 0x00 前言之前一直在研究webpack的问题（有兴趣可以看我之前的两篇文章），最近感觉自己webapck已经大成，就看了看别的漏洞，在TOP10里我毫不犹豫的选择了主攻注入。我通常都是边学边挖的，这篇记录一下挖到的一个小通杀，这篇文章中的注入虽然很简单但也给了我很大的动力0x01 过程通杀挖掘TIPS：EDU有个开发商排行榜，拿下一个就是通杀作为想上大分的人，快人一步开始打点，鹰图语法：...
- 网友：我这就去把手机的清理软件给卸载了。 网友：我这就去把手机的清理软件给卸载了。
- 报错numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array with shape (370, 370) and data type float64 原因最主要的还是电脑内存不足，因为需要处理的数据量太大，GPU性能不够，存在内存溢出现象但实际上它保存的不是模型文件，而是参数文件文件。在模型文件... 报错numpy.core._exceptions.MemoryError: Unable to allocate 1.04 MiB for an array with shape (370, 370) and data type float64 原因最主要的还是电脑内存不足，因为需要处理的数据量太大，GPU性能不够，存在内存溢出现象但实际上它保存的不是模型文件，而是参数文件文件。在模型文件...
- 前言何为队列？队列：跟数组一样，队列中的数据也是呈线性排列的，它是一种先进先出(FIFO: First in First Out)的线性结构，队列是只允许在一端进行插入操作,而在另一端进行删除操作的线性表.即在队列的尾部入队，在队列的头部出队。在队列中添加和删除数据的操作分别是在两端进行的。顾名思义，他就和我们现实生活中的‘队列’是一样的，你可以把它想象操场上排成一列的队伍，在队列中，操作总... 前言何为队列？队列：跟数组一样，队列中的数据也是呈线性排列的，它是一种先进先出(FIFO: First in First Out)的线性结构，队列是只允许在一端进行插入操作,而在另一端进行删除操作的线性表.即在队列的尾部入队，在队列的头部出队。在队列中添加和删除数据的操作分别是在两端进行的。顾名思义，他就和我们现实生活中的‘队列’是一样的，你可以把它想象操场上排成一列的队伍，在队列中，操作总...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签