- 最近需要在一个网站下载一批数据。但是输入一个查询，返回三四万条结果，每次只能导出500条，而且每次还得输入下载条目的范围！这样点击下载，还不要了我的老命。于是乎想自动化这个过程。 我的需求主要是两点：1. 要求自动化程度高。最好有直接模拟浏览器鼠标和键盘动作的成熟接口，比如在文本框输入，选择下拉列表，单选框，复选框，点击按钮等。2. ... 最近需要在一个网站下载一批数据。但是输入一个查询，返回三四万条结果，每次只能导出500条，而且每次还得输入下载条目的范围！这样点击下载，还不要了我的老命。于是乎想自动化这个过程。 我的需求主要是两点：1. 要求自动化程度高。最好有直接模拟浏览器鼠标和键盘动作的成熟接口，比如在文本框输入，选择下拉列表，单选框，复选框，点击按钮等。2. ...
- selenium包中ActionChains类给出的示例如下： menu = driver.find_element_by_css_selector(".nav") hidden_submenu = driver.find_element_by_css_selector(".nav #submenu1") actions = ActionChains(driver)... selenium包中ActionChains类给出的示例如下： menu = driver.find_element_by_css_selector(".nav") hidden_submenu = driver.find_element_by_css_selector(".nav #submenu1") actions = ActionChains(driver)...
- selenium操作Firefox报错socket.error: [Errno 10054] 开始以为是时间不够，增加等待时间，然后没有什么用 查看：https://github.com/mozilla/geckodriver/releases 发现版本要求，再查看本地的Selenium 版本太低，是3.6的，果断升级 Firefox 57 (and great... selenium操作Firefox报错socket.error: [Errno 10054] 开始以为是时间不够，增加等待时间，然后没有什么用 查看：https://github.com/mozilla/geckodriver/releases 发现版本要求，再查看本地的Selenium 版本太低，是3.6的，果断升级 Firefox 57 (and great...
- 添加无认证代理，以参数形式添加 chromeOptions = webdriver.ChromeOptions() chromeOptions.add_argument('--proxy-server=http://ip:port') driver = webdriver.Chrome(chrome_options=chromeOptions) 123 添加认证... 添加无认证代理，以参数形式添加 chromeOptions = webdriver.ChromeOptions() chromeOptions.add_argument('--proxy-server=http://ip:port') driver = webdriver.Chrome(chrome_options=chromeOptions) 123 添加认证...
- 烯牛数据地址： http://www.xiniudata.com/project/event/lib/invest 打开页面，能正常看到内容，查看源代码发现页面并没有出现我们需要的内容，说明这是异步加载的内容。 数据抓取 方式1： 采用requests或scrapy，拿不到页面数据，api数据加密不好处理 方式2： 采用PhantomJS，尝试多次还是拿不... 烯牛数据地址： http://www.xiniudata.com/project/event/lib/invest 打开页面，能正常看到内容，查看源代码发现页面并没有出现我们需要的内容，说明这是异步加载的内容。 数据抓取 方式1： 采用requests或scrapy，拿不到页面数据，api数据加密不好处理 方式2： 采用PhantomJS，尝试多次还是拿不...
- # 项目简介：利用selenium爬取淘宝商品信息 """ 思路： 1、先打开浏览器，输入关键字，点击搜索，获取商品页总页数 2、通过遍历所有页面，获取商品页 3、获取页面的时候同时进行解析页面内容 4、将获取到的数据，存入mongodb中 技巧： 1、先通过chrome测试需要的内容，再修改为phatomjs 2、每次需要模拟操作之前，可以设置等待条件，等待加载完... # 项目简介：利用selenium爬取淘宝商品信息 """ 思路： 1、先打开浏览器，输入关键字，点击搜索，获取商品页总页数 2、通过遍历所有页面，获取商品页 3、获取页面的时候同时进行解析页面内容 4、将获取到的数据，存入mongodb中 技巧： 1、先通过chrome测试需要的内容，再修改为phatomjs 2、每次需要模拟操作之前，可以设置等待条件，等待加载完...
- 如果爬虫不会Selenium 就不要说自己会爬虫 Selenium简介 Selenium是一个用于web自动化测试的工具，Selenium测试直接运行在浏览器中，就好像一个真正的用户在操作一样 支持大部分主流的浏览器，包括IE(7,8,9,10,11)，Firefox，Safari，Chrome，Opera等。 我们可以利用它来模拟用户点击访问网站，绕过一些复杂... 如果爬虫不会Selenium 就不要说自己会爬虫 Selenium简介 Selenium是一个用于web自动化测试的工具，Selenium测试直接运行在浏览器中，就好像一个真正的用户在操作一样 支持大部分主流的浏览器，包括IE(7,8,9,10,11)，Firefox，Safari，Chrome，Opera等。 我们可以利用它来模拟用户点击访问网站，绕过一些复杂...
- 关闭图片加载 from selenium import webdriver options = webdriver.ChromeOptions() options.add_experimental_option('prefs', {'profile.managed_default_content_settings.images': 2}) browser = web... 关闭图片加载 from selenium import webdriver options = webdriver.ChromeOptions() options.add_experimental_option('prefs', {'profile.managed_default_content_settings.images': 2}) browser = web...
- 背景 之前一直在研究scrapy下数据抓取，在研究ajax数据抓取时碰巧研究了一下selenium，确实很实用，不过只做scrapy下的数据抓取，不怎么合适 一是性能的损耗，一直需要开一个浏览器 二是对于爬虫来说，分析ajax的请求才是正事 好吧，说远了，今天来扯一下我对于自动化测试一些见解。 python下的自动化测试库实在之多，selenium是浏览器测试的大杀器，关... 背景 之前一直在研究scrapy下数据抓取，在研究ajax数据抓取时碰巧研究了一下selenium，确实很实用，不过只做scrapy下的数据抓取，不怎么合适 一是性能的损耗，一直需要开一个浏览器 二是对于爬虫来说，分析ajax的请求才是正事 好吧，说远了，今天来扯一下我对于自动化测试一些见解。 python下的自动化测试库实在之多，selenium是浏览器测试的大杀器，关...
- 源起 还是爬虫里面的某个场景需要重度使用selenium场景 ，所以需要起这样一个集群 对比 单机 docker docker-compose 分布式集群 我们在使用selenium 的时候，我们一般就使用以上的环境和模式,单机怎么操作呢，下载相应的webdriver 单机 对于小型的使用环境，比如单线程操作，我们直接下载好相应版本的driver ，直接安装 sele... 源起 还是爬虫里面的某个场景需要重度使用selenium场景 ，所以需要起这样一个集群 对比 单机 docker docker-compose 分布式集群 我们在使用selenium 的时候，我们一般就使用以上的环境和模式,单机怎么操作呢，下载相应的webdriver 单机 对于小型的使用环境，比如单线程操作，我们直接下载好相应版本的driver ，直接安装 sele...
- 背景 在新创建python环境之后，总是免不了要去找selenium-driver 二进制文件，然后安装相应的python selenium包，实在是太麻烦了，下面介绍一种省时省力的方法 pip install webdriver-manager 12 pip install webdriver-manager 使用以上命令安... 背景 在新创建python环境之后，总是免不了要去找selenium-driver 二进制文件，然后安装相应的python selenium包，实在是太麻烦了，下面介绍一种省时省力的方法 pip install webdriver-manager 12 pip install webdriver-manager 使用以上命令安...
- 今天是持续写作的第 31 / 100 天。 如果你有想要交流的想法、技术，欢迎在评论区留言。 本篇文章主要承接的是 《用 Selenium 搞定自动化测试项目，途牛搜机票。》 ，本文将对其代码进行优化与重构。 文章目录 封装元素定位函数提炼函数到单独的文件中Selenium 代码异常补充知识点 `implicitly_wait()` 方... 今天是持续写作的第 31 / 100 天。 如果你有想要交流的想法、技术，欢迎在评论区留言。 本篇文章主要承接的是 《用 Selenium 搞定自动化测试项目，途牛搜机票。》 ，本文将对其代码进行优化与重构。 文章目录 封装元素定位函数提炼函数到单独的文件中Selenium 代码异常补充知识点 `implicitly_wait()` 方...
- Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。对于一些 JavaScript 渲染的页面来说，这种抓取方式非常有效。下面我们来看看 Selenium 的安装过程。 1. 相关链接 官方网站：http://www.seleniumhq.org GitHub：https://github.com/SeleniumHQ/se... Selenium 是一个自动化测试工具，利用它我们可以驱动浏览器执行特定的动作，如点击、下拉等操作。对于一些 JavaScript 渲染的页面来说，这种抓取方式非常有效。下面我们来看看 Selenium 的安装过程。 1. 相关链接 官方网站：http://www.seleniumhq.org GitHub：https://github.com/SeleniumHQ/se...
- 更新 其实本文的初衷是为了获取淘宝的非匿名旺旺，在淘宝详情页的最下方有相关评论，含有非匿名旺旺号，快一年了淘宝都没有修复这个。 可就在今天，淘宝把所有的账号设置成了匿名显示，SO，获取非匿名旺旺号已经不可能了。那本节就带大家抓取匿名旺旺号熟悉一下 Selenium 吧。 2016/7/1 前言 嗯，淘宝，它一直是个难搞的家伙。 而且买家在买宝贝的时候大多数都是匿名评论的，大... 更新 其实本文的初衷是为了获取淘宝的非匿名旺旺，在淘宝详情页的最下方有相关评论，含有非匿名旺旺号，快一年了淘宝都没有修复这个。 可就在今天，淘宝把所有的账号设置成了匿名显示，SO，获取非匿名旺旺号已经不可能了。那本节就带大家抓取匿名旺旺号熟悉一下 Selenium 吧。 2016/7/1 前言 嗯，淘宝，它一直是个难搞的家伙。 而且买家在买宝贝的时候大多数都是匿名评论的，大...
- 任务要求： 网址为https://www.jianshu.com/u/9104ebf5e177，爬取内容为简书用户的最新评论中的评论题目、评论内容及评论时间，爬取5页，用selenium爬取，将这些评论存入Excel文件中，文件后缀为.xls。将ipynb文件和后缀为.xls的文件压缩打包。 通过博客对selenium的简单介绍，现在开始实战啦... 任务要求： 网址为https://www.jianshu.com/u/9104ebf5e177，爬取内容为简书用户的最新评论中的评论题目、评论内容及评论时间，爬取5页，用selenium爬取，将这些评论存入Excel文件中，文件后缀为.xls。将ipynb文件和后缀为.xls的文件压缩打包。 通过博客对selenium的简单介绍，现在开始实战啦...
上滑加载中
推荐直播
-
香橙派AIpro的远程推理框架与实验案例2025/07/04 周五 19:00-20:00
郝家胜 -华为开发者布道师-高校教师
AiR推理框架创新采用将模型推理与模型应用相分离的机制，把香橙派封装为AI推理黑盒服务，构建了分布式远程推理框架，并提供多种输入模态、多种输出方式以及多线程支持的高度复用框架，解决了开发板环境配置复杂上手困难、缺乏可视化体验和资源稀缺课程受限等痛点问题，真正做到开箱即用，并支持多种笔记本电脑环境、多种不同编程语言，10行代码即可体验图像分割迁移案例。
回顾中 -
鸿蒙端云一体化应用开发2025/07/10 周四 19:00-20:00
倪红军 华为开发者布道师-高校教师
基于鸿蒙平台终端设备的应用场景越来越多、使用范围越来越广。本课程以云数据库服务为例，介绍云侧项目应用的创建、新建对象类型、新增存储区及向对象类型中添加数据对象的方法，端侧（HarmonyOS平台）一体化工程项目的创建、云数据资源的关联方法及对云侧数据的增删改查等操作方法，为开发端云一体化应用打下坚实基础。
即将直播
热门标签