# ✨️简洁!易用 !方便!✨️ DrissionPage,即 driver 和 session 组合而成的 page。 是个基于 python 的 Web 自动化操作集成工具。 它用 POM 模式封装了页面和元素常用的方法, 自带一套简洁直观优雅的元素定位语法, 实现了浏览器和 requests 之间的无缝切换, 可兼顾浏览器自动化的便利性和 requests 的高效率, 更棒的是,它的使用方式非常简洁和人性化,代码量少,对新手友好。 **交流QQ群:** 897838127 **联系邮箱:** g1879@qq.com ## 📕 背景 用 requests 做数据采集面对要登录的网站时,要分析数据包、JS 源码,构造复杂的请求,往往还要应付验证码、JS 混淆、签名参数等反爬手段,门槛较高。若数据是由 JS 计算生成的,还须重现计算过程,体验不好,开发效率不高。 使用浏览器,可以很大程度上绕过这些坑,但浏览器运行效率不高。因此,这个库将它们合而为一,不同须要时切换相应模式,并提供一种人性化的使用方法,提高开发和运行效率。 除了合并两者,本库还以网页为单位封装了常用功能,提供非常简便的操作和语句,在用于网页自动化操作时,减少考虑细节,专注功能实现,使用更方便。 一切从简,尽量提供简单直接的使用方法,对新手更友好。 # 🔆 3.0 版隆重推出 以前的版本是对 selenium 进行重新封装实现的。从 3.0 开始,作者另起炉灶,对底层进行了重新开发,摆脱对 selenium 的依赖,增强了功能,提升了运行效率。 3.0 全新开发的页面对象是`WebPage`,支持 chromium 内核的浏览器(如 chrome 和 edge)。除了保持之前的功能,比依赖 selenium 的`MixPage`有以下优点: - 无 webdriver 特征,不会被网站识别 - 无需为不同版本的浏览器下载不同的驱动 - 运行速度更快 - 可以跨 iframe 查找元素,无需切入切出 - 把 iframe 看作普通元素,获取后可直接在其中查找元素,逻辑更清晰 - 可以同时操作浏览器中的多个标签页,即使标签页为非激活状态,无需切换 - 可以直接读取浏览器缓存来保存图片,无需用 GUI 点击另存 - 可以对整个网页截图,包括视口外的部分(90以上版本浏览器支持) - 对 Linux 提供良好支持 新版是自己实现的功能,开发不会受太多限制,以后将主要对`WebPage`进行更新。 3.0 版已经发布,目前正在测试,欢迎试用并提出意见,让我做得更好。 # 💡 特性和亮点 作者踩过无数坑,总结出的经验全写到这个库里了。内置了 N 多实用功能,对常用功能作了整合和优化。 ## 🎉 特性 - 代码高度集成,以简洁的代码为第一追求。 - 页面对象可在浏览器和 requests 模式间任意切换,保留登录状态。 - 极简单但强大的元素定位语法,支持链式操作,代码极其简洁。 - 两种模式提供一致的 API,使用体验一致。 - 人性化设计,集成众多实用功能,大大降低开发工作量。 ## 🎇 亮点功能 - 每次运行程序可以反复使用已经打开的浏览器。如手动设置网页到某个状态,再用程序接管,或手动处理登录,再用程序爬内容。无须每次运行从头启动浏览器,超级方便。 - 使用 ini 文件保存常用配置,自动调用,也提供便捷的设置 API,远离繁杂的配置项。 - 极致简明的定位语法,支持直接按文本定位元素,支持直接获取前后兄弟元素和父元素等。 - 强大的下载工具,操作浏览器时也能享受快捷可靠的下载功能。 - 下载工具支持多种方式处理文件名冲突、自动创建目标路径、断链重试等。 - 访问网址带自动重试功能,可设置间隔和超时时间。 - 访问网页能自动识别编码,无须手动设置。 - 链接参数默认自动生成`Host`和`Referer`属性。 - 可随时直接隐藏或显示浏览器进程窗口,非 headless 或最小化。 - 可自动下载合适版本的 chromedriver,免去麻烦的配置。 - d 模式查找元素内置等待,可任意设置全局等待时间或单次查找等待时间。 - 点击元素集成 js 点击方式,一个参数即可切换点击方式。 - 点击支持失败重试,可用于保证点击成功、判读网页遮罩层是否消失等。 - 输入文本能自动判断是否成功并重试,避免某些情况下输入或清空失效的情况。 - d 模式下支持全功能的 xpath,可直接获取元素的某个属性,selenium 原生无此功能。 - 支持直接获取`shadow-root`,和普通元素一样操作其下的元素。 - 支持直接获取`after`和`before`伪元素的内容。 - 可以在元素下直接使用 > 以 css selector 方式获取当前元素直接子元素。原生不支持这种写法。 - 可简单地使用 lxml 来解析 d 模式的页面或元素,爬取复杂页面数据时速度大幅提高。 - 输出的数据均已转码及处理基本排版,减少重复劳动。 - 可方便地与 selenium 或 requests 原生代码对接,便于项目迁移。 - 使用 POM 模式封装,可直接用于测试,便于扩展。 - d 模式配置可同时兼容`debugger_address`和其它参数,原生不能兼容。 - 还有很多这里不一一列举………… # 🖐🏻 免责声明 请勿将 DrissionPage 应用到任何可能会违反法律规定和道德约束的工作中,请友善使用 DrissionPage,遵守蜘蛛协议,不要将 DrissionPage 用于任何非法用途。如您选择使用 DrissionPage 即代表您遵守此协议,作者不承担任何由于您违反此协议带来任何的法律风险和损失,一切后果由您承担。 # ☕ 请我喝咖啡 如果本项目对您有所帮助,不妨请作者我喝杯咖啡 :) ![](imgs/code.jpg)