From 11d4a70090a35bb815b53d2e8c23936bf9d9b0b3 Mon Sep 17 00:00:00 2001 From: g1879 Date: Sun, 19 Feb 2023 23:56:45 +0800 Subject: [PATCH] =?UTF-8?q?=E5=BE=AE=E8=B0=83?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- DrissionPage/chromium_base.py | 2 +- DrissionPage/chromium_base.pyi | 2 +- README.md | 195 ++------------------------------- 3 files changed, 10 insertions(+), 189 deletions(-) diff --git a/DrissionPage/chromium_base.py b/DrissionPage/chromium_base.py index bea2ac9..c2cdfbd 100644 --- a/DrissionPage/chromium_base.py +++ b/DrissionPage/chromium_base.py @@ -917,7 +917,7 @@ class ChromiumPageWaiter(ChromiumWaiter): """ return self._loading(timeout=timeout, start=False) - def input_upload_paths(self): + def upload_paths_inputted(self): """等待自动填写上传文件路径""" while self._driver._upload_list: sleep(.01) diff --git a/DrissionPage/chromium_base.pyi b/DrissionPage/chromium_base.pyi index 1f4efe0..974285a 100644 --- a/DrissionPage/chromium_base.pyi +++ b/DrissionPage/chromium_base.pyi @@ -204,7 +204,7 @@ class ChromiumPageWaiter(ChromiumWaiter): def load_complete(self, timeout: Union[int, float] = None) -> bool: ... - def input_upload_paths(self) -> None: ... + def upload_paths_inputted(self) -> None: ... class ChromiumPageScroll(ChromiumScroll): diff --git a/README.md b/README.md index f69db85..220a91b 100644 --- a/README.md +++ b/README.md @@ -2,7 +2,7 @@ DrissionPage 是一个基于 python 的网页自动化工具。 -它既能控制浏览器，也能收发数据包，甚至能把两者合而为一。 +它既能控制浏览器，也能收发数据包，还能把两者合而为一。 可兼顾浏览器自动化的便利性和 requests 的高效率。 @@ -30,17 +30,17 @@ python 版本：3.6 及以上 **📖 使用文档：** [点击查看](http://g1879.gitee.io/drissionpagedocs) -**交流QQ群：** 897838127 +**交流 QQ 群：** 897838127 --- # 📕 背景 -用 requests 做数据采集面对要登录的网站时，要分析数据包、JS 源码，构造复杂的请求，往往还要应付验证码、JS 混淆、签名参数等反爬手段，门槛较高。若数据是由 JS 计算生成的，还须重现计算过程，体验不好，开发效率不高。 +用 requests 做数据采集面对要登录的网站时，要分析数据包、JS 源码，构造复杂的请求，往往还要应付验证码、JS 混淆、签名参数等反爬手段，门槛较高，开发效率不高。 使用浏览器，可以很大程度上绕过这些坑，但浏览器运行效率不高。 -因此，这个库设计初衷，是将它们合而为一，能够在不同须要时切换相应模式，并提供一种人性化的使用方法，提高开发和运行效率。 -除了合并两者，本库还以网页为单位封装了常用功能，提供非常简便的操作和语句，在用于网页自动化操作时，减少考虑细节，专注功能实现，使用更方便。 一切从简，尽量提供简单直接的使用方法，使代码更优雅。 +因此，这个库设计初衷，是将它们合而为一，同时实现“写得快”和“跑得快”。能够在不同须要时切换相应模式，并提供一种人性化的使用方法，提高开发和运行效率。 +除了合并两者，本库还以网页为单位封装了常用功能，提供非常简便的操作和语句，使用户可减少考虑细节，专注功能实现。 以简单的方式实现强大的功能，使代码更优雅。 以前的版本是对 selenium 进行重新封装实现的。从 3.0 开始，作者另起炉灶，对底层进行了重新开发，摆脱对 selenium 的依赖，增强了功能，提升了运行效率。 @@ -104,192 +104,13 @@ python 版本：3.6 及以上 --- -# 🌟 简单演示 +# 🌟 特性演示 -## ⭐ **与 selenium 代码对比** - -以下代码实现一模一样的功能，对比两者的代码量： - -🔸 用显性等待方式定位第一个文本包含`some text`的元素 - -```python -# 使用 selenium： -element = WebDriverWait(driver).until(ec.presence_of_element_located((By.XPATH, '//*[contains(text(), "some text")]'))) - -# 使用 DrissionPage： -element = page('some text') -``` - -🔸 跳转到第一个标签页 - -```python -# 使用 selenium： -driver.switch_to.window(driver.window_handles[0]) - -# 使用 DrissionPage： -page.to_tab(page.tabs[0]) -``` - -🔸 按文本选择下拉列表 - -```python -# 使用 selenium： -from selenium.webdriver.support.select import Select - -select_element = Select(element) -select_element.select_by_visible_text('text') - -# 使用 DrissionPage： -element.select('text') -``` - -🔸 拖拽一个元素 - -```python -# 使用 selenium： -ActionChains(driver).drag_and_drop(ele1, ele2).perform() - -# 使用 DrissionPage： -ele1.drag_to(ele2) -``` - -🔸 滚动窗口到底部（保持水平滚动条不变） - -```python -# 使用 selenium： -driver.execute_script("window.scrollTo(document.documentElement.scrollLeft, document.body.scrollHeight);") - -# 使用 DrissionPage： -page.scroll.to_bottom() -``` - -🔸 获取伪元素内容 - -```python -# 使用 selenium： -text = webdriver.execute_script('return window.getComputedStyle(arguments[0], "::after").getPropertyValue("content");', - element) - -# 使用 DrissionPage： -text = element.pseudo_after -``` - -🔸 shadow-root 操作 - -```python -# 使用 selenium： -shadow_element = webdriver.execute_script('return arguments[0].shadowRoot', element) - -# 使用 DrissionPage： -shadow_element = element.sr - -# 在 shadow_root 下可继续执行查找，获取普通元素 -ele = shadow_element.ele('tag:div') -ele.click() -``` - -🔸 随时让浏览器窗口消失和显示（Windows系统） - -```python -# selenium 无此功能 - -# 使用 DrissionPage -page.hide_browser() # 让浏览器窗口消失 -page.show_browser() # 重新显示浏览器窗口 -``` - -## ⭐ **与 requests 代码对比** - -以下代码实现一模一样的功能，对比两者的代码量： - -🔸 获取元素内容 - -```python -url = 'https://baike.baidu.com/item/python' - -# 使用 requests： -from lxml import etree - -headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/41.0.2272.118 Safari/537.36'} -response = requests.get(url, headers=headers) -html = etree.HTML(response.text) -element = html.xpath('//h1')[0] -title = element.text - -# 使用 DrissionPage： -page = WebPage('s') -page.get(url) -title = page('tag:h1').text -``` - -Tips: DrissionPage 自带默认`headers` - -🔸 下载文件 - -```python -url = 'https://www.baidu.com/img/flexible/logo/pc/result.png' -save_path = r'C:\download' - -# 使用 requests： -r = requests.get(url) -with open(f'{save_path}\\img.png', 'wb') as fd: - for chunk in r.iter_content(): - fd.write(chunk) - -# 使用 DrissionPage： -page.download(url, save_path, 'img') # 支持重命名，处理文件名冲突，自动创建目标文件夹 -``` - -## ⭐ **模式切换** - -用浏览器登录网站，然后切换到 requests 读取网页。两者会共享登录信息。 - -```python -page = WebPage() # 创建页面对象，默认 driver 模式 -page.get('https://gitee.com/profile') # 访问个人中心页面（未登录，重定向到登录页面） - -page.ele('@id:user_login').input('your_user_name') # 使用 selenium 输入账号密码登录 -page.ele('@id:user_password').input('your_password\n') -sleep(1) - -page.change_mode() # 切换到 session 模式 -print('登录后title：', page.title, '\n') # 登录后 session 模式的输出 -``` - -输出： - -``` -登录后title： 个人资料 - 码云 Gitee.com -``` - -**获取并显示元素属性** - -```python -# 接上段代码 -foot = page.ele('@id:footer-left') # 用 id 查找元素 -first_col = foot.ele('css:>div') # 使用 css selector 在元素的下级中查找元素（第一个） -lnk = first_col.ele('text:命令学') # 使用文本内容查找元素 -text = lnk.text # 获取元素文本 -href = lnk.attr('href') # 获取元素属性值 - -print(text, href, '\n') - -# 简洁模式串联查找 -text = page('@id:footer-left')('css:>div')('text:命令学').text -print(text) -``` - -输出： - -``` -Git 命令学习 https://oschina.gitee.io/learn-git-branching/ - -Git 命令学习 -``` +[点击查看](http://g1879.gitee.io/drissionpagedocs/2_features/2_features_demos/2_compare_with_selenium/) --- -# 🛠 使用方法 +# 🛠 使用文档 [点击跳转到使用文档](http://g1879.gitee.io/drissionpage)