Requests库实现数据抓取与处理功能
作者:愤怒的阿木木 发布时间:2021-09-24 01:44:09
引言
Requests是Python中一个常用的第三方库,用于向Web服务器发起HTTP请求并获取响应。该库的使用简单,功能强大,被广泛应用于网络爬虫、API访问、Web应用开发等领域。
本文将介绍Requests库的基本用法、常见功能和高级应用,并提供实例代码来展示这些功能。
安装
Requests库可以通过pip安装,执行以下命令即可:
pip install requests
基本用法
使用Requests库发起HTTP请求非常简单。以下是一个使用Requests库向百度发起HTTP GET请求并获取响应的示例:
import requests
response = requests.get('http://www.baidu.com')
print(response.status_code) # 输出响应状态码
print(response.text) # 输出响应内容
上述代码中,requests.get方法用于向指定的URL发起HTTP GET请求,并返回响应对象。响应对象包含响应的状态码、响应头和响应体等信息。我们可以通过调用响应对象的属性和方法来获取和处理这些信息。
在上述示例中,我们调用了响应对象的status_code属性获取响应状态码,并调用了text属性获取响应内容。最后,我们将这些信息输出到控制台。
发送HTTP请求
Requests库支持多种HTTP请求方法,包括GET、POST、PUT、DELETE、HEAD、OPTIONS等。我们可以通过调用相应的方法来发起指定的HTTP请求。
以下是一个使用Requests库向服务器发送POST请求并提交JSON数据的示例:
import requests
url = 'http://example.com/api'
headers = {'Content-Type': 'application/json'}
data = {'name': 'John', 'age': 30}
response = requests.post(url, json=data, headers=headers)
print(response.status_code) # 输出响应状态码
print(response.json()) # 输出响应JSON数据
上述代码中,我们向http://example.com/api URL发送POST请求,并提交一个包含name和age字段的JSON数据。我们使用headers参数设置请求头,指定请求体的数据格式为JSON。使用json参数提交JSON数据,这样Requests库会自动将JSON数据转换为请求体。
响应对象的json方法用于解析响应体中的JSON数据。如果响应体不是JSON格式,则会抛出异常。我们可以使用text属性获取响应体的原始文本。
处理HTTP响应
Requests库的响应对象提供了一系列属性和方法,用于获取和处理响应的状态码、响应头和响应体等信息。以下是一些常用的响应对象方法:
status_code:获取响应状态码。
headers:获取响应头信息。
text:获取响应体的原始文本。
content:获取响应体的二进制数据。
json:获取响应体中的JSON数据,并将其解析为Python对象。
encoding:获取响应体的编码方式。
raise_for_status():如果响应状态码不是2xx,抛出异常。
iter_content():按块读取响应体的数据。
iter_lines():按行读取响应体的数据。
这些方法和属性使得我们能够方便地提取和处理HTTP响应的各个部分。
高级功能
Requests库还提供了一些高级功能,进一步增强了其实用性。
1.会话管理
通过创建会话对象,我们可以在多个请求之间保持会话状态。这对于处理需要认证、Cookie管理等场景非常有用。以下是一个使用会话对象的示例:
import requests
session = requests.Session()
session.headers.update({'User-Agent': 'Mozilla/5.0'})
session.get('http://www.example.com/login', params={'username': 'john', 'password': 'password'})
session.post('http://www.example.com/data', data={'key': 'value'})
在上述示例中,我们创建了一个会话对象session,并通过调用get和post方法发送GET和POST请求。会话对象会自动保持会话状态,并且可以在多个请求之间共享Cookie、HTTP头等信息。
2.代理设置
Requests库支持设置代理服务器,以便在发起请求时通过代理进行访问。以下是一个使用代理的示例:
import requests
proxies = {'http': 'http://proxy.example.com', 'https': 'https://proxy.example.com'}
response = requests.get('http://www.example.com', proxies=proxies)
在上述示例中,我们通过proxies参数设置HTTP和HTTPS请求的代理服务器。Requests库将使用指定的代理服务器来发起请求。
3.SSL证书验证
默认情况下,Requests库会验证SSL证书的有效性。如果你想禁用证书验证或使用自定义的证书,可以通过verify参数来设置。以下是一个禁用证书验证的示例:
import requests
response = requests.get('https://www.example.com', verify=False)
在上述示例中,我们通过将verify参数设置为False,禁用了对SSL证书的验证。
来源:https://blog.csdn.net/qq_44364267/article/details/130642362
猜你喜欢
- sign签名是用于提供给外部(第三方)调用的接口,调用方需要提供正确的appkey钥匙才能调用,确保了接口的安全性。签名参数sign生成方法
- 下面列出了asp远程网页数据采集程序中经常用到的函数,很实用,特别是正则表达式过滤函数。包括了使用xmlhttp采集远程网页内容,使用ado
- 模型的恢复对于的模型的恢复来说,需要首先恢复模型的整个图文件,之后从图文件中读取相应的节点信息。存储的模型文件包括四个子文件,如下:&nbs
- pattern可以是一个字符串也可以是一个正则,用于匹配要替换的字符,如果不写,字符串不做修改。\1 代表第一个分组repl是将会被替换的值
- 执行环境会负责管理代码执行过程中使用的内存,编写JavaScript程序时,所需内存的分配以及无用内存的回收完全实现自动管理。原理:找出那些
- 创建df:>>> df = pd.DataFrame(np.arange(16).reshape(4, 4), colum
- BP神经网络是最简单的神经网络模型了,三层能够模拟非线性函数效果。难点:如何确定初始化参数?如何确定隐含层节点数量?迭代多少次?如何更快收敛
- 问题,在一个程序内构建好了一个图,运行完之后想重新使用这个图进行计算,或者想同时在train完的时候做test,就会提示***变量已存在。解
- 有两种方法当知道字典的键时:unit_rooms={ 3:{301:[1,80],302:[1,80],303:[2,90],304:[2,
- 本文实例为大家分享了python实现大文本文件分割的具体代码,供大家参考,具体内容如下开发环境Python 2实现效果通过文件拖拽或文件路径
- 注意:我使用的是 Entity Framework Core 2.0 (2.0.0-preview2-final)。正式版发布时,功能可能存
- 本文实例讲述了python判断字符串是否包含子字符串的方法。分享给大家供大家参考。具体如下:python的string对象没有contain
- SQL1: --1、查看表空间的名称及大小 SELECT t.tablespace_name, round(SUM(bytes / (102
- 继续Mootools常用方法扩展,依然还是String类的扩展。方法:unescapseHTML说明:这个上次忘了,和escapseHTML
- 本文实例为大家分享了python opencv旋转图像的具体代码,保持图像不被裁减,供大家参考,具体内容如下# -*- coding:gb2
- 这个问题是py2和py3兼容性的问题在py2中,判断key是否属于dict的写法可以是:d={'name':'abc
- cursor就是一个Cursor对象,这个cursor是一个实现了迭代器(def__iter__())和生成器(yield)的MySQLdb
- Nocalhost是一种开发者工具,支持针对Kubernetes应用程序进行调试和部署。使用Nocalhost进行Python开发需要完成以
- 本文研究的主要是Python使用pickle模块存储数据报错解决方法,以代码的形式展示,具体如下。首先来了解下pickle模块pickle提
- 使用pip安装python库的几种方式1、使用pip在线安装1.1 安装单个package格式如下:pip install SomePack