Python爬取网页信息的示例
作者:小高冷 发布时间:2021-02-09 10:43:21
Python爬取网页信息的步骤
以爬取英文名字网站(https://nameberry.com/)中每个名字的评论内容,包括英文名,用户名,评论的时间和评论的内容为例。
1、确认网址
在浏览器中输入初始网址,逐层查找链接,直到找到需要获取的内容。
在打开的界面中,点击鼠标右键,在弹出的对话框中,选择“检查”,则在界面会显示该网页的源代码,在具体内容处点击查找,可以定位到需要查找的内容的源码。
注意:代码显示的方式与浏览器有关,有些浏览器不支持显示源代码功能(360浏览器,谷歌浏览器,火狐浏览器等是支持显示源代码功能)
步骤图:
1)首页,获取A~Z的页面链接
2)名字链接页,获取每个字母中的名字链接(存在翻页情况)
3)名字内容页,获取每个名字的评论信息
2、编写测试代码
1)获取A~Z链接,在爬取网页信息时,为了减少网页的响应时间,可以根据已知的信息,自动生成对应的链接,这里采取自动生成A~Z之间的连接,以pandas的二维数组形式存储
def get_url1():
urls=[]
# A,'B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z'
a=['A','B','C','D','E','F','G','H','I','J','K','L','M','N','O','P','Q','R','S','T','U','V','W','X','Y','Z']#自动生成A~Z的链接
for i in a:
urls.append("https://nameberry.com/search/baby_names_starting_with/%s" %i)
dp=pd.DataFrame(urls)
dp.to_csv("A~Z_Link1.csv",mode="a",encoding='utf_8_sig')#循环用于在每个字母链接下,调用爬取名字链接的页面的函数,即函数嵌套
for j in urls:
get_pages_Html(j)
return urls
2)获取名字链接,根据网页源码分析出包含名字链接的标签,编写代码,名字链接用直接存储的方式存储,方便读取名字链接进行对名字的评论内容的获取
#获取页数
def get_pages_Html(url1):
req = requests.get(url1)
soup=BeautifulSoup(req.text)
#异常处理,为解决页面不存在多页的问题,使用re正则表达式获取页面数
try:
lastpage = soup.find(class_="last").find("a")['href']
str1='{}'.format(lastpage)
b=re.findall('\\d+', str1 )
for page in b:
num=page
except:
num=1
get_pages(num,url1)
return num
def get_pages(n,url):
pages=[]
for k in range(1,int(n)+1):
pages.append("{}?page={}".format(url,k))
dp=pd.DataFrame(pages)
dp.to_csv("NUM_pages_1.csv",mode="a",encoding='utf_8_sig')
#函数调用
for l in pages:
parse_HTML2(l)
return pages
# 名字的链接,根据网页源码的标签,确定名字链接的位置
def parse_HTML2(url2):
try:
req = requests.get(url2)
req.encoding = req.apparent_encoding
soup = BeautifulSoup(req.text)
except:
dp=pd.DataFrame(url2)
dp.to_csv("Error_pages_1.csv",mode="a",encoding='utf_8_sig')
name_data_l=[]
error=[]
li_list = soup.find_all('li',class_="Listing-name pt-15 pb-15 bdb-gray-light w-100pct flex border-highlight")
try:
for li in li_list:
nameList=li.find('a',class_='flex-1')['href']
name_data_l.append('https://nameberry.com/'+nameList)
time.sleep(1)
cun(name_data_l,'Name_List_1')
except:
dp=pd.DataFrame(name_data_l)
dp.to_csv("Error_Name_List_1.csv",mode="a",encoding='utf_8_sig')
# cun(url2,'Error_link_Q')
# dp=pd.DataFrame(name_data_l)
# dp.to_csv("Name_List.csv",mode="a",encoding='utf_8_sig')
# for i in name_data_l:
# parse_HTML3(i)
return name_data_l
3)获取名字评论的内容,采用字典形式写入文件
# 名字里的内容
def parse_HTML3(url3):
count=0
req = requests.get(url3)
req.encoding = req.apparent_encoding
soup = BeautifulSoup(req.text)
error=[]
try:
Name=soup.find('h1',class_='first-header').find("a").get_text().replace(",","").replace("\n","")
except:
error.append(url3)
cun(error,"Error_Link_Comment")
li_list = soup.find_all('div',class_="comment")
for li in li_list:
Title=li.find("h4").get_text().replace(",","").replace("\n","")
Time=li.find("p",class_='meta').get_text().replace(",","").replace("\n","")
Comments=li.find("div",class_='comment-text').get_text().replace(",","").replace("\n","")
dic2={
"Name":Name,
"Title":Title,
"Time":Time,
"Comments":Comments
}
time.sleep(1)
count=count+1
save_to_csv(dic2,"Name_data_comment")
print(count)
return 1
3、测试代码
1)代码编写完成后,具体的函数调用逻辑,获取链接时,为直接的函数嵌套,获取内容时,为从文件中读取出名字链接,在获取名字的评论内容。避免因为逐层访问,造成访问网页超时,出现异常。
如图:
2)测试结果
4、小结
在爬取网页内容时,要先分析网页源码,再进行编码和调试,遵从爬虫协议(严重者会被封号),在爬取的数据量非常大时,可以设置顺序部分请求(一部分的进行爬取网页内容)。
总之,爬虫有风险,测试需谨慎!!!
来源:https://www.cnblogs.com/chenting123456789/p/12041761.html
猜你喜欢
- 科学设计你的网站网页:来自 Eye-Tracking研究的23节必修课 ——Christina Laun在网络设计领域关于Eye-
- 二叉树中和为某一值的路径:输入一颗二叉树的跟节点和一个整数,打印出二叉树中结点值的和为输入整数的所有路径。路径定义为从树的根结点开始往下一直
- 本文实例为大家分享了Golang实现断点续传的具体代码,供大家参考,具体内容如下1、将文件pic_src.jpg复制到pic_des.jpg
- 建立池连接可以显著提高应用程序的性能和可缩放性。SQL Server .NET Framework 数据提供程序自动为 ADO.NET 客户
- 框架thinkphp 版本:3.2.3 内容:数据库操作1. 多表查找一条数据M('a表')->join("
- ExtJS可以用来开发RIA也即富客户端的AJAX应用,是一个用javascript写 的,主要用于创建前端用户界面,是一个与后台技术无关的
- (1)OracleServiceSID 数据库服务,这个服务会自动地启动和停止数据库。如果安装了一个数据库,它的缺省启动类型为自动。服务进程
- 为什么使用Python 假设我们有这么一项任务:简单测试局域网中的电脑是否连通.这些电脑的ip范围从19
- 在本文中,我将说明如何用SQL Server的工具来优化数据库索引的使用,本文还涉及到有关索引的一般性知识。 关于索引的常识 影响到数据
- 在编写程序时,数据库结构会经常变化,所以经常需要编写一些数据库脚本,编写完成后需发往现场执行,如果已经存在或者重复执行,有些脚本会报错,所以
- 比如 <div><img .../></div>想通过对这个div设置透明度来达到调整图片的透明度如果不
- 于是写测试程序。。。不行 下载最新的ODBC。。。还是不行 通过sql plus查询。。。咦?竟然也查不到。。。 于是,折腾。。。折腾。。。
- 利用线程生成缩略图;读取当前路径下的png文件,在当前路径下生成6464,128128和32*32的缩略图。""&quo
- 如何做一个只搜索本网站的引擎? 用下面两个文件即可实现:searchfiles.html &l
- 网页兼容测试,除了做不同浏览器的兼容测试,还要观察网页在不同分辨率下的表现情况。在页面中使用了CSS绝对定位,发现在宽屏下错位。随后测试非1
- 来由:最近的工作一直是学校设计教程的开发,都是自己根据理论知识加一些实际工作经验相结合写的教程,所以不会咬文嚼字,文笔也不一定非常专业和流畅
- 前言help(argparse)查看说明文档,“argparse - Command-line parsing libr
- php获取图片的exif信息,php自带一个exif_read_data函数可以用来读取图片的exif信息,代码来自php手册<?ph
- 用XMlhttp生成html页面,相关函数如下:<% ’定义xmlhttp function Get
- 从BbsXp提出来的生肖函数Zodiac(birthday)。使用方法:birthday为把要判断的出生时间,如2008-3-24 20:0