Scrapy框架爬取Boss直聘网Python职位信息的源码
作者:topleeyap 发布时间:2022-06-30 21:02:47
标签:python,scrapy框架,爬取信息
分析
使用CrawlSpider结合LinkExtractor和Rule爬取网页信息
LinkExtractor用于定义链接提取规则,一般使用allow参数即可
LinkExtractor(allow=(), # 使用正则定义提取规则
deny=(), # 排除规则
allow_domains=(), # 限定域名范围
deny_domains=(), # 排除域名范围
restrict_xpaths=(), # 使用xpath定义提取队则
tags=('a', 'area'),
attrs=('href',),
canonicalize=False,
unique=True,
process_value=None,
deny_extensions=None,
restrict_css=(), # 使用css选择器定义提取规则
strip=True):
Rule用于定义CrawlSpider的爬取规则,由Spider内部自动识别,提交请求、获取响应,交给callback指定的回调方法处理response
如果指定了callback,参数follow默认为False;如果callback为None,follow默认为True
Rule(link_extractor, # LinkExtractor对象,必选参数
callback=None, # 回调方法,可选
cb_kwargs=None,
follow=None, # 是否进行深度爬取,True、False
process_links=None, # 用于处理链接(有些反爬策略是返回假的url)
process_request=identity)
源码
items.py
class BosszhipinItem(scrapy.Item):
"""Boss直聘Pytho职位爬虫Item"""
# 职位名称
position=scrapy.Field()
# 公司名称
company=scrapy.Field()
# 薪资
salary=scrapy.Field()
# 工作地点
location=scrapy.Field()
# 学历要求
education=scrapy.Field()
# 工作时间
year=scrapy.Field()
spiders/bosszhipin_spider.py
# !/usr/bin/env python
# -*- coding:utf-8 -*-
import scrapy
from scrapy.spider import CrawlSpider,Rule
from scrapy.linkextractors import LinkExtractor
from myscrapy.items import BosszhipinItem
class BosszhipinSpider(CrawlSpider):
"""
Boss直聘Python职位爬虫Spider
使用CrawlSpider基类实现
"""
name = 'bosszhipin'
allowed_domains=['zhipin.com',]
start_urls=['http://www.zhipin.com/c100010000/h_100010000/?query=Python&page=1',]
# 链接提取器对象(规定链接提取规则)
link_extractor=LinkExtractor(allow=(r'page=\d+'))
# 链接提取规则对象列表
# 自动调用callback指定的方法,去取爬取由link_extractor指定的链接提取规则匹配到的url
# 原理:link_extractor.extract_links(response)返回匹配到的链接
rules = [
Rule(link_extractor=link_extractor,callback='parse_page',follow=True),
]
def parse_page(self,response):
"""定义回调方法,用于解析每个response对象"""
job_list=response.xpath('//div[@class="job-list"]//li')
for job in job_list:
position = job.xpath('.//div[@class="info-primary"]//h3[@class="name"]/a/text()')[0].extract()
salary =job.xpath('.//div[@class="info-primary"]//h3[@class="name"]//span/text()')[0].extract()
company =job.xpath('.//div[@class="company-text"]//a/text()')[0].extract()
location =job.xpath('.//div[@class="info-primary"]/p/text()[1]')[0].extract()
year =job.xpath('.//div[@class="info-primary"]/p/text()[2]')[0].extract()
education =job.xpath('.//div[@class="info-primary"]/p/text()[3]')[0].extract()
item=BosszhipinItem()
item['position']=position
item['salary']=salary
item['company']=company
item['location']=location
item['year']=year
item['education']=education
yield item
pipelines.py
class BosszhipinPipeline(object):
"""Boss直聘Python职位爬虫Item Pipeline"""
def __init__(self):
self.f=open('data/bosszhipin.json',mode='wb')
self.f.write(b'[')
def process_item(self,item,spider):
data=json.dumps(dict(item),ensure_ascii=False,indent=4)
self.f.write(data.encode('utf-8'))
self.f.write(b',')
return item
def close_spider(self,spider):
self.f.write(b']')
self.f.close()
settings.py
ITEM_PIPELINES = {
'myscrapy.pipelines.BosszhipinPipeline': 1,
}
运行结果
来源:https://blog.csdn.net/topleeyap/article/details/78907149
0
投稿
猜你喜欢
- 废话就不多说了,直接上内容。<form action="/home/search" method="ge
- Sys.path 指定用于模块搜索路径的字符串列表也可以通过sys模块的append方法在Python环境中增加搜索路径。Sys.path.
- 免费手机号码归属地API查询接口和PHP使用实例分享最近在做全国性的行业分类信息网站,需要用到手机号归属地显示功能,于是就穿梭于各大权威站点
- 因AJAX接受数据时服务器默认是采用UTF-8的编码形式进行传送,所以在很多GB2312中文网页中应用AJAX回传数据经常会发生中文乱码。解
- 绿色在黄色和蓝色(冷暖)之间,属于较中庸的颜色,这样使得绿色的性格最为平和、安稳、大度、宽容。是一种柔顺、恬静、满足、优美、受欢迎之色。也是
- 客户端程序编写免不了经常接触XMLHttpRequest对象。微软的XHR实现的progid又是一串一串的。 烦人。抽一个中午时间,找了找资
- 本文实例讲述了python中while循环语句用法。分享给大家供大家参考。具体如下:number = 1while number <
- 一:目录操作 首先介绍的是一个从目录读取的函数,opendir(),readdir(),closedir(),使用的时候是先打开文件句柄,而
- 自执行函数:自动执行的函数。它在被解释时就已经在运行了。一般函数都是在被调用时才会执行的。 自执行函数的一般格式:(function() {
- 背景:因为工作需要,公司给每个员工都分配了一个邮箱 公司的各种业务都通过邮箱发送。虽然给每个员工的电脑都设置pop3登录但是他们的程序设定有
- 以下列出了两种数据库的方法:ASP+Access20001.要获取的ID值字段属性必须设为:自动编号(我们假设字段名为recordID)2.
- requests 提供了一个叫做session类,来实现客户端和服务端的会话保持使用方法1.实例化一个session对象2.让session
- Elasticsearch简介Elasticsearch 是一个开源的搜索引擎,建立在一个全文搜索引擎库 Apache Lucene&
- 最近随着狂风计划的席卷,我也终于开始橱窗产品位列表展示的编码工作,这只是一个改进项目,因此有原代码可供参考。但是当我打开原代码模板的时候便愣
- <P><HTML><HEAD><TITLE>javascriptboy</TITLE&
- 如下所示:#随机数的使用import random #导入randomrandom.randint(0,9)#制定随机数0到9i=rando
- 去除字符串中的空格、特殊字符、指定字符等,在python中,为我们提供了三种方法:strip()删除字符串前后(左右两侧)的空格或特殊字符l
- 1、创建存储过程 create or replace procedure test(var_name_1 in type,var_name_
- 前言最近找几个老友准备聊天发现几个已经被删除好友名单,做为潜水党多年的我已经不知道成为多少人的黑名单,但是好友列表却依然有不是好友的名单,面
- 目录图片验证码登陆点击个人用户登录获取图片验证码识别并登陆识别较复杂验证码算法其他上一篇介绍了使用python模拟登陆网站,但是登陆的网站都