Python之Requests_html库入门篇（含实例：爬取51jobs网站python岗位信息 ）

Python上有一个非常著名的HTTP库——requests，相比大家都听说过，用过的人都说好！现在requests库的作者又发布了一个新库，叫做requests-html，看名字也能猜出来，这是一个解析HTML的库，而且用起来和requests一样爽，下面就来介绍一下它。

@TOC

安装

pip install requests_html

如果还不会pip安装的请看我的这篇文章——>pip 安装，更新，卸载，查看模块方法

Note: requests-html只支持Python 3.6及更新的版本，所以使用老版本的Python的同学需要更新一下Python版本了。

基本用法

获取网页

from requests_html import HTMLSession

session = HTMLSession()
url = "https://search.51job.com/list/010000,000000,0000,00,9,99,python,2,1.html"
h = session.get(url=url)
#查看网页内容
print(h.html.html)

requests-html和其他解析HTML库最大的不同点在于HTML解析库一般都是专用的，所以我们需要用另一个HTTP库先把网页下载下来，然后传给那些HTML解析库。
而requests-html自带了这个功能，所以在爬取网页等方面非常方便

获取连接

#相对路径
print(h.html.links)

#绝对路径
print(h.html.absolute_links)

links和absolute_links两个属性分别返回HTML对象所包含的所有链接和绝对链接（均不包含锚点）。

获取元素

request-html支持CSS选择器和XPATH两种语法来选取HTML元素。
1、首先先来看看CSS选择器语法，它需要使用HTML的find函数，该函数有5个参数，作用如下：

• selector，要用的CSS选择器；
• clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是-sanitize，大概这么理解）;
• containing，如果设置该属性，会返回包含该属性文本的标签；
• first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
• _encoding，编码格式。
  示例：

  #获取职业名称
  position = h.html.find('#resultList > div:nth-child({num}) > p > span > a'.format(num=i), first=True).text
  print(position)

  输出结果为：

  Python开发工程师

  2、XPATH语法，这需要另一个函数xpath的支持，它有4个参数如下：
• selector，要用的XPATH选择器；
• clean，布尔值，如果为真会忽略HTML中style和script标签造成的影响（原文是sanitize，大概这么理解）;
• first，布尔值，如果为真会返回第一个元素，否则会返回满足条件的元素列表；
• _encoding，编码格式。
  示例：

#获取职业名称
position = h.html.xpath('#resultList > div:nth-child({num}) > p > span > a'.format(num=i), first=True).text
print(position)

输出结果：

Python开发工程师

元素内容

要获取元素的attribute，用attr属性

print(h.attrs)

获取元素的html代码

print(h.html)

要搜索元素的文本内容，用search函数

print(e.search('51j{}bs')[0])
#输出：o

两个链接属性

print(e.links)  # 相对路径
print(e.absolute_links) # 绝对路径

实例 爬取51jobs网站有关Python工作的信息

from requests_html import HTMLSession

import csv

session = HTMLSession()

file = open('51jobsinfo.csv', 'w', newline='')
csvwriter = csv.writer(file)
csvwriter.writerow(['序号', '职位名称', '公司名', '地点', '薪资'])
num = 1  #初始化抓取每条信息的序号
cont = 0 #初始化抓取页数
def get_jobsinfo(url):
    try:
        h = session.get(url=url)
    except:
        print('第{}页抓取失败共10页'.format(cont))
    else:
        global num
        for i in range(4,54):
            #i = int(i)
            position = h.html.find('#resultList > div:nth-child({num}) > p > span > a'.format(num=i), first=True).text
            company = h.html.find('#resultList > div:nth-child({num}) > span.t2 > a'.format(num=i), first=True).text
            place = h.html.find('#resultList > div:nth-child({num}) > span.t3'.format(num=i), first=True).text
            salary = h.html.find('#resultList > div:nth-child({num}) > span.t4'.format(num=i), first=True).text
            csvwriter.writerow([num, position, company, place, salary])
            num += 1
        print('第{}页抓取完毕共10页'.format(cont))
        
def main():
	#设置抓取页数
    for i in range(1,11):
        global cont
        cont = i
        url = 'https://search.51job.com/list/010000,000000,0000,00,9,99,python,2,' + str(i) + '.html'
        get_jobsinfo(url)

if __name__=='__main__':
    print('开始抓取...')
    main()
    print('抓取完毕！共{}条信息。'.format(num-1))
    file.close()

输出结果（由于信息的太多只展示部分）：

序号,职位名称,公司名,地点,薪资
1,Python开发工程师,北京泽塔云科技股份有限公司,北京-朝阳区,1-2万/月
2,EB/JAVA/Python软件研发工程师,中国科学院软件研究所,北京-海淀区,10-15万/年
3,Python中级开发工程师,深圳市赢时胜信息技术股份有限公司...,北京-西城区,1-1.2万/月
4,Python/PHP开发工程师,北京华脉世纪石油科技有限公司,北京,0.8-1万/月
5,Python高级开发工程师,北京文泽智远信息技术有限公司,北京-海淀区,1.5-2万/月
6,爬虫工程师（Java或Python）,北京三六九数动科技有限公司,北京,2.5-3万/月
7,Python 工程师,北京友聚四海网络科技有限公司,北京-朝阳区,1-1.5万/月
8,Python开发工程师-财务报表平台,字节跳动,北京,2-4万/月
9,python开发,深圳市捷兴电子商务有限公司,北京-朝阳区,2-3万/月

---

Note: 如果频繁访问爬取的网页有可能会面临着ip被封，可以适当的使用代理ip来防止自己的ip被封，详细使用请参考我的这篇文章——> 都什么时代了还在裸爬吗，快用IP代理池吧！

requests_html官方链接

(https://requests-html.kennethreitz.org/)

赏

谢谢你请我喝咖啡

支付宝

微信