Python爬取拉勾網(wǎng)實例
# -*-.coding: utf-8 -*-
# __author__ = 'xiaobai'
# Email: 517840374@qq.com
import
time
import
re
from
selenium
.
webdriver
import
Chrome
# 導(dǎo)入瀏覽器的包
from
selenium
.
webdriver
.
common
.
keys
import
Keys
n
=
1
# 創(chuàng)建瀏覽器
web
=
Chrome
(
)
# 打開瀏覽器，請求到拉鉤
web
.
get
(
"https://www.lagou.com"
)
web
.
find_element_by_xpath
(
'//*[@id="cboxClose"]'
)
.
click
(
)
time
.
sleep
(
1
)
# 找到那個文本框，輸入python，然后點查詢
web
.
find_element_by_xpath
(
'//*[@id="search_input"]'
)
.
send_keys
(
'python'
,
Keys
.
ENTER
)
alst
=
web
.
find_elements_by_class_name
(
"position_link"
)
for
a
in
alst
:
# 找到H3并點擊
a
.
find_element_by_tag_name
(
"h3"
)
.
click
(
)
web
.
switch_to
.
window
(
web
.
window_handles
[
-
1
]
)
text
=
web
.
find_element_by_xpath
(
'//*[@id="job_detail"]/dd[2]'
)
.
text
# 拿文本
# 把招聘信息保存到文件中
with
open
(
f
'需求_{n}.txt'
,
mode
=
'w'
,
encoding
=
'utf-8'
)
as
f
:
f
.
write
(
text
)
n
+=
1
# 關(guān)閉窗口
web
.
close
(
)
# 調(diào)整窗口到最開始的那個頁面
web
.
switch_to
.
window
(
web
.
window_handles
[
0
]
)
time
.
sleep
(
1
)
更多文章、技術(shù)交流、商務(wù)合作、聯(lián)系博主
微信掃碼或搜索：z360901061
微信掃一掃加我為好友
QQ號聯(lián)系： 360901061
您的支持是博主寫作最大的動力，如果您喜歡我的文章，感覺我的文章對您有幫助，請用微信掃描下面二維碼支持博主2元、5元、10元、20元等您想捐的金額吧，狠狠點擊下面給點支持吧，站長非常感激您！手機微信長按不能支付解決辦法：請將微信支付二維碼保存到相冊，切換到微信，然后點擊微信右上角掃一掃功能，選擇支付二維碼完成支付。
【本文對您有幫助就好】元
