【selenium爬虫实例一】网易云歌单封面图片


一、前言

本文仅用于交流学习,不得用于商业行为

如果单纯的使用requests库,是不能获取到完整的源代码的;

如果想进行分析的话,刷新获取数据,则会出现这样的界面:

因此,选择使用selenium是非常好的一个选择!

二、selenium获取数据

以歌单广场的一页为例,获取到歌单的封面

这里使用两个方法:

  1. 使用selenium获取到网页源代码,然后使用pyquery库进行解析,从而获取数据
  2. 直接使用selenium获取数据,利用selenium的页面元素定位

1、第一种方法

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from pyquery import PyQuery as pq
import time

start = time.time()
# 配置
option = Options()
# 为Chrome配置无头模式
option.add_argument("--headless")
# 启动浏览器时加入配置
driver = webdriver.Chrome(options=option)
# 访问网页
driver.get('https://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=35')
# 切换到iframe表单
driver.switch_to.frame('g_iframe')
# 获取源代码
html = driver.execute_script('return document.documentElement.outerHTML')
# 利用pyquery库进行解析
doc = pq(html)
# 定位到所有含有封面图片链接的节点
links = doc('#m-pl-container li div img')
# 打印封面图片链接数量
print(f"该页面含有{len(links)}张图片")
# 进行遍历
for link in links.items():
    # 获取封面图片链接
    src = link.attr('src')
    # 打印链接
    print(src)
# 关闭所有页面
driver.quit()
print("总共用时:{}".format(time.time()-start))
  • 输出结果:
    图片链接过多,仅展示部分结果
    该页面含有35张图片
    http://p2.music.126.net/DHRO3u68N0HbSF_Is08S6A==/109951166538173595.jpg?param=140y140
    http://p2.music.126.net/FkcsntKQ2JgvJZktcJ0uPw==/109951166647447993.jpg?param=140y140
    http://p2.music.126.net/9ROYGXi0iJyY97bgbdEDSg==/109951166741042192.jpg?param=140y140
    总共用时:5.121241807937622

    2、第二种方法

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
import time

start = time.time()
# 配置
option = Options()
# 为Chrome配置无头模式
option.add_argument("--headless")
# 启动浏览器时加入配置
driver = webdriver.Chrome(options=option)
# 访问网页
driver.get('https://music.163.com/#/discover/playlist/?order=hot&cat=%E5%85%A8%E9%83%A8&limit=35&offset=35')
# 切换到iframe表单
driver.switch_to.frame('g_iframe')
# 定位到所有含有封面图片链接的节点
links = driver.find_elements(By.CSS_SELECTOR, '#m-pl-container .j-flag')
# 打印封面图片链接数量
print(f"该页面含有{len(links)}张图片")
# 进行遍历
for element in links:
    # 打印封面图片链接
    print(element.get_attribute('src'))
# 关闭所有页面
driver.quit()
print("总共用时:{}".format(time.time()-start))
  • 输出结果:
    图片链接过多,仅展示部分结果
    该页面含有35张图片
    http://p2.music.126.net/DHRO3u68N0HbSF_Is08S6A==/109951166538173595.jpg?param=140y140
    http://p2.music.126.net/FkcsntKQ2JgvJZktcJ0uPw==/109951166647447993.jpg?param=140y140
    http://p2.music.126.net/9ROYGXi0iJyY97bgbdEDSg==/109951166741042192.jpg?param=140y140
    http://p2.music.126.net/fkZa3CIMPpwv45MwjaGtVQ==/109951166623085189.jpg?param=140y140
    总共用时:5.274672031402588

    3、总结

    这两种方法进行比较,就速度而言,第一种方法略快。

且第一种方法更适合喜欢通过页面源代码进行获取数据的小伙伴。


Author: Polaris119
Reprint policy: All articles in this blog are used except for special statements CC BY 4.0 reprint polocy. If reproduced, please indicate source Polaris119 !
评论
  TOC