python简单实现爬取图片至本地

准备

(1)可以在pycharm中安装requests库(pycharm中输入pip install requests),因为我我这里是已经安装了。

(2)也可以在pycharm中,点击file — settings — project:python — python interpreter

代码

http://pic.netbian.com/index.html所爬取的是这个壁纸网站的图片

import requests
import re
import os
#导入相关包
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3706.400 SLBrowser/10.0.4040.400'}
#配置相关的请求头按需求添加
i=1
j=10
#设置页码
for x in range(1,(j+1)):
    #for循环实现翻页获取
    if(x==1):
        response_one = requests.get("http://pic.netbian.com/index.html",headers=headers)
    elif(x!=1):
        response_one = requests.get("http://pic.netbian.com/index_"+str(x)+".html", headers=headers)
    response_one.encoding = "utf-8"
    #发送get请求,返回html 编码为utf-8  一级界面
    html_one = response_one.text
    #请求返回的html文本赋值给html
    urls = re.findall('<a href="/tupian/(.*?).html" ',html_one)
    #正则匹配文本
    for url in urls:
        response_two = requests.get("http://pic.netbian.com/tupian/"+url+".html",headers=headers)
        response_two.encoding = "utf-8"
        #二级页面
        html_two = response_two.text
        url_end = re.findall("<img src=\"(.*?)\" data-pic", html_two)
        #正则匹配文本
        images = requests.get("http://pic.netbian.com"+url_end[0],headers=headers)
        #请求图片网址
        if not os.path.exists("C:\\Users\\Lenovo\\Desktop\\images"):
            os.mkdir("C:\\Users\\Lenovo\\Desktop\\images")
        #判断C:\\Users\\Lenovo\\Desktop路径下是否存在images文件夹  没有则创建一个images文件夹
        with open("C:\\Users\\Lenovo\\Desktop\\images\\"+str(i)+".jpg","wb") as f:
            f.write(images.content)
            #以二进制的方式写入 编码为utf-8
        i+=1


B站演示视频:https://www.bilibili.com/video/BV1HD4y1m7A4/

评论

  1. 2年前
    2020-8-31 21:04:36

    牛牛牛牛牛牛牛牛牛牛牛牛牛牛

发送评论 编辑评论


				
|´・ω・)ノ
ヾ(≧∇≦*)ゝ
(☆ω☆)
(╯‵□′)╯︵┴─┴
 ̄﹃ ̄
(/ω\)
∠( ᐛ 」∠)_
(๑•̀ㅁ•́ฅ)
→_→
୧(๑•̀⌄•́๑)૭
٩(ˊᗜˋ*)و
(ノ°ο°)ノ
(´இ皿இ`)
⌇●﹏●⌇
(ฅ´ω`ฅ)
(╯°A°)╯︵○○○
φ( ̄∇ ̄o)
ヾ(´・ ・`。)ノ"
( ง ᵒ̌皿ᵒ̌)ง⁼³₌₃
(ó﹏ò。)
Σ(っ °Д °;)っ
( ,,´・ω・)ノ"(´っω・`。)
╮(╯▽╰)╭
o(*////▽////*)q
>﹏<
( ๑´•ω•) "(ㆆᴗㆆ)
😂
😀
😅
😊
🙂
🙃
😌
😍
😘
😜
😝
😏
😒
🙄
😳
😡
😔
😫
😱
😭
💩
👻
🙌
🖕
👍
👫
👬
👭
🌚
🌝
🙈
💊
😶
🙏
🍦
🍉
😣
Source: github.com/k4yt3x/flowerhd
颜文字
Emoji
小恐龙
花!
下一篇