人生苦短，我用python，今天来爬一下百度image。

目标

需求：百度image，输入关键字下载image

前置环境

1>python环境

2>安装requests包

python install requests

实现代码

步骤1：分析百度image是html页面获取数据还是ajax获取数据

 从上面源码看，使用的是ajax方式实现，即：先发起异步请求获取数据，再使用js方式加载到页面。

打开F12， 验证一下：

步骤2：分析ajax请求的规律 

刷新页面，并滚动页面，发起多个ajax请求，分析请求规律

涉及到

关键字：word=美女&queryWord=美女 

分页相关：pn为分页数据偏移量， rn表示当前页面显示30数据

第一页：&pn=30&rn=30

第二页：&pn=60&rn=30

第三页：&pn=90&rn=30

第四页：&pn=120&rn=30

步骤3：分析响应数据规律

上面一次请求得到数据

 选择data数据展开

步骤4：代码实现

思路：

1>定制要爬取图片种子url(分页路径)

2>通过种子url获取到图片json数据(分页数据-每页30条)

3>解析图片json数据

4>遍历下载图片，并保存

全部代码

#coding=utf-8import requests
import time
import json
import uuid
import random
import os# 定义类
class BaiduImage(object):# 构造器， kw:关键字  page_no：抓几页图片   path:图片保存路径def __init__(self, kw, page_no, path):# 分页路径目标url_template = 'https://image.baidu.com/search/acjson?tn=resultjson_com&logid=9074274472030331556&ipn=rj&ct=201326592&is=&fp=result&fr=&word={}&cg=girl&queryWord={}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=&latest=©right=&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&expermode=&nojc=&isAsync=&pn={}&rn={}&gsm=1e&{}='# 将需要抓取的分页url，一次性配置出来self.urls = [url_template.format(kw, kw, i*30, 30, time.time()) for i in range(1, page_no+1)]# 模拟浏览器访问self.headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.71 Safari/537.36'}# 图片路径保存self.path = path# 判断路径是否存在，不存在创建if not os.path.exists(path):os.makedirs(path)# 根据url获取数据			def get_data(self, url):resp = requests.get(url, headers=self.headers)return resp.content.decode()# 解析ajax请求返回的图片json数据def pasre_data(self, data):# 解析json为dictdict_data = json.loads(data)data_list = []# 遍历解析所有图片url，统一缓存在集合中for img_data in dict_data['data']:if 'thumbURL' in img_data:# data_list.append(img_data['replaceUrl'][0]['ObjURL'])  # 真实图片地址，不能保证能打开data_list.append(img_data['thumbURL'])  # 百度缓存地址，所见所得return data_list# 指定url地址图片，保存到指定目录夹中def image_download(self, url):# 写二进制文件，文件名使用uuidwith open(path + str(uuid.uuid1()) + ".jpg", 'wb') as f:# 下载图片，写流img = requests.get(url, headers=self.headers).contentf.write(img)# 图片下载def save_data(self, data_list):for ul in data_list:self.image_download(ul)# 防止百度判定为爬虫，间隔时间发起请求time.sleep(round(random.uniform(0.001, 0.01), 3))# 执行def run(self):for num in range(len(self.urls)):print(f'---------第{(num+1)}页图片-----------')data = self.get_data(self.urls[num])data_list = self.pasre_data(data)self.save_data(data_list)time.sleep(round(random.uniform(0.001, 0.01), 3))# 程序入口
if __name__ == '__main__':kw = '美女'page_no = 10path = "D:/images/"baidu = BaiduImage(kw, page_no,path)baidu.run()

运行结果