爬虫怎么加代理


发现错别字 4个月前 提问
回答
1
浏览
26
请勿发布不友善或者负能量的内容。与人为善,比聪明更重要!
回答数量: 1
CISP-PTE CISM-WSE CISE CISO 信息系统项目管理师

requests调用代理

  import requests

  proxy='123.58.10.36:8080' #本地代理

  #proxy='username:password@123.58.10.36:8080'

  proxies={

  'http':'http://'+proxy,

  'https':'https://'+proxy

  }

  try:

  response=requests.get('http://httpbin.org/get',proxies=proxies)

  print(response.text)

  except requests.exceptions.ConnectionError as e:

  print('错误:',e.args)

Selenium调用代理
selenium加上代理,selenium主要是实现自动化登录验证等操作

from selenium import webdriver
proxy='123.58.10.36:8080'
chrome_options=webdriver.ChromeOptions()
chrome_options.add_argument('--proxy-server=http://'+proxy)
browser=webdriver.Chrome(chrome_options=chrome_options)
browser.get('http://httpbin.org/get')

调用 ProxyHandler 添加 代理

from urllib import request

url = 'www.baidu.com'

# 设置代理
handler = request.ProxyHandler({'http':'ip:port'})
opener = request.bulid_opener(handler)

# 发送请求
req = request.Request(url=url)
response = opener.open(req)

在 scrapy下载中间件添加代理
middlewares.py 自定义一个代理类,重写 process_request 方法

class MyDaiLi(object):
  """docstring for MyDaiLi"""
   # 重写这个方法
   def process_request(self, request, spider):
         request.meta['proxy'] = 'http://ip:port'

settings.py (第55行)打开下载中间件,并将自定义的 MyDaiLi添加进去

DOWNLOADER_MIDDLEWARES = {   'daili_loginproject.middlewares.MyDaiLi': 543,
 }
3个月前 / 评论