python-spider/daili.py at master · Azleal/python-spider · GitHub

Repository navigation

History

100

101

102

103

104

105

106

107

108

109

110

111

112

113

114

115

116

117

118

119

120

121

122

123

124

125

126

127

128

129

130

131

132

133

134

135

136

137

138

139

# -*- coding:UTF-8 -*-

from bs4 import BeautifulSoup

from selenium import webdriver

import subprocess as sp

from lxml import etree

import requests

import random

import re

"""

函数说明:获取IP代理

Parameters:

page - 高匿代理页数,默认获取第一页

Returns:

proxys_list - 代理列表

Modify:

2017-05-27

"""

def get_proxys(page = 1):

#requests的Session可以自动保持cookie,不需要自己维护cookie内容

S = requests.Session()

#西祠代理高匿IP地址

target_url = 'http://www.xicidaili.com/nn/%d' % page

#完善的headers

target_headers = {'Upgrade-Insecure-Requests':'1',

'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',

'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',

'Referer':'http://www.xicidaili.com/nn/',

'Accept-Encoding':'gzip, deflate, sdch',

'Accept-Language':'zh-CN,zh;q=0.8',

}

#get请求

target_response = S.get(url = target_url, headers = target_headers)

#utf-8编码

target_response.encoding = 'utf-8'

#获取网页信息

target_html = target_response.text

#获取id为ip_list的table

bf1_ip_list = BeautifulSoup(target_html, 'lxml')

bf2_ip_list = BeautifulSoup(str(bf1_ip_list.find_all(id = 'ip_list')), 'lxml')

ip_list_info = bf2_ip_list.table.contents

#存储代理的列表

proxys_list = []

#爬取每个代理信息

for index in range(len(ip_list_info)):

if index % 2 == 1 and index != 1:

dom = etree.HTML(str(ip_list_info[index]))

ip = dom.xpath('//td[2]')

port = dom.xpath('//td[3]')

protocol = dom.xpath('//td[6]')

proxys_list.append(protocol[0].text.lower() + '#' + ip[0].text + '#' + port[0].text)

#返回代理列表

return proxys_list

"""

函数说明:检查代理IP的连通性

Parameters:

ip - 代理的ip地址

lose_time - 匹配丢包数

waste_time - 匹配平均时间

Returns:

average_time - 代理ip平均耗时

Modify:

2017-05-27

"""

def check_ip(ip, lose_time, waste_time):

#命令 -n 要发送的回显请求数 -w 等待每次回复的超时时间(毫秒)

cmd = "ping -n 3 -w 3 %s"

#执行命令

p = sp.Popen(cmd % ip, stdin=sp.PIPE, stdout=sp.PIPE, stderr=sp.PIPE, shell=True)

#获得返回结果并解码

out = p.stdout.read().decode("gbk")

#丢包数

lose_time = lose_time.findall(out)

#当匹配到丢失包信息失败,默认为三次请求全部丢包,丢包数lose赋值为3

if len(lose_time) == 0:

lose = 3

else:

lose = int(lose_time[0])

#如果丢包数目大于2个,则认为连接超时,返回平均耗时1000ms

if lose > 2:

#返回False

return 1000

#如果丢包数目小于等于2个,获取平均耗时的时间

else:

#平均时间

average = waste_time.findall(out)

#当匹配耗时时间信息失败,默认三次请求严重超时,返回平均好使1000ms

if len(average) == 0:

return 1000

else:

average_time = int(average[0])

#返回平均耗时

return average_time

"""

函数说明:初始化正则表达式

Parameters:

无

Returns:

lose_time - 匹配丢包数

waste_time - 匹配平均时间

Modify:

2017-05-27

"""

def initpattern():

#匹配丢包数

lose_time = re.compile(u"丢失 = (\d+)", re.IGNORECASE)

#匹配平均时间

waste_time = re.compile(u"平均 = (\d+)ms", re.IGNORECASE)

return lose_time, waste_time

if __name__ == '__main__':

#初始化正则表达式

lose_time, waste_time = initpattern()

#获取IP代理

proxys_list = get_proxys(1)

#如果平均时间超过200ms重新选取ip

while True:

#从100个IP中随机选取一个IP作为代理进行访问

proxy = random.choice(proxys_list)

split_proxy = proxy.split('#')

#获取IP

ip = split_proxy[1]

#检查ip

average_time = check_ip(ip, lose_time, waste_time)

if average_time > 200:

#去掉不能使用的IP

proxys_list.remove(proxy)

print("ip连接超时, 重新获取中!")

if average_time < 200:

break

#去掉已经使用的IP

proxys_list.remove(proxy)

proxy_dict = {split_proxy[0]:split_proxy[1] + ':' + split_proxy[2]}

print("使用代理:", proxy_dict)

python-spider/daili.py at master · Azleal/python-spider · GitHub

Repository navigation

Expand file tree

Breadcrumbs

daili.py

Latest commit

History

Breadcrumbs

daili.py

File metadata and controls