背景

?抱着《python学习手册》啃了很久，心里想着要动手写点东西，但是一直拖延症到最近才真正开始准备。一开始不知道写点啥好，就从生活中挖掘，发现自己每天查天气预报查的挺频繁的，那就爬一波天气预报吧。

技术概览

1. selenium
2. time
3. re
4. calendar
   ?爬取网页数据的过程中就用到以上4个模块，其中calendar是可选的，最初的版本是只爬取当月的每日天气所以不需要calendar，后续新增了可选月份的功能，才加上calendar。本次爬虫是用类来实现的，但实际上用简单函数即可，但抱着学以致用的想法还是用类吧，虽然类有很多很强大的功能（继承、多态、定制等），但在我这几十行的代码里并不能体现出来。我的环境是win10+python27，因为工作需要所以个人PC也是python2的，后续会更新成python3。

具体内容

class Weather(object):
    def __init__(self):
        self.day = time.strftime('%d', time.localtime(time.time()))
        self.month = time.strftime('%m', time.localtime(time.time()))

?在类的开始定义了一个构造函数，里面有两个属性：day和month分别是今天的日期和当月月份，这里就用到time模块中的time、localtime、strftime。详细的介绍可以看菜鸟教程，我们现场实践下。

?这里先导入time模块，然后time.time()是当前时间的一个时间戳，需要用localtime（）格式化成time.struct_time类型的对象。（struct_time是在time模块中定义的表示时间的对象）然后再用strftime（）接收struct_time对象，返回一个字符串表示的时间值，如图所示，我码字的时候正是5月23号。

    def get_weather_html(self):
       #打开中国天气网的40天天气预报的网页，爬取数据
       url = 'http://www.weather.com.cn/weather40d/101020100.shtml'
       driver = webdriver.Chrome()
       driver.get(url)
       driver.maximize_window()
       driver.implicitly_wait(3)
       month_input = raw_input('please input month:')
       if month_input != '' and month_input != self.month:
           self.select_month(month_input,driver)

?如果想用selenium的话，要先下个驱动下载地址我用的是谷歌浏览器，所以对应的驱动是cromedriver.exe，注意驱动跟版本强相关，没有下对版本的话就会报错。驱动放在python.exe同目录下即可。上面代码主要做的事情就是：

1. 创建浏览器的实例driver
2. 打开中国天气网
3. 将浏览器最大化
4. 等待页面加载完成
5. 等待用户输入期待爬虫的月份
6. 如果输入的月份不是当前月份或者不是空字符串（不输入月份直接回车就是空字符串），则调用select_month

?这里要强调下implicitly_wait作为隐式等待可以在页面元素找到的时间提前退出等待，但是这里设置的全局的等待时候，假设代码里的路径有错或者其他什么问题，会导致调试时间变长。也可以使用time.sleep(3)这种显式等待，设3s就是等待3s，不管元素找到与否。selenium-python里有很多selenium的详细介绍，关于显示等待和隐式等待的也有。

    def select_month(self, month, driver):
        driver.find_element_by_xpath('//*[@class="zong"]').click()
        month_path = '//div[@class="w_nian"]/ul[2]/li['+month+']'
        driver.find_element_by_xpath(month_path).click()

1. 点击打开网页上选择月份的弹框
2. 创建用户需要的月份的路径
3. 点击该月份
   ?xpath安装详见左边链接，亲测可用。这里需要用到xpath相关的知识，w3school、菜鸟教程上有很多很详细的这里就不赘述。让我们动手实践下：
   
   图片文字显示不全，1、打开开发者模式，用这个小箭头点你要的元素。2、这里找到元素对应的位置。

for week_index in range(2,8):
    for day_index in range(1,8):
        week = str(week_index)
        day = str(day_index)
        day_path = '//*[@id="table"]/tbody/tr['+week+']/td['+day+']/h2/span[2]'
        max_temp_path = '//*[@id="table"]/tbody/tr['+week+']/td['+day+']/div[1]/p/span[1]'
        min_temp_path = '//*[@id="table"]/tbody/tr['+week+']/td['+day+']/div[1]/p/span[2]'
        date = driver.find_element_by_xpath(day_path)
        date = date.text
        try:
            date_int = int(date)
        except(ValueError):
            break
        if month_input == '':
            month = self.month
        else:
            month = month_input
        if date_int == 01 and week_index != 2:
            print u'19年{}月每日温度情况如下'.format(month)
            break
        max_temp = driver.find_element_by_xpath(max_temp_path)
        min_temp = driver.find_element_by_xpath(min_temp_path)
        max_temp = re.findall('\d+', max_temp.text)
        min_temp = re.findall('\d+', min_temp.text)

1. 循环获取数据
2. 创建日期，最高温，最低温的xpath路径
3. 获取路径里的文本信息
4. 路径获取不到正确的信息或者匹配到下个月的1号就跳出循环
5. 用正则把温度中的数字取出来
   ?emm这里就是爬数据处理数据的主要逻辑了，因为天气预报上40天的显示是按日历来的，跟周数，星期数相关，于是这里用了嵌套的循环，但是因为月份的不同，周数有变化，我这里就写死range(2,8)（html数据从2开始到6或者7，range不包括8），有的月份没有第6周会获取不到元素的时候，强行int会报ValueError，等捕捉到这个错就是数据已经全部获取完可以break了。这里我用字典（key=value）存放日期和温度的对应，因为字典的key是唯一的，所以即使会获取到上个月30号的温度，也会被覆盖。这里还有个问题就是温度显示方式有多种，因此获取温度的xpath不是唯一的，于是我把这部分用try包起来，except捕捉到异常后用另一个xpath去获取，直到取到数据。详见下图
   

if __name__ == '__main__':
    weather = Weather()
    dict,month = weather.get_weather_html()
    count = 0
    for key in dict.keys():
        monthRange = calendar.monthrange(2019, int(month))
        print u"{name:10d}号：{max}~{min}℃".format(name=key,max=dict[key][0],min=dict[key][1])
        count += 1
        if count == monthRange[-1]:
            break

?最后我们就可以创建类实例，运行方法，打印数据了。提醒下cmd下运行的话，中文字符前要加个u转成Unicode，不然会报错。下图就是最后的运行结果啦。

?其实获取html的方法有很多种页面获取方法，我一开始用了urllib和request都失败了，因为天气预报的页面是动态加载的，而这两个库只能帮助我们获取静态页面，然后我就想试试自己模拟请求，实现动态加载，无奈才疏学浅，最后只能用万能牌selenium。selenium会模拟用户操作，真的在你电脑上打开浏览器然后点点点，这样虽然万能，但是就很慢呐。 以上就是我代码的大部分了，源码的话可以去我的github获取。

python学习之路——爬虫天气预报

原文：https://www.cnblogs.com/cts2710/p/10920377.html