首页 > 其他 > 详细

pyppeteer入门

时间:2019-09-27 22:56:44      阅读:95      评论:0      收藏:0      [点我收藏+]
import asyncio
from pyppeteer import launch
from lxml import etree

async def main():
    bro=await launch(headless=False)
    page=await bro.newPage()
    await page.goto(http://quotes.toscrape.com/)
    page_text=await page.content()
    return page_text
def parse(tasks):
    page_text=tasks.result()
    tree=etree.HTML(page_text)
    div_list=tree.xpath(/html/body/div/div[2]/div[1]/div)
    for element in div_list:
        content=element.xpath(.//span/text())
        print(content)

c=main()
tasks=asyncio.ensure_future(c)
tasks.add_done_callback(parse)
loop=asyncio.get_event_loop()
loop.run_until_complete(tasks)

pyppteer用于抓取网页中动态加载的内容,也可以用于模拟登陆

pyppeteer入门

原文:https://www.cnblogs.com/edanlee/p/11600629.html

(0)
(0)
   
举报
评论 一句话评论(0
关于我们 - 联系我们 - 留言反馈 - 联系我们:wmxa8@hotmail.com
© 2014 bubuko.com 版权所有
打开技术之扣,分享程序人生!