python+fastapi自建HTTP爬虫IP池

使用的库

• bs4
• requests
• pymongo
• fastapi

• uvicorn

  爬取ip

  网络上搜索一下有很多提供HTTP代理的网站，直接使用BeautifulSoup将IP爬下来。

  html =requests.get(url).text
  bs =BeautifulSoup(html,'html.perser')
  #findAll()
  #select()
  

  验证ip

  res = requests.get(url,headers=headers,proxies=proxies)
  #判断res.status_code是否等于200
  #db.insert_one()

  如果验证成功写入数据库。

接口

使用fastapi

@app.get('/api')
def api():
    data = 查询数据库随机返回一条
    return data

效果展示

演示地址:找IP