取cookies值import requestsfrom selenium import webdriverimport timefrom selenium.webdriver.common.by import By準備弄一個def main():# ! /usr/bin/env python # coding=utf-8 from selenium import webdriver import time driver = webdriver.Chrome() driver.get("https://www.baidu.com/") time.sleep(3) driver.find_element_by_link_text( '登入').click() time.sleep(3) driver.find_element_by_id( 'TANGRAM__PSP_10__footerULoginBtn').click() time.sleep(3) # 輸入賬號和密碼 driver.find_element_by_name( "userName&q
说明临近双旦及春节网络上各种推广送钱的活动愈来愈多，平常有时候也能薅个早晨钱，但是很多时候碰到红包与你擦肩而过也有些许淡淡的忧伤。所以用python写了一个小爬虫，爬取线报推送到微信群或电报群，最近学flask就写个简单的展示页面练练手。最终效果及演示效果图演示地址https://skystudy.herokuapp.com/由于只是需要提醒就没有写采集内容，看内容还是跳转到源站查看。电报群提醒貌似电报群之家抓取的文字就不用跳转源站了。--微信群提醒部署过程原本在本地使用sqlite，后来部署到heroku使用其提供的免费10000条的postgresql。另外在vps上也部署了一个用的宝塔面板里面的python部署工具也很简单的部署好了flask+MySQL的。
说明在Github上创建两个仓库，一个私库存放博客源码，一个用户名.github.io存放生成的public文件，使用VSCode编写markdown格式博文推送到私库即可自动部署到用户名.github.io。演示：Sky's Blog创建ssh密钥对$ ssh-keygen -f github-deploy-key打开 用户名.github.io 的仓库,点击 setting / deploy key ，然后点击 add new key，名称填写 HEXO_DEPLOY_PUB ,值填写上一步生成的公钥(.pub文件)里面的内容，然后勾选 allow write，提交。打开私库，添加 setting / secrets / add new key,名称为 HEXO_DEPLOY_PRI,值为生成ssh密钥对之私钥内容，提交。创建 github action workflow在私库中点击 Actions,新建一个workflow。name: HEXO CI on: [push] jobs: build: runs-on: ubuntu-latest strategy
安装完 npm install -g @vue/cli出现以下错误vue : 无法加载文件 C:\Users\xxx\AppData\Roaming\npm\vue.ps1，因为在此系统上禁止运行脚本。有关详细信息，请参阅 https:/go .microsoftGoogle之，以下方法解决之：以管理员身份运行PowerShell执行：get-ExecutionPolicy，回复Restricted，表示状态是禁止的。执行：set-ExecutionPolicy RemoteSigned选择Y注：一定要以管理员的身份运行PowerShell，不是cmd窗口！via:998ip
说明最近需要用到一些HTTP的代理，用于爬虫去爬取信息，搜索了一些网站，貌似现在这类提供免费代理IP的网站很多，刚好最近看了点vue的视频，弄个网站练练。部署到heroku，预览地址：点击这里FastAPI安装相关依赖pip install uvicorn fastapi requests bs4 jinja2 aiofiles一个简单的函数爬取代理def Spider(cat): url = '目标网站' headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"} try: res = requests.get(url,headers=headers) res.encoding = "utf-8" soup = BeautifulSoup(res.text, 'ht
爬取即时线报，通过vue.js和axios.js调用fastapi相关数据到html页面进行展示。效果展示：最新线报Heroku注册heroku安装heroku climkdir haoyangmao && cd haoyangmao git init heroku git:remote -a haoyangmao线报采集用python写一个简单的爬虫，大致代码如下，四个目标网站，利用requests+lxml库获取目标网站线报的url和title并写入数据库，如果采集频率比较高的话可以使用代理IP www.xhuosoft.cn，requests.get添加一个proxies就可以。headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"} class Spider(object): def __init_
使用的库bs4requestspymongofastapiuvicorn爬取ip网络上搜索一下有很多提供HTTP代理的网站，直接使用BeautifulSoup将IP爬下来。html =requests.get(url).text bs =BeautifulSoup(html,'html.perser') #findAll() #select() 验证ipres = requests.get(url,headers=headers,proxies=proxies) #判断res.status_code是否等于200 #db.insert_one()如果验证成功写入数据库。接口使用fastapi@app.get('/api') def api(): data = 查询数据库随机返回一条 return data效果展示演示地址:找IP
0728.im
