说明在Github上创建两个仓库,一个私库存放博客源码,一个用户名.github.io存放生成的public文件,使用VSCode编写markdown格式博文推送到私库即可自动部署到用户名.github.io。演示:Sky's Blog创建ssh密钥对$ ssh-keygen -f github-deploy-key打开 用户名.github.io 的仓库,点击 setting / deploy key ,然后点击 add new key,名称填写 HEXO_DEPLOY_PUB ,值填写上一步生成的公钥(.pub文件)里面的内容,然后勾选 allow write,提交。打开私库,添加 setting / secrets / add new key,名称为 HEXO_DEPLOY_PRI,值为生成ssh密钥对之私钥内容,提交。创建 github action workflow在私库中点击 Actions,新建一个workflow。name: HEXO CI on: [push] jobs: build: runs-on: ubuntu-latest strategy
安装完 npm install -g @vue/cli出现以下错误vue : 无法加载文件 C:\Users\xxx\AppData\Roaming\npm\vue.ps1,因为在此系统上禁止运行脚本。有关详细信息,请参阅 https:/go .microsoftGoogle之,以下方法解决之:以管理员身份运行PowerShell执行:get-ExecutionPolicy,回复Restricted,表示状态是禁止的。执行:set-ExecutionPolicy RemoteSigned选择Y注:一定要以管理员的身份运行PowerShell,不是cmd窗口!via:998ip
说明最近需要用到一些HTTP的代理,用于爬虫去爬取信息,搜索了一些网站,貌似现在这类提供免费代理IP的网站很多,刚好最近看了点vue的视频,弄个网站练练。部署到heroku,预览地址:点击这里FastAPI安装相关依赖pip install uvicorn fastapi requests bs4 jinja2 aiofiles一个简单的函数爬取代理def Spider(cat): url = '目标网站' headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"} try: res = requests.get(url,headers=headers) res.encoding = "utf-8" soup = BeautifulSoup(res.text, 'ht
爬取即时线报,通过vue.js和axios.js调用fastapi相关数据到html页面进行展示。效果展示:最新线报Heroku注册heroku安装heroku climkdir haoyangmao && cd haoyangmao git init heroku git:remote -a haoyangmao线报采集用python写一个简单的爬虫,大致代码如下,四个目标网站,利用requests+lxml库获取目标网站线报的url和title并写入数据库,如果采集频率比较高的话可以使用代理IP www.xhuosoft.cn,requests.get添加一个proxies就可以。headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"} class Spider(object): def __init_
使用的库bs4requestspymongofastapiuvicorn爬取ip网络上搜索一下有很多提供HTTP代理的网站,直接使用BeautifulSoup将IP爬下来。html =requests.get(url).text bs =BeautifulSoup(html,'html.perser') #findAll() #select() 验证ipres = requests.get(url,headers=headers,proxies=proxies) #判断res.status_code是否等于200 #db.insert_one()如果验证成功写入数据库。接口使用fastapi@app.get('/api') def api(): data = 查询数据库随机返回一条 return data效果展示演示地址:找IP
0728.im