Home
悠然AI
Cancel

如何为爬虫添加下载进度条

1.引言 之前写过如何编写一个微博爬虫的文章,后来将微博爬虫开源到了GitHub上。 传统的视频图片的抓取姿势是如何的呢?如果使用requests包可以简单到下面这样的一句代码: requests.get(img_url,stream=True).content 上述代码所完成的操作仅仅就是 1、打开网络流; 2、读取返回的内容。 为了突出重点,这里省略了代理、Head...

conda无法安装opencv的解决办法

在新电脑中用conda命令安装opencv,但不是403错误就是超时。错误如下: Collecting package metadata (repodata.json): done Solving environment: failed Initial quick solve with frozen env failed. Unfreezing env and trying again. ...

如何使用Fiddler进行网络抓包

最近有个爬虫的需求,需要从网站上自动登录、爬取各种文件,所以就需要自己编写个爬虫程序进行爬取。 爬虫之前首先需要对目标网站进行分析,下面就介绍一下本次项目的一些经验。 1.抓包工具 本次抓包工具使用的是Fiddler,配合浏览器FireFox使用。 原因是Fiddler没有网页标签页的跳转问题,不容易错过网络包,而且FireFox的F12功能可视化做的比chrome好。 1.1安装...

解决Bottle中的CORS问题

最近在将安全帽检测算法发布到web上,网页中需要通过http post方法访问其他服务器的IP,执行操作的时候出现from origin 'null' has been blocked by CORS policy错误。 原因是:web server为了保证安全禁止了资源的跨域访问。 解决办法: 首先google了一些解决办法,试了下发现没有起作用,最后发现是因为网络上的解决办法的bo...

如何使用Mongoengine保存文件

引言 因为文件大小的限制,mongodb中通常使用GridFS进行文件存储。MongoEngine是python中实现对象-文档的映射的包。它基于GridFS提供了用于文件存储的FileField对象,并且文件的操作和python内置文件操作一样。 FileField提供Write、Read、Delete、Replace四种操作。FileField在GridFS中将保存在一个文件中。如果想...

如何部署分布式框架Celery到远程机器上

最近做了一个抢票软件用于抢票,开发好了之后分布在4台服务器上运行。实际的开发和部署过程有点繁琐,所以萌生了基于分布式的想法。 了解到python中Celery框架使用得较多,因而本文就学习一下如何部署基于Celery的代码到远程机器上。 Celery中的三个组件 Celery的思想比较简单,就是一个基于消息的分布式框架。核心有三个组件: Application: 类似于客户端像服务...

Python中的装饰器

有时候在看python源码的时候会看到在方法上面有个@的标识,这就是是装饰器。 装饰器提供了一种修改方法或类的灵活性,可以在不改变或者不必了解方法或者类的内部实现的基础上修改方法或者类。 比如: from flask import Flask app=Flask(__name__) @app.route('/') def hello(): return 'hello' 上述代码...

Customize the Favicon

The favicons of Chirpy are placed in the directory assets/img/favicons/. You may want to replace them with your own. The following sections will guide you to create and replace the default favicons...

Getting Started

Prerequisites Follow the instructions in the Jekyll Docs to complete the installation of the basic environment. Git also needs to be installed. Installation Creating a New Site There are two wa...

Writing a New Post

This tutorial will guide you how to write a post in the Chirpy template, and it’s worth reading even if you’ve used Jekyll before, as many features require specific variables to be set. Naming and...