分布式视频信息爬虫 videoSpider

• 授权协议: MIT
• 开发语言: Python
• 操作系统: 跨平台
• 软件首页: https://github.com/billvsme/videoSpider
• 软件文档: https://github.com/billvsme/videoSpider

软件介绍

分布式视频信息爬虫，从豆瓣，bilibili等收集电视剧、电影、动漫、演员等信息,
使用：requests 发送请求，BeatufulSoup解析html，SQLAlchemy 作为ORM，Alembic数据库版本控制。 

使用：协程（gevent）＋多进程，分布式（Celery）

model：

流程： 

本文地址：https://codercto.com/soft/d/610.html