二手庙

码农软件 · 软件分类 · 网店系统/电子商务 · 2020-02-01 17:42:17

软件介绍

网站安装指南 这里指针对Ubuntu 其他系统请参考

本网站基于web.py框架制作 分为两个部分,数据抓取以及网站展现。 数据库采用sqlite

如何安装web.py请参考

http://webpy.org/install

抓取部分

目录中Get文件夹内文件负责抓取信息

抓取之前你应该安装如下依赖库:

requests,pyquery

安装后执行:

python Get.py

可以抓取数据

在服务器中可利用 crontab进行定时抓取,本源码中已经写好了sh文件只需要如下操作

先编辑文件根目录的get.sh

vim get.sh

修改为你的路径

python /home/yourfile/get.py

然后加入crontab

crontab -e
*/10  * * * * sh /home/yourfile/get.sh

即可。

注意:建议删除数据库文件重新抓取。

展现部分

启动应用需要安装 gunicorn

pip install gunicorn

安装后启动服务

gunicorn -w 8 app:ershou

启动服务后默认端口为8000默认只允许127.0.0.1访问也就是只允许本机访问。 调试的时候可以加上如下参数

gunicorn -w 8 0.0.0.0:8000 app:ershou

这样就可以任意地址访问了。

Nginx 配置,把xmiao.org更换为你自己的域名就可以了。

server {
  listen 80;
  server_name xmiao.org www.xmiao.org;
  access_log  /var/log/nginx/example.log;

  location / {
      proxy_pass http://127.0.0.1:8000;

      proxy_set_header Host $host;
      proxy_set_header X-Real-IP $remote_addr;
      proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  }
}

server {
    listen 80;
    server_name ershou.miaowu.asia;

    location / {
        rewrite     ^   http://www.xmiao.org$request_uri? permanent;
    }
}

本文地址:https://codercto.com/soft/d/24675.html

网络机器人Java编程指南

网络机器人Java编程指南

美 Heaton J. / 电子工业出版社 / 2002-7 / 44.00元

这是一本研究如何实现具有Web访问能力的网络机器人的书。该书从Internet编程的基本原理出发,深入浅出、循序渐进地阐述了网络机器人程序Spider、Bot、Aggregator的实现技术,并分析了每种程序的优点及适用场合。本书提供了大量的有效源代码,并对这些代码进行了详细的分析。通过本书的介绍,你可以很方便地利用这些技术,设计并实现网络蜘蛛或网络信息搜索器等机器人程序。 适合于具有一起来看看 《网络机器人Java编程指南》 这本书的介绍吧!

CSS 压缩/解压工具
CSS 压缩/解压工具

在线压缩/解压 CSS 代码

JSON 在线解析
JSON 在线解析

在线 JSON 格式化工具

HEX HSV 转换工具
HEX HSV 转换工具

HEX HSV 互换工具