## demo

1. 安装Python 3.7 以上版本。
2. 安装依赖：命令行执行 `pip install -r requirements.txt`。


### 说明

+ Run.py是运行爬虫的方法，在SetSpdierName.py里修改要运行的爬虫项目
+ 爬取纸业网咨询中心的印刷出版页面链接以及链接内详情内容。(PapernewsSpider.py) ，链接接为：http://www.paper.com.cn/news/nation.php?news_type=%D3%A1%CB%A2%B3%F6%B0%E6
+ 文件News.txt是爬取到的资讯数据
+ 爬取富宝咨询的纸厂调价栏目，记录的是废纸以及成品纸的价格变动（PaperpriceSpider.py）链接为：http://news.f139.com
+ 已经写好网页去重，并写好可以复用的相关的去重方法和清洗方法

### 文件说明
+ spider文件夹存放的是爬虫文件
+ tools文件夹存放的是各种工具类，包含各种测试用的工具类，
+ (现在已经关闭控制台输出)