[运维] 可视化爬虫易采集-EasySpider(笔记)

一、下载

​下载地址

下滑到Assets页面，选择下载

二、解压运

​解压压缩包，打开文件夹

在此文件夹下打开Linux Terimal, 并输入以下命令运行软件：

./easy-spider.sh

注意软件运行过程中不要关闭terminal。

三、使用

1.开始

首先点击【设计任务】，设计完成后才可以进行爬虫任务。

选择浏览器设计模式，根据爬取网站是否需要登陆来判断用哪个模式。不需要登陆选【纯净版浏览器设计】，需要登陆则选择【带用户信息浏览器设计】即可。

2.新建任务

​ 点击【创建新任务】->输入目标完整网址-点击【开始设计】

3.进入设计页面

设计页面包含两个窗口，流程设计界面：

目标网站，包含操作提示框：

设计完成后点击【保存任务】，关闭即可。

4.执行任务

点击【任务信息】

点击【调用任务】

点击【本地直接执行】，等待程序执行完成即可。

四、输出结果

爬取结果放在安装目录下的Data文件夹中：EasySpider_Linux_x64/Data，txt文件为程序运行日志，csv文件为爬取结果。

五、中国地震台网-案例

1.点击设计任务

2.纯净浏览器模式

3.创建任务

输入网址，点击【开始设计】

4.输入文字

右键选中元素，然后左键点击【输入文字】

输入值，点击确认：

5.设计流程变化

新增输入文字流程

6.点击链接

右键点击【查询】，左键点击【点击该链接】

在这里插入图片描述

7.选择采集数据

右键点击第一行第一列，然后点击第二行第二列。然后左键点击【选中全部】。

点击【采集数据】

8.翻页

右键点击翻页按钮，然后左键点击【点击该链接】

9.采集数据

10.设计流程图

得出的设计流程图，点击【保存任务】，随后运行即可。