*本系统功能模块、字段参数,均可结合用户实际业务需求调整,可增可减,以达到最佳业务管理流程的体验!
编号 | 模块名称 | 字段参数 |
1 | 网站URL解析 | URL地址、域名、协议类型、端口号、路径等 |
2 | 数据存储 | 数据表、数据库、数据类型、数据字段、数据等 |
3 | 网页下载 | URL地址、请求头、响应码、响应头、网页内容等 |
4 | 链接提取 | HTML页面、规则表达式、连接结果、连接标题、连接URL等 |
5 | 数据清洗 | HTML页面、清洗规则、清洗结果、清洗字段、清洗方法等 |
6 | 数据解析 | HTML页面、解析规则、解析结果、解析字段、解析方法等 |
7 | 爬虫调度 | 起始URL、配置文件、爬虫状态、任务队列、访问频率等 |
8 | 反爬虫处理 | IP代理、Cookies、验证码识别、请求间隔等 |
9 | 数据分析 | 数据表、数据字段、数据清洗、数据统计、数据可视化等 |
10 | 日志记录 | 日志文件、日志级别、日志格式、日志内容、日志时间等 |
11 | 邮件通知 | 邮件地址、邮件主题、邮件正文、邮件附件、邮件发送结果等 |
12 | 图片处理 | 图片URL地址、图片格式、图片大小、图片宽度、图片高度等 |
13 | 页面渲染 | 动态页面、渲染结果、渲染时间、渲染方式等 |
14 | 数据导出 | 数据表、导出格式、导出路径、导出结果、导出时间等 |
15 | URL去重 | URL地址、去重规则、去重结果、去重方法、去重时间等 |
16 | 数据更新 | 数据表、数据字段、更新规则、更新结果、更新时间等 |
17 | 请求过滤 | URL地址、过滤规则、过滤结果、过滤方法、过滤时间等 |
18 | 网页截图 | URL地址、截图路径、截图宽度、截图高度、截图时间等 |
19 | 代理验证 | IP代理、验证规则、验证结果、验证方法、验证时间等 |
20 | 异常处理 | 异常类型、异常信息、异常处理方式、异常时间、异常结果等 |