1 20 50 150 500
欢迎来到哈希软件站，找素材，搜软件，就上哈希软件站！
当前位置 >首页 >软件下载 >电脑软件 >网络工具 >浏览器类

网络爬虫工具(NWebCrawler) v1.0.1绿色版

软件信息
  • 分类：浏览器类
  • 大小：116KB
  • 语言： 中文
  • 环境： WinAll
  • 更新：2024-07-08
  • 评级：
  • 系统： Windows Linux Mac Ubuntu
  • 软件类别： 国产软件 / 免费软件 / 浏览辅助
  • 插件情况：
  • 相关链接： http://www.cr173.com
软件介绍 下载地址

网络爬虫是一款一种按照一定的规则，自动的抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁，自动索引，模拟程序或者蠕虫，该又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者，欢迎需要的下载！

软件介绍：

NwebCrawler是用C#写的一款多线程网络爬虫程序，它的实现原理是先输入一个或多个种子URL到队列中，然后从队列中提取URL（先进先出原则），分析此网页寻找相应标签并获得其href属性值，爬取有用的链接网页并存入网页库中，其中用爬取历史来记录爬过的网页，这样避免了重复爬取。提取URL存入队列中，进行下一轮爬取。所以NwebCrawler的搜索策略为广度优先搜索。采用广度优先策略有利于多个线程并行爬取而且抓取的封闭性很强。

功能介绍：

可配置：线程数，等待时间，连接超时，允许MIME类型和优先级，下载文件夹。

统计信息：URL数量，总下载文件，总下载字节数，CPU利用率和可用内存。

Preferential crawler：用户可以设置优先级的MIME类型。

Robust: 10+ URL normalization rules, crawler trap avoiding rules.

欢迎下载！

下载地址

热门软件

相关软件
Top
Copyright (c) 2019-2020 哈希软件站 版权所有
京ICP备2021021884号-2