web基础蜘蛛
网页文章采集器，英文名称Fast_Spider，属于蜘蛛爬虫类
程序，用于从指定
网站采集海量精华
文章，将直接丢弃其中的垃圾
网页信息，仅保存具备阅读价值和浏览价值的精华
文章，
自动执行HTM-TXT转换。本
软件为绿色
软件解压即可使用。
web基础蜘蛛
网页文章采集器特点如下：
(1)本
软件采用北大天网MD5指纹排重算法，对于相似相同的
网页信息，不再重复保存。
(2)
采集信息含义：［［HT］］表示
网页标题，［［HA］］表示
文章标题，［［HC］］表示10个权重关键字，［［UR］］表示
网页中的图片链接，［［TXT］］之后为正文。
(3)蜘蛛性能：本
软件开启300个线程来保证
采集效率。通过
采集100万精华
文章来执行压力测试，以普通网民的联网计算机为参考标准，单台计算机可以在一天内遍历200万
网页、
采集20万精华
文章，100万精华
文章仅需5天就可
采集完毕。
(4) 正式版与免费版的区别在于：正式版允许将
采集的精华
文章数据自动保存为ACCESS
数据库。
web基础蜘蛛
网页文章采集器操作步骤
(1)使用前，必须确保你的计算机可以连通网络，且防火墙不要拦截本
软件。
(2)运行SETUP.EXE和setup2.exe，以安装操作系统system32支持库。
(3)运行spider.exe，输入网址入口，先点"人工添加"按钮，再点"启动"按钮，将开始执行
采集。
web基础蜘蛛
网页文章采集器使用注意
(1)
抓取深度：填写0表示不限制
抓取深度；填写3表示抓到第3层。
(2)通用蜘蛛模式与分类蜘蛛模式的区别：假定网址入口为“http://youxi.baidu.com/”，若选择通用蜘蛛模式，将遍历“baidu.com”里面的每一个
网页；若选择分类蜘蛛模式，则只遍历“youxi.baidu.com”里面的每一个
网页。
(3) 按钮“从MDB导入”：网址入口从TASK.MDB中批量导入。
(4)本
软件采集的原则是不越站，例如给的入口是“http://youxi.baidu.com/”，就只在百度站点内部
抓取。
(5)本
软件采集过程中，偶尔会弹出一个或数个“错误对话框”，请不予理会，倘若关闭“错误对话框”，
采集软件就会挂掉。
本文地址：http://xiaoguoguo.dbeile.cn/quote/649.html
多贝乐 http://xiaoguoguo.dbeile.cn/ , 查看更多
