昨天在采集某一个网站的时候，采集程序出错了。是自写的采集程序。
经过搜索以后，查到一些没有用的结果，后来发现，用Msxml2.ServerXMLHTTP替换掉Msxml2.XMLHTTP,问题成功解决。
以下是分析排错过程。老是采集一段时间就挂了，指定资源下载失败，或者拒绝访问。后来直接全部是拒绝访问。一开始，认为，对方服务器做了防采集设置，比如有时间限制之类的。于是更改程序，原先是直接获取列表页，然后持续循环获得文章列表。改了采集文件结构，
原来是就一个文件，类，数据库连接，数据处理全部在一个文件里，再采集某一篇文章的时候，后天加了一个时间循环。等待5秒的。代码如下
sTime=Timer()
dTime=Timer()-sTime
do while dTime < 5
dTime=Timer()-sTime
loop
确实是能等待5秒钟，但是很快就发现，这个循环太过消耗CPU资源，一到这个循环，CPU占用率持续100%，于是马上放弃这个方案。
另做了一个文件。只根据文章URL抓取文章的相关内容并写入数据库，写入完毕后输出自动跳转代码。
核心思想就是用了<meta http-equiv="refresh" content="5;url=someurl.asp">
这是一个定时跳转的代码，相信大家都很熟悉。
我的原理做法就是，用一开始的文件，抓取所有的文章连接地址，以及相关导航代码，保存到数据库中。
然后用新做的抓取文章内容的程序，读取数据库记录，逐条进行采集。
数据库记录中有一个flag标记，tinyint类型，默认是0，采集成功更新为1，失败更新为2
这样，每次从数据库中读取一条未采集的数据，也就是读取flag=0的数据，进行操作。操作完毕等待5秒跳转到自身。
