自动上网的机器人自动抓数据

hsn1982（收藏）关键字:WebBrowser,拨号

在大多数情况下，上网冲浪是件令人愉快的事情。但若是数百上千的超链接摆在你面前，而你又不得不一一点击这些链接、进入相应的网页、手工筛选出每页里你需要的信息、最后再将这些信息编进数据库中、....，你将做何感想？如果每天都从事这种繁杂、枯燥的工作会不会让你发疯?

“自动上网机器人”或许可救你出“苦海”：你可以喝着咖啡、听着音乐、看着“机器人”辛勤地替你工作，那感觉是不是棒极了！

本文结合实例详尽讨论了用VB实现“上网机器人”的技术细节。我们知道，搜集和下载资料是人们使用互联网的最主要的目的之一，但有些信息资源过于庞大，用手工摘取的方法是困难的或根本就是行不通的。例如，你需要搜集欧洲进口机械设备的公司名录以便给他们发信邀请其参加博览会，在网上找到这些信息并不难，但出于数据安全等方面的考虑，几乎所有提供类似信息的网站都没有提供直接下载数据的功能。

要想搜集齐想要的数据，唯一可用的方法就是一页一页地浏览每个公司的信息页，摘取其中有用的数据并存入数据库。但当公司总数超过数千时，巨大的工作量会让任何人望而却步！其实，这浩大的工作完全可以由程序来完成，因为这些任务完全是机械的重复性工作。而且，用程序完成比用手工要快得多。本文涉及的技术细节是通用的，即对实例程序稍加修改就可完成任何“自动上网冲浪”任务。

自动拨号上网、自动处理中途掉线、任务完成后自动挂断，这些都是“上网机器人”的最基本的功能之一。它还能给你带来明显的经济回报：如果你让“机器人”在晚间至凌晨的上网费优惠期内拨号上网去自动冲浪，那真可称得上是典型的“一石三鸟”----你睡觉、它工作、还省钱！有关这方面的细节将在本文的第三部分里讨论。该部分提供了实现上述各功能的若干方法，并比较了这些方法各自的优劣。

本文的第一和第二部分分别以两个实例讨论了自动浏览的技术细节：在网页上的输入区内自动填入数据以便完成诸如用户登录等的操作、自动更新CheckBox、自动选择下拉式列表（ComboBox）的值、自动点击网页上的按钮、从网页上精确提取有用的数据并存盘、将网页上二维表（Table）内的数据一一提取出来并转换且存储成可直接导入数据库或 Excel的格式，以及控制浏览进程的技巧等等。

第一部分从网页上精确提取数据

net_1

本部分的实例是：下载沪深两市全部约1100家个股的基本信息及财务数据。若用手工操作，如上图所示，需要在股票代码区内分别输入1100个股票代码，在下拉式列表（ComboBox）中分别选择“个股资料”和“财务数据解读”，算下来约是2200次操作！这样的工作当然是由程序来完成划算得多。况且手工提取数据（先选中、再使用Ctrl+C拷贝）极容易出错（多选或漏选），又很费眼神。

1. 在输入区内自动填入数据

为使程序能高效地自动浏览，需引入一些最基本的功能，如在输入区内自动填入数据、自动点击按钮等等。虽然用变换 URL地址的方法有时也能完成任务，但往往过于费力，尤其当网页上的输入区较多时更是如此。

为了在输入区内输入数据，需要先搜索到该对象的名字，然后将该对象的值置为要填入的数据即可。搜索名字的工作可编程完成，亦可用 FrontPage轻松获得。

2. 自动在下拉式列表（ComboBox）中进行选择

同样地，首先要获得下拉式列表的名字。然后根据下拉式列表的元素总数（length属性）在列表中搜索要设置的值（列表的 Options集合中元素的Text属性），找到后，将该元素设为选中元素（元素的Selected属性）。

3. 自动点击按钮

对于按钮来讲，可根据其名字访问，亦可根据其值访问。按钮的值就是显示在按钮上的文字。一个按钮可能没有名字，但一定有值。本例的程序就是根据值来访问按钮。执行按钮的 Click方法就相当于点击了该按钮。

netinter1_2

图二中红色箭头所指即为程序自动填入输入框、自动在ComboBox中选择以及自动点击按钮的情况。

4. 精确提取数据

仅将有用的数据存储下来才是有意义的。必须研究网页，找出有效数据所在的Tag区（可用文本编辑器或 FrontPage），然后用该对象的innerText属性获得最终的文本。本例中要存储的数据如下图所示，其所用的Tag为“PRE”。

下面给出的是实例程序的完整代码：

' 程序一：从网页上精确提取数据
'
' 为运行本程序，应在“菜单->工程->部件”中添加“Microsoft Internet Controls”
' 并在“菜单->工程->引用”中添加“Microsoft HTML Object Library”
'
' 为了简洁，程序仅下载九只个股的基本信息
Option Explicit
Private Const Form_ID = 1
Dim Code(9) As String
Dim Current As Long
Private Sub Form_Load()
  Form1.MousePointer = 11
  ' 以下是个股代码
  ' 为了程序简洁，这里仅使用九只代码。
  ' 而在真实环境中，应从数据文件中读入全部个股代码。
  Code(0) = "600001": Code(1) = "600002": Code(2) = "600003"
  Code(3) = "600005": Code(4) = "600006": Code(5) = "600007"
  Code(6) = "600008": Code(7) = "600009": Code(8) = "600010"
  Current = 0
  WebBrowser1.Navigate "www.stockstar.com.cn"   ' 起始网址
End Sub

Private Sub WebBrowser1_DocumentComplete(ByValpDisp As Object, URL As Variant)
  Dim i, k
  Text2 = WebBrowser1.LocationURL    ' 显示当前网址
  ' 判断当前网页是否全部调入完毕
  If Not (pDisp Is WebBrowser1.Object) Then Exit Sub
  On Error Resume Next
  Select Case Text2
  Case "http://www.stockstar.com.cn/home.htm"  ' 当进入主页面时执行以下程序
   For i = 0 To WebBrowser1.Document.Forms(Form_ID).length - 1
      ' 找到代码输入框后填入个股代码
      If WebBrowser1.Document.Forms(Form_ID)(i).Name = "code" Then _
        WebBrowser1.Document.Forms(Form_ID)(i).Value = Code(Current)
      ' 在下拉式列表中进行选择
      If WebBrowser1.Document.Forms(Form_ID)(i).Name = "target" Then
        For k = 0 To WebBrowser1.Document.Forms(Form_ID)(i).length - 1
           If WebBrowser1.Document.Forms(Form_ID)(i).Options(k).Text _
                     = "个股资料" Then
             WebBrowser1.Document.Forms(Form_ID)(i).Options(k).Selected = True
             Exit For
           End If
        Next k
      End If
      ' 点击按钮
      If WebBrowser1.Document.Forms(Form_ID)(i).Value = " 查询 " Then _
        WebBrowser1.Document.Forms(Form_ID)(i).Click
   Next
  Case Else   ' 当进入数据页面时执行以下程序
   For i = 0 To WebBrowser1.Document.All.length - 1
      If WebBrowser1.Document.All(i).tagName = "PRE" Then
        ' 精确提取数据
        Text1 = Text1 + Code(Current) + vbCrLf + _
                WebBrowser1.Document.All(i).innerText + vbCrLf
        Exit For
      End If
   Next
   ' 数据存盘
   Open "C:\Data2.Txt" For Append As #1
   Print #1, Text1: Text1 = "": Close #1
   ' 换下一只股票
   Current = Current + 1
   If Current >= 9 Then
     ' 上网任务完成后，应在此调用自动挂断过程。
     Form1.MousePointer = 0: MsgBox "Finished!": End
   End If
   ' 回退到主页面，查询下一只股票的信息
   WebBrowser1.GoBack
  End Select
End Sub

第二部分将网页上的二维表导入数据库

在上一部分中，我们讨论了让程序自动在网上浏览并将所需的数据准确、快速地存储下来的方法。现在，我们将迎接更大的挑战：将网页上以表格形式存在的二维数据提取出来，并存成可直接导入数据库的“Microsoft Excel 逗号分隔值文件”（即.csv文件）。

netinter1_3

用手工在网页上直接提取类似上图中所示的表格数据是非常困难的。如果这样的表格有数十页甚至上百页之多，手工提取工作将是不可想象的，而且非常容易出错。

本部分的实例是：将沪深两市全部约1100家个股的财务评分表数据（共54页，每页20家，如上图所示）快速、准确地转换成“.csv”文件。

1. 自动设置CheckBox的值

由于只有注册用户才能访问上述财务评分表，因此实例程序首先演示了自动注册的功能。下图显示的是注册前以及自动注册后的画面。

netinter1_4

我们在上一部分中已讨论了自动填写输入区以及自动点击按钮等的方法。对于自动设置CheckBox值，其方法完全类似：首先要搜索到该CheckBox的名字，然后将该对象的Checked属性置为True或False即可。

2. 将网页上的二维表导入数据库

首先定义一个IHTMLElementCollection对象用于收集网页上所有的 Table，然后用getElementsByTagName方法执行收集工作：

Dim Tables AsIHTMLElementCollection
   Set Tables = WebBrowser1.Document.getElementsByTagName("Table")

一个网页上往往有多个 Table。我们用HTMLTable对象来处理每个Table：

Dim Table1 AsHTMLTable
    For Each Table1 In Tables
    Next

HTMLTable对象的innerText属性记录了整个 Table的全部信息，包括字段名。因此我们可以根据字段名判断出哪个 Table是我们需要的。

为了逐行逐列地提取数据，我们还需要HTMLTableRow对象和HTMLTableCell对象：

Dim Row AsHTMLTableRow, Cell As HTMLTableCell
    For i = 1 To Table1.rows.length - 1      ' 逐行处理
       Set Row = Table1.rows(i)
       j = 0
       For Each Cell In Row.cells      ' 逐列处理
          ' Row.cells(j).innerText即为当前行及当前列上的单元数据
          Text1 = Text1 + Trim(Row.cells(j).innerText) + ","
          j = j + 1
       Next
       ' 一行处理完毕后，去除行尾的逗号并加上回车
       Text1 = Left(Text1, Len(Text1) - 1) + vbCrLf
    Next

至此，当前网页上的二维表已转换成“.csv”格式。

3. 自动浏览时的页面控制技巧

我们从上个例子中就已经清晰地看到，自动浏览程序的主体是WebBrowser控件的DocumentComplete事件。只有在当前页面已被完全调入后，我们才能开始对当前页面进行数据处理，然后再根据当前在哪个页面来决定下一步的浏览方向。

需要指出的是，DocumentComplete事件的发生并不一定意味着当前页面已被全部调入。如果页面上没有其它子框架（frames），发生DocumentComplete事件即表明当前页面（即主框架）已完成调入；若页面上有多个框架，则每个框架完成时都会发生DocumentComplete事件；当所有子框架都完成后，主框架最后产生一次DocumentComplete事件。为了判断出这最后一次DocumentComplete事件，需要比较每次事件发生时的对象（pDisp）是否是WebBrowser控件对象本身：

Private Sub WebBrowser1_DocumentComplete(ByValpDisp As Object, _
                                             URL As Variant)
      If (pDisp Is WebBrowser1.Object) Then
        Debug.Print "Document is finished loading."
      End If
    End Sub

下面是实例程序的完整代码（运行该程序可得到完整的1061行“.csv”格式的数据，分别代表1061个上市公司的财务信息。该文件可直接导入Access数据库或 Excel中。）：

' 程序二：将网页上的二维表导入数据库
'
' 为运行本程序，应在“菜单->工程->部件”中添加“Microsoft Internet Controls”
' 并在“菜单->工程->引用”中添加“Microsoft HTML Object Library”
'
Option Explicit
Dim Page As Long
Private Sub Form_Load()
Form1.MousePointer = 11
WebBrowser1.Navigate "www.stockstar.com.cn" ' 起始网址
End Sub
Private Sub WebBrowser1_DocumentComplete(ByVal pDisp As Object, URL As Variant)
Dim Table1 As HTMLTable, Tables As IHTMLElementCollection
Dim Row As HTMLTableRow, Cell As HTMLTableCell
Dim i, j, tmp
Text2 = WebBrowser1.LocationURL ' 显示当前网址
' 判断当前网页是否全部调入完毕
If Not (pDisp Is WebBrowser1.Object) Then Exit Sub
On Error Resume Next
Select Case Text2
Case "http://www.stockstar.com.cn/home.htm" ' 当进入主页面时执行以下程序
' 用户注册登录
For i = 0 To WebBrowser1.Document.Forms(0).length - 1
' 找到 CheckBox 后，将其值改为 False，以防止用户名及密码被存储
If WebBrowser1.Document.Forms(0)(i).Name = "checkSavePW" Then _
WebBrowser1.Document.Forms(0)(i).Checked = False
If WebBrowser1.Document.Forms(0)(i).Name = "userId" Then _
WebBrowser1.Document.Forms(0)(i).Value = "kompass_china"
If WebBrowser1.Document.Forms(0)(i).Name = "passwd" Then _
WebBrowser1.Document.Forms(0)(i).Value = "kompass1"
' 此处是按名字访问按钮（上例中是按值访问按钮）
If WebBrowser1.Document.Forms(0)(i).Name = "continue" Then _
WebBrowser1.Document.Forms(0)(i).Click
Next
Case "http://my.stockstar.com/scripts/mystockstar.dll?login"
' 当用户登录完成后，准备打开表格的第一页
WebBrowser1.Navigate "http://finance.stockstar.com/scripts/finance.dll?" + _
"showstkdfpm&begin=0&ret=1&index=2&concode=01"
Page = 1
Case Else ' 当进入数据页面（表格的第一页至最后一页）时执行以下程序
Set Tables = WebBrowser1.Document.getElementsByTagName("Table")
For Each Table1 In Tables
If Left(Table1.innerText, 2) = "名次" Then ' 找到需要的Table
' 将表格转换成“.csv”格式
For i = 1 To Table1.rows.length - 1
Set Row = Table1.rows(i)
j = 0
For Each Cell In Row.cells
Text1 = Text1 + Trim(Row.cells(j).innerText) + ","
j = j + 1
Next
Text1 = Left(Text1, Len(Text1) - 1) + vbCrLf
Next
' 数据存盘
Open "C:\Data.csv" For Append As #1
Print #1, Left(Text1, Len(Text1) - 2): Text1 = "": Close #1
Exit For
End If
Next
' 准备打开下一页
Page = Page + 1
tmp = "http://finance.stockstar.com/scripts/finance.dll?showstkdfpm&ret=" + _
Trim(Str(Page)) + "&index=2&concode=01"
If Page <= 54 Then ' 判断是否浏览结束
WebBrowser1.Navigate tmp
Else
' 上网任务完成后，应在此调用自动挂断过程。
Form1.MousePointer = 0
MsgBox "Finished!!": End
End If
End Select
End Sub

以下给出的是上述程序所存数据文件的片段：

1,乐凯胶片,600135,材料,81.493,18.445,23.165,8.850,20.717,10.315
2,歌华有线,600037,传播娱乐,80.553,13.009,22.256,12.141,20.304,12.844
3,外运发展,600270,仓储运输,80.326,17.331,23.005,8.829,19.900,11.261
4,东方钽业,0962,有色金属,80.312,15.160,22.483,11.648,21.290,9.730
5,双汇发展,0895,食品,79.772,15.428,20.673,11.508,20.235,11.930
6,四川美丰,0731,化肥,79.361,15.795,23.235,11.323,16.921,12.088
... ... ...
1059,轮胎橡胶,600623,车类,7.167,8.265,10.973,-34.411,14.120,8.219
1060,PT吉轻工,0546,日用轻工产品,-11.895,5.740,-49.149,7.999,14.136,9.379
1061,广船国际,600685,机械仪器,-57.452,9.824,-1.528,-89.648,14.366,9.533

第三部分自动拨号、自动挂断以及自动处理中途掉线

一个出色的“自动上网机器人”程序应能按照既定的时间准时开始拨号、并当所需任务已完成后立即挂断。而且仅做到这些还不够，它还应在发出拨号指令后跟踪拨号操作是否真的成功、上网速度如何、是否需要挂断后重新拨号、自动浏览过程中是否出现掉线、以及最终的挂断操作是否真的成功完成，等等。

因此，“机器人”程序应定时检查在线状况，以保证浏览时一定在在线状态、浏览完毕后一定不在在线状态。同时还要检查浏览进度，当浏览速度过慢时尝试挂断后重新拨号。

本部分讨论了实现“自动拨号”、“检查在线状况”、以及“自动挂断”这三个功能的若干方法，比较了诸方法各自的优劣，并总结给出了使用建议。本部分的示例程序将这三个功能的诸方法集成在一起，以便于大家对比使用（见下图）。

netinter1_5

1. 自动拨号

方法1A：使用rnaui.dll

rnaui.dll是微软的“拨号网络用户接口”程序集，一般在“\Windows\System”目录下。其中的RnaDial程序用于启动拨号。该程序可在命令行执行（在“开始”->“运行”中键入）：

rundll32.exe rnaui.dll,RnaDial <拨号网络连接名>

其中的“RnaDial”和“<拨号网络连接名>”是区分大小写的。

但由于上述命令仅启动拨号窗口而未立即开始拨号，因此在程序中使用时还应再

送出模拟“回车”的按键：

ret = Shell("rundll32.exe rnaui.dll,RnaDial " + 连接名, 1)
    SendKeys "{enter}", True

方法1B：使用wininet.dll

wininet.dll是微软的Internet扩充函数集，一般在“\Windows\System”目录下。其中的InternetAutodial、InternetAutodialHangup和InternetGetConnectedState三个函数分别可完成自动拨号、自动挂断和判断在线状态等任务。InternetAutodial的定义为：

Private Declare Function InternetAutodial Lib "wininet.dll" _
           (ByValdwFlags As Long, ByValdwReserved As Long) As Long

若将第一个参数（dwFlags）的值设为2，该函数无需用户干预就可自动拨号。但使用该函数有一个前提：即必须将“Internet 属性”->“连接”设成“始终拨打默认连接”（见下图）。

netinter1_6

用InternetAutodial函数自动拨号的情况可参见下图。从图中可以看出，该方法可自动重试多次。具体的重试次数在默认连接的“设置”->“高级”中定义：

netinter1_7

方法1C：使用RAS

RAS 是微软的远程访问服务（Remote Access Service）API集合。其中的 API函数RasDial可完成拨号任务。但由于该函数在使用上略显复杂而不太常用，故示例程序中未采纳。

自动拨号方法小结：rnaui方法使用起来最简单，又由于它不一定非要使用默认连接，因此也最灵活。但这种灵活恰恰又给它带来了弱点，即如果不提供连接名，该方法不会自动调用默认连接。此外，这种方法还有两个最大的缺点：一是仅拨号一次，若出现占线或没有响应等情况时不会自动重试；二是调用程序不容易得到拨号是否成功的返回值。相比之下，wininet方法虽仅能拨打默认连接（无默认连接时，使用第一个连接），但它可多次试拨，并且InternetAutodial函数等待拨号成功或所有试拨结束以便给调用程序返回拨号是否成功的值，因此，在“自动上网机器人”的环境中wininet方法是最适宜的。

2. 检查在线状况

方法2A：wininet方法

若InternetGetConnectedState函数返回True，则为在线状态。该方法最大的缺点是：若当前连接不是用wininet方法建立的，则返回值可能不准确。

方法2B：查找窗口法

拨号连接成功后，下图所示的窗口一定存在（不管它是最小化在任务栏的最右端，或是开启为下图所示的状态）：

netinter1_8

用FindWindow API函数找到该窗口即意味着当前在线。此外，查找窗口法的另一个用处是查找“重新连接”窗口：当中途掉线时，操作系统往往会询问你是否重新连接，找到该窗口并发出模拟“回车”按键即可实现再拨号。

查找窗口法的缺点是：由于找窗口时需要提供窗口标题，因此即使使用的是默认连接也必须事先知道默认连接名。

方法2C：RAS 方法

先用RasEnumConnections函数返回整个RAS集合，再用RasGetConnectStatus函数判断第一个 RAS连接的状态。RAS方法的最大优点是：不管当前连接是否是用wininet建立的，RAS 方法均可对在线状态做出正确判断。

方法2D：注册表法

在线时，注册表的“\HKEY_LOCAL_MACHINE\System\CurrentControlSet\Services\RemoteAccess”处有键值“Remote Connection”，且其值不为零；不在线时，该处无“Remote Connection”键值（当本次系统启动后从未拨号成功时），或者其值为零（表明曾拨号成功，但现在已断掉）。

检查在线状况之方法小结：由于wininet方法的局限性，一般我们应避免使用之；查找窗口法是可靠的，只是要知道连接名；因此我们推荐使用RAS 方法和注册表法。

3. 自动挂断

方法3A：wininet法

使用InternetAutodialHangup函数。同样地，若当前连接不是用wininet方法建立的，则返回值可能不准确（即不能成功挂断）。

方法3B：窗口查找法

找到图九所示的窗口，然后用ShowWindow API函数使之成为当前窗口，最后发出模拟<Alt>+C的按键操作（从图九中可以看出，<Alt>+C是“断开连接”按键的快捷方式）。

方法3C：RAS 法

用RasHangUp函数执行挂断。不管用何种方法建立的连接，RAS 法均能可靠地完成任务。

自动挂断方法小结：相比之下，窗口查找法和RAS 法是可以信赖的。

4. 本部分总结

综上所述，对于“自动拨号”、“检查在线状况”、以及“自动挂断”的各种方法，我们推荐“1A-2C-3C”组合。当然各方法可综合使用（如加入2D、3B等），以确保万无一失。在具体编程时还应注意：拨号后判断结果，如不成功应重新拨号；任务进行过程中定时检查在线状态，出现掉线后应及时处理；最后的挂断操作后应再查在线状态，以确保挂断成功。

下面是实例程序的完整代码。源代码中的全局定义已按照wininet、RAS、注册表等进行分类，各具体方法也均按序排列，以便于大家挑选使用。该程序的执行情况在本部分的开始处已给出（图六）。

' 程序三：自动拨号、自动挂断以及自动处理中途掉线
'
Option Explicit
' 有关 wininet 的全局定义
Private Const INTERNET_AUTODIAL_FORCE_UNATTENDED = 2
Private Const INTERNET_CONNECTION_MODEM = 1
Private Declare Function InternetAutodial Lib "wininet.dll" _
(ByVal dwFlags As Long, ByVal dwReserved As Long) As Long
Private Declare Function InternetAutodialHangup Lib _
"wininet.dll" (ByVal dwReserved As Long) As Long
Private Declare Function InternetGetConnectedState Lib _
"wininet.dll" (ByRef lpdwFlags As Long, ByVal _
dwReserved As Long) As Long
' 有关“窗口查找”的全局定义
Private Declare Function FindWindow Lib "user32" _
Alias "FindWindowA" (ByVal lpClassName As String, _
ByVal lpWindowName As String) As Long
Private Declare Function ShowWindow Lib "user32" _
(ByVal hwnd As Long, ByVal nCmdShow As Long) As Long
Private Const SW_SHOW = 5
' 有关 RAS 的全局定义
Private Const RASCS_DONE = &H2000&
Private Const RAS_MaxEntryName = 256
Private Const RAS_MaxDeviceType = 16
Private Const RAS_MaxDeviceName = 128
Private Type RASCONN
dwSize As Long
hRasConn As Long
szEntryName(RAS_MaxEntryName) As Byte
szDeviceType(RAS_MaxDeviceType) As Byte
szDeviceName(RAS_MaxDeviceName) As Byte
End Type
Private Type RASCONNSTATUS
dwSize As Long
RasConnState As Long
dwError As Long
szDeviceType(RAS_MaxDeviceType) As Byte
szDeviceName(RAS_MaxDeviceName) As Byte
End Type
Private Ras_Buf(255) As RASCONN
Private Ras_Status As RASCONNSTATUS
Private lpcb As Long
Private lpcConnections As Long
Private Declare Function RasEnumConnections Lib _
"rasapi32.dll" Alias "RasEnumConnectionsA" (lprasconn _
As Any, lpcb As Long, lpcConnections As Long) As Long
Private Declare Function RasGetConnectStatus Lib _
"rasapi32.dll" Alias "RasGetConnectStatusA" (ByVal _
hRasConn As Long, lpRASCONNSTATUS As Any) As Long
Private Declare Function RasHangUp Lib "rasapi32.dll" _
Alias "RasHangUpA" (ByVal hRasConn As Long) As Long
' 有关“注册表”的全局定义
Private Const HKEY_LOCAL_MACHINE = &H80000002
Private Declare Function RegOpenKey Lib "advapi32.dll" Alias _
"RegOpenKeyA" (ByVal hKey As Long, ByVal lpSubKey As _
String, phkResult As Long) As Long
Private Declare Function RegQueryValueEx Lib "advapi32.dll" _
Alias "RegQueryValueExA" (ByVal hKey As Long, ByVal _
lpValueName As String, ByVal lpReserved As Long, lpType _
As Long, lpData As Any, lpcbData As Long) As Long
Private Declare Function RegCloseKey Lib "advapi32.dll" _
(ByVal hKey As Long) As Long
Dim ret As Long
'自动拨号
Private Sub wininet拨号测试_Click()
If InternetAutodial(INTERNET_AUTODIAL_FORCE_UNATTENDED, 0) _
Then MsgBox "已连接（wininet法）"
End Sub
Private Sub rnaui拨号测试_Click()
ret = Shell("rundll32.exe rnaui.dll,RnaDial " + Text1, 1): DoEvents
SendKeys "{enter}", True: DoEvents
End Sub
'检查是否断线
Private Sub wininet方法_Click() ' wininet法检查是否断线
If InternetGetConnectedState(INTERNET_CONNECTION_MODEM, 0) Then
MsgBox "在线．"
Else
MsgBox "当前未连接。"
End If
End Sub
Private Sub 查找窗口法_Click() ' 查找窗口法检查是否断线
ret = FindWindow("#32770", "重新连接")
If ret <> 0 Then
Call ShowWindow(ret, SW_SHOW)
SendKeys "{enter}", True: Exit Sub
End If
ret = FindWindow("#32770", "连接到 The95963")
If ret <> 0 Then
MsgBox "在线．"
Else
MsgBox "当前未连接。"
End If
End Sub
Private Sub RAS方法_Click() ' RAS方法检查是否断线
Ras_Buf(0).dwSize = Len(Ras_Buf(0)) + 1
lpcb = 256 * Ras_Buf(0).dwSize
ret = RasEnumConnections(Ras_Buf(0), lpcb, lpcConnections)
If ret Then
MsgBox "出错！": Exit Sub
End If
Ras_Status.dwSize = Len(Ras_Status) + 2
ret = RasGetConnectStatus(Ras_Buf(0).hRasConn, Ras_Status)
If ret = 0 And Ras_Status.RasConnState = RASCS_DONE Then
MsgBox "在线．"
Else
MsgBox "当前未连接。"
End If
End Sub
Private Sub 注册表法_Click() ' 注册表法检查是否断线
Dim SubKey As String, ValueName As String
Dim Data As Long, Result As Long
SubKey = "System\CurrentControlSet\Services\RemoteAccess"
ret = RegOpenKey(HKEY_LOCAL_MACHINE, SubKey, Result)
If ret = 0& Then
ValueName = "Remote Connection"
ret = RegQueryValueEx(Result, ValueName, 0&, 0&, ByVal Data, 0&)
ret = RegQueryValueEx(Result, ValueName, 0&, 0&, Data, Len(Data))
If ret = 0& And Data <> 0 Then
MsgBox "在线！"
Else
MsgBox "当前未连接。"
End If
RegCloseKey (Result)
End If
End Sub
'自动挂断
Private Sub wininet法_Click() ' wininet法自动挂断
If InternetAutodialHangup(0) Then MsgBox "已挂断（wininet法）"
End Sub
Private Sub 窗口查找法_Click() ' 窗口查找法自动挂断
ret = FindWindow("#32770", "连接到 The95963")
If ret <> 0 Then
Call ShowWindow(ret, SW_SHOW)
SendKeys "%c", True
MsgBox "已挂断（窗口查找法）"
End If
End Sub
Private Sub RAS法_Click() ' RAS法自动挂断
Ras_Buf(0).dwSize = Len(Ras_Buf(0)) + 1
lpcb = 256 * Ras_Buf(0).dwSize
ret = RasEnumConnections(Ras_Buf(0), lpcb, lpcConnections)
If ret Then
MsgBox "出错！": Exit Sub
End If
Ras_Status.dwSize = Len(Ras_Status) + 2
ret = RasGetConnectStatus(Ras_Buf(0).hRasConn, Ras_Status)
If ret = 0 And Ras_Status.RasConnState = RASCS_DONE Then
If RasHangUp(Ras_Buf(0).hRasConn) = 0 Then _
MsgBox "已挂断（RAS法）"
End If
End Sub

对该文的评论人气：7171

amna(2003-11-2 12:53:41)

关注到第一部分第3点：自动点击按钮。如果不是按钮，而是一个超级连接（links），好像就没有click方法，我查了webbrowser控件说明，就是找不到<A>元素的方法，哪位可以提供相关资料？（因为有些网页包含了参数传送，不能直接用WebBrowser1.Navigate方法进入连接）

lovegsw(2003-7-3 15:08:27)

好象是不错。我看看试试！

cocosoft(2003-5-20 20:40:45)

收藏先！

badman911(2003-5-9 16:51:15)

收藏

allanyan(2003-5-5 17:07:52)

经典

kissoflife(2003-4-17 10:09:06)

收藏

dumax__2002(2003-4-7 10:53:09)

让我想起了《黑客帝国》

asialove2003(2003-4-6 14:29:51)

其实就是个爱好吧

我自己一般都是花钱买的。象web data explore, AEE, AMV 等等

40-90 美圆一个，自己做的都是为了切实的特别需要！我有个东西，只要别人的站点有新用户加了进来，他就会把新用户给我发过来！（实际上还是抓取的）

很简单！不过没有人做这样的东西来卖，只要自己做!

superworker(2003-4-6 11:22:35)

上一贴子介绍的过滤器的使用例子.
1.广告图片太多.则在设置文件里面添加去掉图片的设置条目,可以完全就把图片滤除,也可以让图片滤除后显示一个具有一定提示意义的简短连接.这样,在访问网站取回页面后,图片就没有了.
2.FLASH动画有时候是非常令人讨厌的东西.和上面讲的图片过滤设置方法一样.让FLASH在自己有闲心观看的时候,单独在一个窗口里面跑动吧.
3.页面的北京太艳丽,很容易让自己的上司发现自己在上网.那么在设置文件里面添加一个将背景全部设置为白色的设置条目就可以了.(我本人现在就这么干的)

上述所有的设置都通过浏览器可以完成,因为该过滤软件内嵌一个支持CGI开发的WEB服务器,所有的管理功能都将通过该WEB服务器完成.

如果你的朋友希望与你分享过滤功能的话,那么,请为他开设一个帐号,让他把他的浏览器的代理指向你的过滤器就可以了.同时,他因为有自己的帐号,所以可以有自己喜欢的过滤方式.

superworker(2003-4-6 11:08:14)

目前正在做一个网页过滤器.目标是在用户可以控制的情况下过滤掉所有的图片或别的用户希望过滤的内容.基本思路是:
1.系统作为一个WEB代理启动
2.启动起来后,修改浏览器的代理设置,指向自己的代理
3.代理浏览器取回页面
4.如果取会的页面是HTML页面,则扫描该页面,根据用户的设置将需要过滤的内容过滤掉,或留下一个简短的指向被过滤的内容的连接.(这样一来用户可以点击该连接在新的窗口里面单独浏览该内容)

上述功能目前已经实现了绝大部分,但是,要真正完全过滤掉试图过滤的所有内容,还需要对JAVASCRIPT进行解释,因为如果有些内容不是直接用HTML标签而是通过JAVASCRIPT的打印语句输出的话,对该部分的过滤就存在问题.
目前正在思考实现JAVASCRIPT解释的问题.欢迎有兴趣的朋友给点建议.

hpn_cao(2003-4-6 10:06:29)

这种软件网上都一堆了，功能强大很多呢：
http://www.youthinfo.biz/DetailProduct.asp?id=1
据说百度也有相关产品。

bluemouse(2003-4-5 22:39:35)

Netcull的内容抓取已经作出来了，但是由于版权等等问题没有公开提供访问，大家如果要看这个功能，我可以提供试用帐号，呵呵。

asialove2003(2003-4-5 7:19:30)

当form load

list1.additem (所有股票代码)

webbrowser 可以去按照list item 去explore

不过EXCEL 2000 里面的web query 够强大的！

谁知道怎么可以让excel 批量的query

asialove2003(2003-4-5 7:17:42)

Dim Table1 AsHTMLTable
    For Each Table1 In Tables
    Next

这里可以用table.lenth 来获取一共有多少个table

Spring414(2003-4-4 18:35:43)

child_bj: 你用BCB做做么？可以看看你的作品吗？

hbb1981(2003-4-4 14:38:59)

收藏

shines(2003-4-4 13:47:02)

还有，就像楼下的人说，抓回来的数据肯定不能跟别人的组织一样，肯定要经过自己的模板配合抓回来的数据重新组合为新的页面。

shines(2003-4-4 13:45:20)

初看满好，细看其实不怎么样，不过能用VB这样做已经是很了不起了，其实HTML定位是很麻烦的，文中是依靠Table的name才判断位置的，要是人家Table没有定义Name或ID就没折了，我做过更好的，而且重要的一点就是，如果网速慢的时候可以使用代理来访问所要的数据。不过文中提供的方法也不失为一种很特别的方法。

oldgameman(2003-4-4 13:08:26)

太棒了
关于如何从网页中自动索取特定的信息，一直是我想了解的。
这可是编写自己的机器人的基本功能啊。
收藏先^_^

wwqq2(2003-4-4 10:36:45)

WEBPRINT组件用于在B/S下实现打印功能,具有安全性好,参数简单,使用方便的特点.
e表用于在B/S下实现各种各样的报表设计功能.是一个报表框架.使用它可大大加快查询统计报表的开发.这两个组件都提供100%源程序及相关开发文档.

可到下列地址下载演示版及详细说明:
http://www.fcsoft.com.cn
http://218.30.21.125:8084/friendmake/softwaredevelope/eReport.zip
http://211.92.204.3:8089/friendmake/softwaredevelope/eReport.zip

在浏览器中实现打印,套打的完美解决方案.
参见http://www.fcsoft.com.cn

bluemouse(2003-4-3 23:39:09)

to：hsn1982，如果让程序全自动分析太难了，从某种意义上来讲，属于人工智能的范畴了，呵呵。

bluemouse(2003-4-3 23:38:08)

netcull正文抓取已经实现了，但是由于版权问题没敢放在前台而已。这个系统就是我作的，有问题我们可以随时沟通的，我的QQ：109228

white(2003-4-3 17:52:46)

en，对，就是要像 netcull.com那样的，而且正文内容也要抓过来，而且取出正文等有效信息，然后重新套自己的模板来发布。
客户的要求是不是有些变态啊，我找了半天，也没找到相关资料。

bluemouse(2003-4-3 13:20:40)

看一下netcull.com，采用的技术类似white所描述的那种，其中对html纠错的部分占整个代码量的8成以上。

white(2003-4-3 9:47:17)

自动填写值是没必要，用HTTP协议的POST或GET就可以了。
我最近也在做类似的项目，但是要通用的，就是说提供一个工具来允许用户设置要抓取网页中什么位置的什么内容，甚至要顺着连接将具体内容也抓下来。
想了半天，还没找到一个好的模型，因为HTML的语法是不规范的。

child_bj(2003-4-2 20:35:26)

我用BCB做过

fangcheng(2003-4-2 15:04:01)

up

albert_qhd(2003-4-2 13:42:20)

好像不需要自动填写值吧？
只要将数据通过post或get传到指定页就行了吧？

mwjx(2003-4-2 1:18:51)

good

yinjinbin(2003-4-1 23:51:11)

感觉还不错。
不知用起来如何啊！

qxm(2003-4-1 14:03:32)

不错，不知道使用起来效果怎么样，有没有已经做好的VB工程啊？

jishufenxi(2003-4-1 12:15:38)

gz

01Soft(2003-4-1 12:01:51)

收藏，好好研读研读！

# 自动上网的机器人自动抓数据

# 第一部分 从网页上精确提取数据

# 1. 在输入区内自动填入数据

# 2. 自动在下拉式列表（ComboBox）中进行选择

# 3. 自动点击按钮

# 4. 精确提取数据

# 第二部分 将网页上的二维表导入数据库

# 1. 自动设置CheckBox的值

# 2. 将网页上的二维表导入数据库

# 3. 自动浏览时的页面控制技巧

# 第三部分 自动拨号、自动挂断以及自动处理中途掉线

# 1. 自动拨号

# 方法1A：使用rnaui.dll

# 方法1B：使用wininet.dll

# 方法1C：使用RAS

# 2. 检查在线状况

# 方法2A：wininet方法

# 方法2B：查找窗口法

# 方法2C：RAS 方法

# 方法2D：注册表法

# 3. 自动挂断

# 方法3A：wininet法

# 方法3B：窗口查找法

# 方法3C：RAS 法

# 4. 本部分总结