测试工具的选择和使用
2003年第9期《程序员》上啄木鸟部落发文“测试工具的选择和使用”，现将其中的工具列表摘录，以备忘
Parasoft白盒测试工具集
| 工具名 | 支持语言环境 | 简介 |
|---|---|---|
| Jtest | Java | 代码分析和动态类、组件测试 |
| Jcontract | Java | 实时性能监控以及分析优化 |
| C++ Test | C,C++ | 代码分析和动态测试 |
| CodeWizard | C,C++ | 代码静态分析 |
| Insure++ | C,C++ | 实时性能监控以及分析优化 |
| .test | .Net | 代码分析和动态测试 |
Compuware白盒测试工具集
| 工具名 | 支持语言环境 | 简介 |
|---|---|---|
| BoundsChecker | C++,Delphi | API和OLE错误检查、指针和泄露错误检查、内存错误检查 |
| TrueTime | C++,Java,Visual Basic | 代码运行效率检查、组件性能的分析 |
| FailSafe | Visual Basic | 自动错误处理和恢复系统 |
| Jcheck M$ | Visual J++ | 图形化的纯种和事件分析工具 |
| TrueCoverage | C++,Java,Visual Basic | 函数调用次数、所占比率统计以及稳定性跟踪 |
| SmartCheck | Visual Basic | 函数调用次数、所占比率统计以及稳定性跟踪 |
| CodeReview | Visual Basic | 自动源代码分析工具 |
Xunit白盒测试工具集
| 工具名 | 支持语言环境 | 官方站点 |
|---|---|---|
| Aunit | Ada | http://www.libre.act-europe.fr |
| CppUnit | C++ | http://cppunit.sourceforge.net |
| ComUnit | VB,COM | http://comunit.sourceforge.net |
| Dunit | Delphi | http://dunit.sourceforge.net |
| DotUnit | .Net | http://dotunit.sourceforge.net |
| HttpUnit | Web | http://c2.com/cgi/wiki?HttpUnit |
| HtmlUnit | Web | http://htmlunit.sourceforge.net |
| Jtest | Java | http://www.junit.org |
| JsUnit(Hieatt) | Javascript 1.4以上 | http://www.jsunit.net |
| PhpUnit | Php | http://phpunit.sourceforge.net |
| PerlUnit | Perl | http://perlunit.sourceforge.net |
| XmlUnit | Xml | http://xmlunit.sourceforge.net |
主流黑盒功能测试工具集
| 工具名 | 公司名 | 官方站点 |
|---|---|---|
| WinRunner | Mercury | http://www.mercuryinteractive.com |
| Astra Quicktest | Mercury | http://www.mercuryinteractive.com |
| Robot | IBM Rational | http://www.rational.com |
| QARun | Compuware | http://www.compuware.com |
| SilkTest | Segue | http://www.segue.com |
| e-Test | Empirix | http://www.empirix.com |
主流黑盒性能测试工具集
| 工具名 | 公司名 | 官方站点 |
|---|---|---|
| WAS | M$ | http://www.micro$oft.com |
| LoadRunner | Mercury | http://www.mercuryinteractive.com |
| Astra Quicktest | Mercury | http://www.mercuryinteractive.com |
| Qaload | Compuware | http://www.empirix.com |
| TeamTest:SiteLoad | IBM Rational | http://www.rational.com |
| Webload | Radview | http://www.radview.com |
| Silkperformer | Segue | http://www.segue.com |
| e-Load | Empirix | http://www.empirix.com |
| OpenSTA | OpenSTA | http://www.opensta.com |
测试管理工具典型产品的比较
| 工具名称 | Testdirector | ClearQuest | BMS | Bugzilla |
|---|---|---|---|---|
| 流程定制 | Y | Y | N | Y |
| 查询功能定制 | Y | Y | Y | Y |
| 功能域定制 | Y | Y | Y | Y |
| 用户权限分级管理 | Y | Y | Y | Y |
| Email通知 | Y | Y | Y | Y |
| 构架模式 | B/S | C/S,B/S | B/S | B/S |
| 报表定制功能 | Y | 强,集成Crystal Report | 有标准报表和高级报表,定制功能不够 | Y |
| 支持平台 | Windows | Windows, Unix | Windows | Linux, FreeBSD |
| 支持数据库 | Oracle, M$ Access, SQL Server等 | Oracle, M$ Access, SQL Server | SQL Server等MSDE | MySQL |
| 安装配置的复杂度 | 简单 | 有些复杂 | 容易 | 不复杂 |
| 许可证费用 | 昂贵 | 昂贵 | 适中 | 免费 |
| 售后服务 | 国内有多家代理公司提供相关服务 | 在国内有分公司提供技术支持 | 技术支持和服务体系完备 | 可自行修改源代码 |
| 与其他工具集成 | 本身又是测试需求、测试案例管理工具, 与winRunner, LoadRunner集成，并且具有多种主流Case工具接口Add-In | 与rational公司的其它产品无缝集成，特别与Clear Case配合以可实现UCM的配置管理体系 | M$ VSS, Project | 开源配置管理工具CVS |
| 公司背景 | 世界主流测试软件提供商 | 已被IBM合并,世界著名软件公司 | 微软与上海市政府新成立的软件企业 | 世界著名开源项目 |
商业化自动功能测试工具特性比较
| 特性 | WinRunner | SilkTest | Etester |
|---|---|---|---|
| 易于安装 | 是 | 是 | 是，不支持设置代理服务等设置 |
| GUI对象和脚本分离 | 是 | 对象声明在单独的include文件中，但是case脚本中还有包含 | 两者都在VB脚本的case中 |
| toolbar/field定制 | 可以 | 无法定制toolbar,可以定制GUI的fields内容 | 无法定制 |
| 操作系统 | Windows | Unix,Windows | Unix, Windows |
| 浏览器 | NetScape,IE | NetScape,IE | NetScape,IE |
| 支持测试对象 | HTML,DHTML,JavaScript,VBScript,XML,JAVA applets, ActiveX,VB, PowerBuilder,Delphi,Terminal Emulator,,Oracle,SAP,PeopleSoft, Siebel | HTML, DHTML, JavaScript, XML, Java apps and applets, MFC, VB, Oracle, PowerBuilder, Delphi, SAP | Java apps and applets in M$JVM/SunJVM, HTML, DHTML, JavaScript, XML, MFC, VB, Oracle, SAP, Delphi, Terminal Emulator, PowerBuilder, Oracle, Peoplesoft |
| 脚本语言 | TSL | 第四代面向对象的脚本语言4Test,类似C++ | 提供可编程接口，用户可使用标准语言扩展可视脚本，如VB,C++,Java |
| 脚本调试功能 | 强大 | 类似C＋＋Debugger | VBA Debugger结合Visual Script Debugger |
| 允许数据驱动的测试 | 是 | 是 | 是 |
| 自动数据生成 | 支持 | 支持 | 不支持 |
| 允许通过数据库验证数据 | 通过ODBC及本地数据库连接 | 自带Database Tester | 通过ODBC |
| 应用程序改变后的脚本维护 | 直接修改GUImap | 更新include 文件。 | 自动更新无需录制 |
| 数据库支持 | 市场流行的数据库 | 市场流行的数据库 | 市场流行的数据库 |
| 无人看管下的自动执行测试 | 通过Testdirector | 允许 | 允许，通???>??????师?过eTestSuite |
| 分布式测试控制/同步/执行 | Testdirector支持 | 支持 | 支持 |
| 自动创建测试结果日志 | 是 | 是 | 是 |
| 非预期错误的恢复 | 允许 | 允许 | 允许 |
| 与测试管理工具接口 | Testdirector | 自带Case管理功能。 | e-test suite |
| 图形化设计脚本执行集合 | 通过Testdirector设计 | 不支持 | 通过e-test suite设计 |
| 培训 | 有，Onsite及public training | 有，提供kickoff training | 有，onsite及public training |
| 技术支持 | 曾获SSPA STAR荣誉 | 很好 | 客户对其评价 |
| License | 灵活的记费方式，既可以按使用次数计费也可以按协议算永久使用费 | 提供floating以及node-locked两种方式 | 提供Floating以及Node-locked两种方式 |
| 价格 | 昂贵 | 较贵 | 一般 |
| Add-in收费 | 部分收费 | 不收费 | 不收费 |
| 总论 | 在全球的市场占有率较高，功能全面，价格昂贵 | 在国内的推广还处于起步阶段 | 价格较低，只支持web的测试，在金融、证券、电子商务等领域有广泛应用。 |