User-agent: *        //  所有的蜘蛛都允许访问您的网站。
Disallow: /**.html                         

Disallow: /wodb2007/       // 屏蔽某些页面。尤其是那些不希望蜘蛛抓取的文件。

Disallow: /WoLib/
Disallow: /Admin_**.asp?
Disallow: /Conn.asp?