出处：鞭牛士    2008-09-05 17:23　评论字体大小：大 | 中 | 小淘宝网已经开始屏蔽百度蜘蛛爬虫，淘宝已在网站根目录下的robots.txt文件中设置相关命令，禁止百度蜘蛛获取网页信息。     淘宝网已经开始屏蔽百度蜘蛛爬虫，淘宝已在网站根目录下的robots.txt文件中设置相关命令，禁止百度蜘蛛获取网页信息。

    淘宝robots.txt

    百度竞价排名模式说到底还是中小企业的生意，近期又将推出百度C2C，而阿里巴巴做的也是中小企业的生意，淘宝网昨天刚刚宣布合并阿里妈妈。百度掌握着入口，而淘宝则凭借着马云坚持5年的投入实现了品牌的突破和收支平衡。双方战斗一触即发。凭借马云的魅力和广告宣传，淘宝网已经成为网上购物代名词，而百度宣称用户在购物之前都会先百度一下，据此认为百度做C2C将很前途。

    但我个人认为，百度C2C是决计斗不过淘宝网的。马化腾旗下的拍拍网、易趣目前仍然在和淘宝网缠斗，百度C2C是否舍得投入和敢不敢投入，这都是决定战争的重要因素。另外一点，百度C2C掌门是百度贴吧的首任产品经理李明远，我对百度C2C掌门人的市场嗅觉表示怀疑，要知道，淘宝网5年以来，早就训练有素。

    百度做好了一件事：搜索。而淘宝也做好了一件事：网上购物。

    搜狐博客robots.txt

    facebook一出来，谷歌们有点慌。你在谷歌等搜索引擎上搜索不到多少关于facebook的页面吧。facebook不让自己的用户关系被谷歌抓取，谷歌也推出了自己的open social，如果facebook真的成功了，但谷歌却无法搜索，这将是多么大的笑话。

    用户关系是具有价值的，很多SNS网站已经不乐意再为搜索引擎们免费打工。当用户习惯被培养在SNS里进行网上行为，你还会搜索吗?(比特网：陈中)