Baiduspider - 百度蜘蛛
精贴
置顶
3311
0
Baiduspider - 百度蜘蛛：
百度是如何收录到那么多网页的呢？这个百度用以抓取互联网上数以亿计的网页的程序，就叫做Baiduspider - 百度蜘蛛。
它是一个程序，夜以继日得在互联网上找寻新的URL，接着抓取URL上的内容，返回到百度的网页暂存数据库。
百度用来抓取网页内容的程序，叫做Baiduspider，抓取其他内容的蜘蛛，则是新的名字：
产品名称 对应user-agent
网页搜索 Baiduspider
无线搜索 Baiduspider-mobile
图片搜索 Baiduspider-image
视频搜索 Baiduspider-video
新闻搜索 Baiduspider-news
百度搜藏 Baiduspider-favo
百度联盟 Baiduspider-cpro
不少朋友会在自己的网站日志里看到这个蜘蛛Baiduspider-cpro，现在我们明白它是百度联盟蜘蛛，用以百度联盟程序匹配相应的广告。
那么，其他搜索引擎的蜘蛛是什么？这篇文章介绍：Robot是什么？
今日天气
···
···
···
···
近一月回答榜 - TOP 12
wuxuxiao
钻石VIP
qwe2466985
超级会员
yu_rebecca
黄金会员
wuxiao2882
青铜会员
a448155162
普通会员
messi
普通会员
85xinxi
普通会员
fushang369
普通会员
wawa512com
普通会员
zhuangjunhua
普通会员
ucase
普通会员
xuchunyun
普通会员
博客标签
- 热门排行
- 用ASP实现网页BBS 2010-11-01
- CSS cursor鼠标样式一览表 2012-06-25
- .NET后台写JS代码 2011-11-03
- 网站地址多出jdfwkey的问题解析及... 2010-08-25
- 数据库xxx的日志已满,请备份该数... 2013-07-19
- 百度、google、Yahoo网站地图制作... 2011-01-30
- <a>标签的伪类书写顺序问题... 2010-09-04
- 什么是长尾关键词？ 2010-09-24
- CEO名言 2010-08-31
- Mysql 主从数据库同步 2010-09-12
- 博主推荐
- 本个人博客微信公众平台上线啦~~... 2013-10-13
- 饼哥网络互联上线啦~~要买域名空... 2013-09-20
- 网站title标题如何正确修改不会被... 2013-08-26
- 饼哥通讯录系统上线啦，欢迎大家... 2013-08-24
- ASP .NET MYSQL 的简单分页 并不... 2013-08-19
- 网站有弹窗广告这样的站点，百度... 2013-08-17
- 做淘宝SEO优化需要注意的8大问题 2013-08-17
- 淘宝网怎么做SEO优化 2013-08-17
- 站长们要学习的“苍井空精神” 2013-08-17
- 苹果公司今日发布了iOS 7第五个开... 2013-08-07
- 随便看看
- 个人博客增加反向链接的35个技巧 2010-08-30
- 手工注入PHP+MySQL语句大全分享 2010-12-08
- 免费获得优质外链的方法大全 2010-09-07
- 如何配置java环境变量路径 2010-08-31
- 301重定向怎么进行URL标准化设置... 2010-09-23
- 如何查看反向链接更准确？ 2010-09-18
- .net2.0邮件发送代码 2010-09-11
- .NET(C#)多文件上传--使用JS生成... 2010-09-09
- PHP调用Jmail组件发邮件代码 2010-09-13
- Dynamic URL-动态页面 2010-09-20
- RSS新闻
- 传媒新闻
- CSDN
- 八卦新闻
- 女性新闻
- 台湾新闻
- 互联网
- 军事-新浪博客
- IT-新浪博客
- 汽车新闻
- 游戏新闻
- 国际新闻
- 国内新闻
- 体育新闻
- 我的微博