Aragog:Pinterest的爬虫框架

2015年12月2日 | By News | Filed in: News.

Source: http://www.infoq.com/cn/news/2015/12/Pinterest-Web-URL?utm_campaign=infoq_content&utm_source=infoq&utm_medium=feed&utm_term=global

为了在Pin上展示有用的信息(如产品价格、位置数据)、做出更好的推荐及打击垃圾邮件,Pinterest需要充分利用Pin链接的Web页面中的内容。为此,他们构建了爬虫框架Aragog,用于处理数以十亿计的URL。近日,Pinterest核心基础设施团队工程师Varun Sharma撰文介绍了该框架。

By 谢丽


发表评论

邮箱地址不会被公开。 必填项已用*标注