外链工具网站ahrefs.com硬件架构的感想

奋战在一线的SEOer们，应该不会不知道外链工具网站ahrefs.com吧，以下是该网站的一个查询界面：



这样的一个外链工具网站，其实就像谷歌、百度等搜索引擎一样，每天爬取成千上万个页面，疯狂地存储和积累有价值的数据。的确，Ahrefs.com是一个专门的外链工具，可以分析出哪些关键词会带来更多流量，可以判断出谷歌等一些搜索引擎算法的变动，它是一个独立于搜索引擎的工具，有自己独立的数据，可以对SEO工作者们提供一些非常有用的建议。它的一个强大之处，就在于这个网站的实时性，即英文中的Real-time，从头分析一个网站，在它的爬虫爬取你的网站后，一般只要5到10分钟就能得出一个分析结果出来。

据说，Ahrefs的爬虫每天会抓取10亿个页面，为了能支撑这个业务数据的需求，你知道它的一些硬件架构的数据吗？下面我来大概说一下。

Ahrefs有有自己专门的硬件，系统的核心是一个数据仓库。这个架构中，它采用了集群技术，拥有16台服务器作为节点，每台服务器拥有12个CPU，每台服务器有36个2GB的硬盘叠加容量，这样的一个硬盘总量达到了1000TB以上，而总共的内存达到了640GB，平均每台服务器40GB的内存量，总体的计算能力达到了2TFLOPS，这里的TFLOPS就是每秒运算能力为10的12次方，1TFLOPS等于1万亿次浮点指令，即这个网站的运算能力达到了两万亿次浮点计算的能力。

大家想想，这样一个硬件架构，就相当于一台超级计算器，及足够的能力来支撑了这个外链工具业务系统的运行，可见这个门槛不是一般的高，所以，中小企业要能做成这样，硬件架构上也是需要花费不少的精力和金钱来运维的。

而作为我们SEOTcs系统的硬件架构，为了支撑我们以后10万以上用户的数据需求，也会逐步的扩充为强大的超级计算机，为此，我们努力着，请大家拭目以待。