RSS導入后臺的實現

來到Linkist的第一個項目就是RSS的自動導入,經過一個月的努力我們實現了這個功能。簡單記一下所得:

  • 空間的分散化:RSS的抓取本身是可以很容易分布到不同機器上去的,所以我們需要支持多臺機器分布工作。(勢必涉及分布算法,比如領導者選舉)
  • 時間的分散化:RSS源有不同的更新頻率,我們的抓取頻率必須可以根據更新頻率來調整。同樣頻率的抓取又可以在時間上隨機均勻分布于整個時段。
  • RSS源的特異性:RSS標準多,各個RSS源的實現不標準,特別是pubDate字段的實現更是千奇百怪。

這三點是我們RSS自動導入后臺實現的主要考慮。

发表评论

电子邮件地址不会被公开。 必填项已用*标注