projects.mako.cc - iron-blogger/blob - scan-feeds.py

   1 #!/usr/bin/python
   2 import yaml
   3 import feedparser
   4 import datetime
   5 from dateutil.parser import parse
   6 import dateutil.tz as tz
   7
   8 with open('bloggers.yml') as f:
   9     users = yaml.safe_load(f.read())
  10
  11 log = {}
  12
  13 START = datetime.datetime(2009, 12, 21, 6)
  14
  15 def parse_published(pub):
  16     return parse(pub).astimezone(tz.tzlocal()).replace(tzinfo=None)
  17
  18 def get_date(post):
  19     if 'published' in post:
  20         return post.published
  21     return post.updated
  22
  23 def get_link(post):
  24     return post.link
  25
  26 def parse_feeds(weeks, uri):
  27     feed = feedparser.parse(uri)
  28     for post in feed.entries:
  29         date = parse_published(get_date(post))
  30
  31         if date < START:
  32             continue
  33         wn = (date - START).days / 7
  34
  35         while len(weeks) <= wn:
  36             weeks.append([])
  37         weeks[wn].append(dict(
  38                 date=date,
  39                 title=post.title,
  40                 url=get_link(post)))
  41
  42 for (username, u) in users.items():
  43     weeks = []
  44     print "[%s]" % (username)
  45     for l in u['links']:
  46         parse_feeds(weeks, l[2])
  47     log[username] = weeks
  48     for (i, w) in enumerate(weeks):
  49         print " [%d]: %s" % (i, w)
  50
  51 with open('out/report.yml', 'w') as f:
  52     yaml.safe_dump(log, f)