projects.mako.cc - mw/blob - src/mw/metadir.py

   1 ###
   2 # mw - VCS-like nonsense for MediaWiki websites
   3 # Copyright (C) 2010  Ian Weller <ian@ianweller.org>
   4 #
   5 # This program is free software; you can redistribute it and/or modify
   6 # it under the terms of the GNU General Public License as published by
   7 # the Free Software Foundation; either version 2 of the License, or
   8 # (at your option) any later version.
   9 #
  10 # This program is distributed in the hope that it will be useful,
  11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13 # GNU General Public License for more details.
  14 #
  15 # You should have received a copy of the GNU General Public License along
  16 # with this program.  If not, see <http://www.gnu.org/licenses/>.
  17 ###
  18
  19 import bzrlib.diff
  20 import codecs
  21 import ConfigParser
  22 import json
  23 import mw.api
  24 import os
  25 from StringIO import StringIO
  26 import sys
  27
  28
  29 class Metadir(object):
  30
  31     def __init__(self):
  32         self.me = os.path.basename(sys.argv[0])
  33         root = os.getcwd()
  34         while True:
  35             if '.mw' in os.listdir(root):
  36                 self.root = root
  37                 break
  38             head = os.path.split(root)[0]
  39             if head == root:
  40                 self.root = os.getcwd()
  41                 break
  42             root = head
  43         self.location = os.path.join(self.root, '.mw')
  44         self.config_loc = os.path.join(self.location, 'config')
  45         if os.path.isdir(self.location) and \
  46            os.path.isfile(self.config_loc):
  47             self.config = ConfigParser.RawConfigParser()
  48             self.config.read(self.config_loc)
  49         else:
  50             self.config = None
  51
  52     def create(self, api_url, username=None):
  53         # create the directory
  54         if os.path.isdir(self.location):
  55             print '%s: you are already in a mw repo' % self.me
  56             sys.exit(1)
  57         else:
  58             os.mkdir(self.location, 0755)
  59         # metadir versioning
  60         fd = file(os.path.join(self.location, 'version'), 'w')
  61         fd.write('1') # XXX THIS API VERSION NOT LOCKED IN YET
  62         fd.close()
  63         # create config
  64         self.config = ConfigParser.RawConfigParser()
  65         self.config.add_section('remote')
  66         self.config.set('remote', 'api_url', api_url)
  67         if username != None:
  68             self.config.set('remote', 'username', username)
  69         with open(self.config_loc, 'wb') as config_file:
  70             self.config.write(config_file)
  71         # create cache/
  72         os.mkdir(os.path.join(self.location, 'cache'))
  73         # create cache/pagedict
  74         fd = file(os.path.join(self.location, 'cache', 'pagedict'), 'w')
  75         fd.write(json.dumps({}))
  76         fd.close()
  77         # create cache/pages/
  78         os.mkdir(os.path.join(self.location, 'cache', 'pages'), 0755)
  79
  80     def pagedict_add(self, pagename, pageid, currentrv):
  81         fd = file(os.path.join(self.location, 'cache', 'pagedict'), 'r+')
  82         pagedict = json.loads(fd.read())
  83         pagedict[pagename] = {'id': int(pageid), 'currentrv': int(currentrv)}
  84         fd.seek(0)
  85         fd.write(json.dumps(pagedict))
  86         fd.truncate()
  87         fd.close()
  88
  89     def get_pageid_from_pagename(self, pagename):
  90         fd = file(os.path.join(self.location, 'cache', 'pagedict'), 'r')
  91         pagedict = json.loads(fd.read())
  92         if pagename in pagedict.keys():
  93             return pagedict[pagename]
  94         else:
  95             return None
  96
  97     def pages_add_rv(self, pageid, rv):
  98         pagefile = os.path.join(self.location, 'cache', 'pages', str(pageid))
  99         fd = file(pagefile, 'w+')
 100         pagedata_raw = fd.read()
 101         if pagedata_raw == '':
 102             pagedata = {}
 103         else:
 104             pagedata = json.loads(pagedata_raw)
 105         rvid = int(rv['revid'])
 106         pagedata[rvid] = {
 107                 'user': rv['user'], 'timestamp': rv['timestamp']
 108         }
 109         if '*' in rv.keys():
 110             pagedata[rvid]['content'] = rv['*']
 111         fd.seek(0)
 112         fd.write(json.dumps(pagedata))
 113         fd.truncate()
 114         fd.close()
 115
 116     def pages_get_rv_list(self, pageid):
 117         pagefile = os.path.join(self.location, 'cache', 'pages',
 118                                 str(pageid['id']))
 119         fd = file(pagefile, 'r')
 120         pagedata = json.loads(fd.read())
 121         rvs = [int(x) for x in pagedata.keys()]
 122         rvs.sort()
 123         return rvs
 124
 125     def pages_get_rv(self, pageid, rvid):
 126         pagefile = os.path.join(self.location, 'cache', 'pages',
 127                                 str(pageid['id']))
 128         fd = file(pagefile, 'r')
 129         pagedata = json.loads(fd.read())
 130         return pagedata[str(rvid)]
 131
 132     def working_dir_status(self):
 133         status = {}
 134         check = []
 135         for root, dirs, files in os.walk(self.root):
 136             if root == self.root:
 137                 dirs.remove('.mw')
 138             for name in files:
 139                 check.append(os.path.join(root, name))
 140         check.sort()
 141         for full in check:
 142             name = os.path.split(full)[1]
 143             if name[-5:] == '.wiki':
 144                 pagename = mw.api.filename_to_pagename(name[:-5])
 145                 pageid = self.get_pageid_from_pagename(pagename)
 146                 if not pageid:
 147                     status[os.path.relpath(full, self.root)] = '?'
 148                 else:
 149                     rvid = self.pages_get_rv_list(pageid)[-1]
 150                     rv = self.pages_get_rv(pageid, rvid)
 151                     cur_content = codecs.open(full, 'r', 'utf-8').read()
 152                     if cur_content[-1] == '\n':
 153                         cur_content = cur_content[:-1]
 154                     if cur_content != rv['content']:
 155                         status[os.path.relpath(full, self.root)] = 'U'
 156         return status
 157
 158     def diff_rv_to_working(self, pagename, oldrvid=0, newrvid=0):
 159         # oldrvid=0 means latest fetched revision
 160         # newrvid=0 means working copy
 161         filename = mw.api.pagename_to_filename(pagename) + '.wiki'
 162         pageid = self.get_pageid_from_pagename(pagename)
 163         if not pageid:
 164             raise ValueError('page named %s has not been fetched' % pagename)
 165         else:
 166             if oldrvid == 0:
 167                 oldrvid = self.pages_get_rv_list(pageid)[-1]
 168             oldrv = self.pages_get_rv(pageid, oldrvid)
 169             oldname = 'a/%s (revision %i)' % (filename, oldrvid)
 170             old = [i+'\n' for i in oldrv['content'].split('\n')]
 171             if newrvid == 0:
 172                 cur_content = codecs.open(filename, 'r', 'utf-8').read()
 173                 if cur_content[-1] == '\n':
 174                     cur_content = cur_content[:-1]
 175                 newname = 'b/%s (working copy)' % filename
 176                 new = [i+'\n' for i in cur_content.split('\n')]
 177             else:
 178                 newrv = self.pages_get_rv(pageid, newrvid)
 179                 newname = 'b/%s (revision %i)' % (filename, newrvid)
 180                 new = [i+'\n' for i in newrv['content'].split('\n')]
 181             diff_fd = StringIO()
 182             bzrlib.diff.internal_diff(oldname, old, newname, new, diff_fd)
 183             diff_fd.seek(0)
 184             diff = diff_fd.read()
 185             if diff[-1] == '\n':
 186                 diff = diff[:-1]
 187             return diff