projects.mako.cc - mw/blob - src/mw/metadir.py

   1 ###
   2 # mw - VCS-like nonsense for MediaWiki websites
   3 # Copyright (C) 2011  Ian Weller <ian@ianweller.org> and others
   4 #
   5 # This program is free software; you can redistribute it and/or modify
   6 # it under the terms of the GNU General Public License as published by
   7 # the Free Software Foundation; either version 2 of the License, or
   8 # (at your option) any later version.
   9 #
  10 # This program is distributed in the hope that it will be useful,
  11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
  12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
  13 # GNU General Public License for more details.
  14 #
  15 # You should have received a copy of the GNU General Public License along
  16 # with this program.  If not, see <http://www.gnu.org/licenses/>.
  17 ###
  18
  19 import bzrlib.diff
  20 import codecs
  21 import ConfigParser
  22 import json
  23 import os
  24 from StringIO import StringIO
  25 import sys
  26
  27
  28 class Metadir(object):
  29
  30     def __init__(self):
  31         self.me = os.path.basename(sys.argv[0])
  32         root = os.getcwd()
  33         while True:
  34             if '.mw' in os.listdir(root):
  35                 self.root = root
  36                 break
  37             head = os.path.split(root)[0]
  38             if head == root:
  39                 self.root = os.getcwd()
  40                 break
  41             root = head
  42         self.location = os.path.join(self.root, '.mw')
  43         self.config_loc = os.path.join(self.location, 'config')
  44         if os.path.isdir(self.location) and \
  45            os.path.isfile(self.config_loc):
  46             self.config = ConfigParser.RawConfigParser()
  47             self.config.read(self.config_loc)
  48         else:
  49             self.config = None
  50
  51     def save_config(self):
  52         with open(self.config_loc, 'wb') as config_file:
  53             self.config.write(config_file)
  54
  55     def create(self, api_url):
  56         # create the directory
  57         if os.path.isdir(self.location):
  58             print '%s: you are already in a mw repo' % self.me
  59             sys.exit(1)
  60         else:
  61             os.mkdir(self.location, 0755)
  62         # metadir versioning
  63         fd = file(os.path.join(self.location, 'version'), 'w')
  64         fd.write('1')  # XXX THIS API VERSION NOT LOCKED IN YET
  65         fd.close()
  66         # create config
  67         self.config = ConfigParser.RawConfigParser()
  68         self.config.add_section('remote')
  69         self.config.set('remote', 'api_url', api_url)
  70         self.config.add_section('merge')
  71         self.config.set('merge', 'tool', 'kidff3 %s %s -o %s')
  72         self.save_config()
  73         # create cache/
  74         os.mkdir(os.path.join(self.location, 'cache'))
  75         # create cache/pagedict
  76         fd = file(os.path.join(self.location, 'cache', 'pagedict'), 'w')
  77         fd.write(json.dumps({}))
  78         fd.close()
  79         # create cache/pages/
  80         os.mkdir(os.path.join(self.location, 'cache', 'pages'), 0755)
  81
  82     def clean_page(self, pagename):
  83         filename = pagename_to_filename(pagename) + '.wiki'
  84         cur_content = codecs.open(filename, 'r', 'utf-8').read()
  85         if len(cur_content) != 0 and cur_content[-1] == '\n':
  86             cur_content = cur_content[:-1]
  87         fd = file(filename, 'w')
  88         fd.write(cur_content.encode('utf-8'))
  89         fd.close()
  90
  91     def pagedict_add(self, pagename, pageid, currentrv):
  92         fd = file(os.path.join(self.location, 'cache', 'pagedict'), 'r+')
  93         pagedict = json.loads(fd.read())
  94         pagedict[pagename] = {'id': int(pageid), 'currentrv': int(currentrv)}
  95         fd.seek(0)
  96         fd.write(json.dumps(pagedict))
  97         fd.truncate()
  98         fd.close()
  99
 100     def get_pageid_from_pagename(self, pagename):
 101         fd = file(os.path.join(self.location, 'cache', 'pagedict'), 'r')
 102         pagedict = json.loads(fd.read())
 103         pagename = pagename.decode('utf-8')
 104         if pagename in pagedict.keys():
 105             return pagedict[pagename]
 106         else:
 107             return None
 108
 109     def pages_add_rv(self, pageid, rv):
 110         pagefile = os.path.join(self.location, 'cache', 'pages', str(pageid))
 111         fd = file(pagefile, 'w+')
 112         pagedata_raw = fd.read()
 113         if pagedata_raw == '':
 114             pagedata = {}
 115         else:
 116             pagedata = json.loads(pagedata_raw)
 117         rvid = int(rv['revid'])
 118         pagedata[rvid] = {
 119                 'user': rv['user'],
 120                 'timestamp': rv['timestamp'],
 121         }
 122         if '*' in rv.keys():
 123             pagedata[rvid]['content'] = rv['*']
 124         fd.seek(0)
 125         fd.write(json.dumps(pagedata))
 126         fd.truncate()
 127         fd.close()
 128
 129     def pages_get_rv_list(self, pageid):
 130         pagefile = os.path.join(self.location, 'cache', 'pages',
 131                                 str(pageid['id']))
 132         if os.path.exists(pagefile):
 133             fd = file(pagefile, 'r')
 134             pagedata = json.loads(fd.read())
 135             rvs = [int(x) for x in pagedata.keys()]
 136             rvs.sort()
 137             return rvs
 138         else:
 139             return [None,]
 140
 141     def pages_get_rv(self, pageid, rvid):
 142         pagefile = os.path.join(self.location, 'cache', 'pages',
 143                                 str(pageid['id']))
 144         if os.path.exists(pagefile):
 145             fd = file(pagefile, 'r')
 146             pagedata = json.loads(fd.read())
 147             return pagedata[str(rvid)]
 148         else:
 149             return None
 150
 151     def working_dir_status(self, files=None):
 152         status = {}
 153         check = []
 154         if files == None or files == []:
 155             for root, dirs, files in os.walk(self.root):
 156                 if root == self.root:
 157                     dirs.remove('.mw')
 158                 for name in files:
 159                     check.append(os.path.join(root, name))
 160         else:
 161             for file in files:
 162                 check.append(os.path.join(os.getcwd(), file))
 163         check.sort()
 164         for full in check:
 165             name = os.path.split(full)[1]
 166             if name[-5:] == '.wiki':
 167                 pagename = filename_to_pagename(name[:-5])
 168                 pageid = self.get_pageid_from_pagename(pagename)
 169                 if not pageid:
 170                     status[os.path.relpath(full, self.root)] = '?'
 171                 else:
 172                     rvid = self.pages_get_rv_list(pageid)[-1]
 173                     rv = self.pages_get_rv(pageid, rvid)
 174                     cur_content = codecs.open(full, 'r', 'utf-8').read()
 175                     if (len(cur_content) != 0) and (cur_content[-1] == '\n'):
 176                         cur_content = cur_content[:-1]
 177                     if cur_content != rv['content']:
 178                         status[os.path.relpath(full, self.root)] = 'M' # modified
 179                     else:
 180                         status[os.path.relpath(full, self.root)] = 'C' # clean
 181         return status
 182
 183     def diff_rv_to_working(self, pagename, oldrvid=0, newrvid=0):
 184         # oldrvid=0 means latest fetched revision
 185         # newrvid=0 means working copy
 186         filename = pagename_to_filename(pagename) + '.wiki'
 187         filename = filename.decode('utf-8')
 188         pageid = self.get_pageid_from_pagename(pagename)
 189         if not pageid:
 190             raise ValueError('page named %s has not been fetched' % pagename)
 191         else:
 192             if oldrvid == 0:
 193                 oldrvid = self.pages_get_rv_list(pageid)[-1]
 194             oldrv = self.pages_get_rv(pageid, oldrvid)
 195             oldname = 'a/%s (revision %i)' % (filename, oldrvid)
 196             old = [i + '\n' for i in \
 197                    oldrv['content'].encode('utf-8').split('\n')]
 198             if newrvid == 0:
 199                 cur_content = codecs.open(filename, 'r', 'utf-8').read()
 200                 cur_content = cur_content.encode('utf-8')
 201                 if (len(cur_content) != 0) and (cur_content[-1] == '\n'):
 202                     cur_content = cur_content[:-1]
 203                 newname = 'b/%s (working copy)' % filename
 204                 new = [i + '\n' for i in cur_content.split('\n')]
 205             else:
 206                 newrv = self.pages_get_rv(pageid, newrvid)
 207                 newname = 'b/%s (revision %i)' % (filename, newrvid)
 208                 new = [i + '\n' for i in newrv['content'].split('\n')]
 209             diff_fd = StringIO()
 210             bzrlib.diff.internal_diff(oldname, old, newname, new, diff_fd)
 211             diff = diff_fd.getvalue()
 212             if diff[-1] == '\n':
 213                 diff = diff[:-1]
 214             return diff
 215
 216
 217 def pagename_to_filename(name):
 218     name = name.replace(' ', '_')
 219     name = name.replace('/', '!')
 220     return name
 221
 222
 223 def filename_to_pagename(name):
 224     name = name.replace('!', '/')
 225     name = name.replace('_', ' ')
 226     return name