Nix warning on edit collision since we do that now
[mw] / src / mw / metadir.py
1 ###
2 # mw - VCS-like nonsense for MediaWiki websites
3 # Copyright (C) 2010  Ian Weller <ian@ianweller.org>
4 #
5 # This program is free software; you can redistribute it and/or modify
6 # it under the terms of the GNU General Public License as published by
7 # the Free Software Foundation; either version 2 of the License, or
8 # (at your option) any later version.
9 #
10 # This program is distributed in the hope that it will be useful,
11 # but WITHOUT ANY WARRANTY; without even the implied warranty of
12 # MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the
13 # GNU General Public License for more details.
14 #
15 # You should have received a copy of the GNU General Public License along
16 # with this program.  If not, see <http://www.gnu.org/licenses/>.
17 ###
18
19 import bzrlib.diff
20 import codecs
21 import ConfigParser
22 import json
23 import mw.api
24 import os
25 from StringIO import StringIO
26 import sys
27
28
29 class Metadir(object):
30
31     def __init__(self):
32         self.me = os.path.basename(sys.argv[0])
33         root = os.getcwd()
34         while True:
35             if '.mw' in os.listdir(root):
36                 self.root = root
37                 break
38             head = os.path.split(root)[0]
39             if head == root:
40                 self.root = os.getcwd()
41                 break
42             root = head
43         self.location = os.path.join(self.root, '.mw')
44         self.config_loc = os.path.join(self.location, 'config')
45         if os.path.isdir(self.location) and \
46            os.path.isfile(self.config_loc):
47             self.config = ConfigParser.RawConfigParser()
48             self.config.read(self.config_loc)
49         else:
50             self.config = None
51
52     def save_config(self):
53         with open(self.config_loc, 'wb') as config_file:
54             self.config.write(config_file)
55
56     def create(self, api_url):
57         # create the directory
58         if os.path.isdir(self.location):
59             print '%s: you are already in a mw repo' % self.me
60             sys.exit(1)
61         else:
62             os.mkdir(self.location, 0755)
63         # metadir versioning
64         fd = file(os.path.join(self.location, 'version'), 'w')
65         fd.write('1') # XXX THIS API VERSION NOT LOCKED IN YET
66         fd.close()
67         # create config
68         self.config = ConfigParser.RawConfigParser()
69         self.config.add_section('remote')
70         self.config.set('remote', 'api_url', api_url)
71         self.save_config()
72         # create cache/
73         os.mkdir(os.path.join(self.location, 'cache'))
74         # create cache/pagedict
75         fd = file(os.path.join(self.location, 'cache', 'pagedict'), 'w')
76         fd.write(json.dumps({}))
77         fd.close()
78         # create cache/pages/
79         os.mkdir(os.path.join(self.location, 'cache', 'pages'), 0755)
80
81
82
83     def clean_page(self, pagename):
84         filename = mw.api.pagename_to_filename(pagename) + '.wiki'
85         cur_content = codecs.open(filename, 'r', 'utf-8').read()
86         if ( (len(cur_content) != 0) and (cur_content[-1] == '\n') ):
87            cur_content = cur_content[:-1]
88
89         fd = file(filename, 'w')
90         fd.write(cur_content.encode('utf-8'))   
91         fd.close()
92
93     def pagedict_add(self, pagename, pageid, currentrv):
94         fd = file(os.path.join(self.location, 'cache', 'pagedict'), 'r+')
95         pagedict = json.loads(fd.read())
96         pagedict[pagename] = {'id': int(pageid), 'currentrv': int(currentrv)}
97         fd.seek(0)
98         fd.write(json.dumps(pagedict))
99         fd.truncate()
100         fd.close()
101
102     def get_pageid_from_pagename(self, pagename):
103         fd = file(os.path.join(self.location, 'cache', 'pagedict'), 'r')
104         pagedict = json.loads(fd.read())
105         pagename = pagename.decode('utf-8')
106         if pagename in pagedict.keys():
107             return pagedict[pagename]
108         else:
109             return None
110
111     def pages_add_rv(self, pageid, rv):
112         pagefile = os.path.join(self.location, 'cache', 'pages', str(pageid))
113         fd = file(pagefile, 'w+')
114         pagedata_raw = fd.read()
115         if pagedata_raw == '':
116             pagedata = {}
117         else:
118             pagedata = json.loads(pagedata_raw)
119         rvid = int(rv['revid'])
120         pagedata[rvid] = {
121                 'user': rv['user'],
122                 'timestamp': rv['timestamp'],
123         }
124         if '*' in rv.keys():
125             pagedata[rvid]['content'] = rv['*']
126         fd.seek(0)
127         fd.write(json.dumps(pagedata))
128         fd.truncate()
129         fd.close()
130
131     def pages_get_rv_list(self, pageid):
132         pagefile = os.path.join(self.location, 'cache', 'pages',
133                                 str(pageid['id']))
134         fd = file(pagefile, 'r')
135         pagedata = json.loads(fd.read())
136         rvs = [int(x) for x in pagedata.keys()]
137         rvs.sort()
138         return rvs
139
140     def pages_get_rv(self, pageid, rvid):
141         pagefile = os.path.join(self.location, 'cache', 'pages',
142                                 str(pageid['id']))
143         fd = file(pagefile, 'r')
144         pagedata = json.loads(fd.read())
145         return pagedata[str(rvid)]
146
147     def working_dir_status(self, files=None):
148         status = {}
149         check = []
150         if files == None or files == []:
151             for root, dirs, files in os.walk(self.root):
152                 if root == self.root:
153                     dirs.remove('.mw')
154                 for name in files:
155                     check.append(os.path.join(root, name))
156         else:
157             for file in files:
158                 check.append(os.path.join(os.getcwd(), file))
159         check.sort()
160         for full in check:
161             name = os.path.split(full)[1]
162             if name[-5:] == '.wiki':
163                 pagename = mw.api.filename_to_pagename(name[:-5])
164                 pageid = self.get_pageid_from_pagename(pagename)
165                 if not pageid:
166                     status[os.path.relpath(full, self.root)] = '?'
167                 else:
168                     rvid = self.pages_get_rv_list(pageid)[-1]
169                     rv = self.pages_get_rv(pageid, rvid)
170                     cur_content = codecs.open(full, 'r', 'utf-8').read()
171                     if (len(cur_content) != 0) and (cur_content[-1] == '\n'):
172                         cur_content = cur_content[:-1]
173                     if cur_content != rv['content']:
174                         status[os.path.relpath(full, self.root)] = 'U'
175         return status
176
177     def diff_rv_to_working(self, pagename, oldrvid=0, newrvid=0):
178         # oldrvid=0 means latest fetched revision
179         # newrvid=0 means working copy
180         filename = mw.api.pagename_to_filename(pagename) + '.wiki'
181         filename = filename.decode('utf-8')
182         pageid = self.get_pageid_from_pagename(pagename)
183         if not pageid:
184             raise ValueError('page named %s has not been fetched' % pagename)
185         else:
186             if oldrvid == 0:
187                 oldrvid = self.pages_get_rv_list(pageid)[-1]
188             oldrv = self.pages_get_rv(pageid, oldrvid)
189             oldname = 'a/%s (revision %i)' % (filename, oldrvid)
190             old = [i + '\n' for i in oldrv['content'].encode('utf-8').split('\n')]
191             if newrvid == 0:
192                 cur_content = codecs.open(filename, 'r', 'utf-8').read().encode('utf-8')
193                 if (len(cur_content) != 0) and (cur_content[-1] == '\n'):
194                     cur_content = cur_content[:-1]
195                 newname = 'b/%s (working copy)' % filename
196                 new = [i + '\n' for i in cur_content.split('\n')]
197             else:
198                 newrv = self.pages_get_rv(pageid, newrvid)
199                 newname = 'b/%s (revision %i)' % (filename, newrvid)
200                 new = [i + '\n' for i in newrv['content'].split('\n')]
201             diff_fd = StringIO()
202             bzrlib.diff.internal_diff(oldname, old, newname, new, diff_fd)
203             diff = diff_fd.getvalue()
204             if diff[-1] == '\n':
205                 diff = diff[:-1]
206             return diff

Benjamin Mako Hill || Want to submit a patch?