projects.mako.cc - wikiq/blob - README

   1 wikiq: a simple and fast stream-based MediaWiki XML dump parser
   2
   3 authors: Erik Garrison <erik@hypervolu.me>
   4          Benjamin Mako Hill <mako@atdot.cc>
   5
   6 overview:
   7
   8 wikiq is written in C++ using expat.  It is designed to enable
   9 researchers to rapidly extract revision histories (minus text and
  10 comments) from large XML datasets.
  11
  12 use:
  13
  14 To use, first make sure you have libexpat and libpcrecpp installed (e.g.
  15 via packages libexpat1 and libpcre3-dev on Debian or Ubuntu), then:
  16
  17     % make
  18     % ./wikiq -h  # prints usage
  19     % 7za e -so hugewikidatadump.xml | ./wikiq >hugewikidatadump.tsv
  20
  21
  22 features:
  23
  24 In addition to parsing WikiMedia XML data dumps into a tab-separated
  25 tabular format, wikiq can match Perl-compatible regular expressions
  26 against revision content, can extract article diffs, and can match
  27 regexes against the additions and deletions between revisions.  Any
  28 number of regular expressions may be supplied on the command line, and
  29 may be tagged using the '-n' and -N options.
  30
  31 MD5 checksums of revisions are used at runtime.
  32
  33 output:
  34
  35 wikiq generates these fields for each revision:
  36
  37 title, articleid, revid, timestamp, anon, editor, editorid, minor,
  38 text_length, text_md5, reversion, additions_size, deletions_size
  39 .... and additional fields for each regex executed against content or
  40 added/deleted diffs
  41
  42 Boolean fields are TRUE/FALSE except in the case of reversion, which is blank
  43 unless the article is a revert to a previous revision, in which case, it
  44 contains the revision ID of the revision which was reverted to.
  45