projects.mako.cc - redirect-tools/blob - docs/homepage.rst

   1 Consider the Redirect
   2 =======================
   3
   4 __ https://en.wikipedia.org/wiki/Main_Page
   5
   6 .. figure:: seattle_redirect.png
   7    :align: right
   8    :figwidth: 614px
   9
  10    Example of a redirect displayed in the `Seattle, Washington page on
  11    English Wikipedia`__ which is a redirect to `Seattle`__. Note the
  12    small redirect notice below the title.
  13
  14 __ https://en.wikipedia.org/wiki/Seattle,_Washington
  15 __ https://en.wikipedia.org/wiki/Seattle
  16
  17 In wikis, **redirects** are special pages in that silently take
  18 readers from the page they are visiting to another page in the
  19 wiki. In the `English Wikipedia`__, redirects make up more than half
  20 of all article pages.
  21
  22 Different Wikipedia data sources handle redirects differently. For
  23 example, `the MediaWiki API`__ will automatically "follow" redirects
  24 but the `XML database dumps`__ treat redirects like normal
  25 articles. In both cases, redirects are often invisible to researchers.
  26
  27 __ https://www.mediawiki.org/wiki/API:Main_page
  28 __ https://meta.wikimedia.org/wiki/Data_dumps
  29
  30 Because redirects constitute a majority of all pages and see a large
  31 portion of all traffic, Wikipedia researchers need to take redirects
  32 into account or their findings may be incomplete or incorrect.  For
  33 example, the histogram on this page shows the distribution of edits
  34 across pages in Wikipedia for every page, and for non-redirects only.
  35 Because redirects are almost never edited, the distributions are
  36 very different.  Similarly, because redirects are viewed but almost
  37 never edited, any study of views over articles should also take
  38 redirects into account.
  39
  40 .. figure:: edits_over_pages.png
  41    :align: right
  42    :figwidth: 614px
  43
  44    Histograms of pages in the article namespace based on the number of
  45    edits on a log scale.  The red histogram includes all pages in the
  46    article namespace (N = 9,729,989). The blue graphs includes only
  47    pages that were not redirects at the point of data collection (N =
  48    5,327,561).
  49
  50 Because redirects can change over time, the snapshots of redirects
  51 stored by Wikimedia and published by Wikimedia Foundation are
  52 incomplete. Taking redirects into account fully involves looking at the
  53 content of every single revision of every article to determine both
  54 when and where pages redirect.
  55
  56 Much more detail can be found in `Consider the Redirect: A Missing
  57 Dimension of Wikipedia Research`__ — a short paper that we have written
  58 to accompany this dataset and these tools.  If you use this software or
  59 these data, we would appreciate if you cite the paper:
  60
  61   *Hill, Benjamin Mako and Aaron Shaw. "Consider the Redirect:  A Missing
  62   Dimension of Wikipedia Research." In Proceedings of the 10th
  63   International Symposium on Open Collaboration (OpenSym 2014). ACM
  64   Press, 2014.*
  65
  66 __ http://mako.cc/academic/hill_shaw-consider_the_redirect.pdf
  67
  68 Generating Redirect Spells
  69 =============================
  70
  71 Generating redirect spells from an MediaWiki XML dump involves two steps:
  72
  73 1. Searching the full text of every revision of every page in a dump to
  74    determine if any given revision is a redirect.
  75
  76 2. Using the results of (1) to generate a list of "spells" that describe
  77    periods of time that articles in a wiki redirect to other articles.
  78
  79 We have `publicly released software in Python and R to do these two
  80 steps`__ under the `GNU GPL version 3`__. The software is designed for
  81 people already comfortable with working with MediaWiki XML dumps and the
  82 tools and software necessary to do this.
  83
  84 __ http://projects.mako.cc/source/?p=redirect-tools
  85 __ http://www.gnu.org/licenses/gpl-3.0.html
  86
  87 You can download the software from our git repository like::
  88
  89   git clone git://projects.mako.cc/redirect-tools
  90
  91 Detailed documentation on how to use the software is in available in `our
  92 README file`__.
  93
  94 __ README.html
  95
  96 Redirect Spell Data
  97 =========================
  98
  99 In `our paper`__, we present an analysis of redirect data from English
 100 Wikipedia in the dump created in October
 101 2012. You can download `the dump files we used`__ from `the Wikimedia
 102 Foundation dataset archive`__.  Because generating these dumps can be
 103 computationally intense, we have published the output of the software
 104 above run on the this dump. This includes 9,277,563 redirect spells that
 105 our software identified and is the dataset used in the paper.
 106
 107 You can download the dataset in the following formats:
 108
 109 - `RData (240MB)`__ — Suitable for use in `GNU R`__
 110 - `bzip2 compressed tab separated values (178MB)`__ — Suitable for use
 111   in other languages and statistical packages.
 112
 113 __ http://mako.cc/academic/hill_shaw-consider_the_redirect.pdf
 114 __ http://dumps.wikimedia.org/enwiki/20121001/
 115 __ http://dumps.wikimedia.org/
 116 __ enwiki_201210-redirect_spells-v1.RData
 117 __ http://www.r-project.org/
 118 __ enwiki_201210-redirect_spells-v1.tsv.bz2
 119
 120 More Information
 121 ==================
 122
 123 For details about the dataset, why it is important, and for examples on
 124 how it can be used to come to better findings in Wikipedia research,
 125 please read `the companion paper`__.
 126
 127 __ http://mako.cc/academic/hill_shaw-consider_the_redirect.pdf
 128
 129 If you notice issues or bugs in our data or `code`__, contact `Benjamin
 130 Mako Hill`__ or `Aaron Shaw`__.
 131
 132 __ http://projects.mako.cc/source/?p=redirect-tools
 133 __ http://mako.cc/contact/
 134 __ http://aaronshaw.org/
 135
 136 Patches and improvements are welcome! Details on `how to produce and send
 137 a patch using git are online`__.
 138
 139 __ http://projects.mako.cc/source/
 140
 141
 142 ----
 143
 144 ⓒ Copyright `Benjamin Mako Hill`__ and `Aaron Shaw`__ :: `Creative Commons BY-SA`__ :: Updated: Thu Jul  3 13:22:29 PDT 2014
 145
 146 __ http://mako.cc/academic/
 147 __ http://aaronshaw.org/
 148 __ http://creativecommons.org/licenses/by-sa/4.0/