projects.mako.cc - redirect-tools/blob - docs/homepage.rst

   1 Consider the Redirect
   2 =======================
   3
   4 __ https://en.wikipedia.org/wiki/Main_Page
   5
   6 .. figure:: seattle_redirect.png
   7    :align: right
   8    :figwidth: 614px
   9
  10    Example of a redirect displayed in the `Seattle, Washington page on
  11    English Wikipedia`__ which is a redirect to `Seattle`__. Note the
  12    small redirect notice below the title.
  13
  14 __ https://en.wikipedia.org/wiki/Seattle,_Washington
  15 __ https://en.wikipedia.org/wiki/Seattle
  16
  17 In wikis, **redirects** are special pages in that silently take
  18 readers from the page they are visiting to another page in the
  19 wiki. In the `English Wikipedia`__, redirects make up more than half
  20 of all article pages.
  21
  22 Different Wikipedia data sources handle redirects differently. For
  23 example, `the MediaWiki API`__ will automatically "follow" redirects
  24 but the `XML database dumps`__ treat redirects like normal
  25 articles. In both cases, redirects are often invisible to researchers.
  26
  27 __ https://www.mediawiki.org/wiki/API:Main_page
  28 __ https://meta.wikimedia.org/wiki/Data_dumps
  29
  30 Because redirects constitute a majority of all pages and see a large
  31 portion of all traffic, Wikipedia researchers need to take redirects
  32 into account or their findings may be incomplete or incorrect.  For
  33 example, the histogram on this page shows the distribution of edits
  34 across pages in Wikipedia for every page, and for non-redirects only.
  35 Because redirects are almost never edited, the distributions are
  36 very different.  Similarly, because redirects are viewed but almost
  37 never edited, any study of views over articles should also take
  38 redirects into account.
  39
  40 .. figure:: edits_over_pages.png
  41    :align: right
  42    :figwidth: 614px
  43
  44    Histograms of pages in the article namespace based on the number of
  45    edits on a log scale.  The red histogram includes all pages in the
  46    article namespace (N = 9,729,989). The blue graphs includes only
  47    pages that were not redirects at the point of data collection (N =
  48    5,327,561).
  49
  50 Because redirects can change over time, the snapshots of redirects
  51 stored by Wikimedia and published by Wikimedia Foundation are
  52 incomplete. Taking redirects into account fully involves looking at the
  53 content of every single revision of every article to determine both
  54 when and where pages redirect.
  55
  56 Much more detail can be found in `Consider the Redirect: A Missing
  57 Dimension of Wikipedia Research`__ — a short paper that we have written
  58 to accompany this dataset and these tools.  If you use this software or
  59 these data, we would appreciate if you cite the paper:
  60
  61   *Hill, Benjamin Mako and Aaron Shaw. "Consider the Redirect:  A Missing
  62   Dimension of Wikipedia Research." In Proceedings of the 10th
  63   International Symposium on Open Collaboration (OpenSym 2014). ACM
  64   Press, 2014.*
  65
  66 __ http://mako.cc/academic/hill_shaw-consider_the_redirect.pdf
  67
  68 Generating Redirect Spells
  69 =============================
  70
  71 Generating redirect spells from an MediaWiki XML dump involves two steps:
  72
  73 1. Searching the full text of every revision of every page in a dump to
  74    determine if any given revision is a redirect.
  75
  76 2. Using the results of (1) to generate a list of "spells" that describe
  77    periods of time that articles in a wiki redirect to other articles.
  78
  79 We have `publicly released software in Python and R to do these two
  80 steps`__ under the `GNU GPL version 3`__. The software is designed for
  81 people already comfortable with working with MediaWiki XML dumps and the
  82 tools and software necessary to do this.
  83
  84 __ http://projects.mako.cc/source/?p=redirect-tools
  85 __ http://www.gnu.org/licenses/gpl-3.0.html
  86
  87 You can download the software from our git repository like::
  88
  89   git clone git://projects.mako.cc/redirect-tools
  90
  91 Detailed documentation on how to use the software is in available in `our
  92 README file`__.
  93
  94 __ README.html
  95
  96 Redirect Spell Data
  97 =========================
  98
  99 In `our paper`__, we present an analysis of redirect data from English
 100 Wikipedia in the dump created in October
 101 2012. You can download `the dump files we used`__ from `the Wikimedia
 102 Foundation dataset archive`__.  Because generating these dumps can be
 103 computationally intense, we have published the output of the software
 104 above run on the this dump. This includes 9,277,563 redirect spells that
 105 our software identified and is the dataset used in the paper.
 106
 107 You can download the dataset in the following formats:
 108
 109 - `RData (240MB)`__ — Suitable for use in `GNU R`__
 110 - `bzip2 compressed tab separated values (178MB)`__ — Suitable for use
 111   in other languages and statistical packages.
 112
 113 __ http://mako.cc/academic/hill_shaw-consider_the_redirect.pdf
 114 __ http://dumps.wikimedia.org/enwiki/20121001/
 115 __ http://dumps.wikimedia.org/
 116 __ enwiki_201210-redirect_spells-v1.RData
 117 __ http://www.r-project.org/
 118 __ enwiki_201210-redirect_spells-v1.tsv.bz2
 119
 120 Limitations
 121 ===============
 122
 123 Taking redirects into account is one important step that Wikipedia
 124 researchers should take but it is hardly a panacea. As just one example,
 125 in conversations after the publication of this paper, we have realized
 126 that page moves may lead to additional challenges in interpreting view
 127 data and in some cases to challenges in interpreting redirect data
 128 itself. This work reflects a step toward increased validity but it is
 129 incomplete.
 130
 131 Depending on the research question, a complete picture may need to take
 132 redirects, moves, other administrative actions, changing ways of
 133 measuring views, bot and bot-assisted editing, along with other
 134 currently unidentified features, into account.  We hope to extend our
 135 work with redirects and explore these issues and we hope other
 136 researchers will join us in these efforts to build a better
 137 understanding, tools, and datasets that can improve Wikipedia research.
 138
 139
 140 More Information
 141 ==================
 142
 143 For details about the dataset, why it is important, and for examples on
 144 how it can be used to come to better findings in Wikipedia research,
 145 please read `the companion paper`__.
 146
 147 __ http://mako.cc/academic/hill_shaw-consider_the_redirect.pdf
 148
 149 If you notice issues or bugs in our data or `code`__, contact `Benjamin
 150 Mako Hill`__ or `Aaron Shaw`__.
 151
 152 __ http://projects.mako.cc/source/?p=redirect-tools
 153 __ http://mako.cc/contact/
 154 __ http://aaronshaw.org/
 155
 156 Patches and improvements are welcome! Details on `how to produce and send
 157 a patch using git are online`__.
 158
 159 __ http://projects.mako.cc/source/
 160
 161
 162 ----
 163
 164 ⓒ Copyright `Benjamin Mako Hill`__ and `Aaron Shaw`__ :: `Creative Commons BY-SA`__ :: Updated: Thu Jul  3 13:22:29 PDT 2014
 165
 166 __ http://mako.cc/academic/
 167 __ http://aaronshaw.org/
 168 __ http://creativecommons.org/licenses/by-sa/4.0/