809dba9b7b882a159ce6d451d7e8d7664e96b3f0
[state_of_wikimedia_research_2015] / 20150717-wikimania_research.tex
1 \documentclass[xcolor=dvipsnames]{beamer}
2
3 % set up the file to create notes in the output PDFs
4 \usepackage{pgfpages}
5 \input{notes.config}
6
7 \renewcommand{\rmdefault}{ugm}
8 \usepackage[garamond]{mathdesign}
9
10 \renewcommand{\sfdefault}{phv}
11 \usepackage{relsize}
12
13 \usepackage{ucs}
14 \usepackage[utf8x]{inputenc}
15 \usepackage[T1]{fontenc}
16 \usepackage{textcomp}
17
18 % add tikz and a bunch of tikz foo
19 \usepackage{tikz}
20 \usetikzlibrary{shapes,shapes.misc,backgrounds,fit,positioning}
21 \tikzstyle{every picture}+=[overlay,remember picture]
22
23 % add functions to circle parts of slides (e.g., in tables)
24 \newcommand\marktopleft[1]{\tikz \node (marker-#1-a) at (0,1.5ex) {};}
25 \newcommand\markbottomright[1]{%
26   \tikz{\node (marker-#1-b) at (0,0) {};}
27   \tikz[dashed,inner sep=3pt]{\node[violet!75,ultra thick,draw,rounded rectangle,fit=(marker-#1-a.center) (marker-#1-b.center)] {};}}
28
29 % DEPRECATED function to build a huge centered dropshadow
30 \newcommand\dropshadow[3]{%
31   \node[black!30!white] at (#1+0.1,#2-0.1) {
32     \scalebox{2}{\Huge \textbf{#3}}
33   };
34   \node at (#1,#2) {
35     \scalebox{2}{\Huge \e{#3}}
36   };
37 }
38
39 % create an empty quotetxt so we can reuse it
40 \newcommand{\quotetxt}{}
41
42 % more flexible non-tikz alternative with no dropshadow 
43 \newlength{\centertxtlen}
44 \makeatletter
45 \newcommand\centertext[2]{%
46   \setlength{\centertxtlen}{#1}%
47   \setlength{\centertxtlen}{0.48\centertxtlen}%
48   {\centering
49     \fontsize{#1}{2\centertxtlen}\selectfont
50     \e{#2}
51
52   }
53 }
54
55
56 % add function to stop numbering appendix slides
57 \newcommand{\backupbegin}{
58    \newcounter{framenumberappendix}
59    \setcounter{framenumberappendix}{\value{framenumber}}
60 }
61 \newcommand{\backupend}{
62    \addtocounter{framenumberappendix}{-\value{framenumber}}
63    \addtocounter{framenumber}{\value{framenumberappendix}} 
64 }
65
66 % packages i use in essentially every document
67 \usepackage{graphicx}
68 \usepackage{url}
69 % \usepackage{dcolumn}
70 % \usepackage{booktabs}
71
72 % replace footnotes with symbols instead of numbers
73 \renewcommand*{\thefootnote}{\fnsymbol{footnote}}
74 \usepackage{perpage}
75 \MakePerPage{footnote}
76
77 %% BEAMER THEME STUFF
78 \usetheme[pageofpages=/,% String used between the current page and the
79                          % total page count.
80           bullet=default,% Use circles instead of squares for bullets.
81           titleline=false,% Show a line below the frame title.
82           alternativetitlepage=true,% Use the fancy title page.
83           titlepagelogo=figures/logo.pdf,% Logo for the first page.
84           %watermark=watermark-polito,% Watermark used in every page.
85           watermarkheight=100px,% Height of the watermark.
86           watermarkheightmult=4,% The watermark image is 4 times bigger
87                                 % than watermarkheight.
88           ]{Torino}
89
90 \usecolortheme{mako}
91 \useinnertheme{rectangles}
92 %\setbeamertemplate{blocks}[rounded][]
93 \setbeamercolor{block title}{bg=makopurple3, fg=White}
94
95 \setbeamertemplate{items}[default] 
96 \setbeamertemplate{blocks}[shadow=true] 
97
98 \usepackage{tcolorbox}
99 % These options will be applied to all `tcolorboxes`
100 \tcbset{%
101     noparskip,
102     colback=makopurple5, %background color of the box
103     colframe=makopurple1, %color of frame and title background
104     coltext=black, %color of body text
105     coltitle=white, %color of title text 
106     arc=0em,
107     left=0.1em,
108     right=0.1em,
109     fonttitle=\bfseries,
110     alerted/.style={coltitle=red, 
111                      colframe=gray!40},
112     example/.style={coltitle=black, 
113                      colframe=green!20,             
114                      colback=green!5},
115     }
116
117
118 %\useoutertheme{infolines}
119 %\usepackage[breaklinks]{hyperref}
120
121 \hypersetup{colorlinks=true, linkcolor=Black, citecolor=Black, filecolor=makopurple1,
122     urlcolor=Plum, unicode=true}
123
124 % create a boldface version of the header
125 \setbeamerfont{frametitle}{series=\bfseries}
126 \setbeamerfont{title}{series=\bfseries}
127
128 % tweak the beamer font to make it a bit lists a bit smaller
129 \setbeamerfont*{itemize/enumerate body}{size=\small}
130 \setbeamerfont*{itemize/enumerate subbody}{size=\footnotesize}
131 \setbeamerfont*{itemize/enumerate subsubbody}{size=\footnotesize}
132
133 % indent the margins of the itemize lists a little bit
134 \setlength{\leftmargin}{0pt}
135 \setlength{\leftmargini}{0.7cm}
136 \setlength{\leftmarginii}{0.7cm}
137
138 % create a new \e{} command to make things purple and bold
139 \newcommand{\e}[1]{\textcolor{makopurple1}{\textbf{#1}}}
140
141 % remove the nagivation symbols
142 \setbeamertemplate{navigation symbols}{}
143
144 \title{Presentation Title}
145 % \subtitle{Presentation Subtitle}
146 \author[Benj. Mako Hill]{\textbf{Benjamin Mako Hill}\\ makohill@uw.edu}
147
148 \institute[UW/Harvard]{\textbf{University of Washington}\\
149   Department of Communication\\
150   \emph{Assistant Professor}\\
151   \hspace{1pt}\\
152   \textbf{Harvard University}\\
153   Berkman Center for Internet and Society\\
154   \emph{Resident Fellow}}
155
156 \date{December 2, 1980}
157
158 \newcommand{\credit}[1]{%
159   \tikz[overlay]{\node at (current page.south east)
160     [anchor=south east,yshift=1.1em,xshift=0.35em]
161     {\smaller \smaller {[}#1{]}};}}
162
163 \begin{document}
164
165 % remove some of the space in the itemize to make it quite compact
166 \let\olditemize\itemize
167 \renewcommand\itemize{\olditemize\itemsep-1pt}
168
169 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
170 \section{Introduction}
171 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
172
173 %% SLIDE: Title Slide
174 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
175 \begin{frame}[plain]
176
177   \begin{tikzpicture}
178     \node at (current page.center) [xshift=-3.5cm, yshift=0.5cm, opacity=0.4]
179       {\includegraphics[height=\paperheight]{figures/wikimedia_projects.png}};
180
181
182     \node at (current page.south east)
183     [anchor=south east,text width=1.8\paperwidth,align=right,color=black]
184     {
185       {\spaceskip 0.3em%
186         \fontsize{2.5em}{2.5em}
187         \selectfont {\bf \color{makopurple4} The State of Wikimedia\\
188           Research: 2014-2015} \par}
189
190       \vspace{1em}
191
192       {\spaceskip 0.3em%
193         \fontsize{2.0em}{2.1em}
194         \selectfont {\bf \color{black} Benjamin Mako Hill\\
195           Tilman Bayer\\
196           Aaron Shaw\\
197           Wikimania 2015, Mexico City\\
198           July 17, 2015} \par}
199
200     };
201   \end{tikzpicture}
202
203 % Removed to accommodate Tilman's setup  
204 %  \input{vc}
205 %
206 %  \tikz[overlay,shift=(current page.south west)]{\node [xshift=5.6em,yshift=0.5em]{\colorbox{makopurple1}{\color{white} \tt \smaller \smaller \smaller revision:\ \VCRevision\  (\VCDateTEX)}};}
207
208   \note{I've been doing this for many years. I started in 2008 and
209     have done this almost every single year since.
210
211     This began as an excuse for me to make sure I was up to date on
212     Wikimedia Research.}
213
214 \end{frame}
215
216 %% SLIDE: Anecdote from Wikimania 2008
217 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
218 \renewcommand{\quotetxt}{``This talk will try to [provide] a quick
219   tour – a literature review in the scholarly parlance – of the last
220   year's academic landscape around Wikimedia and its projects geared
221   at non-academic editors and readers. It will try to categorize,
222   distill, and describe, from a birds eye view, the academic landscape
223   as it is shaping up around
224   our project.''\\
225   \hfill – \e{From my Wikimania 2008 Submission}}
226
227 \begin{frame}
228
229   {\smaller \quotetxt}
230
231   \pause
232   \includegraphics[width=\textwidth]{figures/google_scholar_result.png}
233
234   \pause
235   \tikz{\draw (current page.center) [xshift=-2.1cm, yshift=0.9cm, color=red]
236     ellipse (1.5cm and 0.5cm);}
237
238   \note<1>{Back in Wikimania 2008, I set out to run a session at
239     Wikimania that would provide a comprehensive literature review of
240     articles in Wikipedia published in the last year.
241
242     \begin{quote}
243       \quotetxt
244     \end{quote}
245
246     Then, about two weeks before Wikimania, I did the scholar search
247     so I could build the literature.}
248
249   \note<2->{I tried to import the whole list into Zotero and managed
250     to get banned for abusing the Google Scholar because they thought
251     that no human being could realistically consume the amount of
252     material published on Wikipedia that year.
253
254     So anyway, I had a 45 minute talk so it worked out to 3.45 seconds
255     to per paper...
256
257     And believe it or not, this year is even bigger.
258  
259     And my talk is even shorter.}
260
261 \end{frame}
262
263 %% SLIDE: Citations Per Year
264 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
265 \begin{frame}
266
267   \includegraphics[width=\textwidth]{figures/citations_by_year.pdf}
268
269   \centering
270
271   {\smaller \emph{Number of citation, per year, with the term
272       “wikipedia” in the title.\\
273       (Source: Google scholar results. Accessed: 2013-08-06)}}
274
275   \note{Academics have written \e{a lot} of papers about
276     Wikipedia. There are more than 500 papers published about
277     Wikipedia each year and although we've reached and moved past a
278     peak it seems, it's not slowing by much.}
279
280 \end{frame}
281
282 \begin{frame}
283
284   \begin{itemize}
285     \larger \larger
286   \item \e{2968} Wikipedia-related publications in the Scopus database
287     as of November 2013
288
289   \item \e{160} recent publications reviewed or mentioned in the 12 issues
290     of the Wikimedia Research Newsletter August 2013-July 2014.
291   \end{itemize}
292
293 \end{frame}
294
295 %% SLIDE: My Scope Conditions
296 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
297 \begin{frame}
298
299   \includegraphics[width=\textwidth]{figures/multiple_issues.png}
300
301   \larger \larger
302   In selecting papers for this session, the goal is always to choose
303   examples of work that:
304
305   \begin{itemize}
306   \larger \larger
307   \item Represent \e{important themes} from Wikipedia in the last year.
308   \item Research that is likely to be of \e{interest} to Wikimedians.
309   \item Research by people who are \e{not at Wikimania}.
310   \item \ldots with a bias towards \e{peer-reviewed} publications 
311   \end{itemize}
312
313   \note{This is my disclaimer slide...
314
315   Within these goals, the selections are \e{incomplete}, and \e{wrong}.}
316 \end{frame}
317
318 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
319 \section{Paper Summaries}
320 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
321
322 \subsection{Content quality}
323
324 \begin{frame}
325    \centertext{6em}{Content quality}
326
327    \note{Tilman
328
329      A decade after the landmark "Nature" study, there still aren't too
330      many systematic evaluations of the accuracy of Wikipedia's content. 
331      Health articles continue to receive scrutiny, though. With good 
332      reason: Wikipedia is "the most frequently consulted online health 
333      care resource globally" [NEJM article].}
334 \end{frame}
335
336 \begin{frame}
337   
338 \frametitle{Quality of drug articles}
339
340    \larger \larger
341    Hwang et al., ``\e{Drug Safety in the Digital Age}.'' 
342    N Engl J Med 2014; 370:2460-2462 June 26, 2014 
343    \href{http://dx.doi.org/10.1056/NEJMp1401767}{doi: 10.1056/NEJMp1401767}.
344    \bigskip
345    
346    Kräenbring et al., \e{Accuracy and completeness of drug 
347    information in Wikipedia: a comparison with standard textbooks of 
348    pharmacology}. PLoS One 9 (9): e106930. 
349    \href{http://dx.doi.org/10.1371/journal.pone.0106930}
350    {doi:10.1371/journal.pone.0106930}
351    
352
353    \note{Tilman
354    
355      We selected two papers that evaluated drug articles, with 
356      different approaches. The first one is a short article in the 
357      extremely prestigious NEJM.}
358 \end{frame}
359
360 \begin{frame}
361   
362 \frametitle{Quality of drug articles: NEJM}
363
364    \includegraphics[width=0.45\textwidth]{figures/Pradaxa_tweet_FDAMedWach.png}
365    % from https://twitter.com/FDAMedWatch/status/281547908095041536
366    % = first one in the list at http://www.nejm.org/doi/suppl/10.1056/NEJMp1401767/suppl_file/nejmp1401767_appendix.pdf
367    $\Longrightarrow$
368    \includegraphics[width=0.45\textwidth]{figures/Dabitragan_Contraindications_WP_FDA_warning}
369    
370    \begin{itemize}
371      \larger \larger
372      \item The US Food and Drug Administration (\e{FDA}) frequently 
373      issues safety warnings about prescription drugs. How long does it 
374      take until these are reflected on English Wikipedia?
375      \item 41\% updated within two weeks (58\% for high-prevalent 
376      diseases), but 36\% still unchanged after more than a year.
377    \end{itemize}
378    
379    \note{Tilman
380    
381    Articles about drugs used to treat high-prevalent diseases (affecting 
382    > 1 m Americans / year) were updated faster.\\ 
383    But the result still caused concern.\\
384    Authors find "there may be a benefit to enabling the FDA to update or 
385    automatically feed new safety communications to Wikipedia pages, as 
386    it does with WebMD". The paper raised awareness among WikiProject 
387    Medicine editors, but there's no systematic updating mechanism yet.}
388
389
390 \end{frame}
391
392 % \begin{frame}
393
394 %   \frametitle{Wikipedia Viewership and Flu Prediction: Methods}
395
396 %   \begin{itemize}
397 %   \larger \larger \larger
398 %   \item Measure traffic to flu related articles on Wikipedia
399 %   \item Compare to the ``gold standard'' data from the Center for
400 %     Disease Control (CDC)
401 %   \end{itemize}
402
403 % \end{frame}
404
405 % \begin{frame}
406 %   \frametitle{Wikipedia Viewership and Flu Prediction: Results}
407
408 %   \centering
409 %   \includegraphics[width=\textwidth]{figures/flu.png}
410
411 % \note{\begin{itemize}
412 %   \larger \larger
413
414 %   \item Wikipedia better than Google at predicting peak flu weeks.
415 %   \item Wikipedia better at predicting relative influenza rates.
416 %   \end{itemize}}
417
418 % \end{frame}
419
420
421 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
422 \section{Conclusion}
423 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
424
425 %% SLIDE: Other Resources
426 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
427 \begin{frame}{More Resources}
428
429   \begin{itemize}
430     \larger \larger
431   \item \e{Wikimedia Research Newsletter} [[:meta:Research:Newsletter]] / @WikiResearch
432   \item \e{WikiSym/OpenSym} (This August in San Francisco!)
433   \item \e{WikiPapers Repository} [http://wikipapers.referata.com]
434   \item \e{Much More}
435   \end{itemize}
436
437   {\centering 
438     \includegraphics[width=0.25\textwidth]{figures/Wikimedia_Research_Newsletter_Logo.png}
439
440   }
441
442   \note{Those are my six exemplary studies from the past year. 
443
444     There has been just tons and tons of work in this area. Trying to
445     talk about this in 20 minutes strikes me as increasingly crazy
446     every year I try to do it.
447
448     The most important source, now going for a couple years, is the
449     Wikimedia Research Newsletter which is published monthly in the (English)
450     Signpost and syndicated on the Wikimedia Research.
451
452     But there are other resources as well. And I encourage you to get
453     involved.}
454
455 \end{frame}
456
457 \subsection{Meta-Analyses}
458
459 \begin{frame}
460
461   \frametitle{Meta-Analyses}
462
463   \begin{itemize}
464
465     \larger \larger
466
467   \item Okoli et al.,
468     \href{https://spectrum.library.concordia.ca/978618/}{``The sum of
469       all human knowledge'': a systematic review of scholarly research
470       on the content of Wikipedia}.
471
472   \item Bar-Ilan and Aharony,
473     \href{http://dl.acm.org/citation.cfm?doid=2615569.2615643}{Twelve
474       years of Wikipedia research}.
475     
476   \item Taraborelli. \href{https://meta.wikimedia.org/wiki/Research:Newsletter/2013/August\#Keynote\_on\_applicable\_Wikipedia\_research}{Keynote
477       on Wikipedia Research}. OpenSym 2013. Hong Kong.
478
479   \item Benkler, Shaw, and Hill,
480     \href{http://mako.cc/academic/benkler\_shaw\_hill-peer\_production\_ci.pdf}{Peer
481       Production: A Modality of Collective Intelligence}.
482
483   \end{itemize}
484
485 \end{frame}
486
487 \end{document}
488

Benjamin Mako Hill || Want to submit a patch?