projects.mako.cc - state_of_wikimedia_research_2015/blob - 20150717-wikimania_research.tex

   1 \documentclass[xcolor=dvipsnames]{beamer}
   2
   3 % set up the file to create notes in the output PDFs
   4 \usepackage{pgfpages}
   5 \input{notes.config}
   6
   7 \renewcommand{\rmdefault}{ugm}
   8 \usepackage[garamond]{mathdesign}
   9
  10 \renewcommand{\sfdefault}{phv}
  11 \usepackage{relsize}
  12
  13 \usepackage{ucs}
  14 \usepackage[utf8x]{inputenc}
  15 \usepackage[T1]{fontenc}
  16 \usepackage{textcomp}
  17
  18 % add tikz and a bunch of tikz foo
  19 \usepackage{tikz}
  20 \usetikzlibrary{shapes,shapes.misc,backgrounds,fit,positioning}
  21 \tikzstyle{every picture}+=[overlay,remember picture]
  22
  23 % add functions to circle parts of slides (e.g., in tables)
  24 \newcommand\marktopleft[1]{\tikz \node (marker-#1-a) at (0,1.5ex) {};}
  25 \newcommand\markbottomright[1]{%
  26   \tikz{\node (marker-#1-b) at (0,0) {};}
  27   \tikz[dashed,inner sep=3pt]{\node[violet!75,ultra thick,draw,rounded rectangle,fit=(marker-#1-a.center) (marker-#1-b.center)] {};}}
  28
  29 % DEPRECATED function to build a huge centered dropshadow
  30 \newcommand\dropshadow[3]{%
  31   \node[black!30!white] at (#1+0.1,#2-0.1) {
  32     \scalebox{2}{\Huge \textbf{#3}}
  33   };
  34   \node at (#1,#2) {
  35     \scalebox{2}{\Huge \e{#3}}
  36   };
  37 }
  38
  39 % create an empty quotetxt so we can reuse it
  40 \newcommand{\quotetxt}{}
  41
  42 % more flexible non-tikz alternative with no dropshadow
  43 \newlength{\centertxtlen}
  44 \makeatletter
  45 \newcommand\centertext[2]{%
  46   \setlength{\centertxtlen}{#1}%
  47   \setlength{\centertxtlen}{0.48\centertxtlen}%
  48   {\centering
  49     \fontsize{#1}{2\centertxtlen}\selectfont
  50     \e{#2}
  51
  52   }
  53 }
  54
  55
  56 % add function to stop numbering appendix slides
  57 \newcommand{\backupbegin}{
  58    \newcounter{framenumberappendix}
  59    \setcounter{framenumberappendix}{\value{framenumber}}
  60 }
  61 \newcommand{\backupend}{
  62    \addtocounter{framenumberappendix}{-\value{framenumber}}
  63    \addtocounter{framenumber}{\value{framenumberappendix}}
  64 }
  65
  66 % packages i use in essentially every document
  67 \usepackage{graphicx}
  68 \usepackage{url}
  69 % \usepackage{dcolumn}
  70 % \usepackage{booktabs}
  71
  72 % replace footnotes with symbols instead of numbers
  73 \renewcommand*{\thefootnote}{\fnsymbol{footnote}}
  74 \usepackage{perpage}
  75 \MakePerPage{footnote}
  76
  77 %% BEAMER THEME STUFF
  78 \usetheme[pageofpages=/,% String used between the current page and the
  79                          % total page count.
  80           bullet=default,% Use circles instead of squares for bullets.
  81           titleline=false,% Show a line below the frame title.
  82           alternativetitlepage=true,% Use the fancy title page.
  83           titlepagelogo=figures/logo.pdf,% Logo for the first page.
  84           %watermark=watermark-polito,% Watermark used in every page.
  85           watermarkheight=100px,% Height of the watermark.
  86           watermarkheightmult=4,% The watermark image is 4 times bigger
  87                                 % than watermarkheight.
  88           ]{Torino}
  89
  90 \usecolortheme{mako}
  91 \useinnertheme{rectangles}
  92 %\setbeamertemplate{blocks}[rounded][]
  93 \setbeamercolor{block title}{bg=makopurple3, fg=White}
  94
  95 \setbeamertemplate{items}[default]
  96 \setbeamertemplate{blocks}[shadow=true]
  97
  98 \usepackage{tcolorbox}
  99 % These options will be applied to all `tcolorboxes`
 100 \tcbset{%
 101     noparskip,
 102     colback=makopurple5, %background color of the box
 103     colframe=makopurple1, %color of frame and title background
 104     coltext=black, %color of body text
 105     coltitle=white, %color of title text
 106     arc=0em,
 107     left=0.1em,
 108     right=0.1em,
 109     fonttitle=\bfseries,
 110     alerted/.style={coltitle=red,
 111                      colframe=gray!40},
 112     example/.style={coltitle=black,
 113                      colframe=green!20,
 114                      colback=green!5},
 115     }
 116
 117
 118 %\useoutertheme{infolines}
 119 %\usepackage[breaklinks]{hyperref}
 120
 121 \hypersetup{colorlinks=true, linkcolor=Black, citecolor=Black, filecolor=makopurple1,
 122     urlcolor=Plum, unicode=true}
 123
 124 % create a boldface version of the header
 125 \setbeamerfont{frametitle}{series=\bfseries}
 126 \setbeamerfont{title}{series=\bfseries}
 127
 128 % tweak the beamer font to make it a bit lists a bit smaller
 129 \setbeamerfont*{itemize/enumerate body}{size=\small}
 130 \setbeamerfont*{itemize/enumerate subbody}{size=\footnotesize}
 131 \setbeamerfont*{itemize/enumerate subsubbody}{size=\footnotesize}
 132
 133 % indent the margins of the itemize lists a little bit
 134 \setlength{\leftmargin}{0pt}
 135 \setlength{\leftmargini}{0.7cm}
 136 \setlength{\leftmarginii}{0.7cm}
 137
 138 % create a new \e{} command to make things purple and bold
 139 \newcommand{\e}[1]{\textcolor{makopurple1}{\textbf{#1}}}
 140
 141 % remove the nagivation symbols
 142 \setbeamertemplate{navigation symbols}{}
 143
 144 \title{Presentation Title}
 145 % \subtitle{Presentation Subtitle}
 146 \author[Benj. Mako Hill]{\textbf{Benjamin Mako Hill}\\ makohill@uw.edu}
 147
 148 \institute[UW/Harvard]{\textbf{University of Washington}\\
 149   Department of Communication\\
 150   \emph{Assistant Professor}\\
 151   \hspace{1pt}\\
 152   \textbf{Harvard University}\\
 153   Berkman Center for Internet and Society\\
 154   \emph{Resident Fellow}}
 155
 156 \date{December 2, 1980}
 157
 158 \newcommand{\credit}[1]{%
 159   \tikz[overlay]{\node at (current page.south east)
 160     [anchor=south east,yshift=1.1em,xshift=0.35em]
 161     {\smaller \smaller {[}#1{]}};}}
 162
 163 \begin{document}
 164
 165 % remove some of the space in the itemize to make it quite compact
 166 \let\olditemize\itemize
 167 \renewcommand\itemize{\olditemize\itemsep-1pt}
 168
 169 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 170 \section{Introduction}
 171 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 172
 173 %% SLIDE: Title Slide
 174 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 175 \begin{frame}[plain]
 176
 177   \begin{tikzpicture}
 178     \node at (current page.center) [xshift=-3.5cm, yshift=0.5cm, opacity=0.4]
 179       {\includegraphics[height=\paperheight]{figures/wikimedia_projects.png}};
 180
 181
 182     \node at (current page.south east)
 183     [anchor=south east,text width=1.8\paperwidth,align=right,color=black]
 184     {
 185       {\spaceskip 0.3em%
 186         \fontsize{2.5em}{2.5em}
 187         \selectfont {\bf \color{makopurple4} The State of Wikimedia\\
 188           Research: 2014-2015} \par}
 189
 190       \vspace{1em}
 191
 192       {\spaceskip 0.3em%
 193         \fontsize{2.0em}{2.1em}
 194         \selectfont {\bf \color{black} Benjamin Mako Hill\\
 195           Tilman Bayer\\
 196           Aaron Shaw\\
 197           Wikimania 2015, Mexico City\\
 198           July 17, 2015} \par}
 199
 200     };
 201   \end{tikzpicture}
 202
 203 % Removed to accommodate Tilman's setup
 204 %  \input{vc}
 205 %
 206 %  \tikz[overlay,shift=(current page.south west)]{\node [xshift=5.6em,yshift=0.5em]{\colorbox{makopurple1}{\color{white} \tt \smaller \smaller \smaller revision:\ \VCRevision\  (\VCDateTEX)}};}
 207
 208   \note{I've been doing this for many years. I started in 2008 and
 209     have done this almost every single year since.
 210
 211     This began as an excuse for me to make sure I was up to date on
 212     Wikimedia Research.}
 213
 214 \end{frame}
 215
 216 %% SLIDE: Anecdote from Wikimania 2008
 217 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 218 \renewcommand{\quotetxt}{``This talk will try to [provide] a quick
 219   tour – a literature review in the scholarly parlance – of the last
 220   year's academic landscape around Wikimedia and its projects geared
 221   at non-academic editors and readers. It will try to categorize,
 222   distill, and describe, from a birds eye view, the academic landscape
 223   as it is shaping up around
 224   our project.''\\
 225   \hfill – \e{From my Wikimania 2008 Submission}}
 226
 227 \begin{frame}
 228
 229   {\smaller \quotetxt}
 230
 231   \pause
 232   \includegraphics[width=\textwidth]{figures/google_scholar_result.png}
 233
 234   \pause
 235   \tikz{\draw (current page.center) [xshift=-2.1cm, yshift=0.9cm, color=red]
 236     ellipse (1.5cm and 0.5cm);}
 237
 238   \note<1>{Back in Wikimania 2008, I set out to run a session at
 239     Wikimania that would provide a comprehensive literature review of
 240     articles in Wikipedia published in the last year.
 241
 242     \begin{quote}
 243       \quotetxt
 244     \end{quote}
 245
 246     Then, about two weeks before Wikimania, I did the scholar search
 247     so I could build the literature.}
 248
 249   \note<2->{I tried to import the whole list into Zotero and managed
 250     to get banned for abusing the Google Scholar because they thought
 251     that no human being could realistically consume the amount of
 252     material published on Wikipedia that year.
 253
 254     So anyway, I had a 45 minute talk so it worked out to 3.45 seconds
 255     to per paper...
 256
 257     And believe it or not, this year is even bigger.
 258
 259     And my talk is even shorter.}
 260
 261 \end{frame}
 262
 263 %% SLIDE: Citations Per Year
 264 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 265 \begin{frame}
 266
 267   \includegraphics[width=\textwidth]{figures/citations_by_year.pdf}
 268
 269   \centering
 270
 271   {\smaller \emph{Number of citation, per year, with the term
 272       “wikipedia” in the title.\\
 273       (Source: Google scholar results. Accessed: 2013-08-06)}}
 274
 275   \note{Academics have written \e{a lot} of papers about
 276     Wikipedia. There are more than 500 papers published about
 277     Wikipedia each year and although we've reached and moved past a
 278     peak it seems, it's not slowing by much.}
 279
 280 \end{frame}
 281
 282 \begin{frame}
 283
 284   \begin{itemize}
 285     \larger \larger
 286   \item \e{2968} Wikipedia-related publications in the Scopus database
 287     as of November 2013
 288
 289   \item \e{160} recent publications reviewed or mentioned in the 12 issues
 290     of the Wikimedia Research Newsletter August 2013-July 2014.
 291   \end{itemize}
 292
 293 \end{frame}
 294
 295 %% SLIDE: My Scope Conditions
 296 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 297 \begin{frame}
 298
 299   \includegraphics[width=\textwidth]{figures/multiple_issues.png}
 300
 301   \larger \larger
 302   In selecting papers for this session, the goal is always to choose
 303   examples of work that:
 304
 305   \begin{itemize}
 306   \larger \larger
 307   \item Represent \e{important themes} from Wikipedia in the last year.
 308   \item Research that is likely to be of \e{interest} to Wikimedians.
 309   \item Research by people who are \e{not at Wikimania}.
 310   \item \ldots with a bias towards \e{peer-reviewed} publications
 311   \end{itemize}
 312
 313   \note{This is my disclaimer slide...
 314
 315   Within these goals, the selections are \e{incomplete}, and \e{wrong}.}
 316 \end{frame}
 317
 318 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 319 \section{Paper Summaries}
 320 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 321
 322 \begin{frame}
 323   \centertext{6em}{Wikipedia as a Source of Data}
 324
 325   \note{Mako}
 326 \end{frame}
 327
 328 \begin{frame}
 329
 330   \frametitle{Wikipedia as a source of data}
 331
 332   \larger \larger Ronen, S., Gonçalves, B., Hu, K. Z., Vespignani, A.,
 333   Pinker, S., \& Hidalgo, C. A. (2014). \e{Links that speak: The
 334     global language network and its association with global
 335     fame}. Proceedings of the National Academy of Sciences, 111(52),
 336   E5616—E5622. \href{http://doi.org/10.1073/pnas.1410931111}{doi:10.1073/pnas.1410931111}
 337
 338 \end{frame}
 339
 340 \begin{frame}
 341   \frametitle{Wikipedia as a source of data: Ronen et al.}
 342
 343   \includegraphics[width=\textwidth]{figures/ronen_fig1.png}
 344 \end{frame}
 345
 346 \subsection{Community and Organization}
 347
 348 \begin{frame}
 349   \centertext{6em}{Community and Organization}
 350
 351   \note{Mako}
 352 \end{frame}
 353
 354 \begin{frame}
 355
 356   \frametitle{Community and organization}
 357
 358   \larger \larger Warncke-Wang, M., Ranjan, V., Terveen, L., \& Hecht,
 359   B. (2015). \e{Misalignment Between Supply and Demand of Quality Content
 360   in Peer Production Communities}. In Ninth International AAAI
 361   Conference on Web and Social Media (ICWSM).
 362
 363   % Retrieved from \href{http://www.aaai.org/ocs/index.php/ICWSM/ICWSM15/paper/view/10591}{http://www.aaai.org/ocs/index.php/ICWSM/ICWSM15/paper/view/10591}
 364
 365 \end{frame}
 366
 367 \begin{frame}
 368   \frametitle{Community and organization: Warncke-Wang et al.}
 369
 370   \includegraphics[width=\textwidth]{figures/warncke-english_confusion.pdf}
 371 \end{frame}
 372
 373 \begin{frame}
 374   \frametitle{Community and organization: Warncke-Wang et al.}
 375
 376   \includegraphics[width=\textwidth]{figures/warncke-english_overunder.pdf}
 377 \end{frame}
 378
 379 \subsection{Content Quality}
 380
 381 \begin{frame}
 382    \centertext{6em}{Content quality}
 383
 384    \note{Tilman
 385
 386      A decade after the landmark "Nature" study, there still aren't too
 387      many systematic evaluations of the accuracy of Wikipedia's content.
 388      Health articles continue to receive scrutiny, though. With good
 389      reason: Wikipedia is "the most frequently consulted online health
 390      care resource globally" [NEJM article].}
 391 \end{frame}
 392
 393 \begin{frame}
 394
 395 \frametitle{Quality of drug articles}
 396
 397    \larger \larger
 398    Hwang et al., ``\e{Drug Safety in the Digital Age}.''
 399    N Engl J Med 2014; 370:2460-2462 June 26, 2014
 400    \href{http://dx.doi.org/10.1056/NEJMp1401767}{doi: 10.1056/NEJMp1401767}.
 401    \bigskip
 402
 403    Kräenbring et al., \e{Accuracy and completeness of drug
 404    information in Wikipedia: a comparison with standard textbooks of
 405    pharmacology}. PLoS One 9 (9): e106930.
 406    \href{http://dx.doi.org/10.1371/journal.pone.0106930}
 407    {doi:10.1371/journal.pone.0106930}
 408
 409
 410    \note{Tilman
 411
 412      We selected two papers that evaluated drug articles, with
 413      different approaches. The first one is a short article in the
 414      extremely prestigious NEJM.}
 415 \end{frame}
 416
 417 \begin{frame}
 418
 419 \frametitle{Quality of drug articles: NEJM}
 420
 421    \includegraphics[width=0.49\textwidth]{figures/Pradaxa_tweet_FDAMedWach.png}
 422    % from https://twitter.com/FDAMedWatch/status/281547908095041536
 423    % = first one in the list at http://www.nejm.org/doi/suppl/10.1056/NEJMp1401767/suppl_file/nejmp1401767_appendix.pdf
 424    \includegraphics[width=0.49\textwidth]{figures/Dabitragan_Contraindications_WP_FDA_warning}
 425
 426    \tikz{\node [yshift=1.5cm,xshift=-0.4cm] at (current page.center) {\includegraphics[width=1.5cm]{figures/long-arrow-right.png}};}
 427    \begin{itemize}
 428      \larger \larger
 429      \item The US Food and Drug Administration (\e{FDA}) frequently
 430      issues safety warnings about prescription drugs. How long does it
 431      take until these are reflected on English Wikipedia?
 432      \item 41\% updated within two weeks (58\% for high-prevalent
 433      diseases), but 36\% still unchanged after more than a year.
 434    \end{itemize}
 435
 436    \note{Tilman
 437
 438    Articles about drugs used to treat high-prevalent diseases (affecting
 439    > 1 m Americans / year) were updated faster.\\
 440    But the result still caused concern.\\
 441    Authors find "there may be a benefit to enabling the FDA to update or
 442    automatically feed new safety communications to Wikipedia pages, as
 443    it does with WebMD". The paper raised awareness among WikiProject
 444    Medicine editors, but there's no systematic updating mechanism yet.}
 445
 446
 447 \end{frame}
 448
 449 % \begin{frame}
 450
 451 %   \frametitle{Wikipedia Viewership and Flu Prediction: Methods}
 452
 453 %   \begin{itemize}
 454 %   \larger \larger \larger
 455 %   \item Measure traffic to flu related articles on Wikipedia
 456 %   \item Compare to the ``gold standard'' data from the Center for
 457 %     Disease Control (CDC)
 458 %   \end{itemize}
 459
 460 % \end{frame}
 461
 462 % \begin{frame}
 463 %   \frametitle{Wikipedia Viewership and Flu Prediction: Results}
 464
 465 %   \centering
 466 %   \includegraphics[width=\textwidth]{figures/flu.png}
 467
 468 % \note{\begin{itemize}
 469 %   \larger \larger
 470
 471 %   \item Wikipedia better than Google at predicting peak flu weeks.
 472 %   \item Wikipedia better at predicting relative influenza rates.
 473 %   \end{itemize}}
 474
 475 % \end{frame}
 476
 477
 478 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 479 \section{Conclusion}
 480 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 481
 482 %% SLIDE: Other Resources
 483 %%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%%
 484 \begin{frame}{More Resources}
 485
 486   \begin{itemize}
 487     \larger \larger
 488   \item \e{Wikimedia Research Newsletter} [[:meta:Research:Newsletter]] / @WikiResearch
 489   \item \e{WikiSym/OpenSym} (This August in San Francisco!)
 490   \item \e{WikiPapers Repository} [http://wikipapers.referata.com]
 491   \item \e{Much More}
 492   \end{itemize}
 493
 494   {\centering
 495     \includegraphics[width=0.25\textwidth]{figures/Wikimedia_Research_Newsletter_Logo.png}
 496
 497   }
 498
 499   \note{Those are my six exemplary studies from the past year.
 500
 501     There has been just tons and tons of work in this area. Trying to
 502     talk about this in 20 minutes strikes me as increasingly crazy
 503     every year I try to do it.
 504
 505     The most important source, now going for a couple years, is the
 506     Wikimedia Research Newsletter which is published monthly in the (English)
 507     Signpost and syndicated on the Wikimedia Research.
 508
 509     But there are other resources as well. And I encourage you to get
 510     involved.}
 511
 512 \end{frame}
 513
 514 \subsection{Meta-Analyses}
 515
 516 \begin{frame}
 517
 518   \frametitle{Meta-Analyses}
 519
 520   \begin{itemize}
 521
 522     \larger \larger
 523
 524   \item Okoli et al.,
 525     \href{https://spectrum.library.concordia.ca/978618/}{``The sum of
 526       all human knowledge'': a systematic review of scholarly research
 527       on the content of Wikipedia}.
 528
 529   \item Bar-Ilan and Aharony,
 530     \href{http://dl.acm.org/citation.cfm?doid=2615569.2615643}{Twelve
 531       years of Wikipedia research}.
 532
 533   \item Taraborelli. \href{https://meta.wikimedia.org/wiki/Research:Newsletter/2013/August\#Keynote\_on\_applicable\_Wikipedia\_research}{Keynote
 534       on Wikipedia Research}. OpenSym 2013. Hong Kong.
 535
 536   \item Benkler, Shaw, and Hill,
 537     \href{http://mako.cc/academic/benkler\_shaw\_hill-peer\_production\_ci.pdf}{Peer
 538       Production: A Modality of Collective Intelligence}.
 539
 540   \end{itemize}
 541
 542 \end{frame}
 543
 544 \end{document}
 545