78cb500cd5d4f92f4cd7de9e6e1da8ebf4045350
[bmh-research_statement] / research_statement.tex
1 \documentclass[10pt]{memoir}
2
3 % based on kieran healy's memoir modifications
4 \usepackage{mako-mem}
5 \chapterstyle{article-3}
6 \pagestyle{memo}
7
8 \usepackage{ucs}
9 \usepackage[utf8x]{inputenc}
10
11 \usepackage[T1]{fontenc}
12 \usepackage{textcomp}
13 \usepackage[garamond]{mathdesign}
14
15 \usepackage[letterpaper,left=1.2in,right=1.2in,top=1.2in,bottom=1.2in]{geometry}
16
17 % packages i use in essentially every document
18 \usepackage{graphicx}
19 \usepackage{wrapfig}
20 \usepackage{enumerate}
21
22 % packages i use in many documents but leave off by default
23 % \usepackage{amsmath, amsthm, amssymb}
24 % \usepackage{dcolumn}
25 % \usepackage{endfloat}
26
27 % import and customize urls
28 \usepackage[usenames,dvipsnames]{color}
29 \usepackage[breaklinks]{hyperref}
30
31 \hypersetup{colorlinks=true, linkcolor=Black, citecolor=Black, filecolor=Blue,
32     urlcolor=Blue, unicode=true}
33
34 % add bibliographic stuff 
35 % \usepackage[round]{natbib}
36 % \def\citepos#1{\citeauthor{#1}'s (\citeyear{#1})}
37 % \def\citespos#1{\citeauthor{#1}' (\citeyear{#1})}
38
39 % import vc stuff after running `make vc`: \input{vc} \pagestyle{kjhgit}
40
41 \begin{document}
42
43 \setlength{\parskip}{4.5pt}
44
45 \baselineskip 14.5pt
46
47 \title{Research Statement}
48 \author{Benjamin Mako Hill}
49
50 \maketitle
51
52 My research is focused on collective action in online communities and
53 seeks to understand why some attempts at collaborative production --
54 like Wikipedia and Linux -- build large volunteer communities while
55 the vast majority never attract even a second contributor. I am
56 particularly interested in how the design of communication and
57 information technologies shape social outcomes like the decision to
58 join a community or contribute to a public good. My research is deeply
59 interdisciplinary and lies at the intersection of sociology,
60 communication, and human-computer interaction. I analyze data from
61 online communities that make failures of collective action newly
62 visible with ``big data'' research methods from software engineering
63 to answer fundamental social scientific questions.
64
65 Seeking to understand the determinants of collective action, my
66 research has been driven by three overlapping themes: (1)
67 population-level observational studies comparing failures to build
68 communities to the rare successful attempts; (2) attention to the role
69 of reputation and status in the mobilization of volunteers; and (3)
70 analyses of design changes as ``natural experiments'' to build a
71 deeper, and often causal, understanding of social processes from
72 observational data. Nearly all of my work incorporates at least two of
73 these themes.
74
75 \section{Population-Level Observational Studies}
76
77 Although there have been many thousands of studies of online
78 collective action and peer production, the vast majority of these
79 studies have only considered successful projects like Wikipedia and
80 GNU/Linux.  The majority of research on collective action -- online
81 and off -- has only considered projects that have successfully
82 mobilized. In this sense, most previous analyses of
83 collection action have systematically selected on their dependent
84 variable. Most of my research treats projects as the unit of analysis
85 and mobilization as the dependent variable to compare successful
86 examples of collective actions to failures.
87
88 % \begin{wrapfigure}{r}{0.4\textwidth}
89 %  \begin{centering}
90 %  \includegraphics[width=2.4in]{figures/wp_citations_by_year.png}
91 %  \caption{Number of published academic articles with ``wikipedia''
92 %  in title by year.}
93 %  \label{fig:wppapers}
94 %  \end{centering}
95 %\end{wrapfigure}
96
97 \begin{wrapfigure}{r}{2.6in}
98  \begin{centering}
99  \includegraphics[width=2.6in]{figures/scratch_screenshot_default.png}
100  \caption{A screenshot of the Scratch programming environment
101    where users create animations and interactive games.}
102  \label{fig:scratchapp}
103  \end{centering}
104  \vspace{-2em}
105 \end{wrapfigure}
106
107
108 For example, in a working paper that is part of my dissertation, I
109 compare Wikipedia to seven attempts to create online collaborative
110 encyclopedia projects that were launched before Wikipedia
111 \cite{hill_almost_2012}. Using an inductive, grounded-theory based
112 analysis of founder interviews and archival data, I propose four
113 hypothesis to explain why Wikipedia attracted many more contributors
114 than similar projects. Although the paper's methods diverge from the
115 quantitative, ``big data'' approach typical of most of my work, the
116 research question and strategy is representative.
117
118 I have also followed this strategy in a series of quantitative
119 studies of the Scratch online community: a public website with a large
120 community of users who create, share, and remix interactive media. The
121 community is built around the Scratch programming environment: a
122 freely downloadable desktop application that allows amateur creators
123 to combine media with programming code (see Figure
124 \ref{fig:scratchapp}). Despite the fact that Scratch is a community
125 designed to promote collaboration through content remixing, only about
126 ten percent of Scratch projects attract a second
127 contributor.
128
129 \begin{wrapfigure}{l}{2.6in}
130  \begin{centering}
131  \includegraphics[width=2.6in]{figures/frontpage_modified-topremix.png}
132   \caption{The front page of the Scratch online community where users
133     can share and collaborate on projects.}
134  \label{fig:scratchfrontpage}
135  \end{centering}
136  \vspace{-2em}
137 \end{wrapfigure}
138
139 In one study, forthcoming in American Behavioral Scientist, I test
140 several of the most commonly cited theories associated with
141 ``generativity'' (i.e., qualities of technology or content that make
142 some works more fertile ground for collaboration). I find some support
143 for previous theories but also find that, across the board, factors
144 associated with increased collaboration are also associated with less
145 original and transformative modes of joint-work
146 \cite{hill_remixing_2012}. In another study of Scratch, I show that
147 more superficial collaboration leads to negative reactions and
148 community displeasure \cite{hill_responses_2010}.
149
150 I am conducting a similar population-level analysis in a new dataset I
151 have created for my dissertation that includes 80,000 public attempts
152 at wikis (i.e., public, editable, websites similar to Wikipedia). In
153 my first working paper using this dataset, I consider
154 inter-organizational effects of competition for volunteer labor and
155 find little support for a widely cited ecological model of collective
156 action from sociology that treats volunteer labor as fixed and finite
157 resource. Instead, I show that contributions to different wikis on the
158 same topic or theme are driven primarily by environment-level changes
159 in interest and that projects can even benefit from complimentarities
160 and synergies \cite{hill_is_2012}.
161
162 \section{Reputation and Status}
163
164 Although empirical research comparing successful and unsuccessful peer
165 projects has been rare, theories have been widespread. No theory has
166 been more influential than the suggestion that, in the absence of
167 pecuniary rewards, contributions to online public good are driven by
168 the possibility of increased reputation and status conferred upon
169 contributors.
170
171 \begin{wrapfigure}{r}{0.3\textwidth}
172  \vspace{-1em}
173  \begin{centering}
174  \includegraphics[width=1.9in]{figures/barnstar_alone.png}
175  \caption{Image of a ``barnstar'' social award given by Wikipedia
176    contributors to each other to recognize positive contributions .}
177  \label{fig:barnstar}
178  \end{centering}
179  \vspace{-1em}
180 \end{wrapfigure}
181
182 In a study of status-based awards in Wikipedia called ``barnstars''
183 (see Figure \ref{fig:barnstar}) that I will be submitting to a major
184 sociology journal by the end of this year, I provide an empirical test
185 of an influential status-based theory of collective action from
186 sociology. Although the study finds support for the widely
187 hypothesized ``virtuous cycle'' of status rewards both causing and
188 being caused by contributions, it also finds that this effect is
189 limited to a sub-population of contributors to Wikipedia -- i.e.,
190 those who show off their awards \cite{hill_status_2012}. This result
191 has broad implications for both status-based theories of collective
192 action as well the design of reputation-based rewards.
193
194 In a mixed methods study of Scratch, nominated for best paper at the
195 CHI 2011 conference \cite{monroy-hernandez_computers_2011}, I
196 presented both a quantitative analysis of a design change and in-depth
197 interviews of users to demonstrate how credit-giving is ineffective
198 when it stems from an automated system because systems fail to
199 reinforce status-ordering with credible human expressions of social
200 deference and gratitude.
201
202 \section{Design-Driven Natural Experiments}
203
204 \begin{wrapfigure}{r}{0.25\textwidth}
205  \begin{centering}
206  \includegraphics[width=1.5in]{figures/lilypad.png}
207  \caption{A image of the LilyPad Arduino microcontroller.}
208  \label{fig:lilypad}
209  \end{centering}
210 \end{wrapfigure}
211
212 Although nearly all of my work has important implications for the
213 design of socio-technical systems, I have structured much of my work
214 around the evaluation of technological design changes. In several
215 papers, I treat design changes as ``natural experiments'' that
216 exogenously change the ways that social structure is enacted in order
217 to both build causal understanding of social phenomena from field data
218 and to tighten the distance between theory and and design.
219
220 For example, to evaluate the impact of status-based incentives and
221 collaboration in Scratch, I use a regression discontinuity framework
222 to measure the causal effect of increased status for collaboration
223 \cite{hill_causal_2012}. In that study, which I am preparing for
224 submission to a communication journal this fall, I show that
225 highlighting collaborative projects on the Scratch web page (see the
226 bottom of Figure \ref{fig:scratchfrontpage}) resulted in more
227 collaboration but also caused a decrease in the amount of total effort
228 exerted by contributors. Speaking to fundamental sociological work in
229 the literature on collective action, I present evidence that this
230 decrease is driven by both an the influx of new contributors and a
231 decrease in the effort and contributions of established participants.
232
233 In other papers, I have helped analyze sales records of hobbyist
234 microcontrollers to suggest that relatively simple design changes in
235 the \emph{LilyPad Arduino} -- a electronics toolkit minimally
236 re-designed for women and girls (see Figure \ref{fig:lilypad}) -- can
237 lead to large increases in the proportion of women contributors and
238 drastic shifts in the type of projects created
239 \cite{buechley_lilypad_2010}. In other work, I have explored how
240 technical errors may be able to provide similar opportunities for
241 analysis \cite{hill_revealing_2010}.
242
243 % or changes in socio-technical systems describing responsibility for a piece of software can lead to an important impact in the type and structure of contributions in peer production \cite{michlmayr_quality_2003}
244
245 \section{Research Agenda}
246
247 My research agenda involves further exploration of the determinants of
248 collection action online -- especially using a series of large new
249 datasets I have assembled for my dissertation. I plan to both continue
250 on this research trajectory and to create new social and technical
251 infrastructure that will allow others researchers to join me in ``big
252 data'' observational research in active communities. This section
253 outlines some future directions I plan to explore.
254
255 \emph{Toolkits for Experimental Social Design} -- My research has been
256 possible through personal relationships I have with a series of
257 organizations with large active online communities (e.g., the MIT
258 Media Lab and the Wikimedia Foundation). These organizations, like
259 many others, make design changes to the software that supports their
260 communities to encourage contributions and improve aspects of their
261 users' experiences. Most of the time, these organizations have very
262 little idea if these changes are effective. I plan to build on my own
263 experience to create a technical framework, and a network of academic
264 and practitioner collaborators, to facilitate well-designed natural
265 experiments by the hosts of large online communities and a system for
266 data sharing that allows for academic evaluation of these experiments.
267
268 \emph{Understanding the Relationship Between Collective Action and
269   Performance} -- My work has treated collective action and production
270 as ends in themselves and has largely avoided the consideration of
271 issues of performance, efficiency, and quality. Using my existing
272 datasets, I plan to compare the performance of collaborative
273 production to individually produced works to understand when
274 successful collection action leads to higher performance and
275 quality. In a manuscript currently under review using data from
276 Scratch, I show important limitations of collaboration in remixing
277 quality, particularly in regards to more artistic or media-intensive
278 works \cite{hill_cost_2012}. I will explore this direction in future
279 work.
280
281 \emph{Integrated Theory of Design for Collective Action} --
282 My studies of status provide a detailed understanding of the dynamics
283 of collection action in relation to one important independent
284 variable. In future work, I plan to evaluate the effect of governance
285 and different systems of authority, framing, modularity and project
286 complexity. In the long term, I hope to work toward a broad set of
287 principles of design for online collection action and community.
288
289 In graduate school, I have been fortunate to collaborate with many
290 co-authors in many academic departments and I intend to continue going
291 forward. In sum, my research uses design to contribute to social
292 scientific theories of collective action, and uses theories of
293 collective action to influence design. I believe my work offers
294 implications and opportunities for a broad range of disciplines and
295 fields.
296
297 % bibliography here
298 \renewcommand{\bibsection}{\section{\bibname}\prebibhook}
299 \baselineskip 14.2pt
300 \bibliography{refs-processed}
301 \bibliographystyle{unsrt}
302
303 \end{document}
304

Benjamin Mako Hill || Want to submit a patch?