Crowdsourcing

Crowdsourcing (von englisch crowd für ‚(Menschen-)Menge‘, und sourcing für ‚Beschaffung‘; auch Crowdworking) bezeichnet die Auslagerung traditionell interner Teilaufgaben an eine Gruppe freiwilliger User, z. B. über das Internet. Diese Bezeichnung ist an den Begriff Outsourcing angelehnt, die Auslagerung von Unternehmensaufgaben und -strukturen an Drittunternehmen.^[1] Es wird synonym auch der Begriff Schwarmauslagerung verwendet.^[2]

Crowdsourcing erhöht die Verarbeitungsgeschwindigkeit, Qualität, Flexibilität, Skalierbarkeit und Vielfalt bei verringerten Kosten.^[3]

Begriff

Crowdsourcing ist ein von dem US-amerikanischen Journalisten Jeff Howe (Wired) geprägter Begriff,^[4] der erstmals 2006 in dem von Howe verfassten Artikel „The Rise of Crowdsourcing“ vorgestellt wurde.^[5] Definition nach Nicole Martin, Stefan Lessmann und Stefan Voß: „Crowdsourcing ist eine interaktive Form der Arbeit, die kollaborativ oder wettbewerbsorientiert organisiert ist und eine große Anzahl extrinsisch oder intrinsisch motivierter Akteure unterschiedlichen Wissensstands unter Verwendung moderner IuK-Systeme auf Basis des Webs 2.0 einbezieht. Leistungsobjekt sind Produkte oder Dienstleistungen unterschiedlichen Innovationsgrades, welche durch das Netzwerk der Partizipierenden reaktiv aufgrund externer Anstöße oder proaktiv durch selbsttätiges Identifizieren von Bedarfslücken bzw. Opportunitäten entwickelt werden.“^[6]

Zudem bezeichnet der Begriff Crowdsourcing auch das Sammeln von Ideen und Rückmeldungen von außerhalb.^[7] Besondere Formen dieses Crowdsourcings sind das Crowdtesting, bei dem die Masse der Internetuser beispielsweise Apps oder Webanwendungen testet, ihr Feedback zu gefundenen Fehlern gibt und so die Usability verbessert, sowie das Crowdfunding, bei dem aus Unternehmenssicht nicht auf die Ideen oder die Arbeitsleistung der Masse der Internetuser abgezielt wird, sondern diese als Kapitalgeber gewonnen werden sollen.

Eine erste arbeitssoziologische Annäherung an das junge Phänomen erarbeitet Christian Papsdorf mit folgender Definition:

„Crowdsourcing ist die Strategie des Auslagerns einer üblicherweise von Erwerbstätigen entgeltlich erbrachten Leistung durch eine Organisation oder Privatperson mittels eines offenen Aufrufes an eine Masse von unbekannten Akteuren, bei dem der Crowdsourcer und/oder die Crowdsourcees frei verwertbare und direkte wirtschaftliche Vorteile erlangen.“

– Ch. Papsdorf: Wie Surfen zu Arbeit wird. Crowdsourcing im Web 2.0^[8]

Diese detaillierte Definition zielt darauf ab, ähnliche Phänomene wie Open Source, Mass Customization oder die These des Arbeitenden Kunden deutlich von Crowdsourcing zu unterscheiden.

Zudem wird Crowdsourcing als Chance zum Ausgleich des globalen Wohlstandgefälles diskutiert.^[9]

Strategischer Einsatz

Die freiwilligen Crowdsourcees werden innerhalb des Prozesses als Prosumenten bezeichnet. Oft werden sie von den Unternehmen zur Teilnahme an speziellen Aufgaben aufgefordert und unterstützen diese beispielsweise innerhalb der Innovations- oder Produktionsprozesse. Des Weiteren werden sie von den Unternehmen zur Lösung von Problemen betreffend der Forschungs- und Entwicklungsprozesse miteinbezogen. Ebenso kann Crowdsourcing zur Ideenbewertung eingesetzt werden, insbesondere dann, wenn ein Unternehmen im Zuge des Open Innovation Konzept eine sehr große Zahl von eingereichten Ideen bewerten muss. Allerdings stößt die crowd-basierte Ideenbewertung insbesondere bei relativ komplexen Ideen bisher an ihre Grenzen. So zeigte eine Studie,^[10] dass eine anonyme online Crowd Geschäftsmodellideen nicht konsistent zu Experten bewerten konnte. Produktion mit Hilfe von Prosumenten zu gestalten birgt dabei gleich mehrere Vorteile für die Unternehmen. Ihre Kunden sind direkt in den Produktionsprozess eingebunden, womit das Unternehmen die Gefahr des „Vorbei-Produzierens“ an den Kundenwünschen verringern kann. Des Weiteren bekommen sie kostenlos viele Vorschläge, für beispielsweise zukünftige Innovationen, für das Design oder sinnvolle Entwicklungen.^[11]

Crowdsourcing stellt somit eine moderne Form der Arbeitsteilung dar, welche schon lange zu den Grundprinzipien des Wirtschaftens zählt. Ermöglicht wurde und wird diese neuartige Methode durch technologischen Fortschritt und das Aufkommen des Internets, im Besonderen des Webs 2.0.^[12] Unternehmen nutzen für ihre Zwecke die Intelligenz des Schwarms (vgl. Schwarmintelligenz oder Weisheit der Vielen) und profitieren von der leichten Erreichbarkeit der User. Der hinter dem Crowdsourcing stehende Ansatz lautet also, dass eine heterogene Masse von individuell entscheidenden Personen die Qualität von Expertenentscheidungen erreichen kann.^[13] Ein weiterer Vorteil für Unternehmen ist somit ökonomischer Natur, sie können Kosten für Experten einsparen, zumal Studien nachweisen konnten, dass von Teilnehmern hervorgebrachte Produkte mit den Vorschlägen der Profis qualitativ vergleichbar sind.^[14][15] Vorteilhaft für die Mitglieder der Crowd ist im Gegenzug die Aussicht, ein Produkt nach eigenen Vorstellungen und Wünschen in seiner Entwicklung beeinflussen zu können. Lässt man kritische Stimmen beiseite, so profitieren im Ergebnis Unternehmen wie auch Zugehörige der Crowd von der produktspezifischen Beteiligung via Internet.^[16]

Bei ergebnisbezogenen Entlohnungen sind Geldprämien, kleine monetäre Belohnungen, Vergünstigungen oder exklusive Informationen üblich (Paid Crowdsourcing). Allerdings gibt es viele Crowdsourcing-Projekte ohne finanzielle Anreize. Diese motivieren die Freiwilligen durch berufliche Vorteile, den Wunsch, Neues zu lernen, Wissen mit anderen zu teilen und gemeinsame Ziele zu erreichen. Bei jeglichen Projekten ist die Wahrnehmung der sozialen Anerkennung, einer sinnvollen und kreativen Arbeit, des Spaßes am gemeinsamen Handeln sowie des Gemeinschaftsgefühls für die Partizipierenden motivierend.

Kritik

Die Kritik zum Crowdsourcing ist zeitlich von Wandel und Umfang dieses Themas geprägt. Die Anfänge wie beim Wikipediaprojekt um 2004 unterlagen kaum der Kritik. Es gibt Wandlungsformen von Crowdsouring über Paid Crowdsourcing zu Crowdworking und Clickworkern mit Microjobs bis hin zum Crowdfunding. Kritisiert wird die unbezahlter, freiwillige Mitarbeit teilweise als Ausbeutung. Daher kam es zu Verschiebungen in den Bereich der Arbeitsleistung gegen Entgelt. Damit wuchs wiederum die Kritik an der Bezahlung, der unzureichenden sozialen Absicherung, zu Schöpfungsrechten und weiteren Folgen. Die Verschiebungen lassen sich nicht nach Dekaden betrachten, da der Umbruch wesentlich schneller war. Die Entwicklung der Kritik ist analog zur Entwicklung nachfolgend zeitlich geordnet:

• Kritik 2006: Der Einsatz von Crowdsourcing im Dienstleistungsbereich kann große Nachteile für professionelle Anbieter bedeuten, deren Leistungen nun von Laien durchgeführt werden. So hat beispielsweise die Seite iStockphoto durch die Bereitstellung von lizenzfreien Amateurfotografien zu sehr geringen Preisen die Bildverkäufe zahlreicher professioneller Fotografen vermindert. So kann es in vielen Bereichen des Dienstleistungssektors zu einem Preisverfall kommen, sobald es eine Alternative gibt, die sich durch Crowdsourcing speist.^[17]
• Kritik 2012: Es wird befürchtet, dass Arbeitsplätze vermehrt wegfallen. Eine Kritik aus dem Hochschulbereich lautete: „Das Vorgehen der FH Trier unterminiert die Berufschancen der eigenen Absolventen.“^[18]
• Kritik 2015: Es hat sich ein Markt für Microjobs entwickelt, der von harter Konkurrenz und geringer Bezahlung gekennzeichnet ist. Der Stundenlohn für einen Akademiker liegt bei „weniger als drei Euro die Stunde“.^[19]
• Kritik 2016: Kritisiert wird die Zerteilung von Projekten in kleine Aufgaben. Dies hat sich in weiten Teilen der Wirtschaft etabliert, aber nicht zu geregelter Beschäftigung geführt, die geeignet ist den Lebensunterhalt zu sichern. Politik und Gewerkschaften sehen dies zwar, haben aber bisher keine Lösungen gefunden.^[20] Der Deutsche Gewerkschaftsbund warnte im Februar 2016 vor einem „Schattenarbeitsmarkt im Internet“. Der DGB-Vorsitzende Reiner Hoffmann sagte in einem Interview mit der Neuen Osnabrücker Zeitung: „Neue Arbeitsformen wie Crowdworking brauchen Regeln, um Wettbewerbsverzerrungen durch Lohn- und Sozialdumping, Scheinselbständigkeit oder Steuerflucht zu vermeiden.“ Den „neuen Chancen für mehr gute Arbeit“ stehe ein „hohes Gefährdungspotenzial“ gegenüber, „insbesondere für Routinejobs“.^[21]
• Kritik 2017: Durch Crowdsourcing sei die Zukunft von Werbeagenturen teilweise gefährdet. Langwierige Schöpfungsprozesse können über Crowdmanagement ersetzt werden.^[22]
• Kritik 2019: Sicherheit für Crowdworker. Wie lassen sich Klickarbeiter besser absichern. Die Hans Böckler Stiftung stellt ein Modell vor, das sich die Digitalisierung selbst zunutze macht.^[23]
• Kritik 2020: Bei der Finanzierung wird teilweise mit unrealistischen Versprechungen gelockt, wie sich am Beispiel der Frankfurter Coa Holding GmbH zeigte.^[24]

Beispiele

Die Wikipedia ist aus einem ursprünglich als Crowdsourcing gedachten Projekt entstanden. Sie sollte Menschen anziehen, die in einem unkontrollierten Prozess im Wiki enzyklopädische Artikel schreiben. Diese Artikel sollten dann durch den Redaktionsprozess der Nupedia gehen, die als die eigentliche Enzyklopädie gedacht war. Da die Wikipedia viel produktiver war als die Nupedia, gaben die Betreiber die Nupedia schließlich auf.

Eine besondere Form ist das sogenannte Mobile Crowdsourcing, welches sich aufgrund der wachsenden Verbreitung von Smartphones entwickelt hat. Dessen Funktionen (Telefon, SMS oder E-Mail) ermöglichen in Verbindung mit der GPS-Ortung eine effektive Unterstützung beispielsweise bei überlebenswichtigen Hilfseinsätzen, etwa infolge von Naturkatastrophen, Katastrophen technischer, biologischer oder medizinischer Art oder kriegerischen Auseinandersetzungen in Krisenregionen. Auch Daten lassen sich so erheben, so zu Strahlen- oder Lärmwerten, Verkehrsaufkommen und zur Luftverschmutzung in Städten. In einigen Städten Asiens und Afrikas, wo Trinkwasser oft nur für einige Stunden des Tages verfügbar ist, wird mit Hilfe von Mobile Crowdsourcing eine zuverlässigere Versorgung gewährleistet.^[25] Ein weiteres Beispiel ist die bessere Wahrnehmung und Erkundung der Pflanzen- und Tierwelt, die zum Beispiel mit Hilfe des Mobile-Crowdsourcing-Projekts Map of Life der Universität Yale gewährleistet wird. Nutzer sollen hierbei langfristig über eine mobile App Daten ihrer Umgebung, in der sie sich gerade aufhalten, in ein weltweit abrufbares Wiki einspeisen. Dies würde ermöglichen, zu beobachtende Reaktionen der dort vorkommenden Arten auf etwaige Klimaveränderungen in einem dynamischen Modell umfassend zu betrachten.^[26]

In Form von Designwettbewerben können Kreativleistungen wie z. B. Grafik- und Markendesign ausgeschrieben werden.^[27]

Eine weitere Form findet man im Bereich Softwaretests: das sog. Crowd Testing^[28] nutzt die Masse und Vielfalt der Tester und Testumgebungen durch eine virtuelle Test-Community,^[29] die nach Bedarf durch den Software-Hersteller beauftragt wird – meist über einen vermittelnden Provider.^[30] Crowd Testing nutzen zunehmend vor allem Hersteller von Smartphone-Anwendungen (sog. Apps)^[31] und Betreiber von großen Online Shops und Portalen.^[32]

Eine Untermenge von Crowdsourcing stellt Crowdsolving dar. Hierbei wird eine große Gruppe von Menschen oder Institutionen beteiligt, um ein (oft gemeinsames) Problem zu lösen.^[33] In Verbindung mit spielerischen Elementen nennt die TU München ihren Crowdsolving-Ansatz zur Mustererkennung in Bildern durch medizinische Laien „Playsourcing“.^[34]

Aus dem Film Bike vs Cars wurde eine App entwickelt, mit welcher der Benutzer seine Nutzung des Fahrrades dokumentiert und diese anonym zur Verfügung stellt. Dadurch soll politisch Einfluss genommen werden, um Fahrradfahren als Alternative zum Auto zu zeigen. Die Daten werden auf der Website Bike Data Project gesammelt, dort können sie live angesehen oder von Kommunen bzw. Städteplanern angefragt werden. Als Erweiterung wurde die Möglichkeit geschaffen, über vorhandene Sport-Apps Daten zur Verfügung zu stellen.^[35]

Voraussetzung

Das Internet stellt die Basis der interaktiven Zusammenarbeit einer geographisch verteilten Gruppe von Menschen dar, die an einem gemeinsamen Projekt arbeiten.

Besondere Relevanz für den Erfolg von Crowdsourcing hat zudem eine zielgruppengerechtes Community-Management und Facilitation über alle Projektphasen hinweg.^[36]

Ähnliche Konzepte

Interaktive Wertschöpfung

Crowdsourcing und Interaktive Wertschöpfung stehen sich prinzipiell sehr nahe, dürfen aber nicht miteinander verwechselt werden, da sich die interaktive Wertschöpfung eher auf die Unternehmerseite bezieht und selbstorganisierte Zusammenschlüsse vernachlässigt, die jedoch elementar sind für das Crowdsourcing. Interaktive Wertschöpfung hat ihren Ursprung häufig in der Unzufriedenheit der Verbraucher und beschäftigt sich damit, eine bessere Lösung zu entwickeln.

Open Innovation

Open Innovation betont den offenen Innovationsprozess, der auch für das Crowdsourcing zentral ist. Das bedeutet, dass externe Mitarbeiter in einen bis dahin internen Wertschöpfungsprozess (den Innovationsprozess) eingebunden sind. Wie beim Crowdsourcing geht es auch bei Open Innovation darum, die Unternehmensgrenzen zu überwinden. Der Unterschied zum Crowdsourcing besteht darin, dass ausschließlich Innovationen hergestellt werden sollen.

Open Source

Open Source bezieht sich meist auf Software, die unter einer entsprechend definierten Lizenz genutzt und weiterentwickelt werden darf. Hier können, ähnlich dem Crowdsourcing, auch fern voneinander lebende Menschen in einen Entwicklungsprozess involviert sein. Open Source stellt also auch eine mögliche Form von Crowdsourcing dar.

Social Forecasting

Social Forecasting ist eine betriebswirtschaftliche Methode um Vorhersagen über zukünftige Ereignisse aus dem kollektiven Wissen einer Gruppe in virtuellen Prognosebörsen zu erhalten.^[37] Social Forecasting kombiniert bewusst Crowdsourcing mit einem Anreizmechanismus. Unternehmen nutzen Social Forecasting um Prognosen, Analysen und andere Werte ihrer Mitarbeiter für zukunftsweisende Fragen zu erhalten.

Crowd-Knowledge-Sourcing

In dem Projekt Stop Child Abuse bittet Europol die Bevölkerung Alltagsgegenstände aus kinderpornografischem Film- und Fotomaterial auf einer Webseite zu identifizieren. Europol verspricht sich dadurch Hinweise zu Opfer, Tatorten und Tätern. Die Methode wird von den Ermittlern Crowd-Knowledge-Sourcing genannt.^[38]

Crowd-sourced Delivery

Bei Crowd-sourced Delivery handelt es sich um ein Lieferkonzept, das Privatpersonen dazu befähigt, als Auslieferer tätig zu werden. Das Konzept funktioniert wie folgt: Im klassischen Lieferdienst tritt ein fest Angestellter als Lieferant auf und ein Kunde nur als Kunde. Beim Crowd-sourced Delivery ist diese Trennung nicht mehr so streng. Ein Unternehmen stellt die technische Infrastruktur her und jeder Mensch kann sowohl als Kunde als auch als Lieferant auftreten. Hierbei muss man sich nur an die Vorgaben des Unternehmens halten. In Europa gibt es exemplarische Beispiele.^[39]

Siehe auch

• Citizen Science
• Clickworker
• Microjob

Literatur

• Henry William Chresbrough: Open Innovation: The New Imperative for Creating and Profiting from Technology. Harvard Business School Press, Boston MA 2003, ISBN 1-57851-837-7.
• Ralf Reichwald, Frank Piller, Christoph Ihl, Sascha Seifert: Interaktive Wertschöpfung. Open Innovation, Individualisierung und neue Formen der Arbeitsteilung. 2., vollständig überarbeitete und erweitert Auflage. Gabler, Wiesbaden 2009, ISBN 978-3-8349-0972-5.
• James Surowiecki: Die Weisheit der Vielen, warum Gruppen klüger sind als Einzelne und wie wir das kollektive Wissen für unser wirtschaftliches, soziales und politisches Handeln nützen können. (Originaltitel: The wisdom of crowds, übersetzt von Gerhard Beckmann). Bertelsmann, München 2005, ISBN 3-570-00687-5. (auch: Heyne Taschenbuch, München 2007, ISBN 978-3-442-15446-3)
• Christian Russ: Online Crowds: Massenphänomene und kollektives Verhalten im Internet. VWH Verlag für Medientechnik und -wirtschaft, Boizenburg, 2010, ISBN 978-3-940317-67-4.
• Oliver Gassmann (Hrsg.): Crowdsourcing, Innovationsmanagement mit Schwarmintelligenz. Hanser, München/Wien 2010, ISBN 978-3-446-42334-3.
• Jeff Howe: Crowdsourcing. How the Power of the Crowd is Driving the Future of Business. Crown Business Publishing, New York, NY 2008, ISBN 978-0-307-39620-4.
• Christian Papsdorf: Wie Surfen zu Arbeit wird. Crowdsourcing im Web 2.0. Campus, Frankfurt am Main / New York NY 2009, ISBN 978-3-593-39040-6.

Weblinks

• deutschlandfunk.de, Hintergrund, 28. September 2017, Benjamin Dierks: Berufsbild „Crowdworker“: Die digitalen Tagelöhner

Einzelnachweise

1. Crowdsourcing. Abgerufen am 16. Februar 2023. 
2. crowdsourcing. Abgerufen am 16. Februar 2023. 
3. Ricardo Buettner: A Systematic Literature Review of Crowdsourcing Research from a Human Resource Management Perspective. In: IEEE (Hrsg.): 48th Hawaii International Conference on System Sciences (HICSS), 2015 5 - 8 Jan. 2015, Kauai, Hawaii. 2015, ISBN 978-1-4799-7367-5, S. 4609–4618, doi:10.13140/2.1.2061.1845 (hawaii.edu). 
4. Jeff Howe: The Rise of Crowdsourcing. wired.com, 14. Juni 2006, abgerufen am 1. August 2012. 
5. D. Michelis, T. Schildhauer: Social-Media-Handbuch: Theorien, Methoden, Modelle und Praxis. Nomos, Baden-Baden 2012, ISBN 978-3-8329-7121-2, S. 134.
6. Nicole Martin, Stefan Lessmann, Stefan Voß: Crowdsourcing: Systematisierung praktischer Ausprägungen und verwandter Konzepte. Institut für Wirtschaftsinformatik, Universität Hamburg 2008.
7. Oliver Gassmann, Ellen Enkel: Towards a Theory of Open Innovation: Three Core Process Archetypes. Lissabon 7. Juli 2004 (unisg.ch [abgerufen am 16. Februar 2023]). 
8. Wie Surfen zu Arbeit wird. Crowdsourcing im Web 2.0. 2009, S. 69.
9. Steffen Roth: The Diaspora as a Nation’S Capital: Crowdsourcing Strategies for the Caucasus. ID 1875685. Social Science Research Network, Rochester, NY 30. Juni 2011 (ssrn.com [abgerufen am 16. Februar 2023]). 
10. Thomas Goerzen, Dennis Kundisch: Can the Crowd Substitute Experts in Evaluation of Creative Ideas? An Experimental Study Using Business Models. In: AMCIS 2016 Proceedings. 11. August 2016 (aisnet.org [abgerufen am 6. Januar 2020]). 
11. B. Richard u. a. (2008), S. 83.
12. D. Michelis, T. Schildhauer: Social-Media-Handbuch. 2012, S. 134.
13. D. Michelis, T. Schildhauer: Social-Media-Handbuch. 2012, S. 136.
14. I. Jahnke, M. Prilla (2008), S. 132.
15. Eva Maria Simon: Prognosebörsen Der Schwarm ist klüger als die Experten. (handelsblatt.com)
16. D. Michelis, T. Schildhauer: Social-Media-Handbuch. 2012, S. 137.
17. Jeff Howe: The Rise of Crowdsourcing. wired.com, 14. Juni 2006, archiviert vom Original am 21. März 2014; abgerufen am 17. Februar 2017. 
18. Axel Kolaschnik, Achim Schaffrinna: "Das Vorgehen der FH Trier unterminiert die Berufschancen der eigenen Absolventen". In: Designtagebuch. 1. Juni 2012, abgerufen am 17. Februar 2017. 
19. Jonas Rest: Crowd Guru, Clickworker & Co.: Das App-Proletariat. In: berliner-zeitung.de. 21. April 2015, archiviert vom Original am 12. Juli 2016; abgerufen am 17. Februar 2017. 
20. Jana Gioia Baurmann, Kolja Rudzio: Crowdworking: Die neuen Heimwerker. In: Die Zeit. 21. April 2016, archiviert vom Original am 22. Januar 2017; abgerufen am 17. Februar 2017. 
21. DGB warnt vor Schattenarbeitsmarkt im Internet. In: heise online. 27. Februar 2016, archiviert vom Original am 18. Januar 2017; abgerufen am 17. Februar 2017. 
22. Dirk Engel: Agenturen – eine bedrohte Art? In: springerprofessional.de. 10. Januar 2017, archiviert vom Original am 17. Februar 2017; abgerufen am 17. Februar 2017. 
23. Enzo Weber: Digitale Soziale Sicherung. Entwurf eines Konzepts für das 21. Jahrhundert. Working Paper der Forschungsförderung der Hans Böckler Stiftung Nr. 137; Mai 2019 (Memento des Originals vom 16. Juni 2019 im Internet Archive)  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.boeckler.de
24. Inga Janović: Auf die falsche Küche gesetzt. In: FAZ.net. 10. Juli 2020, abgerufen am 28. Januar 2024. 
25. Mobile Crowdsourcing als Lebensretter, t3n, 5. März 2012. Abgerufen am 20. April 2012.
26. Map of Life: Google-Maps-Mashup bringt uns die Natur näher (Memento vom 21. Mai 2012 im Internet Archive), t3n, abgerufen am 18. Mai 2012.
27. Oliver Gassmann: Crowdsourcing – Innovationsmanagement mit Schwarmintelligenz: – Interaktiv Ideen finden – Kollektives Wissen effektiv nutzen. 2. Auflage. Carl Hanser Verlag, 2012, ISBN 978-3-446-43182-9, S. 11ff.
28. Manoj Narayanan: The Power of Crowd Testing. (Memento des Originals vom 17. Mai 2012 im Internet Archive)  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.cognizant.com (PDF; 476 kB). Cognizant Technology Solutions, April 2011.
29. Tanuj Vohra: Trends In Software Testing. (Memento vom 28. Dezember 2011 im Internet Archive) ITmagz.com, 8. April 2009.
30. Crowd Testing Anbieter / Dienstleister im deutschsprachigen Raum (Memento des Originals vom 7. November 2012 im Internet Archive)  Info: Der Archivlink wurde automatisch eingesetzt und noch nicht geprüft. Bitte prüfe Original- und Archivlink gemäß Anleitung und entferne dann diesen Hinweis.@1@2Vorlage:Webachiv/IABot/www.crowdtesting.biz, crowdtesting.biz, abgerufen am 19. Oktober 2012.
31. Testbirds nimmt Apps unter die Lupe. (Memento vom 4. November 2014 im Internet Archive), MobileBusiness, 9. Oktober 2012.
32. eBay setzt auf Crowdtesting von passbrains, moneycab, 19. September 2012.
33. D. Geiger, M. Rosemann, E. Fielt: Crowdsourcing information systems: a systems theory perspective. In: Proceedings of the 22nd Australasian Conference on Information Systems (ACIS 2011). 2011.
34. Albarqouni u. a.: AggNet: Deep Learning from Crowds for Mitosis Detection in Breast Cancer Histology Images IEEE Transactions on Medical Imaging (TMI). In: Special Issue on Deep Learning. vol. 35, no. 5, 2016, S. 1313–1321. 
35. Bike Data Project. Abgerufen am 16. Februar 2019. 
36. Linus Dahlander, Henning Piezunka: Why crowdsourcing fails. In: Journal of Organization Design. Band 9, Nr. 1, Dezember 2020, ISSN 2245-408X, S. 24, doi:10.1186/s41469-020-00088-7 (springeropen.com [abgerufen am 9. November 2022]). 
37. Andrea Back, u. a.: Web 2.0 und Social Media in der Unternehmerpraxis. 2012, S. 82–91.
38. Europol shows clues from child abuse images to track offenders. BBC, 1. Juni 2017, abgerufen am 3. Juni 2017 (englisch). 
39. z. B. Checkrobin. t3n.de; Deeliva. green.wiwo.de, t3n.de: Hierbeidir.com (Memento vom 26. August 2014 im Internet Archive)