Computación basada en humanos

Este artículo o sección sobre informática necesita ser wikificado, por favor, edítalo para que cumpla con las convenciones de estilo. Este aviso fue puesto el 15 de febrero de 2013.

La computación basada en humanos es una técnica informática en la que un proceso computacional desempeña su función mediante la externalización de ciertos pasos hacia el ser humano. Este enfoque utiliza las diferencias en las capacidades y los costos alternativos entre los seres humanos y los agentes informáticos para lograr una interacción simbiótica humano-ordenador. Para tareas computacionalmente difíciles, como el reconocimiento de imágenes, la computación basada en humanos juega un papel central en el entrenamiento de sistemas de inteligencia artificial basados en aprendizaje profundo. En este caso, la computación basada en humanos se ha denominado inteligencia artificial asistida por humanos.^[1]​

En la informática tradicional, un ser humano emplea un ordenador para resolver un problema, un humano proporciona una descripción formal del problema a un ordenador, y recibe una solución para interpretarla.^[2]​ La computación basada en humanos con frecuencia invierte los papeles: el ordenador le pide a una persona o un grupo grande de personas que resuelvan un problema,^[3]​ a continuación, recopila, interpreta e integra sus soluciones. Esto convierte a las redes híbridas de humanos y computadoras en "redes de computación distribuidas a gran escala"^[4]​^[5]​^[6]​ donde el código se ejecuta parcialmente en cerebros humanos y en procesadores basados en silicio.

Primeros trabajos

La computación basada en humanos tiene sus orígenes en los primeros trabajos sobre computación evolutiva interactiva.^[7]​ La idea detrás de algoritmos interactivos evolutivos se debe a Richard Dawkins. En el software Biomorphs (Biomorfos) que acompaña al libro El relojero ciego (o The Blind Watchmaker; Dawkins, 1986),^[8]​ se da preferencia a un experimentador humano para guiar la evolución de dos conjuntos bidimensionales de segmentos de líneas. En esencia, este programa le pide a un hombre que se convierta en la función que juzgue la aptitud de un algoritmo evolutivo, de manera que el algoritmo pueda usar la percepción visual humana y el juicio estético para efectuar algo que un algoritmo evolutivo normal no puede hacer. Sin embargo, es difícil obtener suficientes evaluaciones de un solo humano si queremos evolucionar hacia formas más complejas. Victor Johnston^[9]​ y Karl Sims^[10]​ ampliaron este concepto mediante el aprovechamiento de la energía de muchas personas para realizar evaluaciones de aptitud (Caldwell y Johnston, 1991; Sims, 1991). Como resultado, los programas podrían evolucionar hacia rostros hermosos y obras de arte atractivas para el público. Estos programas invirtieron de forma efectiva la interacción común entre los ordenadores y los seres humanos. En estos programas, el ordenador ya no es un agente de su usuario, sino, en cambio, un coordinador de la agregación de esfuerzos de muchos evaluadores humanos. Estos y otros esfuerzos similares de investigación se convirtieron en tema de investigación de la computación evolutiva interactiva o selección estética;^[11]​ sin embargo, el alcance de la presente investigación se limitó a la evaluación externa y, como resultado, no estaba explorando totalmente el potencial completo de la externalización.

Un concepto de la prueba de Turing automática iniciado por Moni Naor en 1996^[12]​ es otro precursor de la computación basada en humanos. En la prueba de Naor, la máquina puede controlar el acceso de humanos y computadoras a un servicio desafiándolos con un problema de procesamiento de lenguaje natural (PLN) o visión por computadora (VC) para identificar a los humanos entre ellos. El conjunto de problemas se elige de manera que no tengan una solución algorítmica que sea efectiva y eficiente en este momento. Si existiera, tal algoritmo, podría ser realizado fácilmente por una computadora, derrotando así la prueba. De hecho, Moni Naor fue modesto al llamar a esto una prueba de Turing automatizada. El juego de imitación descrito por Alan Turing en 1950 no proponía utilizar problemas de VC. Solo proponía una tarea específica de PLN, mientras que la prueba de Naor identifica y explora una gran clase de problemas, no necesariamente del dominio del PLN, que podrían usarse para el mismo propósito en las versiones automatizadas y no automatizadas de la prueba.

Finalmente, el algoritmo genético basado en humanos (AGBH)^[13]​ alienta la participación humana en múltiples roles diferentes. Los seres humanos no se limitan al papel de evaluadores, sino que pueden optar por realizar un conjunto más diverso de funciones. En particular, pueden contribuir a soluciones innovadoras en el proceso evolutivo, hacer cambios incrementales a las soluciones existentes, y llevar a cabo una recombinación inteligente.^[14]​ En resumen, el AGBH externaliza a los seres humanos todas las operaciones de un algoritmo genético típico. Como resultado de esta externalización, el AGBH puede procesar las representaciones para las cuales no hay disponibles operadores de innovación computacional; por ejemplo, los lenguajes naturales. Por lo tanto, el AGBH ha retirado la necesidad de un esquema fijo de representación, que era un factor limitante de la computación evolutiva (CE) estándar, e interactiva.^[15]​ Estos algoritmos también se pueden ver como novedosas formas de organización social coordinada por un programa de ordenador, según Alex Kosorukoff y David Goldberg.^[16]​

Clases

Los métodos de computación basada en humanos combinan ordenadores y seres humanos en diferentes roles. Kosorukoff (2000) propone una manera de describir la división del trabajo en computación, que agrupa a los métodos basados en humanos en tres clases. En la tabla siguiente, se utiliza el modelo de computación evolutiva para describir cuatro clases de computación, tres de los cuales dependen de los seres humanos en algún papel. Para cada clase, se muestra un ejemplo representativo. La clasificación es en términos de los papeles (innovación o selección) realizados en cada caso por seres humanos y procesos computacionales. Esta tabla es una porción de una tabla tridimensional. La tercera dimensión define si la función de la organización se realiza por seres humanos o un ordenador. Aquí, se asume que es realizada por un ordenador.

División del trabajo en computación Agente de selección Agente de innovación Ordenador Humano Ordenador Algoritmo genético Algoritmo genético interactivo Humano Tests computarizados Algoritmo genético basado en humanos

Las clases de computación basada en humanos de esta tabla pueden ser referidas por abreviaturas de dos letras: HO, OH, HH. Aquí la primera letra identifica el tipo de agentes que realizan la innovación, la segunda letra indica el tipo de agentes de selección. En algunas implementaciones (wiki es el ejemplo más común) basadas en humanos, la funcionalidad de selección puede ser limitada, se puede mostrar con una h minúscula.

Métodos de computación basada en humanos

• (HO) Darwin (Vyssotsky, Morris, McIlroy, 1961) y Core War (Jones, Dewdney, 1984) Estos son juegos donde los programas escritos por varias personas compiten en un torneo (simulación computacional) en el que los programas más aptos sobrevivirán. Los creadores de los programas copian, modifican y recombinan estrategias exitosas para mejorar sus posibilidades de ganar.
• (OH) CE interactiva (Dawkins, 1986; Caldwell y Johnston, 1991; Sims, 1991) La CEI permite al usuario crear un dibujo abstracto solamente mediante la selección sus imágenes favoritas, de manera que los humanos realizan solamente computación de aptitud, y los programas realizan el rol innovador. En un diseño de Tastsuo Unemi, en 1998, el estilo de reproducción simulada no introduce ninguna aptitud explícita, sólo selección, lo cual es más fácil para los seres humanos.^[17]​
• (HH ₂) Wiki. En 1995 Ward Cunningham permitió editar el contenido de la web por varios usuarios, es decir, apoyó dos tipos de innovación basada en humanos (contribución con una nueva página, y sus modificaciones o ediciones incrementales). Sin embargo, el mecanismo de selección estuvo ausente hasta 2002, cuando el wiki fue aumentado con un historial de revisión que permite revertir los cambios inútiles. Esto proporcionó medios para la selección entre varias versiones de la misma página y convirtió al wiki en una herramienta que apoya la evolución del contenido de colaboración (se clasificaría como estrategia de evolución basada en humanos en términos de computación evolutiva, CE).
• (HH ₃) El algoritmo genético basado en humanos (AGBH) (Kosorukoff, 1998) utiliza tanto selección basada en humanos como tres tipos de innovación basada en humanos (que contribuyen con nuevo contenido, mutación, y recombinación). Por lo tanto, todos los operadores de un algoritmo genético típico son externalizados hacia humanos (de ahí el origen de basada en humanos). Esta idea se extendió a la integración de las multitudes con el algoritmo genético para estudiar la creatividad en 2011.^[18]​
• (HH ₁ ) Las aplicaciones de búsqueda social aceptan contribuciones de los usuarios y tratar de utilizar la evaluación humana para seleccionar las contribuciones más aptas que llegan a la parte superior de la lista. Estas utilizan un tipo de innovación basada en humanos. El trabajo inicial se hizo en el contexto de AGBH. Digg y Reddit son ejemplos populares recientes.
• (HO ₁ ) Pruebas computarizadas. Un ordenador genera un problema y lo presenta para evaluar a un usuario. Un método computarizado acepta selectivamente solicitudes de acceso desde una computadora cliente conectada a una computadora servidor por una red. La computadora servidor recibe una solicitud de acceso de la computadora cliente. En respuesta, la computadora servidor genera un número predeterminado de caracteres aleatorios. Los caracteres aleatorios se utilizan para formar una cadena en la computadora servidor. La sucesión de caracteres se modifica al azar, ya sea de forma visual o audible, para formar un acertijo. La cadena original se convierte en la respuesta correcta al acertijo. La computadora servidor presenta el acertijo en un dispositivo de salida de la computadora cliente. En respuesta, la computadora cliente envía una respuesta al servidor. Con suerte, la respuesta es la suposición de un usuario sobre la respuesta correcta. El servidor determina si la suposición es la respuesta correcta y, de ser así, se acepta la solicitud de acceso. Si no se recibe la respuesta correcta dentro de un período de tiempo predeterminado, el servidor termina la conexión entre el cliente y el servidor, porque este último asume que un agente automatizado está operando en el ordenador cliente en nombre del usuario.^[19]​
• (HO ₂ ) Pruebas computarizadas similares a la anterior; por ejemplo, CAPTCHA^[20]​^[21]​ indica a los usuarios humanos de programas de computación mediante la presentación de un problema que se supone que es fácil para un humano y difícil para un ordenador. Mientras las CAPTCHA son medidas de seguridad efectivas para prevenir el abuso automatizado de servicios en línea, el esfuerzo humano invertido en resolver el problema es otro modo desperdiciado. El sistema reCAPTCHA hace uso de estos ciclos humanos para ayudar a digitalizar libros mediante la presentación de palabras escaneadas de libros antiguos que los sistemas de reconocimiento óptico de caracteres no pueden descifrar.^[22]​
• (HO) Juegos interactivos en línea: Son programas que extraen el conocimiento de la gente de una manera entretenida.^[23]​^[24]​^[25]​^[26]​^[27]​
• (HO) "Enjambre humano" o "enjambre social" (Rosenberg, 2015). La plataforma UNU para el enjambre de humanos establece sistemas de circuito cerrado en tiempo real alrededor de grupos de usuarios en red moldeados a partir de enjambres biológicos, lo que permite a los participantes humanos comportarse como una inteligencia colectiva unificada.^[28]​^[29]​^[30]​^[31]​
• (HO) La wikinomía, un concepto desarrollado e introducido por Don Tapscott y Anthony D. Williams, se refiere a la economía de colaboración. La tecnología, la demografía y la economía global convergieron en el surgimiento de nuevos modos de producción y en un paradigma económico basado en la colaboración masiva y el uso intensivo de las tecnologías de código abierto como la wiki.^[32]​
• (NHO) La computación humana natural implica aprovechar el comportamiento humano existente para extraer trabajo computacionalmente significativo sin perturbar ese comportamiento.^[33]​ La computación humana natural (NHO) se distingue de otras formas de computación basada en humanos en que en lugar de involucrar la subcontratación del trabajo computacional a la actividad humana pidiéndoles a los humanos que realicen nuevas tareas computacionales, implica aprovechar una importancia computacional previamente desapercibida en el comportamiento existente.

Incentivos a la participación

En los diferentes proyectos de computación basada en humanos la gente está motivada por uno o más de los siguientes elementos:

• Recibir una participación equitativa del resultado
• Compensación monetaria directa (por ejemplo, en Amazon Mechanical Turk, Answerly, Operador ChaCha, Buscar guía, Mahalo.com, Contesta a miembros, Clickworker)
• El deseo de diversificar su actividad (por ejemplo, "a las personas no se les pide en su vida diaria que sean creativos")^[34]​
• Satisfacción estética
• Curiosidad, el deseo de probar si funciona
• El voluntariado, el deseo de apoyar una causa del proyecto
• La reciprocidad, el intercambio, la ayuda mutua
• Deseo de ser entretenido con el espíritu competitivo o cooperativo de un juego
• El deseo de comunicarse y compartir conocimientos
• El deseo de compartir una innovación de usuario para ver si alguien más puede mejorarla
• Deseo de jugar el sistema e influir en el resultado final
• Diversión
• El aumento de la reputación en línea/reconocimiento

Muchos proyectos han explorado diversas combinaciones de estos incentivos. Véase más información acerca de la motivación de los participantes en estos proyectos en Kosorukoff,^[35]​ y Von Hippel (2005).^[36]​

La computación basada en humanos como una forma de organización social

Vista como una forma de organización social, la computación basada en humanos a menudo sorprendentemente resulta ser más robusta y productiva que las organizaciones tradicionales.^[37]​ Esto último depende de las obligaciones para mantener su estructura más o menos fija, ser estable y funcional. Cada una de ellos es similar a un mecanismo cuidadosamente diseñado en el que los humanos constituyen sus partes. Sin embargo, esto limita la libertad de sus empleados humanos y los somete a distintos tipos de estrés. La mayoría de las personas, a diferencia de las piezas mecánicas, tienen dificultades para adaptarse a algunos roles fijos que mejor se adapten a la organización. Los proyectos de computación evolutiva basada en humanos ofrecen una solución natural a este problema. Adaptan la estructura organizativa a la espontaneidad humana, acomodan errores humanos y creatividad, y utilizan ambos de una forma constructiva. Esto deja a sus participantes libres de obligaciones sin poner en peligro la funcionalidad del conjunto, haciendo más feliz a la gente. Todavía hay algunos problemas de investigación difíciles que necesitan ser resueltos antes de que podamos aprovechar todo el potencial de esta idea.

Las técnicas de externalización algorítmica utilizados en la computación basada en humanos son mucho más escalables que las técnicas manuales o automatizadas utilizadas para gestionar la externalización tradicional. Es esta escalabilidad o capacidad de ampliación lo que permite distribuir fácilmente el esfuerzo entre miles de participantes. Se sugirió recientemente que esta externalización masiva es lo suficientemente diferente de la tradicional externalización en pequeña escala, como para merecer un nuevo nombre: crowdsourcing —colaboración abierta distribuida.^[38]​

Sin embargo, otros han argumentado que el crowdsourcing debe distinguirse de la verdadera computación basada en humanos. El crowdsourcing de hecho implica la distribución de tareas de computación entre varios agentes humanos, pero Pietro Michelucci sostiene que esto no es suficiente para que se considere computación humana.^[39]​ La computación humana requiere no solo que una tarea se distribuya entre diferentes agentes, sino también que el conjunto de agentes a través del cual se distribuye la tarea sea mixto: algunos de ellos deben ser humanos, pero otros deben ser computadoras tradicionales. Es esta mezcla de diferentes tipos de agentes en un sistema computacional lo que le da a la computación basada en humanos su carácter distintivo. Algunos casos de crowdsourcing cumplen este criterio, pero no todos.

La computación basada en humanos organiza a los trabajadores a través de un mercado de tareas con interfaces de programación de aplicaciones (API, application programming interfaces), precios de tareas, y protocolos de software como servicio que permiten a los empleadores / solicitantes recibir datos producidos por los trabajadores directamente en los sistemas de tecnologías de la información (TI). Como resultado, muchos empleadores intentan administrar a los trabajadores automáticamente a través de algoritmos en lugar de responder a los trabajadores caso por caso o abordar sus inquietudes. Responder a los trabajadores es difícil de escalar a los niveles de empleo que permiten las plataformas de microtrabajo de computación humana. Por ejemplo, trabajadores del sistema Mechanical Turk han informado que los empleadores de computación basada en humanos pueden no responder a sus preocupaciones y necesidades.

Aplicaciones

Artículo principal: Inteligencia artificial

Clasificación de búsqueda asistida por humanos

Una aproximación a la mejora de búsqueda en Internet implica la combinación de clasificación automatizada con el aporte editorial humano.^[40]​

Críticas

La computación basada en humanos ha sido criticada como explotadora y engañosa, con el potencial de socavar la acción colectiva.^[41]​^[42]​

En filosofía social se ha argumentado que la computación basada en humanos es una forma implícita de trabajo en línea.^[43]​ El filósofo Rainer Mühlhoff distingue cinco tipos diferentes de "captura maquínica" de microtrabajo humano en "redes híbridas humano-computadora": 1) ludificación, 2) "captura y seguimiento" (por ejemplo, CAPTCHA o seguimiento de clics en la búsqueda de Google), 3) explotación social (por ejemplo, etiquetado de caras en Facebook), 4) extracción de información, y 5) trabajo con clics (como en Mechanical Turk).^[44]​ Mühlhoff sostiene que la computación basada en humanos a menudo se alimenta de los sistemas de inteligencia artificial basados en el aprendizaje profundo, un fenómeno que analiza como "inteligencia artificial asistida por humanos".

Véase también

• Portal:Matemáticas. Contenido relacionado con Matemáticas.
• Ciencia ciudadana
• Computación social
• Crowdsourcing
• Inteligencia colaborativa
• Organización social
• Realidad simulada
• Redes de colaboración
• Software social
• Calculadora humana
• Máquina diferencial, una calculadora mecánica automática temprana diseñada para reemplazar a las computadoras humanas
• Proyecto de Tablas Matemáticas – a proyecto de Works Progress Administration (WPA) que empleaba computadoras humanas
• Mentat, una computadora humana ficticia
• Mujeres en informática
• West Area Computers
• Lista de calculadoras humanas

Referencias

1. Shahaf, Dafna; y Eyal Amir (28 de marzo de 2007). «Towards a Theory of AI Completeness; Hacia una teoría de completitud de la inteligencia artificial» (en inglés). Consultado el 12 de mayo de 2022. 
2. Turing, Alan M. (1950). «Computer Machinery and Intelligence» (en inglés). Consultado el 20 de junio de 2021. 
3. Fogarty, Terence C. (20 de agosto de 2003). «Automatic concept evolution» (en inglés). Consultado el 21 de junio de 2021. 
4. von Ahn, Luis. «Human Computation» (en inglés). Google Tech Talk 26 de julio de 2006. Consultado el 22 de noviembre de 2021. . Citado por Mühlhoff, Rainer (2019). "Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning". New Media & Society: 146144481988533. doi:10.1177/1461444819885334. ISSN 1461-4448.
5. Gentry, Craig; Zulfikar Ramzan, y Stuart Stubblebine. «Secure Distributed Human Computation» (en inglés). Consultado el 22 de junio de 2021. 
6. «Secure Distributed Human Computation» (en inglés). Consultado el 22 de junio de 2021. 
7. Herdy, Michael (1996). «Evolution strategies with subjective selection. Basic Concepts of Evolutionary Computation. Volumen 1141, pp. 22-31» (en inglés). Consultado el 20 de junio de 2021. 
8. Dawkins, Richard. «The Blind Watchmaker» (en inglés). Consultado el 27 de febrero de 2020. 
9. Johnston, Victor. «Method and apparatus for generating composites of human faces» (en inglés). Consultado el 1 de junio de 2020.  Patente USPTO n.º 5375195
10. Sims, Karl P. «Computer system and method for generating and mutating objects by iterative evolution» (en inglés). Consultado el 27 de febrero de 2020.  Patente USPTO n.º 6088510
11. «Human Based Genetic Algorithm» (en inglés). Archivado desde el original el 27 de octubre de 2009. Consultado el 21 de junio de 2021. 
12. Naor, Moni. «Verification of a human in the loop or Identification via the Turing Test; Verificación de un ser humano en el bucle o Identificación vía la prueba de Turing» (en inglés). Consultado el 20 de junio de 2021. 
13. «Human-based genetic algorithm» (en inglés). Consultado el 21 de junio de 2021. 
14. Hammond, Michelle O.; y Terence C. Fogarty. «Co-operative OuLiPian Generative Literature Using Human Based Evolutionary Computing; Literatura cooperativa generativa OuLiPian (Ouvroir de littérature potentielle) mediante el uso de Computación evolutiva basada en humanos» (en inglés). Consultado el 21 de junio de 2021. 
15. Takagi, Hideyuki. «Interactive evolutionary computation: fusion of the capabilities of EC optimization and human evaluation, pp. 1275-1296» (en inglés). Consultado el 21 de junio de 2021. 
16. «Evolutionary Computation as a Form of Organization, pp. 965-972; Computación evolutiva como una forma de organización» (en inglés). Archivado desde el original el 7 de julio de 2011. Consultado el 21 de junio de 2021. 
17. Unemi, Tastsuo. «A Design of Multi-Field User Interface for Simulated Breeding; Un diseño de interfaz de usuario de campos múltiples para una simulación de crianza, pp. 489-494» (en inglés). Consultado el 21 de junio de 2021. 
18. Yu, Lixiu; y Jeffrey V. Nickerson. «Cooks or cobblers?: crowd creativity through combination; ¿Cocineros o zapateros?: Creatividad de la multitud a través de la combinación» (en inglés). Consultado el 23 de junio de 2021. 
19. «Method for selectively restricting access to computer systems; Método para restringir selectivamente el acceso a los sistemas informáticos, patente 6195698 registrada en la United States Patent and Trademark Office (USPTO) por Mark D. Lillibridge et alii» (en inglés). Consultado el 21 de junio de 2021. 
20. von Ahn, Luis; Manuel Blum, Nicholas J. Hopper, y John Langford. «CAPTCHA: Using Hard AI Problems For Security» (en inglés). Consultado el 21 de junio de 2021. 
21. «¡Dichoso 'captcha'! Distinguir humanos y robots jamás ha sido tan frustrante». El Diario (España). 9 de junio de 2015. Consultado el 1 de junio de 2020. 
22. von Ahn, Luis; Benjamin Maurer, Colin McMillen, David Abraham, y Manuel Blum. «reCAPTCHA: Human-Based Character Recognition via Web Security Measures; reCAPTCHA: reconocimiento de caracteres basado en humanos a través de medidas de seguridad en la Web» (en inglés). Consultado el 23 de junio de 2021. 
23. Burgener, Robin. «20Q . net. Twenty Questions. The neural-net on the Internet. Play Twenty Questions» (en inglés). Archivado desde el original el 29 de febrero de 2000. Consultado el 21 de junio de 2021. 
24. von Ahn, Luis, y Laura Dabbish. «Labeling Images with a Computer Game; Etiquetado de imágenes con un juego de ordenador» (en inglés). Consultado el 21 de junio de 2021. 
25. von Ahn, Luis; Mihir Kedia y Manuel Blum. «Verbosity: A Game for Collecting Common-Sense Facts; Un juego para recopilar datos de sentido común» (en inglés). Consultado el 23 de junio de 2021. 
26. von Ahn, Luis; Shiri Ginosar, Mihir Kedia, Ruoran Liu, y Manuel Blum. «Improving Accessibility of the Web with a Computer Game; Mejorar la accesibilidad de la Web con un juego de computadora» (en inglés). Consultado el 23 de junio de 2021. 
27. von Ahn Arellano, Luis (19 de julio de 2011). «Method for labeling images through a computer game» (en inglés). Consultado el 21 de junio de 2021. Patente USPTO n.º 7980953
28. Rosenberg, Louis B. «Human Swarms: a real-time paradigm for Collective intelligence; Enjambres humanos: un paradigma en tiempo real para la inteligencia colectiva» (en inglés). Consultado el 23 de junio de 2021. 
29. «Swarms: a real-time paradigm for Collective intelligence; Enjambres humanos: un paradigma en tiempo real para la inteligencia colectiva» (en inglés). Archivado desde el original el 27 de octubre de 2015. Consultado el 23 de julio de 2021. 
30. Sunstein, Cass R. «Infotopia: How Many Minds Produce Knowledge; Infotopía: cuántas mentes producen conocimiento» (en inglés). Consultado el 23 de junio de 2021. 
31. Malone, Thomas W.; Robert Laubacher, y Chrysanthos Dellarocas. «Harnessing Crowds: Mapping the Genome of Collective Intelligence; Aprovechamiento de las multitudes: Mapeo del genoma de la inteligencia colectiva» (en inglés). Consultado el 23 de junio de 2021. 
32. Tapscott, Don, y Anthony D. Williams. «Wikinomics: How Mass Collaboration Changes Everything; Wikinomía: Cómo la colaboración masiva lo cambia todo» (en inglés). Consultado el 23 de junio de 2021. 
33. Estrada, Daniel, y Jonathan Lawhead. «Gaming the Attention Economy; Juegos en la economía de la atención» (en inglés). Consultado el 23 de junio de 2021. 
34. «(Q&A) Your Assignment: Art». Revista Wired (en inglés). Julio de 2007. Consultado el 27 de febrero de 2020. 
35. Kosorukoff, Alexander. «Social classification structures. Optimal decision making in an organization; Estructuras de clasificación social. Toma de decisiones óptimas en una organización» (en inglés). Archivado desde el original el 7 de julio de 2011. Consultado el 22 de junio de 2021. 
36. Von Hippel, Eric. «Democratizing Innovation; Democratización de la innovación» (en inglés). Consultado el 22 de junio de 2021. 
37. Kosorukoff, Alexander, y David Goldberg (2002). «Evolutionary Computation as a Form of Organization» (en inglés). Archivado desde el original el 7 de julio de 2011. Consultado el 21 de junio de 2021. 
38. Howe, Jeff (Junio de 2006). «The Rise of Crowdsourcing» (en inglés). Consultado el 22 de junio de 2021. 
39. Michelucci, Pietro. «Handbook of Human Computation; Manual de computación humana» (en inglés). Consultado el 23 de junio de 2021. 
40. «Method and apparatus for search ranking using human input and automated ranking» (en inglés). Consultado el 1 de junio de 2020. 
41. Zittrain, Jonathan. «Minds for Sale; Mentes a la venta» (en inglés). Consultado el 23 de junio de 2021. 
42. Jafarinaimi, Nassim. «Exploring the character of participation in social media: the case of Google Image Labeler; Exploración del carácter de la participación en las redes sociales: el caso del Etiquetador de Imágenes Google» (en inglés). Consultado el 23 de junio de 2021. 
43. Mühlhoff, Rainer. «Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning; Inteligencia artificial asistida por humanos: ¿O cómo ejecutar grandes cálculos en cerebros humanos? Hacia una sociología mediática del aprendizaje automático» (en inglés). Consultado el 23 de junio de 2021. 
44. Mühlhoff, Rainer. «Human-aided artificial intelligence: Or, how to run large computations in human brains? Toward a media sociology of machine learning; Inteligencia artificial asistida por humanos: ¿O cómo ejecutar grandes cálculos en cerebros humanos? Hacia una sociología mediática del aprendizaje automático» (en inglés). Consultado el 23 de junio de 2021. 

Enlaces externos

• Computación humana, una plática de tecnología de Google, por Luis von Ahn.
• Utyp, máquinas de búsqueda para imágenes y fotografías utilizando una computación de fuente abierta basada en humanos (juego Flash Archivado el 8 de mayo de 2013 en Wayback Machine.).
• Comercio Krabott, computación humana aplicada al sistema de comercio automatizado, con un algoritmo genético basado en humanos.
• Recaptcha, digitalización de libros mediante la utilización de Captcha (Luis Von Ahn).
• Fold-it Archivado el 4 de enero de 2021 en Wayback Machine., juego serio de computación basada en humanos: «Resuelve rompecabezas para la ciencia» con el plegamiento de las proteínas.