Fusión de sensores

Fusión de sensores es el proceso de combinar datos de sensores o datos derivados de fuentes dispares para que la información resultante tenga menos incertidumbre de la que sería posible si estas fuentes se utilizaran individualmente. Por ejemplo, se podría obtener una estimación de ubicación más precisa de un objeto en interiores combinando múltiples fuentes de datos, como cámaras de video y señales de localización por WiFi. El término reducción de incertidumbre en este caso puede significar información más precisa, más completa o más confiable, o referirse al resultado de una visión emergente, como la estereoscopia (cálculo de información de profundidad al combinar imágenes bidimensionales de dos cámaras en puntos de vista ligeramente diferentes).^[1]​^[2]​

Las fuentes de datos para un proceso de fusión no están especificadas para provenir de sensores idénticos. Se puede distinguir entre fusión directa, fusión indirecta y fusión de las salidas de las dos anteriores. La fusión directa es la fusión de datos de sensores de un conjunto de sensores heterogéneos o homogéneos, sensores blandos y valores históricos de datos de sensores, mientras que la fusión indirecta utiliza fuentes de información como el conocimiento a priori sobre el entorno y la entrada humana.

La fusión de sensores también es conocida como fusión de datos (multi-sensor) y es un subconjunto de la fusión de información.

Ejemplos de sensores

• Acelerómetros
• Medidas de apoyo electrónico (ESM)
• LIDAR flash
• Sistema de posicionamiento global (GPS)
• Cámara de imágenes térmicas / infrarrojas
• Sensores magnéticos
• MEMS
• Antenas en fase
• Radar
• Radiotelescopios, como el propuesto Square Kilometre Array, el sensor más grande jamás construido
• LIDAR de barrido
• Sensores sísmicos
• Sonar y otros acústicos
• Sonoboyas
• Cámaras de televisión
• →Lista adicional de Sensores

Algoritmos

La fusión de sensores es un término que abarca varios métodos y algoritmos, incluyendo:

• Filtro de Kalman^[3]​
• Red bayesianas
• Teoría de Dempster–Shafer
• Red neuronal convolucional
• Proceso gaussianos^[4]​^[5]​

Ejemplo de cálculos

A continuación se ilustran dos ejemplos de cálculos de fusión de sensores.

Sea ${\displaystyle {\textbf {x}}_{1}}$ y ${\displaystyle {\textbf {x}}_{2}}$ dos mediciones de sensores con varianzas de ruido varianzas ${\displaystyle \scriptstyle \sigma _{1}^{2}}$ y ${\displaystyle \scriptstyle \sigma _{2}^{2}}$, respectivamente. Una forma de obtener una medición combinada ${\displaystyle {\textbf {x}}_{3}}$ es aplicar el ponderación por varianza inversa, que también se emplea dentro del suavizador de intervalo fijo Fraser-Potter, a saber^[6]​

${\displaystyle {\textbf {x}}_{3}=\sigma _{3}^{2}(\sigma _{1}^{-2}{\textbf {x}}_{1}+\sigma _{2}^{-2}{\textbf {x}}_{2})}$,

donde ${\displaystyle \scriptstyle \sigma _{3}^{2}=(\scriptstyle \sigma _{1}^{-2}+\scriptstyle \sigma _{2}^{-2})^{-1}}$ es la varianza de la estimación combinada. Se puede ver que el resultado fusionado es simplemente una combinación lineal de las dos mediciones ponderadas por sus respectivas varianzas de ruido.

Otro método (equivalente) para fusionar dos mediciones es utilizar el Filtro de Kalman óptimo. Supongamos que los datos son generados por un sistema de primer orden y que ${\displaystyle {\textbf {P}}_{k}}$ denota la solución de la ecuación de Riccati del filtro. Al aplicar la regla de Cramer dentro del cálculo de la ganancia se puede encontrar que la ganancia del filtro está dada por:

${\displaystyle {\textbf {L}}_{k}={\begin{bmatrix}{\tfrac {\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}}{\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}\scriptstyle \sigma _{2}^{2}}}&{\tfrac {\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}}{\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}\scriptstyle \sigma _{2}^{2}}}\end{bmatrix}}.}$

Por inspección, cuando la primera medición está libre de ruido, el filtro ignora la segunda medición y viceversa. Es decir, la estimación combinada se pondera según la calidad de las mediciones.

Centralizado versus descentralizado

En la fusión de sensores, centralizado versus descentralizado se refiere a dónde ocurre la fusión de los datos. En la fusión centralizada, los clientes simplemente envían todos los datos a una ubicación central, y alguna entidad en la ubicación central es responsable de correlacionar y fusionar los datos. En la descentralizada, los clientes asumen toda la responsabilidad de fusionar los datos. "En este caso, cada sensor o plataforma puede ser visto como un activo inteligente con algún grado de autonomía en la toma de decisiones."^[7]​

Existen múltiples combinaciones de sistemas centralizados y descentralizados.

Otra clasificación de la configuración de sensores se refiere a la coordinación del flujo de información entre sensores.^[8]​^[9]​ Estos mecanismos proporcionan una forma de resolver conflictos o desacuerdos y permitir el desarrollo de estrategias de detección dinámicas. Los sensores están en configuración redundante (o competitiva) si cada nodo entrega medidas independientes de las mismas propiedades. Esta configuración puede utilizarse en la corrección de errores al comparar información de múltiples nodos. Las estrategias redundantes se utilizan a menudo con fusiones de alto nivel en procedimientos de votación.^[10]​^[11]​ La configuración complementaria ocurre cuando múltiples fuentes de información suministran información diferente sobre las mismas características. Esta estrategia se utiliza para fusionar información a nivel de datos en bruto dentro de los algoritmos de toma de decisiones. Las características complementarias se aplican típicamente en tareas de reconocimiento de movimiento con red neuronal,^[12]​^[13]​ modelo oculto de Markov,^[14]​^[15]​ máquina de vectores de soporte,^[16]​ métodos de agrupamiento y otras técnicas.^[16]​^[15]​ La fusión cooperativa de sensores utiliza la información extraída por múltiples sensores independientes para proporcionar información que no estaría disponible a partir de sensores individuales. Por ejemplo, los sensores conectados a segmentos del cuerpo se utilizan para la detección del ángulo entre ellos. La estrategia de fusión cooperativa proporciona información imposible de obtener a partir de nodos únicos. La fusión cooperativa de información se puede utilizar en el reconocimiento de movimientos,^[17]​ análisis de la marcha, análisis del movimiento,^[18]​^[19]​,.^[20]​

Niveles

Existen varias categorías o niveles de fusión de sensores que se utilizan comúnmente.^[21]​^[22]​^[23]​^[24]​^[25]​^[26]​

• Nivel 0 – Alineación de datos
• Nivel 1 – Evaluación de entidades (p.ej., señal/característica/objeto).
  • Rastreo y detección/reconocimiento/identificación de objetos
• Nivel 2 – Evaluación de la situación
• Nivel 3 – Evaluación del impacto
• Nivel 4 – Refinamiento del proceso (es decir, gestión de sensores)
• Nivel 5 – Refinamiento del usuario

El nivel de fusión de sensores también puede definirse en función del tipo de información utilizada para alimentar el algoritmo de fusión.^[27]​ Más precisamente, la fusión de sensores puede realizarse fusionando datos en bruto provenientes de diferentes fuentes, características extrapoladas o incluso decisiones tomadas por nodos individuales.

• Nivel de datos - la fusión de nivel de datos (o temprana) tiene como objetivo fusionar datos en bruto de múltiples fuentes y representar la técnica de fusión en el nivel más bajo de abstracción. Es la técnica de fusión de sensores más común en muchos campos de aplicación. Los algoritmos de fusión de nivel de datos generalmente tienen como objetivo combinar múltiples fuentes homogéneas de datos sensoriales para lograr lecturas más precisas y sintéticas.^[28]​ Cuando se emplean dispositivos portátiles, la compresión de datos representa un factor importante, ya que recopilar información en bruto de múltiples fuentes genera grandes espacios de información que podrían representar un problema en términos de memoria o ancho de banda de comunicación para sistemas portátiles. La fusión de información a nivel de datos tiende a generar grandes espacios de entrada, lo que ralentiza el proceso de toma de decisiones. Además, la fusión de nivel de datos a menudo no puede manejar mediciones incompletas. Si una modalidad sensorial se vuelve inútil debido a fallos, averías u otras razones, todo el sistema podría incurrir en resultados ambiguos.
• Nivel de características - las características representan información calculada a bordo por cada nodo de detección. Estas características se envían a un nodo de fusión para alimentar el algoritmo de fusión.^[29]​ Este procedimiento genera espacios de información más pequeños en comparación con la fusión de nivel de datos, lo cual es mejor en términos de carga computacional. Obviamente, es importante seleccionar adecuadamente las características sobre las cuales definir los procedimientos de clasificación: elegir el conjunto de características más eficiente debe ser un aspecto principal en el diseño del método. Usar algoritmos de selección de características que detecten adecuadamente las características correlacionadas y los subconjuntos de características mejora la precisión del reconocimiento, pero generalmente se requieren grandes conjuntos de entrenamiento para encontrar el subconjunto de características más significativo.^[27]​
• Nivel de decisión - la fusión de nivel de decisión (o tardía) es el procedimiento de seleccionar una hipótesis de un conjunto de hipótesis generadas por decisiones individuales (generalmente más débiles) de múltiples nodos.^[30]​ Es el nivel más alto de abstracción y utiliza la información que ya ha sido elaborada a través del procesamiento preliminar de nivel de datos o de características. El objetivo principal en la fusión de decisiones es utilizar un clasificador a nivel meta, mientras que los datos de los nodos se preprocesan extrayendo características de ellos.^[31]​ Típicamente, la fusión de nivel de decisión se utiliza en actividades de clasificación y reconocimiento, y los dos enfoques más comunes son la votación mayoritaria y el Naive-Bayes.^{[cita requerida]} Las ventajas de la fusión a nivel de decisión incluyen el ancho de banda de comunicación y la mejora de la precisión en la toma de decisiones. También permite la combinación de sensores heterogéneos.^[29]​

Aplicaciones

Una aplicación de la fusión de sensores es GPS/INS, donde los datos del Sistema de Posicionamiento Global y del sistema de navegación inercial se fusionan utilizando varios métodos diferentes, p. ej., el filtro de Kalman extendido. Esto es útil, por ejemplo, para determinar la actitud de una aeronave utilizando sensores de bajo costo.^[32]​ Otro ejemplo es el uso del enfoque de fusión de datos para determinar el estado del tráfico (bajo tráfico, atasco de tráfico, flujo medio) utilizando datos acústicos, de imagen y sensores recolectados en el lugar.^[33]​ En el campo de la conducción autónoma, la fusión de sensores se utiliza para combinar la información redundante de sensores complementarios con el fin de obtener una representación del entorno más precisa y confiable.^[34]​

Aunque técnicamente no es un método de fusión de sensores dedicado, los métodos modernos basados en redes neuronales convolucionales pueden procesar simultáneamente muchos canales de datos de sensores (como la imagen hiperespectral con cientos de bandas ^[35]​) y fusionar información relevante para producir resultados de clasificación.

Véase también

• Algoritmo de Brooks-Iyengar
• Datos (informática)
• Minería de datos
• Método de Fisher para combinar pruebas de significancia independientes
• Fusión de imágenes
• Integración multisensorial
• Red de sensores
• Transducer Markup Language (TML) es un lenguaje de marcado basado en XML que permite la fusión de sensores.

Referencias

1. Elmenreich, W. (2002). Sensor Fusion in Time-Triggered Systems, Tesis Doctoral. Viena, Austria: Vienna University of Technology. p. 173. 
2. Haghighat, Mohammad Bagher Akbari; Aghagolzadeh, Ali; Seyedarabi, Hadi (2011). «Multi-focus image fusion for visual sensor networks in DCT domain». Computers & Electrical Engineering 37 (5): 789-797. S2CID 38131177. doi:10.1016/j.compeleceng.2011.04.016. 
3. Li, Wangyan; Wang, Zidong; Wei, Guoliang; Ma, Lifeng; Hu, Jun; Ding, Derui (2015). «Una encuesta sobre la fusión de múltiples sensores y el filtrado de consenso para redes de sensores». Discrete Dynamics in Nature and Society 2015: 1-12. ISSN 1026-0226. doi:10.1155/2015/683701.  Parámetro desconocido |doi-acceso= ignorado (ayuda)
4. Badeli, Vahid; Ranftl, Sascha; Melito, Gian Marco; Reinbacher-Köstinger, Alice; Von Der Linden, Wolfgang; Ellermann, Katrin; Biro, Oszkar (1 de enero de 2021). «Inferencia bayesiana de cardiografía de impedancia multi-sensor para la detección de disección aórtica». COMPEL - the International Journal for Computation and Mathematics in Electrical and Electronic Engineering 41 (3): 824-839. ISSN 0332-1649. S2CID 245299500. doi:10.1108/COMPEL-03-2021-0072. 
5. Ranftl, Sascha; Melito, Gian Marco; Badeli, Vahid; Reinbacher-Köstinger, Alice; Ellermann, Katrin; von der Linden, Wolfgang (31 de diciembre de 2019). «Cuantificación de la incertidumbre bayesiana con datos multifidelidad y procesos gaussianos para la cardiografía de impedancia de disección aórtica». Entropy 22 (1): 58. ISSN 1099-4300. PMC 7516489. PMID 33285833. doi:10.3390/e22010058.  Parámetro desconocido |doi-acceso= ignorado (ayuda)
6. Maybeck, S. (1982). Stochastic Models, Estimating, and Control. River Edge, NJ: Academic Press. 
7. N. Xiong; P. Svensson (2002). «Multi-sensor management for information fusion: issues and approaches». Information Fusion. p. 3(2):163–186. 
8. Durrant-Whyte, Hugh F. (2016). «Sensor Models and Multisensor Integration». The International Journal of Robotics Research 7 (6): 97-113. ISSN 0278-3649. S2CID 35656213. doi:10.1177/027836498800700608. 
9. Galar, Diego; Kumar, Uday (2017). eMaintenance: Essential Electronic Tools for Efficiency. Academic Press. p. 26. ISBN 9780128111543. 
10. Li, Wenfeng; Bao, Junrong; Fu, Xiuwen; Fortino, Giancarlo; Galzarano, Stefano (2012). «Reconocimiento de posturas humanas basado en la teoría de la evidencia de D-S y la fusión de datos de múltiples sensores». 2012 12th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (ccgrid 2012). pp. 912-917. ISBN 978-1-4673-1395-7. S2CID 1571720. doi:10.1109/CCGrid.2012.144. 
11. Fortino, Giancarlo; Gravina, Raffaele (2015). «Fall-MobileGuard: un sistema inteligente de detección de caídas en tiempo real». Proceedings of the 10th EAI International Conference on Body Area Networks. ISBN 978-1-63190-084-6. S2CID 38913107. doi:10.4108/eai.28-9-2015.2261462. 
12. Tao, Shuai; Zhang, Xiaowei; Cai, Huaying; Lv, Zeping; Hu, Caiyou; Xie, Haiqun (2018). «Autenticación biométrica personal basada en la marcha utilizando sensores inerciales MEMS». Journal of Ambient Intelligence and Humanized Computing 9 (5): 1705-1712. ISSN 1868-5137. S2CID 52304214. doi:10.1007/s12652-018-0880-6. 
13. Dehzangi, Omid; Taherisadr, Mojtaba; ChangalVala, Raghvendar (2017). «Reconocimiento de marcha basado en IMU utilizando redes neuronales convolucionales y fusión de múltiples sensores». Sensors 17 (12): 2735. Bibcode:2017Senso..17.2735D. ISSN 1424-8220. PMC 5750784. PMID 29186887. doi:10.3390/s17122735.  Parámetro desconocido |doi-acceso= ignorado (ayuda)
14. Guenterberg, E.; Yang, A.Y.; Ghasemzadeh, H.; Jafari, R.; Bajcsy, R.; Sastry, S.S. (2009). «Un método para extraer parámetros temporales basados en modelos ocultos de Markov en redes de sensores corporales con sensores inerciales». IEEE Transactions on Information Technology in Biomedicine 13 (6): 1019-1030. ISSN 1089-7771. PMID 19726268. S2CID 1829011. doi:10.1109/TITB.2009.2028421. 
15. Parisi, Federico; Ferrari, Gianluigi; Giuberti, Matteo; Contin, Laura; Cimolin, Veronica; Azzaro, Corrado; Albani, Giovanni; Mauro, Alessandro (2016). «Caracterización y evaluación automática UPDRS basada en BSN inercial de la tarea de marcha en parkinsonianos». IEEE Transactions on Affective Computing 7 (3): 258-271. ISSN 1949-3045. S2CID 16866555. doi:10.1109/TAFFC.2016.2549533. 
16. Gao, Lei; Bourke, A.K.; Nelson, John (2014). «Evaluación de sistemas de reconocimiento de actividades basados en acelerómetros multisensor frente a sensores únicos». Medical Engineering & Physics 36 (6): 779-785. ISSN 1350-4533. PMID 24636448. doi:10.1016/j.medengphy.2014.02.012. 
17. Xu, James Y.; Wang, Yan; Barrett, Mick; Dobkin, Bruce; Pottie, Greg J.; Kaiser, William J. (2016). «Perfilado diario personalizado a través de la clasificación de actividades habilitadas por contexto y la reconstrucción de movimiento: un enfoque de sistema integrado». IEEE Journal of Biomedical and Health Informatics 20 (1): 177-188. ISSN 2168-2194. PMID 25546868. S2CID 16785375. doi:10.1109/JBHI.2014.2385694.  Parámetro desconocido |doi-acceso= ignorado (ayuda)
18. Chia Bejarano, Noelia; Ambrosini, Emilia; Pedrocchi, Alessandra; Ferrigno, Giancarlo; Monticone, Marco; Ferrante, Simona (2015). «Un novedoso algoritmo adaptativo en tiempo real para detectar eventos de la marcha a partir de sensores portátiles». IEEE Transactions on Neural Systems and Rehabilitation Engineering 23 (3): 413-422. ISSN 1534-4320. PMID 25069118. S2CID 25828466. doi:10.1109/TNSRE.2014.2337914. hdl:11311/865739.  Parámetro desconocido |hdl-acceso= ignorado (ayuda)
19. Wang, Zhelong; Qiu, Sen; Cao, Zhongkai; Jiang, Ming (2013). «Evaluación cuantitativa del análisis dual de la marcha basado en sensores inerciales con red de sensores corporales». Sensor Review 33 (1): 48-56. ISSN 0260-2288. doi:10.1108/02602281311294342. 
20. Kong, Weisheng; Wanning, Lauren; Sessa, Salvatore; Zecca, Massimiliano; Magistro, Daniele; Takeuchi, Hikaru; Kawashima, Ryuta; Takanishi, Atsuo (2017). «Detección de secuencias de pasos y dirección en la Prueba de Cuatro Cuadrados». IEEE Robotics and Automation Letters 2 (4): 2194-2200. ISSN 2377-3766. S2CID 23410874. doi:10.1109/LRA.2017.2723929. 
21. Rethinking JDL Data Fusion Levels
22. Blasch, E., Plano, S. (2003) “Level 5: User Refinement to aid the Fusion Process”, Proceedings of the SPIE, Vol. 5099.
23. J. Llinas; C. Bowman; G. Rogova; A. Steinberg; E. Waltz; F. White (2004). Revisiting the JDL data fusion model II. International Conference on Information Fusion.  Parámetro desconocido |citeseerx= ignorado (ayuda)
24. Blasch, E. (2006) "Sensor, user, mission (SUM) resource management and their interaction with level 2/3 fusionUso incorrecto de la plantilla enlace roto (enlace roto disponible en Internet Archive; véase el historial, la primera versión y la última)." International Conference on Information Fusion.
25. «Harnessing the full power of sensor fusion -». 3 de abril de 2024. 
26. Blasch, E., Steinberg, A., Das, S., Llinas, J., Chong, C.-Y., Kessler, O., Waltz, E., White, F. (2013) "Revisiting the JDL model for information Exploitation," International Conference on Information Fusion.
27. Gravina, Raffaele; Alinia, Parastoo; Ghasemzadeh, Hassan; Fortino, Giancarlo (2017). «Multi-sensor fusion in body sensor networks: State-of-the-art and research challenges». Information Fusion 35: 68-80. ISSN 1566-2535. S2CID 40608207. doi:10.1016/j.inffus.2016.09.005. 
28. Gao, Teng; Song, Jin-Yan; Zou, Ji-Yan; Ding, Jin-Hua; Wang, De-Quan; Jin, Ren-Cheng (2015). «Una visión general de los mecanismos de equilibrio del rendimiento en el protocolo de enrutamiento para redes de sensores inalámbricos ecológicos». Wireless Networks 22 (1): 135-157. ISSN 1022-0038. S2CID 34505498. doi:10.1007/s11276-015-0960-x. 
29. Chen, Chen; Jafari, Roozbeh; Kehtarnavaz, Nasser (2015). «Una encuesta sobre la fusión de sensores inerciales y de profundidad para el reconocimiento de acciones humanas». Multimedia Tools and Applications 76 (3): 4405-4425. ISSN 1380-7501. S2CID 18112361. doi:10.1007/s11042-015-3177-1. 
30. Banovic, Nikola; Buzali, Tofi; Chevalier, Fanny; Mankoff, Jennifer; Dey, Anind K. (2016). «Modeling and Understanding Human Routine Behavior». Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems - CHI '16. pp. 248-260. ISBN 9781450333627. S2CID 872756. doi:10.1145/2858036.2858557. 
31. Maria, Aileni Raluca; Sever, Pasca; Carlos, Valderrama (2015). «Algoritmo de fusión de datos de sensores biomédicos para mejorar la eficiencia de los sistemas tolerantes a fallos en caso de dispositivo electrónico portátil». 2015 Conference Grid, Cloud & High Performance Computing in Science (ROLCG). pp. 1-4. ISBN 978-6-0673-7040-9. S2CID 18782930. doi:10.1109/ROLCG.2015.7367228. 
32. Gross, Jason; Yu Gu; Matthew Rhudy; Srikanth Gururajan; Marcello Napolitano (julio de 2012). «Evaluación en vuelo de algoritmos de fusión de sensores para la estimación de actitud». IEEE Transactions on Aerospace and Electronic Systems 48 (3): 2128-2139. Bibcode:2012ITAES..48.2128G. S2CID 393165. doi:10.1109/TAES.2012.6237583. 
33. Joshi, V., Rajamani, N., Takayuki, K., Prathapaneni, N., Subramaniam, L. V. (2013). Aprendizaje basado en la fusión de información para la detección frugal del estado del tráfico. Proceedings of the Twenty-Third International Joint Conference on Artificial Intelligence. 
34. Mircea Paul, Muresan; Ion, Giosan; Sergiu, Nedevschi (18 de febrero de 2020). «Estabilización y validación de la posición de objetos 3D utilizando fusión de sensores multimodales y segmentación semántica». Sensors 20 (4): 1110. Bibcode:2020Senso..20.1110M. PMC 7070899. PMID 32085608. doi:10.3390/s20041110.  Parámetro desconocido |doi-acceso= ignorado (ayuda)
35. Ran, Lingyan; Zhang, Yanning; Wei, Wei; Zhang, Qilin (23 de octubre de 2017). «Un marco de clasificación de imágenes hiperespectrales con características de pares de píxeles espaciales». Sensors 17 (10): 2421. Bibcode:2017Senso..17.2421R. PMC 5677443. PMID 29065535. doi:10.3390/s17102421.  Parámetro desconocido |doi-acceso= ignorado (ayuda)

Enlaces externos

• Análisis de Correlación Discriminante (DCA)^[1]​
• International Society of Information Fusion

1. Haghighat, Mohammad; Abdel-Mottaleb, Mohamed; Alhalabi, Wadee (2016). «Análisis de Correlación Discriminante: Fusión a Nivel de Características en Tiempo Real para el Reconocimiento Biométrico Multimodal». IEEE Transactions on Information Forensics and Security 11 (9): 1984-1996. S2CID 15624506. doi:10.1109/TIFS.2016.2569061.