Злиття даних датчиків

Злиття даних датчиків Eurofighter

Злиття (або синтез) даних датчиків — це процес об'єднання даних датчиків або даних, отриманих з різних джерел, таким чином, що отримана інформація має меншу невизначеність, ніж як би ці джерела використовуються окремо. Наприклад, потенційно можна отримати більш точну оцінку місцезнаходження об'єкта, об'єднавши кілька джерел даних, таких як відеокамери та сигнали локалізації WiFi^[en]. Термін зменшення невизначеності в цьому випадку може означати більш точний, більш повний або більш надійний або вказувати на результат виниклого погляду, наприклад стереоскопічний зір (розрахунок інформації про глибину шляхом комбінування двовимірних зображень з двох камер з дещо відмінними точками зору)^[1][2].

Не вимагається, щоб джерела даних для процесу злиття походили від ідентичних датчиків. Можна розрізнити пряме злиття, непряме злиття та злиття вихідних даних з цих двох типів. Прямий синтез — це об'єднання даних датчиків із набору гетерогенних або однорідних^[en] датчиків, обчислювальних датчиків та історичних даних датчиків, тоді як непряме об'єднання використовує такі джерела інформації, як апріорні знання про навколишнє середовище та данні, створені людиною.

Злиття даних датчиків також відоме як (багатосенсорне) злиття даних є частиною злиття інформації^[en].

Приклади датчиків

• Акселерометри
• Заходи електронної підтримки (Electronic Support Measures, ESM)
• Flash LIDAR
• Глобальна система позиціонування (GPS)
• Інфрачервона / тепловізійна камера
• Магнітні датчики
• MEMS
• Фазована решітка
• Радар
• Радіотелескопи, такі як запропонований квадратний кілометровий масив, найбільший датчик, коли-небудь створений
• LIDAR-сканування
• Сейсмічні датчики
• Сонар та інша акустика
• Гідроакустичний буй^[en]
• Телекамера

• Додатковий список датчиків^[en]

Алгоритми

Злиття датчиків — це термін, який охоплює ряд методів і алгоритмів, у тому числі:

• Центральна гранична теорема
• Фільтр Калмана^[3]
• Баєсова мережа
• Теорія Демпстера – Шафера^[en]
• Згорткова нейронна мережа
• Гаусові процеси^[4][5]

Приклади розрахунків

Нижче наведено два приклади розрахунків злиття датчиків.

Нехай ${\displaystyle {\textbf {x}}_{1}}$ і ${\displaystyle {\textbf {x}}_{2}}$ позначають два вимірювання датчика з відхиленнями шуму ${\displaystyle \scriptstyle \sigma _{1}^{2}}$ і ${\displaystyle \scriptstyle \sigma _{2}^{2}}$, відповідно. Один зі способів отримання комбінованого вимірювання ${\displaystyle {\textbf {x}}_{3}}$ полягає у застосуванні зворотньо-дисперсійного зважування^[en], яке також використовується в рамках згладжувача з фіксованим інтервалом Фрейзера-Поттера, а саме^[6]

${\displaystyle {\textbf {x}}_{3}=\sigma _{3}^{2}(\sigma _{1}^{-2}{\textbf {x}}_{1}+\sigma _{2}^{-2}{\textbf {x}}_{2})}$ ,

де ${\displaystyle \scriptstyle \sigma _{3}^{2}=(\scriptstyle \sigma _{1}^{-2}+\scriptstyle \sigma _{2}^{-2})^{-1}}$ — дисперсія комбінованої оцінки. Можна помітити, що об'єднаний результат є просто лінійною комбінацією двох вимірювань, зважених за їхньою відповідною інформацією.

Іншим методом об'єднання двох вимірювань є використання оптимального фільтра Калмана. Припустимо, що дані генеруються системою першого порядку і нехай ${\displaystyle {\textbf {P}}_{k}}$ позначимо розв'язок рівняння Ріккаті фільтра. Застосовуючи правило Крамера в розрахунку підсилення, можна знайти, що коефіцієнт посилення фільтра визначається як: 

${\displaystyle {\textbf {L}}_{k}={\begin{bmatrix}{\tfrac {\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}}{\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}\scriptstyle \sigma _{2}^{2}}}&{\tfrac {\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}}{\scriptstyle \sigma _{2}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}{\textbf {P}}_{k}+\scriptstyle \sigma _{1}^{2}\scriptstyle \sigma _{2}^{2}}}\end{bmatrix}}.}$

Можна побачити, що коли перше вимірювання не зашумлене, фільтр ігнорує друге вимірювання і навпаки. Тобто, сукупна оцінка зважується відповідно до якості вимірювань.

Централізація проти децентралізації

При злитті даних датчиків централізація проти децентралізації стосується того, де відбувається злиття даних. При централізованому злитті клієнти просто пересилають усі дані до центру, а деяка сутність у центрі відповідає за кореляцію та об'єднання даних. У децентралізованому режимі клієнти несуть повну відповідальність за об'єднання даних. «У цьому випадку кожен датчик або платформу можна розглядати як інтелектуальний актив, який має певний ступінь автономії у прийнятті рішень»^[7].

Існує різні комбінації централізованих і децентралізованих систем.

Інша класифікація конфігурації датчиків відноситься до координації інформаційного потоку між датчиками^[8][9]. Ці механізми забезпечують спосіб вирішення конфліктів або розбіжностей і дозволяють розробити динамічно чутливі стратегії. Датчики мають надлишкову (або конкурентну) конфігурацію, якщо кожен вузол забезпечує незалежні вимірювання однакових властивостей. Цю конфігурацію можна використовувати для виправлення помилок при порівнянні інформації з кількох вузлів. Надлишкові стратегії часто використовуються зі злиттям на високому рівні у процедурах голосування^[10][11]. Додаткова конфігурація виникає, коли кілька джерел інформації надають різну інформацію про одні й ті ж ознаки. Ця стратегія використовується для об'єднання інформації на рівні сирих (необроблених) даних в алгоритмах прийняття рішень. Додаткові ознаки зазвичай застосовуються в задачах розпізнавання руху за допомогою нейронної мережі^[12][13], прихованої моделі Маркова^[14][15], методу опорних векторів^[16], методів кластеризації та інших методів^[16][15]. Кооперативне злиття датчиків використовує інформацію, отриману кількома незалежними датчиками, щоб надати інформацію, яка була б недоступна з окремих датчиків. Наприклад, можна використовуються датчики, підключені до частин тіла, для визначення кута між ними. Кооперативна стратегія, стосовно датчиків, дає інформацію, яку неможливо отримати з окремих вузлів. Кооперативне злиття інформації можна використовувати для розпізнавання руху^[17], аналізу ходи^[en], аналізу руху^{[en][18][19][20]}.

Рівні

Існує кілька категорій або рівнів злиття даних датчиків, які зазвичай використовуються^{[21][22][23][24][25][26]}.

• Рівень 0 — Вивірювання даних
• Рівень 1 — Оцінка об'єкта (наприклад, сигнал/ознака/об'єкт).
  • Відстеження та виявлення/розпізнавання/ідентифікація об'єктів
• Рівень 2 — Оцінка ситуації
• Рівень 3 — Оцінка впливу
• Рівень 4 — Оцінка на рівні процесу (тобто керування датчиками)
• Рівень 5 — Оцінка на рівні користувача

Рівень злиття даних датчиків також можна визначити на основі типу інформації, яка використовується на вході алгоритму злиття^[27]. Точніше, злиття датчиків можна виконати, об'єднавши необроблені дані, що надходять з різних джерел, екстрапольовані ознаки або навіть рішення, прийняті окремими вузлами.

• Рівень даних — об'єднання на рівні даних (або раннє злиття) має на меті об'єднання необроблених даних з кількох джерел і представляти техніку злиття на найнижчому рівні абстракції. Це найпоширеніша техніка з'єднання датчиків у багатьох сферах застосування. Алгоритми злиття рівня даних зазвичай мають на меті об'єднати декілька однорідних джерел сенсорних даних для отримання більш точних і синтетичних показань^[28]. Коли використовуються портативні пристрої, стиснення даних є важливим фактором, оскільки збір необробленої інформації з кількох джерел створює величезний інформаційний простір, який може визначити зазначену проблему з точки зору пам'яті або пропускної здатності зв'язку для портативних систем. Злиття інформації на рівні даних має тенденцію генерувати великий простір даних, що уповільнює процедуру прийняття рішень. Крім того, злиття на рівні даних часто не може впоратися з неповними вимірюваннями. Якщо один з датчиків стає непотрібним через несправності, поломки або інші причини, ціла система може мати неоднозначні результати.
• Рівень ознак — ознака відповідає інформації, яка обчислена на борту кожним сенсорним вузлом. Потім ці ознаки надсилаються до вузла злиття, де обробляються алгоритмом злиття^[29]. Ця процедура створює менший інформаційний простір порівняно з рівнем даних, і це краще з точки зору обчислювального навантаження. Очевидно, важливо правильно вибрати ознаки, на основі яких будуть відбуватися процедури класифікації: вибір найбільш ефективного набору ознак має бути основним аспектом при розробці методу. Використання алгоритмів вибору ознак, які правильно виявляють корельовані ознаки та підмножини ознак, покращує точність розпізнавання, але зазвичай для цього потрібні великі навчальні набори, щоб можна було знайти найбільш значущу підмножину ознак^[27].
• Рівень рішення — рівень рішення (або пізне) злиття — це процедура вибору гіпотези з набору гіпотез, породжених окремими (зазвичай слабшими) рішеннями кількох вузлів^[30]. Це найвищий рівень абстракції, він використовує інформацію, яка вже була опрацьована шляхом попередньої обробки даних або ознак. Основна мета об'єднання рішень полягає у використанні класифікатора метарівневого рівня, тоді як дані з вузлів попередньо обробляються з метою отримання з них ознак^[31]. Зазвичай об'єднання датчиків рівня рішення використовується для класифікації та розпізнавання активності, і два найпоширеніших підходи — це голосування більшістю та наївний Байєс.  Переваги, що випливають із злиття рівня рішень, включають пропускну здатність зв'язку та покращену точність прийняття рішень. Це також дозволяє комбінувати гетерогенні датчики^[29].

Застосування

Одним із застосувань злиття датчиків є GPS/INS^[en], де дані системи глобального позиціонування та інерціальної навігаційної системи об'єднуються за допомогою різних методів, наприклад, розширеного фільтра Калмана. Це корисно, наприклад, для визначення положення літака за допомогою недорогих датчиків^[32]. Іншим прикладом є використання підходу об'єднання даних для визначення стану дорожнього руху (низький рух, затор, середній потік) із використанням зібраних акустичних даних, даних зображень і датчиків на узбіччі дороги^[33]. У сфері автономного водіння злиття датчиків використовується для об'єднання зайвої інформації від додаткових датчиків з метою отримання більш точного і надійного уявлення про навколишнє середовище^[34].

Хоча технічно сучасні методи на основі згорткових нейронних мереж не є спеціальним методом злиття датчиків, однак, вони можуть одночасно обробляти дуже багато каналів сенсорних даних (наприклад, гіперспектральне зображення з сотнями смуг^[35]) і об'єднувати відповідну інформацію для отримання результатів класифікації.

Див. також

• Алгоритм Брукса-Айенгара^[en]
• Дані (обчислювальна техніка)
• Добування даних
• Метод Фішера^[en] для поєднання незалежних тестів значущості
• Злиття зображень^[en]
• Мультисенсорне злиття^[en]
• Сенсорна гратка^[en]
• Transducer Markup Language^[en] (TML) — мова розмітки на основі XML, яка забезпечує злиття сенсорів.

Примітки

1. Elmenreich, W. (2002). Sensor Fusion in Time-Triggered Systems, PhD Thesis (PDF). Vienna, Austria: Vienna University of Technology. с. 173. Архів оригіналу (PDF) за 12 квітня 2022. Процитовано 11 квітня 2022.
2. Haghighat, Mohammad Bagher Akbari; Aghagolzadeh, Ali; Seyedarabi, Hadi (2011). Multi-focus image fusion for visual sensor networks in DCT domain. Computers & Electrical Engineering. 37 (5): 789—797. doi:10.1016/j.compeleceng.2011.04.016.
3. Li, Wangyan; Wang, Zidong; Wei, Guoliang; Ma, Lifeng; Hu, Jun; Ding, Derui (2015). A Survey on Multisensor Fusion and Consensus Filtering for Sensor Networks. Discrete Dynamics in Nature and Society (англ.). 2015: 1—12. doi:10.1155/2015/683701. ISSN 1026-0226.
4. Badeli, Vahid; Ranftl, Sascha; Melito, Gian Marco; Reinbacher-Köstinger, Alice; Von Der Linden, Wolfgang; Ellermann, Katrin; Biro, Oszkar (1 січня 2021). Bayesian inference of multi-sensors impedance cardiography for detection of aortic dissection. COMPEL - The international journal for computation and mathematics in electrical and electronic engineering. ahead-of-print (ahead-of-print). doi:10.1108/COMPEL-03-2021-0072. ISSN 0332-1649.
5. Ranftl, Sascha; Melito, Gian Marco; Badeli, Vahid; Reinbacher-Köstinger, Alice; Ellermann, Katrin; von der Linden, Wolfgang (31 грудня 2019). Bayesian Uncertainty Quantification with Multi-Fidelity Data and Gaussian Processes for Impedance Cardiography of Aortic Dissection. Entropy. 22 (1): 58. doi:10.3390/e22010058. ISSN 1099-4300.
6. Maybeck, S. (1982). Stochastic Models, Estimating, and Control. River Edge, NJ: Academic Press.
7. N. Xiong; P. Svensson (2002). Multi-sensor management for information fusion: issues and approaches. Information Fusion. с. 3(2):163–186. Архів оригіналу за 7 жовтня 2008. Процитовано 11 квітня 2022.
8. Durrant-Whyte, Hugh F. (2016). Sensor Models and Multisensor Integration. The International Journal of Robotics Research. 7 (6): 97—113. doi:10.1177/027836498800700608. ISSN 0278-3649.
9. Galar, Diego; Kumar, Uday (2017). eMaintenance: Essential Electronic Tools for Efficiency. Academic Press. с. 26. ISBN 9780128111543.
10. Li, Wenfeng; Bao, Junrong; Fu, Xiuwen; Fortino, Giancarlo; Galzarano, Stefano (2012). Human Postures Recognition Based on D-S Evidence Theory and Multi-sensor Data Fusion. 2012 12th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (ccgrid 2012). с. 912—917. doi:10.1109/CCGrid.2012.144. ISBN 978-1-4673-1395-7.
11. Fortino, Giancarlo; Gravina, Raffaele (2015). Fall-MobileGuard: a Smart Real-Time Fall Detection System. Proceedings of the 10th EAI International Conference on Body Area Networks. doi:10.4108/eai.28-9-2015.2261462. ISBN 978-1-63190-084-6.
12. Tao, Shuai; Zhang, Xiaowei; Cai, Huaying; Lv, Zeping; Hu, Caiyou; Xie, Haiqun (2018). Gait based biometric personal authentication by using MEMS inertial sensors. Journal of Ambient Intelligence and Humanized Computing. 9 (5): 1705—1712. doi:10.1007/s12652-018-0880-6. ISSN 1868-5137.
13. Dehzangi, Omid; Taherisadr, Mojtaba; ChangalVala, Raghvendar (2017). IMU-Based Gait Recognition Using Convolutional Neural Networks and Multi-Sensor Fusion. Sensors. 17 (12): 2735. Bibcode:2017Senso..17.2735D. doi:10.3390/s17122735. ISSN 1424-8220. PMC 5750784. PMID 29186887.
14. Guenterberg, E.; Yang, A.Y.; Ghasemzadeh, H.; Jafari, R.; Bajcsy, R.; Sastry, S.S. (2009). A Method for Extracting Temporal Parameters Based on Hidden Markov Models in Body Sensor Networks With Inertial Sensors (PDF). IEEE Transactions on Information Technology in Biomedicine. 13 (6): 1019—1030. doi:10.1109/TITB.2009.2028421. ISSN 1089-7771. PMID 19726268. Архів оригіналу (PDF) за 30 квітня 2016. Процитовано 11 квітня 2022.
15. Parisi, Federico; Ferrari, Gianluigi; Giuberti, Matteo; Contin, Laura; Cimolin, Veronica; Azzaro, Corrado; Albani, Giovanni; Mauro, Alessandro (2016). Inertial BSN-Based Characterization and Automatic UPDRS Evaluation of the Gait Task of Parkinsonians. IEEE Transactions on Affective Computing. 7 (3): 258—271. doi:10.1109/TAFFC.2016.2549533. ISSN 1949-3045.
16. Gao, Lei; Bourke, A.K.; Nelson, John (2014). Evaluation of accelerometer based multi-sensor versus single-sensor activity recognition systems. Medical Engineering & Physics. 36 (6): 779—785. doi:10.1016/j.medengphy.2014.02.012. ISSN 1350-4533. PMID 24636448.
17. Xu, James Y.; Wang, Yan; Barrett, Mick; Dobkin, Bruce; Pottie, Greg J.; Kaiser, William J. (2016). Personalized Multilayer Daily Life Profiling Through Context Enabled Activity Classification and Motion Reconstruction: An Integrated System Approach. IEEE Journal of Biomedical and Health Informatics. 20 (1): 177—188. doi:10.1109/JBHI.2014.2385694. ISSN 2168-2194. PMID 25546868.
18. Chia Bejarano, Noelia; Ambrosini, Emilia; Pedrocchi, Alessandra; Ferrigno, Giancarlo; Monticone, Marco; Ferrante, Simona (2015). A Novel Adaptive, Real-Time Algorithm to Detect Gait Events From Wearable Sensors. IEEE Transactions on Neural Systems and Rehabilitation Engineering. 23 (3): 413—422. doi:10.1109/TNSRE.2014.2337914. ISSN 1534-4320. PMID 25069118.
19. Wang, Zhelong; Qiu, Sen; Cao, Zhongkai; Jiang, Ming (2013). Quantitative assessment of dual gait analysis based on inertial sensors with body sensor network. Sensor Review. 33 (1): 48—56. doi:10.1108/02602281311294342. ISSN 0260-2288.
20. Kong, Weisheng; Wanning, Lauren; Sessa, Salvatore; Zecca, Massimiliano; Magistro, Daniele; Takeuchi, Hikaru; Kawashima, Ryuta; Takanishi, Atsuo (2017). Step Sequence and Direction Detection of Four Square Step Test (PDF). IEEE Robotics and Automation Letters. 2 (4): 2194—2200. doi:10.1109/LRA.2017.2723929. ISSN 2377-3766. Архів оригіналу (PDF) за 12 квітня 2022. Процитовано 11 квітня 2022.
21. Rethinking JDL Data Fusion Levels (PDF). Архів оригіналу (PDF) за 7 січня 2007. Процитовано 19 червня 2022.
22. Blasch, E., Plano, S. (2003) «Level 5: User Refinement to aid the Fusion Process», Proceedings of the SPIE, Vol. 5099.
23. J. Llinas; C. Bowman; G. Rogova; A. Steinberg; E. Waltz; F. White (2004). Revisiting the JDL data fusion model II. International Conference on Information Fusion. CiteSeerX 10.1.1.58.2996.
24. Blasch, E. (2006) «Sensor, user, mission (SUM) resource management and their interaction with level 2/3 fusion^{[недоступне посилання з 01.05.2018]}» International Conference on Information Fusion.
25. Harnessing the full power of sensor fusion -. Архів оригіналу за 26 вересня 2020. Процитовано 11 квітня 2022.
26. Blasch, E., Steinberg, A., Das, S., Llinas, J., Chong, C.-Y., Kessler, O., Waltz, E., White, F. (2013) "Revisiting the JDL model for information Exploitation, " International Conference on Information Fusion.
27. Gravina, Raffaele; Alinia, Parastoo; Ghasemzadeh, Hassan; Fortino, Giancarlo (2017). Multi-sensor fusion in body sensor networks: State-of-the-art and research challenges. Information Fusion. 35: 68—80. doi:10.1016/j.inffus.2016.09.005. ISSN 1566-2535.
28. Gao, Teng; Song, Jin-Yan; Zou, Ji-Yan; Ding, Jin-Hua; Wang, De-Quan; Jin, Ren-Cheng (2015). An overview of performance trade-off mechanisms in routing protocol for green wireless sensor networks. Wireless Networks. 22 (1): 135—157. doi:10.1007/s11276-015-0960-x. ISSN 1022-0038.
29. Chen, Chen; Jafari, Roozbeh; Kehtarnavaz, Nasser (2015). A survey of depth and inertial sensor fusion for human action recognition. Multimedia Tools and Applications. 76 (3): 4405—4425. doi:10.1007/s11042-015-3177-1. ISSN 1380-7501.
30. Banovic, Nikola; Buzali, Tofi; Chevalier, Fanny; Mankoff, Jennifer; Dey, Anind K. (2016). Modeling and Understanding Human Routine Behavior. Proceedings of the 2016 CHI Conference on Human Factors in Computing Systems - CHI '16. с. 248—260. doi:10.1145/2858036.2858557. ISBN 9781450333627.
31. Maria, Aileni Raluca; Sever, Pasca; Carlos, Valderrama (2015). Biomedical sensors data fusion algorithm for enhancing the efficiency of fault-tolerant systems in case of wearable electronics device. 2015 Conference Grid, Cloud & High Performance Computing in Science (ROLCG). с. 1—4. doi:10.1109/ROLCG.2015.7367228. ISBN 978-6-0673-7040-9.
32. Gross, Jason; Yu Gu; Matthew Rhudy; Srikanth Gururajan; Marcello Napolitano (July 2012). Flight Test Evaluation of Sensor Fusion Algorithms for Attitude Estimation. IEEE Transactions on Aerospace and Electronic Systems. 48 (3): 2128—2139. Bibcode:2012ITAES..48.2128G. doi:10.1109/TAES.2012.6237583.
33. Joshi, V., Rajamani, N., Takayuki, K., Prathapaneni, N., Subramaniam, L. V. (2013). Information Fusion Based Learning for Frugal Traffic State Sensing. Proceedings of the Twenty-Third International Joint Conference on Artificial Intelligence.
34. Mircea Paul, Muresan; Ion, Giosan; Sergiu, Nedevschi (18 лютого 2020). Stabilization and Validation of 3D Object Position Using Multimodal Sensor Fusion and Semantic Segmentation. Sensors. 20 (4): 1110. Bibcode:2020Senso..20.1110M. doi:10.3390/s20041110. PMC 7070899. PMID 32085608.
35. Ran, Lingyan; Zhang, Yanning; Wei, Wei; Zhang, Qilin (23 жовтня 2017). A Hyperspectral Image Classification Framework with Spatial Pixel Pair Features. Sensors. 17 (10): 2421. Bibcode:2017Senso..17.2421R. doi:10.3390/s17102421. PMC 5677443. PMID 29065535.

Посилання

• Дискримінантний кореляційний аналіз (DCA) [Архівовано 11 червня 2018 у Wayback Machine.]^[1]
• Міжнародне товариство інформаційного злиття [Архівовано 2 квітня 2022 у Wayback Machine.]

1. Haghighat, Mohammad; Abdel-Mottaleb, Mohamed; Alhalabi, Wadee (2016). Discriminant Correlation Analysis: Real-Time Feature Level Fusion for Multimodal Biometric Recognition. IEEE Transactions on Information Forensics and Security. 11 (9): 1984—1996. doi:10.1109/TIFS.2016.2569061. Архів оригіналу за 10 квітня 2022. Процитовано 11 квітня 2022.