적대적 기계 학습

적대적 기계 학습(Adversarial machine learning)은 기계 학습 알고리즘에 대한 공격과 그러한 공격에 대한 방어에 대한 연구이다.^[1] 2020년 5월의 설문조사에 따르면 실무자들은 산업용 애플리케이션에서 기계 학습 시스템을 더 잘 보호해야 할 필요성이 절실하다고 보고했다.^[2]

대부분의 기계 학습 기술은 교육 및 테스트 데이터가 동일한 통계 분포(IID)에서 생성된다는 가정 하에 특정 문제 세트에서 작동하도록 대부분 설계되었다. 그러나 이 가정은 사용자가 통계적 가정을 위반하는 조작된 데이터를 의도적으로 제공할 수 있는 실제 고부담 애플리케이션에서 위험할 정도로 위반되는 경우가 많다.

적대적 기계 학습에서 가장 일반적인 공격에는 회피 공격^[3], 데이터 중독 공격^[4], 비잔틴 공격^[5] 및 모델 추출이 포함된다.^[6]

같이 보기

각주

↑ Kianpour, Mazaher; Wen, Shao-Fang (2020). 〈Timing Attacks on Machine Learning: State of the Art〉. 《Intelligent Systems and Applications》. Advances in Intelligent Systems and Computing (영어) 1037. 111–125쪽. doi:10.1007/978-3-030-29516-5_10. ISBN 978-3-030-29515-8. S2CID 201705926.
↑ Siva Kumar, Ram Shankar; Nyström, Magnus; Lambert, John; Marshall, Andrew; Goertzel, Mario; Comissoneru, Andi; Swann, Matt; Xia, Sharon (May 2020). 〈Adversarial Machine Learning-Industry Perspectives〉. 《2020 IEEE Security and Privacy Workshops (SPW)》. 69–75쪽. doi:10.1109/SPW50608.2020.00028. ISBN 978-1-7281-9346-5. S2CID 229357721.
↑ Goodfellow, Ian; McDaniel, Patrick; Papernot, Nicolas (2018년 6월 25일). “Making machine learning robust against adversarial inputs”. 《Communications of the ACM》 (영어) 61 (7): 56–66. doi:10.1145/3134599. ISSN 0001-0782. 2023년 10월 28일에 원본 문서에서 보존된 문서. 2024년 4월 14일에 확인함.
↑ Geiping, Jonas; Fowl, Liam H.; Huang, W. Ronny; Czaja, Wojciech; Taylor, Gavin; Moeller, Michael; Goldstein, Tom (2020년 9월 28일). 《Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching》. International Conference on Learning Representations 2021 (Poster) (영어).
↑ El-Mhamdi, El Mahdi; Farhadkhani, Sadegh; Guerraoui, Rachid; Guirguis, Arsany; Hoang, Lê-Nguyên; Rouault, Sébastien (2021년 12월 6일). “Collaborative Learning in the Jungle (Decentralized, Byzantine, Heterogeneous, Asynchronous and Nonconvex Learning)”. 《Advances in Neural Information Processing Systems》 (영어) 34. arXiv:2008.00742.
↑ Tramèr, Florian; Zhang, Fan; Juels, Ari; Reiter, Michael K.; Ristenpart, Thomas (2016). 《Stealing Machine Learning Models via Prediction {APIs}》. 25th USENIX Security Symposium (영어). 601–618쪽. ISBN 978-1-931971-32-4.

외부 링크

MITRE ATLAS: Adversarial Threat Landscape for Artificial-Intelligence Systems
NIST 8269 Draft: A Taxonomy and Terminology of Adversarial Machine Learning
NIPS 2007 Workshop on Machine Learning in Adversarial Environments for Computer Security
AlfaSVMLib 보관됨 2020-09-24 - 웨이백 머신 – Adversarial Label Flip Attacks against Support Vector Machines
Laskov, Pavel; Lippmann, Richard (2010). “Machine learning in adversarial environments”. 《Machine Learning》 81 (2): 115–119. doi:10.1007/s10994-010-5207-6. S2CID 12567278.
Dagstuhl Perspectives Workshop on "Machine Learning Methods for Computer Security"
Workshop on Artificial Intelligence and Security, (AISec) Series

[1] Kianpour, Mazaher; Wen, Shao-Fang (2020). 〈Timing Attacks on Machine Learning: State of the Art〉. 《Intelligent Systems and Applications》. Advances in Intelligent Systems and Computing (영어) 1037. 111–125쪽. doi:10.1007/978-3-030-29516-5_10. ISBN 978-3-030-29515-8. S2CID 201705926.

[:1-2] Siva Kumar, Ram Shankar; Nyström, Magnus; Lambert, John; Marshall, Andrew; Goertzel, Mario; Comissoneru, Andi; Swann, Matt; Xia, Sharon (May 2020). 〈Adversarial Machine Learning-Industry Perspectives〉. 《2020 IEEE Security and Privacy Workshops (SPW)》. 69–75쪽. doi:10.1109/SPW50608.2020.00028. ISBN 978-1-7281-9346-5. S2CID 229357721.

[GoodfellowMcDaniel20182-3] Goodfellow, Ian; McDaniel, Patrick; Papernot, Nicolas (2018년 6월 25일). “Making machine learning robust against adversarial inputs”. 《Communications of the ACM》 (영어) 61 (7): 56–66. doi:10.1145/3134599. ISSN 0001-0782. 2023년 10월 28일에 원본 문서에서 보존된 문서. 2024년 4월 14일에 확인함.

[4] Geiping, Jonas; Fowl, Liam H.; Huang, W. Ronny; Czaja, Wojciech; Taylor, Gavin; Moeller, Michael; Goldstein, Tom (2020년 9월 28일). 《Witches' Brew: Industrial Scale Data Poisoning via Gradient Matching》. International Conference on Learning Representations 2021 (Poster) (영어).

[:13-5] El-Mhamdi, El Mahdi; Farhadkhani, Sadegh; Guerraoui, Rachid; Guirguis, Arsany; Hoang, Lê-Nguyên; Rouault, Sébastien (2021년 12월 6일). “Collaborative Learning in the Jungle (Decentralized, Byzantine, Heterogeneous, Asynchronous and Nonconvex Learning)”. 《Advances in Neural Information Processing Systems》 (영어) 34. arXiv:2008.00742.

[6] Tramèr, Florian; Zhang, Fan; Juels, Ari; Reiter, Michael K.; Ristenpart, Thomas (2016). 《Stealing Machine Learning Models via Prediction {APIs}》. 25th USENIX Security Symposium (영어). 601–618쪽. ISBN 978-1-931971-32-4.

[1]

[2]

[3]

[4]

[5]

[6]