anomaly detection을 공부하기 위해서 anomaly detection에는 어떠한 종류가 있는지 확인을 해 보았다. youtube에 Deep learning for Anomaly Detection: A Review 논문에 대한 영상이 있어서, back ground부분을 참고하여 작성하였다.
anomaly detection 개념
- data 중 정상과 불량을 구분하여 불량을 감지하고 식별하는 방법론
- 대다수의 데이터와 다른 특성을 가지는 데이터를 이상치라고 함
data label 유무에 따른 이상 탐지 방법론
1. 지도학습 방법론
- label을 가진 정상과 이상 데이터를 이용하여 classification 작업을 수행
- 정상과 이상의 데이터 imbalance 문제로 모델 성능 떨어짐
- label 된 이상 데이터를 수집하는 것이 현실적으로 어려움
2. 반지도 학습
- 정상 데이터만을 가지고 모델 학습하여 정상과 다른 패턴을 지닌 데이터를 이상으로 탐지하는 방법
- 학습된 boundary가 정상 데이터에 과적합 될 확률이 높음
- 가장 현실적인 모델
- one-class SVM, Deep SVDD 등이 있음
3. 비지도 학습
- 정상과 이상 모두 label 데이터가 없음
- 대부분의 데이터가 정상 sample이라는 가정을 통해 label 없이 학습
- PCA, Auto encoder 등이 있음
Deep learning 기반 이상 탐지
- 기존 고전적인 방법론에 비해 고차원 데이터와 복잡한 pattern에 대해 scale 할 수 있다.
- DL method는 anomaly detection 목적에 맞게 representation learning 가능
다음은 python outlier detection을 사용해서 outlier를 탐지한 결과이다. KNN, IOF, PCA, GMM, OCSVM 등등이 있으니 어떻게 나오는지 참고하면 좋을거 같다.
'내가 공부한 글' 카테고리의 다른 글
| PCA 주성분 분석 - anomaly detection (1) | 2024.10.07 |
|---|