ARK s Ray

https://www.alliedacademies.org/articles/investigation-of-a-waveletbased-neural-network-learning-algorithm-applied-to-p300-based-braincomputer-interface-7882.html

[서론]

1) 주제 소개

척추손상, 근위축성측경화증, 잠금 증후군 과 같은 운동장애와 신경근육장애가 있는 사람은 주변 세계와의 상호작용 능력이 제한된다
왜? 운동 신경 세포가 퇴화되어 근육 섬유에 자극을 줄 수 없다.

2) 문제 제기

이것(운동 신경 세포의 퇴화)은 근육 위축을 초래한다. 팔다리 얊아지고, 모든 자발적 움직임을 잃게 됨.

3) 최근의 연구 동향

BCI 발전으로 인해 운동 장애를 가진 사람들이 컴퓨터나 음성 합성기 같은 통신 시설을 개발하여 삶의 질을 향상 시키게 됨.

4) EEG에 대해서

EEG 수집 방법, 국제 10-20 시스템 등 소개

5) EEG 신호를 사용하는 방법들 소개

Common reference method, Average reference and Current source density (CSD)
Visual Evoked Potentials (VEPs), P300 elicitation, alpha and beta rhythm activity, slow cortical potentials (SCPs),  microelectrode cortical neuronal recordings

6) P300의 중요성

P300은 인간의 뇌파에서 긍정적 편향, 희귀하거나 놀라운 작업 자극이 일어난 후 300ms 후에 나타나는 뇌파 전위 특성

7) 연구 방법 정리

특징 선택 - 분류

8) 연구 목적

BCI Speller의 정확성을 향상시키는 알고리즘. (P300을 찾는것) 
- 고안된 특징 추출 방법과 Feed-forward 신경망 분류기를 데이터셋 2개에 활용
- 최근 분류 방법의 정확도 수준 비교

2. Materials and Method

2.1. Dataset1

2.1.1. Dataset and paradigm
Wadsworth Center에서 제공된 BCI Competition III Challenge 2004 Dataset II

2.1.2. Single trials extraction
데이터셋 공급자가 모든 실행 데이터를 하나의 세션으로 병합해서 제공했기 때문에 그것을 나누는 작업을 시행함

2.1.3. Filtering and decimation
노이즈 필터링

2.1.4. Feature extraction
특징 추출 방법 - DWT ( 이산 웨이블릿 변환 )

2.1.5. Normalization
정규화 - 최대, 최소 정규화

2.1.6. Channel selection
채널 선택 - 분류 성능을 잃지 않으면서 적은 전극 수로 진행 가능하도록
P300검출에 대한 2개의 이전 연구를 제시.

2.1.7. Classification (Neural network)
역전파 학습 알고리즘을 사용한 신경망 

2.2. Dataset 2

2.2.1. Data description
데이터 설명 (수집처, 샘플링방법, 피험자 수, 수집 방법 등)

2.2.2. Single trial extraction
각각의 실행마다를 분할.

2.2.3. Filtering
노이즈 필터링

2.2.4. Windsorizing
노이즈 필터링 (2) 

2.2.5. Normalization
정규화 - Z-score (평균, 표준편차) 정규화

2.2.6. Channel selection
4개의 전극 구성을 테스트
4, 8, 16, 32개의 전극 구성으로 테스트함.

2.2.7. Feature vector construction
전처리된 데이터를 전극 구성에 따라 행렬로 만듬.

2.2.8. Classification (Neural network classification)
역전파 알고리즘 사용한 신경망 사용.

3. 결과

결과를 나타낸 방법 - 

3.1. Dataset1의 연구 결과로 나타난 결과 정리
-  가장 높은 정확도를 제공하는 분류는 (64-electrodes, 30 hidden layers), (10- electrodes, 15 hidden layers), and (8-electrodes, 40 hidden layers)
- 64 electrode configuration and 30 hidden layers 를 사용한 것이 94.9 Acc

3.2. Dataset1의 연구 결과로 나타난 결과 정리
- 32 electrode configuration with 20 hidden layers 일때 95.8%
- 4개, 8개로 구성된 전극 구성에서 분류 정확도가 높아짐.
- 평균  sensitivity and specificity를 얻음. 
- 이전의 연구가 성능이 더 좋음.

3.3. 이전의 연구와 본 연구에서 시행한 데이터세트 2개에 대한 실험의 결과 비교표.

4. 결론

인공 신경망 분류기에 적절한 특징 추출과 채널 선택 방법을 결합하여 정확도를 향상할 수 있다. 

Abstract

본 연구에서는 뇌파(brainwave data) 2개의 채널의 EEG 데이터를 사용하여 으로 우울증을 예측하는 모델을 제안하였다.

2개의 채널에서 측정된 EEG 데이터는 STFT 변환하여 스펙트로그램 이미지화 되었고 이 이미지 데이터를 CNN 모델을 통해 학습하였다.

성능 평가 결과 75%의 정확도가 나타났다.

1. 연구 목적

기존의 우울증 식별 – 전문적인 다채널 EEG 장비필요

-> 개인이 측정한 데이터를 가지고 우울증을 예측할 수 있도록 적은 채널에서 측정된 EEG 데이터를 가지고 우울증을 예측하는 모델을 제안.

2. 연구 대상

Wajid Mumta-z 의 연구에서 측정한 뇌파 데이터

우울증 환자 34명, 대조군 30명

눈을 감은 상태, 눈을 뜬 상태, 시각 콘텐츠 진행상태

19개의 채널 (국제 10-20 시스템)

이 데이터셋에서 우울증 환자 30명, 대조군 30명만 사용

저채널 뇌파 측정 기기에서 주로 사용되는 2채널만 사용 (Fp1, Fp2)

깜빡임이나 외부 자극을 줄이기 위해 눈을 감은 데이터셋

3. 방법론

1) STFT(Short-Time Fourier Transform) 

기존 FFT

시간의 흐름에 따라 주파수의 변화가 있을 시, 어느 시간대에 주파수가 어떻게 변화되었는지 파악하기 힘듬

STFT

시간에 따라 변화하는 주파수 변화도 보고 싶다!

Þ시간 단위로 잘개 쪼개, 각각에 푸리에 변환

(윈도우 길이가 2초, 홉 크기가 0.5초, FFT 포인트 번호가 16초, 샘플링 주파수가 256Hz/s, 오버랩이 50%)

2) 스펙트로그램

3) 트레인, 테스트 셋 생성

2개의 채널 스펙트로그램을 결합 – 하나의 이미지로

Train set : 우울증 20개 / 대조군 20개

Test set : 우울증 7개 / 대조군 7개

3. 딥러닝 모델

CNN 모델 사용

3단 컨버전트 레이어 (ReLU 활성화 함수)

출력 : 3X3 Max_pooling, Softmax 활성화 함수

CNN에 사용될 이미지는 오리지날 이미지의 1/100

4. 결과

5. 결론

적은 수의 채널 데이터로 우울증을  판별하기 위한 모델로 이미지형 뇌파 딥러닝 모델을 제안하였으며, 이 모델의 정확도는 75%에 달했다.

딥러닝 수행에 있어 데이터 양 한계가 있어 향후 연구에서 보완해야 함.

6. Motivation

2개의 채널을 스펙트로그램 – 이미지 딥러닝

=> 여러 방식의 스펙트로그램(Mel, cqt 등)

적은 채널로도 우울증 예측 가능성

Val_loss 가 0.3 정도 됨. RUC 커브로 성능평가 해본다면.

데이터 양이 적은 것이 한계 : 폭발적으로 데이터 양을 늘릴 수 있다면? 

1. 데이터셋

Wajid Mumtaz의 데이터셋

2. 방법론

1) 전처리
 (1) 뇌파 노이즈 감소
이전 연구와 같이, 0.5~32Hz 사이의 신호에서 분석이 수행될 수 있도록 고역 필터 및 저역 필터로 필터링 되었다. 근육 움직임이나 전력 노이즈 신호는 32Hz를 초과하기 때문에 이 프로세스에서 제거된다. 눈 깜빡임, 안구 운동과 같은 잡음은 ICA(Independent Component Analysis)를 사용하여 제거하였다.

2) 특징 추출
 - Band Power
델타 (0.5–4Hz), 세타 (4–8Hz), 알파 (8–13Hz) 및 베타 (13–30Hz)의 네 가지 주파수 대역이 EEG에서 추출된다. welch periodogram(웰치 주기도) 를 사용하여 EEG 신호의 전력 스펙트럼을 계산한다. 
추가로 알파 대역을 알파1(8~10.5), 알파2(10.5~13)으로 나누었다.

 -반구간 세타 비대칭
왼쪽 전극의 로그 세타 전력과 오른쪽 전력의 로그 세타 전력 차이의 평균으로 계산하였다.
F4-F3, Fp2-Fp1, F8-F7, T4-T3, T6-T5, C4-C3, O2-O1, P4-P3 8개의 Feature이 생성되었다.

3) Feature Matrix
n-행은 n개의 EEG 데이터, 열은 EEG 데이터로부터 추출된 m개의 Feature이다. 
Feature Matrix는 60 * 103으로 구성되었다. 60은 실험군30 + 대조군30, 103은 총 피쳐 수(19*5 + 8)
19는 채널 수, 5는 대역 전력(델타, 세타, 알파1, 알파2, 베타)

여기서 2가지 유형의 Feature Matrix를 사용한다.
(i) 각 대역 전력에 대한 기능 세트 (60 , 19) * 5
(ii) 알파 + 세타 비대칭, 알파1 + 페어링 의 조합을 위한 60*27 

4) Feature 축소와 Feature 선택
전 연구에서는 Feature 축소 방법인 PCA를 적용하였지만, 이번 연구에서는 필터 기반 방법 Feature 선택인 MCFS(다중 클러스터 기능 선택)을 사용하였다.


5) 분류기 모델
 (1) 로지스틱 회귀
 (2) SVM
 (3) NB
 (4) DT

4) 검증
분류기는 10배 교차 검증을 100회 반복하여 실행하였다. 혼동 행렬을 기반으로 정확도, 민감도, 특이도가 계산된다.

3. 결과

1) 통계 분석 (세타 비대칭)
정상 피험자의 좌반구와 우반구의 세타 비대칭의 유의한 차이가 있지만, 우울증 환자는 큰 차이가 없다.

2) 대역 전력 기반
알파 전력 기반 SVM에서 84.50의 분류 정확도

3) 조합
알파2 파워와 세타 비대칭의 조합 - SVM에서 88.33의 분류 정확도

1. 데이터셋

Wajid Mumtaz의 데이터셋

2. 방법론

본 연구는 기본적으로 사용되는 Feature set에 따라 세 부분으로 나뉜다. 
8개의 선형 feature(4-band 채널과 반구형 비대칭 4채널), 
2개의 비선형 feature(RWE, WE), 
6개의 선형 + 비선형 세트 조합

1) 전처리
 (1) 뇌파 노이즈 감소
0.5~32Hz 사이의 신호에서 분석이 수행될 수 있도록 고역 필터 및 저역 필터로 필터링 되었다. 근육 움직임이나 전력 노이즈 신호는 32Hz를 초과하기 때문에 이 프로세스에서 제거된다. 눈 깜빡임, 안구 운동과 같은 잡음은 ICA(Independent Component Analysis)를 사용하여 제거하였다.

 (2) 특징 추출
 - Band Power
델타 (0.5–4Hz), 세타 (4–8Hz), 알파 (8–13Hz) 및 베타 (13–30Hz)의 네 가지 주파수 대역이 EEG에서 추출된다. welch periodogram(웰치 주기도) 를 사용하여 EEG 신호의 전력 스펙트럼을 계산한다. 이 방법은 신호가 50%씩 겹치는 작은 세그먼트로 나뉜다. 수정된 주기도의 평균을 취하여 각 대역의 신호 전력을 얻는다.

 -반구형 비대칭
뇌의 왼쪽 절반과 오른족 절반의 뇌파 신호 전략의 차이는 반구간 비대칭으로 나타난다. 

- 웨이블릿 변환
웨이블릿 변환은 저주파에서는 좋은 주파수 정보를 제공한다. 웨이블릿 전환을 사용하여 시간-주파수 신호를 얻는다. CWT는 중복성이 높고 계산 시간과 리소스가 크게 필요하기 때문에 이산 웨이블릿 변환(DWT)로 해결한다.

- 상대 웨이블릿 에너지
각 분해능 수준에서 웨이블릿 계수와 관련된 상대 에너지

- 웨이블릿 엔트로피
각 분해능 수준에 포함된 정보는 웨이블릿 엔트로피로 표현된다. 

2) Feature 축소
선형 Feature 분석을 위해서, 19개의 Feature(각 채널 위치) 에 대해 1개 Feature의 특징 세트가 사용되었다. 
비선형 분석에서 76개의 feature는 계산 비용과 효율성을 위해서 차원 축소 기능을 사용했다. 이에 PCA 를 사용하였다.

3) 분류기 모델
 (1) 다중 퍼셉트론 신경망 (MLPNN)
지도 학습을 사용하는 신경망 모델 유형이며 역전파로 훈련되는 Feed forward network. 1개의 입력 레이어, 1개의 출력 레이어 및 2개 이상의 은릭 레이어를 사용한다. 입력 레이어에는 linear 함수를 사용하였고, 출력 레이어와 은릭 레이어에는 sigmoid 와 같은 비선형 함수를 사용하였다.

 (2) RFBN
 (3) LDA
 (4) QDA

4) 검증
분류기는 10배 교차 검증을 100회 반복하여 실행하였다. 혼동 행렬을 기반으로 정확도, 민감도, 특이도가 계싼된다.

3. 결과
1) 밴드 파워
알파 전력이 MLPNN 에서 acc 91.67을 달성

2) 반구형 비대칭
알파 비대칭에 대한 QDA에서 73.33의 분류 정확도

3) 비선형 Feature
RWE : RBFN , WE : LDA에서 각각 90%의 분류 정확도

4) 조합
RWE와 알파 파워의 조합은 정확도: 93.33 민감도 : 94.44 특이도 87.78을 보여주었다. 

1. 데이터셋

(동일 저자의 연구와 동일)

2. 방법론

1) 전처리
 (1) 뇌파 노이즈 감소
이전 연구에서와 동일하게 눈 깜빡임, 근육 활동으로 인한 인공물에 의해 영향을 받는 것을 줄이기 위해 노이즈 감소 방법으로 MSEC를 사용하였다. MSEC는 전 연구와 동일하게 BESA 소프트웨어에서 구현되었다.

 (2) 딥러닝 계획 제안

본 연구에서는 1차원 컨볼루션 신경망(1d CNN) 모델과 1d CNN 모델과 LSTM 모델을 조합한 모델을 활용하였다. 

EEG 데이터는 1초의 윈도우 길이(256 samples)로 분할되었다. 각 EEG 세그먼트는 19개의 채널과 1초의 길이(256 샘플)을 가진다. 분류기의 관점에서, 입력 데이터 차원은 2개의 EEG 데이터 세트(EO, EC) 별로 256 * 19 이다. (256, 19)

1초로 나눈 이유 : 제안된 모델의 경험적 평가 (1초의 크기가 최상의 결과를 제공하였다)

- 모델1 - 1DCNN

- 모델2 - 1DCNN + LSTM

 (3) 딥러닝 아키텍쳐 훈련
Adam 최적화 함수를 사용하였고, binary cross-entropy 손실 함수를 사용하였고, 시그모이드 활성화 함수를 사용하였다.

 (4) 모델 검증
EEG 데이터세트의 20%를 사용하여 테스트 되었다. 추가 분석을 위해 10겹 교차검증을 사용하였다.

3. 결과

1DCNN 
EO 데이터에 대해서 19개 채널을 사용하였을 때 acc 98.32 precision = 99.78, recall = 98.34 및 f-score = 97.65의 성능을 달성함.

1DCNN + LSTM
19개 채널 사용 시, 정확도 = 95.97 %, 정밀도 = 99.23 %, 재현율 = 93.67 % 및 f-score = 95.14 

33명의 MDD 환자와 30명의 대조군의 데이터를 가지고 ML분류기를 학습시켜 우울증 여부를 판단하는 모델을 만들었다.
1) 19개의 채널은 델타, 세타, 알파, 베타 대역대로 나누어짐
2) EEG 알파 반구간 비대칭 변수
3) 뇌파 스펙트럼 파워
이렇게 만들어진 Feature들은 특징 선택 방법(AUC Rank)에 의해 5, 10, 15, 19개의 채널 집합으로 데이터 매트릭스가 구성되었다.
결과로 SVM 모델에서 반구형 알파 비대칭 19 feature을 사용하였을 때, 98.4의 정확도와 99.66의 민감도, 100%의 특이도가 나왔다.

1. 데이터셋

Hospital Universiti Sains Malaysia 에서 인간 윤리 위원회가 승인한 실험 설계에 따라 34명의 MDD, 30명의 정상 환자 수집
MDD 환자는 DSM-IV에 따라 우울증 진단 기준 충족된 환자, 약물 효과를 피하기 위해 2주간의 약물 세척 시간을 거침

2. 방법론

1) 전처리
 (1) EEG 데이터에서 노이즈 제거
EEG 데이터는 눈 깜박임, 움직임, 근육 활성화 (예. 심장박동) 등과 같은 상이한 유형의 잡음과 혼동 될 수 있다. 그래서 이 잡음을 제거하기 위해 BESA(standard Brain Electric Source Analysis)를 사용하여 잡음 제거를 수행하였다. 

 (2) 특징 추출
연구 대상당 EC, EO 데이터로부터 인공물이 포함되지 않은(artifact-free) EEG Epoch가 선택되었다. 그리고 후보 특성으로 다른 주파수 대역에서의 전력 계산값과 EEG 알파 비대칭을 선정하여 데이터 매트릭스를 형성하였다.

 - 뇌파 알파 반구간(interhemispheric) 비대칭
좌반구와 우반구 사이의 EEG 신호 전력의 차이는 반구간 비대칭의 계산으로 나타내어질 수 있다. 
EEG 알파 반구간 비대칭은 전두엽 (Fp1, Fp2, F3, F4, F7, F8, Fpz), 측두엽 (T3, T4, T5, T6), 두정엽 (P3, P4, P7, P8), 후두엽 (O1, O2), 중추(C3, C4)를 포함하는 각 채널 쌍에 대해 계산되었다. 예를 들어, Fp1은 Fp1-Fp2; p1-F4; Fp1-F8; Fp1-T4; Fp1-T6; Fp1-P4; Fp1-P8; Fp1-O2; Fp1-C4 와 같이 진행되었다. 이렇게 알파 반구간 비대칭은 뇌 영역별로(전두엽, 후두엽 등) 평균화 된다.

 - 뇌파 스펙트럼 파워
이 연구에서는 the Welch periodogram method를 사용하여 뇌파 신호 전력을 계산하였다. 
특이치를 제거하기 위해 z-score에 의거한 data standardization을 진행하였다. 

 (3) Feature 선택
이렇게 만들어진 데이터 매트릭스는 고차원의 데이터 셋이기 때문에 ML에 적용하기 위해서는 특징 선택이 필요하다. 
특징들은 ROC에 따라 순위가 매겨졌다.(각 피쳐별로 랜덤 분류기 -> ROC 커브 이렇게 얻은 AUC 값에 따라 순위를 매겼다.) 그렇게 해서 상위 5, 10, 15, 19개의 피쳐 집합(채널 집합)을 생성하였다.

 (4) 머신러닝 모델 선택
감소된 특징 세트 = 독립변수 = X = Feature
MDD 환자 / 대조군 = 종속변수

 - 로지스틱 회귀 모델
 - SVM 분류기
 - NB 분류기

 (4) 검증
데이터 매트릭스는 10배 교차 검증에 따라 훈련, 테스트 셋으로 나뉘었다. 그리고 테스트 결과의 유효성을 검증하기 위해서 10배 교차 검증을 100회 반복하였다.
혼동 행렬에 의거하여, Accracy, Sensitivity, Specificity의 평가 기준을 사용하였다.

3. 결과

 1) 뇌파 신호 전력

 2) 뇌파 알파 반구간 비대칭
MDD 환자 : 왼쪽 > 오른쪽 (전두엽), 오른쪽 > 왼쪽 (그 외)
대조군 : 왼쪽 < 오른쪽 (전두엽), 오른쪽 < 왼쪽 (그 외)

 3) 머신러닝 분류기
 (1) 로지스틱 회귀
 - 10개의 Feature만 사용한 반구형 알파 비대칭 방법이 97.6% 정확도, 96.66% 민감도, 특이도  = 98.5 %)를 달성하였다. 모든 주파수를 사용한 웨이블릿 계수는 최저 성능을 달성하였다. (86.4)
 (2) NB 분류모델
- 5개의 특성을 사용한 반구형 알파 비대칭 방법이 96.8
- 세타 파워를 사용한 분류는 낮은 성능
 (3) SVM
반구형 알파 비대칭
- 19개의 Feature를 사용한 반구형 알파 비대칭 방법이 98.4

4. 생각해볼 점

알파 반구간 비대칭은 실제적으로 어떻게 계산되는가? 

잡음 제거의 필요성

머신러닝 모델로도 아주 좋은 성능

1. Wajid Mumtaz의 Dataset을 사용한 논문

Electroencephalogram (EEG)-based computer-aided technique to diagnose major depressive disorder (MDD)

A deep learning framework for automatic diagnosis of unipolar depression

Imagery Signal-based Deep Learning Method for Prescreening Major Depressive Disorder

Classification of Depression Patients and Normal Subjects Based on Electroencephalogram (EEG) Signal Using Alpha Power and Theta Asymmetry

Detection of major depressive disorder using linear and non-linear features from EEG signals

2. 타 데이터셋으로 진행된 연구

Automated EEG-based screening of depression using deep convolutional neural network

Depression Detection Using Relative EEG Power Induced by Emotionally Positive Images and a Conformal Kernel Support Vector Machine

1. What is the HTTPs compared to HTTP ?

https is a http + Secure Socket and performs a http connection using a secure socket. This means that the contents of all communication are encrypted and transmitted. In this case, public keys are used during this time. These public keys are two pairs, one for encryption in the transmission process and the other for decoding in the reception process.

2. What is the approach (technique) of filtering those web-sites even for the HTTPs ?

• IP Block

  It is a way to block the IP of the Web server itself. The method is used by the South Korean government to prevent access to the North Korea's servers.

• DNS Blocking

  Tell the ISP the domain name and IP address of the site to block. If the request that a user attempts to access from the ISP matches the government's blocking, send warning.co.kr instead of the site's IP address.

3. propose your idea to access to those web-site avoiding government monitoring

• Using VPN

  You can use a virtual private network (VPN) to bypass it.

• Use of overseas DNS servers

  If you use overseas DNS servers such as Google's DNS server (8.8.8.8), you can bypass DNS blocking.

• Remote access to abroad PCs

  After accessing a PC that is using an overseas Internet, the remote screen is transmitted and used in the same way as the RDP. Using clouds such as AWS and GCP makes it easy to obtain virtual machines that use the Internet environment abroad.