[EEG to Image 2차]

1. Pre-training on EEG data

2. Finetune the Stable Diffusion with Pretrained EEG Encoder

3. Generating Images with Trained Checkpoints

중에서 1.Pre-training on EEG data까지 실행하였다.

DreamDiffusion 2차시도

Copy of DreamDiffusion

 

 

1. Pre-training on EEG data

GPU 문제로 인해 비록 epoch 1으로 낮추고 batch 2 까지 낮춘 의미는 없는 정도의 학습량이지만 결과치를 뽑았다.

Epoch 1 Batch 2 Reconstruction 결과

 

2. Finetune the Stable Diffusion with Pretrained EEG Encoder

-현재 문제

잘 실행되다가 ^C가 떠서 중단되는 문제 발생. 

torch.load의 문제일 수도 있지만, 램 또는 GPU 문제, 시간 문제로 보인다.

 

3. Generating Images with Trained Checkpoints

-현재 문제

실행 시 https://github.com/bbaaii/DreamDiffusion/issues/28

FileNotFoundError: [Errno 2] No such file or directory: '/apdcephfs_cq2/share_1290939/kitbai/mind-vis/datasets/eeg_5_95_std.pth'

문제가 발생한다. 주어진 checkpoint로 실행해도 이러한 문제가 발생한 것으로 보아, 제작자가 매우 지저분하게 checkpoint를 저장한 것으로 보인다. 

 

일단 1차적인 EEG data context 학습하는 것까지 실행해보았다는 것에 의의를 두고 다음 것으로 넘어가겠다.