23년 5월 31일 수요일 온전히 집중하기

어제 하루에 온전히 집중했더니 확실히 마음이 채워지는 기분이 든다.

 

자 그럼 오늘은!

 

1. recommender system class

2. computer vision: multimodal 2, generative models 1, generative models2

3. cikm 2023, experiments, related works

4. 피부관련 영상 1개 시청 (세안법)

5. 10분 가슴운동

 

1. 추천시스템 수업

번개장터에 계시는 박사분이 와서 실전적인 추천시스템에 대해서 설명해주었다. 하지만 솔직히 말해서 와닿지는 않았다. ㅎㅎ

 

2. 멀티모달2

멀티모달2, 여기서는 텍스트와 비디오의 관계를 살펴봤는데 결국 둘이 합치는 것도 트랜스포머를 기반으로 했다. 아무래도 contextualized를 한다는 게 큰 장점으로 발휘하는 것 같다. 처음에 videoBERT를 설명해주는데 bert에서 mlm으로 학습하는 것처럼 비디오도 mfm을 사용했다. 단지 다른 점은 이 frame마다 label을 정하는 게 어려워서 그걸 어떻게 하면 좋을지 생각하는데 이전에는 detection을 통해서 그걸 정답으로 보고 했다면 여기서는 단순하게 cnn을 하면 아마도 매우 시간이 오래걸릴 것이고 regression은 overfit할 가능성이 높고 clustering을 했는데 이렇게 하면 end2end가 안되니깐 nce를 사용해서 마치 label을 아는 것처럼 학습시키도록 했다. 사람들이 참 똑똑한 것 같다. ㅋㅋ 하지만 결국에 구조는 동일하고 학습 방법이나 데이터가 달라진다는 점이 주목할만한 부분이다. 이보다 더 대단한 구조가 나올 수 있을까? 그 후에도 MLVC = VR + MLSV를 위한 방법들을 배웠다 여기서도 구조는 같았고 학습 방법만 좀 달라졌다. 오디오도 마찬가지고 결국에는 CLIP이라는 모델이 나왔는데 이거는 contrastive learning을 활용해서 학습했다고 한다. 근데 이미지와 텍스트를 잘 이해해서 zero-shot에도 성능이 매우 좋았다. 점점 데이터양과 모델의 크기 그리고 트랜스포머 구조가 매우 중요해보인다.

 

3. generative model1

 

 

어제는 사실 전 날 자는 중간에 깨서 그런지 너무 피곤해서 엄청 일찍 잤다 ㅎㅎ