23.07.11 화

1. 연구실 방문 O

2. 코딩테스트 공부 - 그래프 문제 풀이 -> 랩미팅 대체 O

3. 연구 - saliency 적용 O

4. 철봉 운동 20분 O

5. 대화법 공부 18시 ~ 22시 O

6. 율무팩 O

 

- 오늘 랩미팅에서는 personalized text to image diffusion model에 대해서 소개 받았다. stable difusion처럼

textual inversion에서 적은 Image로 finetuning하게 되면 catastropic forgetting 문제로 모델이 망가질 수 있다.

따라서 새로운 embedding S*에 여러 concept를 customizing해서 담는다면 성공할 수 있다. 

clip으로 embedding만들고 stable diffusion이나 imagen을 사용해서 이미지를 generate하고 dream booth로 finetuning한다.

[V]가 rare token으로 identifier 역할을 한다. 근데 아까는 S*만 늘어나니깐 가벼운데 이건 사람마다 n만큼 늘어나니깐 너무 Heavy process라서 practical하게 좋지는 않다.

 

controlNet

이렇게 자기가 원하는 걸 넣어주는 걸 conditioning이라고 한다. task에 맞는 condition을 준다는 뜻이다.

 

- rating에 따른 변화도 있을지 궁금해서 rating 1, 2, 3, 4, 5에 따라 데이터셋을 만들고 그에 따라 분석해보았다. 그니깐 지금 모델 학습됐고 분석하는 코드 완료됐고 데이터를 이리 저리 분해해서 분석을 진행해보고자 한다. 이건 내일~

 

- 밤에 오랜만에 철봉을 했다. 풀업하고 친업을 하는데 예전이랑 다르게 기량이 많이 떨어진 걸 체감했다. 그래도 확실히 운동하니 기분도 좋고 몸도 튼튼한 기분이 들어서 좋다. 앞으로도 꾸준히 운동해야지~

 

- 최근 1년 사이에 나는 누구인가 나는 무엇을 좋아하는가 나는 무엇을 싫어하는가 나에 대해서 하나 하나 알아보고 있다. 점점 나에 대해 잘 알게 돼서 좋다. 앞으로도 나에 대해서 더 잘 알고 세상을 잘 살아갈 것이다.