23.10.22 월

1. 오전 6시 30분 기상 (no phone) -> 일정1에서 수면 기록하기 pass

2. 물 한잔 마시고, 20분 자연광보고 명상 pass

3. 운동: (오늘의 부위)  & 찬물샤워

(option. 차나 커피 조금 마시기)

4. 일정1 (60/10)

5. 일정2

6. 점심 식사 -> 10분 산책 -> 20분 명상 (주변 공원 벤치에서 진행)

7. 일정3

8. 일정4

9. 16시: 산책 20분

10. 일정5

11. 일정6

12. 21시: 자유 시간 (예능보기, 춤 연습 등)

13. 10시 10분부터는 전자기기 금지 -> 따듯한 샤워 후 책 읽기

 

어제는 일어나자마자 공연 리허설이 있어서 학교에 갔다. 가서 리허설 전에 여러번 복기를 했고 처음으로 서울대 학생분들 앞에서 리허설을 했다. 반응은 상상 이상으로 좋았고 호평만 들었다. 아직 리허설이라서 동선이 살짝 안맞았지만 동선만 맞춘다면 더 좋을 것 같다. 그래서 5시까지 춤을 추고 집에 가서 보쌈을 시켜먹고 배터지게 먹고 늦게 잤다.

 

루틴을 세우고 바로 시행했다. 명상을 하고 찬물샤워를 했는데 정신이 번쩍드는 기분이 들었고 동시에 머리가 복잡하지 않고 차분한 기분이 들었다. 그리고 산책도 바로 다녀왔는데 휴대폰을 보지 않아서 살짝 지루한 감이 있었지만 좋은 기분이 들었다. 눈에도 좋을 것 같다.

 

사실 청각수업과 과제를 했어야 했는데,, ㅠㅠ 오늘은 llama finetuning을 하려고 한다.

속도와 메모리를 향상 시키기 위해서 갖은 방법을 동원했으나 llama를 finetuning한다는 것은 실로 불가능에 가까웠다. 메모리가 48gb인데 가장 가벼운 모델만 해도 25gb가 사용되고 1 batch를 사용해서 forward하면 13gb가 추가된다. 여기에 backward를 하는 순간 메모리가 터진다. 단순한 테크닉으로는 메모리 문제를 절대 해결할 수 없음을 알게 됐다. 이런 LLM 모델의 문제때문에 PEFT가 흥행했던 거구나. 한번 쭉 정리해보고 싶다.

 

내일?

병원

llama finetuning

청각 수업 복습 및 과제

 

이번 주?

청각 연구 주제 생각 -> 화

리뷰 -> 화

논문을 쓰는 방법에 대한 역방향 분석, 왜 중요한지가 중요 -> 목

llama2 with rag, toolformer 읽기 -> 위의 것을 다 마치고 시작

 

미래?

11월 6일 도약계좌 신청!!!!