23.08.28 월

주말에는 눈때문에 아무것도 못했다. ㅎㅎ
 
1. 아침에 물 한잔 O
2. 건강: 토마토, 견과류, 영양제, 블루베리 -> 앞으로 요거트 안먹음 자꾸 여드름 남!! ㅠㅠ O
3. 연구: RepBERT model 구현 O
10분 휴식 및 스트레칭 (인공눈물 점안, 멀리보기, 스마트폰 사용 금지, 스트레칭, 수분크림) O
4. 연구: vision transformer 리뷰 X
10분 휴식 및 스트레칭 (인공눈물 점안, 멀리보기, 스마트폰 사용 금지, 스트레칭, 수분크림) O
6. 운동: 하체 O
10분 휴식 및 스트레칭 (인공눈물 점안, 멀리보기, 스마트폰 사용 금지, 스트레칭, 수분크림) O
7. 패션: 몸 치수 재기 X
8. 운동: 운동 루틴 세우기 -> 그냥 단백질을 몸무게 1.5g 먹고, 크로스핏을 꾸준히 다니기로 결정했다! O
9. 연구실: 회식 19시 O
10. 학교: 생명존중 강의 + 논자시 신청 O

연구노트
 
내일?
서버수리, 심리전화
연구노트, repbert
vision transformer review (목까지)
이소티논?

운동
마데카솔 상처 치료 구매
 
논자시 프린트하고 교수님께 도장 받기 + 최신인공지능 신청도 말씀드리기! (수)
피부, 옷
일정잡기
 
- 모델을 설계하다가 train pipeline -> gpu, Dataset, sampler, Dataloader, optimizer, model, train 과정을 공부하기 위해서 gpu, dataset, sampler, collate fn, dataloader 등에 대해서 공부를 했고, train의 일련의 과정을 공부하는데 dataset getitem, collate fn의 출력물만 알면 이 둘을 사용해서 모델을 설계할 수 있음을 알았다.
model.zero_grad -> epoch -> set_seed -> dataloader -> data(token), qid, pid -> data.to(device) -> model.train -> output = model(data) -> loss... 이렇게 공부하고 있었는데 여기서 model 설계를 들어갔다가 나와야겠다.
 
 
- 생명존중과 논자시 신청했고, hugging face의 아래의 것들이 어디서부터 온건지 왜 오피셜 홈페이지에 없는지 찾아보고 있음. 일단은 colbert도 이걸로 구현됐으니깐 이걸 좀 자세히 알아보고 구현해보자.

from transformers import BertPreTrainedModel, BertModel, BertTokenizerFast

 
- weight initialization, config, forward, bertmodel을 사용하기 위해서 사용하고 있었다. 그리고 bert에 통과되는 것은 input ids, mask, position, token type이 입력됐고, average를 하는데 valid mask를 썼다. 이유가 뭘까하고 찾아봤는데 input ids에서 padding된 부분은 0으로 되어있어서 의미가 없기 때문에 이 부분을 제외하고 text embedding을 만들기 위해서 썼다. 실제로 패딩이 있는 문장과 패딩이 없는 문장을 살펴보면 패딩이 있는 곳은 뒷부분의 embedding이 모두 같은데 패딩이 없는 문장은 token별로 달라진다. 
 
- avg구현하고 나머지 부분 구현하기, None을 이용해서 shape 맞추기. 다음에는 loss 함수부터 시작
 
- 턱에 자꾸 여드름 생기는 데 이유가 요거트인 것 같다. 유제품 안먹어야겠다. ㅡㅡ
 
- 연구실 회식했는데 새로운 신입이 들어왔다. 이번 신입도 역시 서울대생.. 나이도 어린데 이미 빅테크 기업에서 인턴하고 있고 월급을 참 많이 받고 있었다. 확실히 서울대생들이 다르긴 한 것 같다. 열심히 해야되는데.. 지친다~ ㅠ