23.10.12 목

이틀 연속 일찍잤다 굿
아침에 폰 안봤다 굿
 
1. 아침에 물 한잔 O & 아침에 폰 안보기 O
2. 기업과제: pretrained bert Repbert 결과실험하기 O
2-1. 기업과제: finetuned repbert 실험하기 O
3. 기업과제: pretrained llama tokenizer 결과실험하기 (코드 정리하기) -> 이론 O
- decoder라서 좀 다른 것 같다. 그냥 내가 이론 공부하자
3. 랩미팅 O
4. 연구: atlas experiments 읽기 X
5. 약속: 18시 고려대 O
6. 휴식: 예능보기 O
7. 옷 구매 V
 
- 청각 수업은 ml1, ml2, ml3 pdf 복습, (수,목)
- proposal 고민 (중간고사 이후)
- 10월 16일 과제 (금, 주말)
- 최신 인공지능 (금요일 오전)
 
 
- llama는 decoder라서 encoder인 bert와 구조도 사뭇 다르고 special token도 다르다. 그래서 pad token이 없는데 batch 처리를 위해서 필요한 padding, truncate에 대해서 알았다. quantization도 필요함을 알았다.
- 내일은 오전에 llama2 코드 대락적으로 파악하고 코드 전부 수정해서 pretrained repllama를 돌려본다. pretrained bert보다는 높은 성능이 나오기를 기대.
- uplabeled zero shot classfication에 대한 내용을 들었다.

도약계좌
옷구매
동아리선배연락