23.10.19 목

0. 전날 일찍 잠 O
1. 아침에 물 한잔 O & 아침에 폰 안봄 O & 아침명상 5분 O

2. 연구실: 논문 리뷰

- abstract, introduction, conclusion O

- methods O

- experiments O
3. 연구: flare experiments O
4. 운동: 가슴 & 하체 O
5. 기업과제: llama finetuning 실험 X 

6. 휴식: 공연 춤 연습 or Wave 연습 O
 

 

- catastrophic forgetting이 training process를 분석해서 알아낸 interleaved representation과 관련되어있어서 이를 분석한 논문이군.

• interleaved representation: encoder로부터 나온 다양한 task, categories는 서로 다른 representation을 말한다. 학습의 목적은 이러한 distinct representation을 만들기 위함이다. decoder에서는 similar representation을 different output으로 만들 수 없기때문에 잘 만들어줘야한다.
• task representation converge phenomenon: 특정 category의 expected represetations가 weights의 각 componenet로 converge한다.
• forward-interleaved memory encoding -> 읽어보는 중

- memory trace가 중요하고 input이 달라지면 memory trace가 달라져서 interleaved representation을 만든다는 건데 잘 이해가 안간다. 왜 loss는 무시하고 trace만 gradient에 영향을 미칠까, 다시 읽어봐야겠다...

 

- flare는 엄청 간단하지만 좋은 논문이였다. future answer를 generate해서 low confidence token을 대상으로 explicit query formulation을 통해 부족한 부분을 채우고 다시 generate하는 방법은 꽤나 괜찮지만 open-ended answer나 여러 aspect에서 대답해야하는 dataset에서는 좋은 성능을 보이지 못했다. 이런 경우는 여러 answer를 만들고 keyword에 따라 분류해서 대답하면 좋을 것 같은데 cost가 많이들 것 같다. 이런 cost에 대해서는 분석하지 않나? 성능만 좋으면 되나보네. 한번 이 논문을 좀 파봐야겠다.

내일?
flare 논문코드 보기 보고 이게 현실적으로 코드돌릴수있는지 판단하기

염증주사

주말에도 두레미담하나?

 

주말?

청각 수업 복습 및 과제 -> 월요일

청각 연구 주제 생각 -> 수요일

논문을 쓰는 방법에 대한 역방향 분석, 왜 중요한지가 중요

춤 연습

11월 6일 도약계좌 신청!!!!

 

월요일?

주사맞기 4시