23.07.18 화

어제 피곤해서 일찍 자고 일어났다

1. 병원 - 사마귀 제거 O
2. 랩미팅 - 수치해석 복습 및 졸업자분 발표 O
3. 연구 - dataset 수집 및 genre 실험 V
4. 지하철 - 추천시스템 강의 O
  - memory based recommender system
  - matrix factorization
5. 운동 -> 스트레칭 및 명상 대체 O
6. 대화법 정리 -> 건강관련 영상 O

- 사마귀 제거하러 갔는데 여드름 씨앗인 면포 쥐젖하고 점도 제거해주셨다 피부가 박살난 상태다. 여자친구가 추천해줘서 왔냐고 물으셨지만 난 내가 박살내고 싶어서 왔다고 했다.

 

- diffusion에서 ODE를 풀 때 사용하는 수치미분과 수치적분에서 좀 더 정밀하게 하는 방법을 적용했더니 더 좋은 solver를 이용할 수 있었다고 한다. 구체적으로는 사다리꼴 적분을 하는데 더 큰 사다리꼴을 사용한다. 미분에서는 다음 텀과 이전 텀을 이용해서 미분했다고 한다. 이외에도 runge kutta method 등도 소개해줬는데 diffusion 쪽을 공부하지 않았다보니 이해하기 쉽지 않았다.

 

- 다음으로는 연구실에서 석사졸업하시고 nc soft와 kakao brain에서 근무하신 선배님이 오셔서 neuralps의 IGLU challege에 참여한 후기를 남겨주셨다. RL을 통해 학습할 때 많은 train sample이 필요하다고 하셨는데 이를 많이 발전한 nlp 모델을 통해서 기존의 지식을 사용한다면 사람처럼 적은 sample을 통해서도 학습할 수 있지 않을까란 아이디어로 시작하셨다고 한다. 이를 위해서 자연어를 이해하고 task 관련한 정보를 distill하는 방법을 사용하셨다. 언어모델을 사용하는 경우에는 RL을 이용해서 train하다보니 초반에 랜덤할 때 우연한 케이스를 찾을 때까지 오히려 모델을 망가지게 만들고 computation이 너무 많이 필요해서 freeze하고 학습시키셨다고 했다. 그리고 튜닝의 경우에도 그냥 언어 모델을 고정하고 학습시켰다고 하셨다. 마지막으로 representation을 만들 때 우리가 기대하는 것은 잘 표현하는 정보가 담기길 바라는데 그 중에서도 중요한 grid의 정보를 담을 수 있도록 하셨다고 했다. 정리해서 builder agent를 위해서 시나리오 natural language instruction과 feature map, hand-crafted feature를 담아서 transformer-XL에 넘겨주었다.

전공과 다르다보니 온전히 이해할 수는 없었지만 되게 동기부여가 많이 됐다. 요즘 공부에 헤이해진 경향이 있는데 나도 내 연구분야에 대해서 보다 명확하게 설명할 수 있도록 더 논문을 많이 읽어봐야겠다.

- 메모리 기반은 대놓고 유사도 구해서 추천하고 모델은 우리가 아는 것처럼 데이터로 모델을 학습시키는 방법이다. 메모리 기반이 구현도 쉽고 설명도 쉽지만 아이템이나 사용자를 즉시 반영해야해서 O(MN)을 가진다는 단점이 있다. 쉽구만
내일은 ALS부터 공부해보자. 이건 좀 짚고 넘어가야한다.

 

- 술 담배 운동 영양이 매우 중요하다. 술하고 담배는 원래 잘 하지 않는데 영양은 주의해야할 필요가 있어보였다. 특히 음료수를 많이 좋아하는데 설탕이 혈당을 빠르게 높이기 때문에 매우 안좋다고 한다. 이것 외에도 커피, 라면, 과자와 같은 가공식품을 먹는 건 좋지 않다고 했다. 지금은 20대라서 아주 건강하겠지만 미래 80년을 내다보고 이 건강한 몸을 유지하고 더 좋게 만들기 위해서 먹는 것도 조금 더 신경써야겠다. 운동도 매일 하는 게 정신 건강에도 좋으니 매일 신체활동을 해야지.

 

- 연구를 했어야 했는데 피부 치료를 받아서 거기에 온 에너지를 써서 그런지 밤이 되니깐 너무 피곤했다.