23.10.16 월

일찍 자고 그러다가.. 목요일 저녁에 웹툰을 보게 돼서 밤을 샜다.. 그래서 금요일에 아침에 수업은 들었지만 누워있다가 너무 늦게 일어나서 거의 3시까지 누워있다가 운동이라도 해야겠다 싶어서 운동을 하러갔다. 운동하고 연구실 사람들이랑 밥먹고 죄책감이 느껴져서 10시까지 코딩하고 집갔다. 여기서도 바로 잤어야 했는데 역시 웹툰의 유혹에 끌려서 또 늦게 잤다.

 

다음 날 토요일에는 공연 연습이 있어서 학교에 가서 연습했고, 바로 집에 가려고 했는데 친구들이 모여서 잠깐 양꼬치를 같이 먹었다. 잠깐 만났는데 비싸게 먹어서 그런지 돈이 많이 나갔고 또 웹툰을 보느라 거의 새벽 6시에 잤다. 생각해보니 토요일에 완전 놀았군..

 

일요일에도 늦게 일어나서 바로 운동갔다가 뭐 좀 하려고 했는데 귀찮아서 동아리 일이랑 옷만 주문하고 바로 잤다.

이게 정신이 건강한 상태에서 쉬고 놀았으면 좋았을텐데 나는 잠을 못자서 그 불편한 상태에서 놀았다보니 뭔가 노는데도 개운하지가 않았다. 일찍 자고 일어나는게 정말 정말 중요하다.

 

오늘은 다시 일찍 일어났다.

 

1. 아침에 물 O & 폰 안보기 O

2. 코딩테스트 4

3. 연구: atlas, flare experiments 3

(option): 코딩 5

4. 수업: ml1, ml2, ml3 pdf 복습 1

5. 수업: 과제 O

6. 기타: 도약계좌, 에버랜드 6

7. 운동: 복근운동 O

8. 패션: 옷사기(카톡?) 8

9. 기업과제: repllama 확인 O

- 아 또 성능이 안좋게 나와서 확인해보니깐 오히려 similairty구하는 건 더 잘못하는것같네??

- 결국 fine tuning을 해봐야할듯 쌍리ㅏ먼ㅇ리ㅏ

 

휴식은 예능보기~

 

- repllama finetuning하느라 시간을 다 보냈다.. 하아아아아아ㅠ

 

오 몸무게를 재봤는데 지금 69.8kg이다. 원래 67kg이였는데 최근에 헬스를 시작하고 몸무게가 늘었다. 어쩌면 목표를 이룰지도~!

Training Loss and Accuracy:

• Both BERT and LLM (llama) achieved a test accuracy of 100% in the classification task. However, LLM reached a much lower loss value faster than BERT. This suggests that LLM might be capturing the nuances of the data more effectively, allowing for faster convergence.

Embedding Similarity:

• Similar Pairs: LLM consistently shows higher cosine similarity values for semantically similar word pairs compared to BERT. This indicates that LLM's embeddings might be capturing semantic relationships more strongly.
• Dissimilar Pairs: Interestingly, LLM's embeddings also show higher cosine similarity values for the dissimilar pairs compared to BERT. This suggests that while LLM captures semantic similarities more strongly, it might also be less discriminative between semantically unrelated words. This could be due to LLM's embeddings capturing a broader range of linguistic contexts, leading to higher similarities even for unrelated words.

Analysis:

• LLM seems to capture semantic relationships more effectively than BERT, as evidenced by the higher similarity scores for the similar pairs.
• However, LLM's embeddings might be less discriminative for unrelated words, which could be a challenge for certain Information Retrieval (IR) tasks where distinguishing between related and unrelated content is crucial.

Recommendations:

1. Fine-tuning: Given the nature of pretrained models, they are often generalists. Fine-tuning on a specific task can help the model adapt its embeddings to be more suitable for that particular task. If your primary goal is IR, fine-tuning LLM (repllama) on an IR-specific dataset might help improve its performance and make its embeddings more discriminative.
2. Evaluation on a Larger Dataset: The results you've shown are based on a small set of word pairs. Evaluating the models on a larger and more diverse set of word pairs or sentences can provide a more comprehensive understanding of their strengths and weaknesses.
3. Consider Task Specificity: While LLM might excel in generative tasks due to its architecture, BERT was specifically designed for tasks that require understanding the relationship between different parts of a text, making it potentially more suited for certain IR tasks. The choice between models should be influenced by the specific requirements of your application.
4. Experiment with Different Layers: Both BERT and LLM have multiple layers, and sometimes embeddings from different layers capture different types of information. You might want to experiment with embeddings from various layers to see if they offer better performance for your IR task.

In conclusion, while LLM shows promising results, especially in capturing semantic similarities, there's room for improvement in distinguishing between unrelated content. Fine-tuning and further experimentation can help optimize its performance for your specific IR task.

 

 

내일?

- 아침 명상 5분

- 코딩테스트 강의

- atlas, flare experiments

- 운동

- 병원

- 도약계좌, 에버랜드 ( 지하철 )

- repllama 오류해결 ( 목표 )

- 약속