[Upstage AI Lab 5기] IR 경진대회 멘토링 일지

각 경진대회에서는 여러분의 학습과 경진대회 진행을 더욱 효과적으로 돕기 위해 각 팀마다 전담 멘토님이 배정되어 있습니다. 멘토님과의 실시간 멘토링 세션을 통해 학습 방향을 조정하고 경진대회에 대한 피드백을 받을 수 있습니다.

또한, 팀의 목표 설정, 문제 해결 전략, 코드 리뷰 등 다양한 측면에서 도움을 받으실 수 있으니 많은 활용 부탁 드립니다!!

실시간 멘토링 전/후로 다음 사항을 아래 문서에 꼼꼼히 작성해 주시기 바랍니다 😀

[N월 N일 실시간 멘토링]

멘토링 시간 : 2025.02.26 17:00~18:00

멘토링 참여 명단

• 멘토 : 임경현
• 수강생 : 김도경, 박정준, 안서인, 은지영, 이홍록

Q1. 사전 질문을 작성해주세요

• 검색 엔진 및 RAG 시스템의 성능을 객관적으로 평가하는 방법이 있을까요?

A1. 멘토님의 답변을 작성해주세요

• LLM이 Generation 한 답변에 대해서는 Reference(적절한 답변)이 없다면 객관적인 평가를 하기가 어렵습니다. 다른 LLM을 시켜 적절한 답변인지 확인받을 수도 있지만, 이 또한 LLM이기에 객관적인 평가라고 하기에는 어렵습니다.

• Retrieval 모델의 경우, 추천 분야에서 사용하는 Metric을 많이 사용합니다.

  (https://imlookingformyjob.tistory.com/entry/추천시스템-추천시스템-종합-평가-PV-CTR-AB-Test-정확도-정밀도-재현율-F1-Score-PrecisionRecallK-MAPK-nDCG-Hit-RateK)

Q2. 사전 질문을 작성해주세요

• 검색 속도를 개선하려면 어떤 최적화 기법을 고려해야 할까요?

A2. 멘토님의 답변을 작성해주세요