목록AI/논문 리뷰 (1)

니노니나니

[논문 리뷰]Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena

https://arxiv.org/pdf/2306.05685AbstractLLM이 AI에서 화두가 되고 수많은 모델들이 업로드되고 있는 상황 속에 LLM을 활용하는 과정에서 다음과 같은 문제 상황을 가지고 있습니다.정량평가로 우세한 모델을 선정하기 어려운 점.: 실제로 LLM의 평가 데이터셋의 경우 텍스트로 이루어져있기 때문에 데이터 수집 과정에 포함되어 모델의 성능이 높게 잡히는 경우가 존재합니다.정성평가의 한계: LLM의 사용 목적(ex. 소설 작성, 보고서 작성 등)이 사람마다 매우 다양해서 이를 전반적으로 평가하는 것은 매우 어려운 작업입니다. 실제로 기업에서 직접 LLM 모델을 개발한다고 했을 때 새로 학습되는 모델마다 이러한 평가를 진행하는 것은 시간 및 비용이 많이 드는 작업입니다.해당 논문은..
AI/논문 리뷰 2024. 7. 26. 23:39
이전 Prev 1 Next 다음