LangChain을 이용해서 Knowledge Base를 구축하고, 이를 응용한 QA Engine을 개발

• Reference : https://js.langchain.com/v0.1/docs/use_cases/question_answering/

LLM API를 사용하여 수집한 문서 데이터를 기준으로 답변을 만드는 QA Engine 개발

수집하는 문서는 자유

목표

• LLM API(또는 직접 튜닝한 오픈소스 모델)를 사용하여 수집한 문서 데이터를 기준으로 답변을 만드는 QA Engine을 만드는 것입니다.

이번 프로젝트에서는 이러한 기능을 할 수 있는 구조를 만드는 것에 집중합니다.

구조가 모두 만들어지고 나면, prompt engineering을 통해 정확한 답변을 하는 QA Engine을 만들어보세요.

수집하는 문서는 자유롭게 정하시면 됩니다(기획 단계에 포함).

꼭 크롤링 코드를 작성하여 수집할 필요는 없으며, 예를 들어 AI논문이라고 한다면 arXiv에서 직접 PDF를 다운로드 받아서 사용해도 무방

또는 네이버 뉴스기사를 크롤링하거나, 특정 분야의 tech report, Harvard Business Review, Numpy documentation 등등 자유롭게

• LLM
  • API: Solar
  • Hugging face: 직접 튜닝
• Data
  • Crawling
  • 사전 준비

I. Requirements

1. 개발 언어: Python
2. API 사용
   1. https://platform.openai.com/docs/models
   2. https://www.upstage.ai/pricing
3. 모듈 구조:
   • main
   • llm
   • vector-store
   • retriever
   • crawler
   • chat_history
   • sql
   • logger