코드 생성에 특화된 대형 언어 모델(LLM)
주요 모델
- GitHub Copilot: GitHub + OpenAI 협업, 코드 자동 완성
- StarCoder: BigCode 프로젝트, 오픈소스 코드 LLM
- Code LLaMA: Meta AI, LLaMA 기반 코드 특화 모델
Knowledge-intensive Tasks
코드 LLM은 지식 집약적 작업(Knowledge-intensive Tasks)의 일종으로, 단순 문법 생성을 넘어 라이브러리 API, 알고리즘 패턴, 도메인 지식을 필요로 함
관련 노트
- KILT - 지식 집약적 언어 작업 벤치마크 (RAG 포함)
- NLP - 자연어 처리 기반 기술
- Fine Tuning - 코드 도메인 파인튜닝