BBoilerplate
연락하기

큐레이션

Lemonade

AMD·NVIDIA GPU와 NPU에서 로컬 LLM을 실행하고 챗봇·문서 도구에 연결하는 오픈소스 AI 런타임

C++4.9k+
Lemonade 대표 이미지

요약

Lemonade는 개인 컴퓨터의 GPU·NPU에서 최적화된 LLM을 실행하고, 로컬 AI 앱을 찾아 사용할 수 있게 하는 오픈소스 런타임입니다.

도구 소개

클라우드 API를 호출하는 대신 모델을 내 컴퓨터에서 돌리고 싶을 때 쓰는 실행 기반입니다. 공식 README는 AMD Ryzen AI, Radeon, NVIDIA 환경과 여러 로컬 모델 실행 경로를 안내하며, 앱이 로컬 서버에 연결할 수 있는 구조를 제공합니다.

사용 포인트

  • 회사 자료나 개인 문서를 외부 API로 보내지 않고 요약·검색할 때
  • 인터넷이 불안정하거나 API 비용을 줄여야 하는 교육·실습 환경에서
  • 로컬 모델을 띄운 뒤 작은 챗봇·문서 도구·에이전트 실험을 연결할 때

설치와 시작

공식 저장소의 운영체제별 설치 안내를 먼저 확인합니다. README에는 Python 패키지 설치 예시가 제공됩니다.

pip install lemonade-sdk

설치 뒤 공식 예제와 하드웨어별 지원 목록을 확인하고, 보유 GPU·NPU에 맞는 모델부터 실행합니다.

선정 사유

GPU·NPU에 맞춘 로컬 LLM 실행 환경을 제공해 문서와 데이터를 외부 API로 보내지 않는 AI 앱을 구성할 수 있습니다. 보유 하드웨어에서 모델별 속도·비용·호환성을 비교하려는 실습에 유용합니다.

참고