mlx-serve

요약

mlx-serve는 Apple Silicon에서 MLX와 GGUF 모델을 직접 실행하고, OpenAI·Anthropic 호환 API로 연결하는 로컬 AI 서버입니다. MLX Core 앱을 사용하면 채팅, 코딩 에이전트, 이미지·영상·음성·3D 생성, 예약 작업까지 한 화면에서 다룰 수 있습니다.

도구 소개

클라우드 API를 매번 호출하지 않고 Mac의 모델과 도구를 직접 운영하는 실행면입니다. 공식 README 기준으로 MLX Core 앱은 모델 다운로드·채팅·MCP 도구·에이전트·예약 작업을 제공하며, CLI와 같은 http://localhost:11234 서버를 공유합니다. Claude Code, OpenAI SDK, Cursor, Open WebUI처럼 호환 API를 사용하는 도구도 연결할 수 있습니다.

사용 포인트

Apple Silicon에서 로컬 모델을 내려받아 문서 초안·요약·코딩 보조에 사용
Claude Code나 Cursor를 로컬 모델 엔드포인트에 연결해 비용·데이터 이동을 줄이는 실험
MCP 도구와 에이전트를 연결해 파일·셸·웹 작업을 한 흐름으로 구성
평일 오전 브리핑처럼 자연어로 예약한 반복 작업을 로컬에서 실행
채팅뿐 아니라 이미지·영상·음성·3D 생성까지 같은 실행면에서 비교

설치와 시작

공식 README의 권장 macOS 설치 방법은 Homebrew입니다. Apple Silicon Mac에서 실행합니다.

brew install --cask mlx-core   # MLX Core 앱
# 또는 CLI·서버만 설치
brew install mlx-serve

앱을 설치한 뒤 모델을 내려받아 채팅을 시작합니다. CLI를 사용할 때는 다음처럼 모델을 실행할 수 있습니다.

mlx-serve run gemma4

MLX Core 앱은 공식 GitHub Releases에서도 내려받을 수 있습니다.

선정 사유

GitHub 공식 API에서 561 stars와 2026-08-09 최신 push를 확인했습니다. 500 stars를 넘긴 신선한 후보이며, 공식 README에 로컬 inference 서버·OpenAI/Anthropic 호환 API·MLX Core 실제 화면·Homebrew 설치 경로가 함께 확인됩니다. Apple Silicon을 활용한 로컬 AI 교육과 코딩 에이전트 연결 실습에 바로 적용할 수 있습니다.

요약

도구 소개

사용 포인트

설치와 시작

선정 사유

참고