AI PC에서 로컬 LLM을
더 가볍고, 더 쉽게 사용하기

이번 라이브에서 다루는 내용

내 PC의 제한된 메모리 안에서 원하는 LLM을 실행할 수 있을까요? 
실행한 LLM을 업무에 활용하려면 무엇부터 해야 할까요? 

이번 라이브에서는 노타와 래블업이 모델 최적화부터 에이전트 활용까지, AI PC에서 로컬 LLM을 실행하고 실제 업무에 적용하는 방법을 라이브 데모로 보여드립니다. 

먼저, 노타는 AI PC에서 원하는 LLM을 실행하기 위한 모델 최적화 과정을 소개하고, 최적화 전후의 모델 크기와 메모리 사용량 등을 비교합니다. 이어 래블업은 최적화된 LLM을 Backend.AI GO에 연동해 에이전트를 구성하고, 실제 업무에 활용하는 과정을 시연합니다.

AI PC에서 원하는 LLM을 직접 실행해보고 싶거나, 로컬 LLM을 실제 업무에 활용할 방법을 찾고 있다면 이번 라이브에서 구체적인 방법을 확인해보시기 바랍니다.

라이브 정보

·  일시: 2026년 10월 14일(수) 20:00 ~ 21:00

·  진행 방식: YouTube Live

·  발표: 박한철(NetsPresso® Tech Lead @Nota AI), 이준범(AI Researcher @Lablup)

·  진행: 이재훈(Technical Content Manager @Nota AI)

·  비용: 무료

목차

01. Introduction

02. AI PC에서 로컬 LLM을 실행하기 위한 모델 최적화

박한철(NetsPresso® Tech Lead @Nota AI)

메모리와 연산 자원이 제한된 AI PC에서 로컬 LLM을 실행하기 어려운 이유를 살펴보고, 이를 구동하기 위한 노타의 모델 최적화 과정을 소개합니다.

03. 최적화된 LLM을 Backend.AI GO와 연결해 에이전트로 활용하기

이준범(AI Researcher @Lablup)

최적화된 LLM을 Backend.AI GO와 연동하고, 에이전트를 구성하여 실제 업무 요청까지 수행하는 과정을 보여드립니다.

04. Q&A

Nota AI × Lablup

AI PC에서의 로컬 LLM 실행과 모델 최적화, 에이전트 활용에 대한 질문에 두 발표자가 함께 답변합니다.