**Hancheol Park, Ph. D**.
AI Research Engineer, NetsPresso Tech, Nota AI

**Geonmin Kim,** `Ph. D.`AI Research Engineer, NetsPresso Tech, Nota AI

**Geonho Lee**
Edge AI Engineer Intern, NetsPresso Tech, Nota AI

**Jaehoon Lee**
Technical Content Manager, Nota AI

프롤로그: 마지막으로 무대에 오른 세 사람

엔비디아 Nemotron 해커톤 종합 1위 직후 함께 선 노타 팀 박한철·김건민·이건호 — 사진 1: 엔비디아(NVIDIA) Nemotron 해커톤 종합 1위에 오른 노타 팀

지난 4월 21~22일, 엔비디아가 한국에서 처음 개최한 'Nemotron Developer Days Seoul 2026' 해커톤에서 노타가 종합 1위와 Track C 1위를 동시에 차지했습니다.

이번 행사는 엔비디아가 직접 주최한 만큼 참가 팀의 면면도 화려했는데요. Track A 1위를 차지한 네이버를 필두로 ‘AI 잘하는 곳’ 하면 떠오르는 국내 주요 기업들이 대부분 한자리에 모인 가운데 성과였습니다.

이 글은 무박 2일의 스프린트 끝에 마지막으로 무대에 오른 세 사람, 박한철(이하 '한철'), 김건민(이하 '건민'), 이건호(이하 '건호')의 이야기입니다. 이 인터뷰에서는 그 무박 2일을 조금 다른 각도에서 따라가 보겠습니다.

Part 1. 출발선: 알고리즘 말고, 데이터로

Q. 먼저 'Nemotron'이라는 이름이 아직 낯선 분들도 계실 것 같아요. 이번에 참가하신 '엔비디아 Nemotron 해커톤'이 정확히 어떤 대회였나요?

한철: 엔비디아 Nemotron은 엔비디아가 공개한 오픈 모델·데이터셋·기술의 패밀리예요. 가중치뿐 아니라 학습에 쓰인 데이터셋과 기법까지 함께 공개한다는 점이 특징이고요. 추론 모델은 사이즈별로 나노(Nano), 슈퍼(Super), 울트라(Ultra) 세 가지가 있고, 이 모델들을 활용할 수 있는 다양한 도구도 함께 제공돼요. 예를 들면 에이전트 구축 툴이나 데이터 합성 툴 같은 것들이요.

주제는 세 가지 트랙으로 주어졌습니다.

트랙 A: 창의적 에이전트 시스템 (실제 문제 해결을 위한 AI 에이전트 구축)
트랙 B: 도메인 특화 Nemotron 모델 (모델에 대한 미세 조정 및 강화학습)
트랙 C: SDG(Synthetic Data Generation)를 위한 Nemotron (고품질 데이터셋을 위한 합성 데이터 파이프라인 설계)

트랙이 달라도 공통점은 분명했어요. Nemotron 모델을 에이전트의 두뇌처럼 활용해 좋은 결과를 뽑아내는 것, 이게 모든 트랙의 핵심이었습니다.

Q. 세 가지 트랙 중에 트랙 C를 선택하신 특별한 이유가 있었나요?

한철: 저희는 이전부터 양자화 최적화를 알고리즘이 아니라 데이터 관점에서 풀어보는 방향을 고민하고 있었어요. 지금까지 업계의 주류는 알고리즘을 고도화하는 방향으로 발전했는데, 같은 모델이라도 캘리브레이션에 어떤 데이터를 쓰느냐에 따라 결과가 꽤 달라지는 걸 보고 있었거든요. 이번 해커톤은 그것을 검증할 좋은 기회라고 생각했습니다.

Q. 그럼 팀 구성은 어떻게 되셨어요?

한철: 해커톤은 시간이 짧으니까 역할을 처음부터 명확히 나눠 가야겠다고 생각했어요. 우선 저와 건호 님이 처음부터 함께 제안서를 쓰고 아이디어를 구체화했는데, 그 단계에서 자연스럽게 역할이 잡혔어요.

저는 팀 리드를 맡아 현장에서 업무 진행을 조율하고, 발표 슬라이드 구성과 발표까지 책임졌습니다. 건호 님은 핵심 방법론 구현과 실험·평가를 맡아주셨고요. 건민 님은 현장에서 방법론 구현과 함께 데모·리포지토리 규격화를 챙겨주셨습니다.

전체적인 분담은 이렇게 했지만, 칼같이 나뉜 건 아니에요. 막히는 지점에서는 모두 참여해 같이 풀어갔습니다.

Part 2. 무박 2일: 완벽한 계획과 그렇지 못한 현실

디캠프 마포 회의실에서 노트북으로 작업 중인 노타 팀 멤버들 — 사진 2: 무박 2일의 사투가 한창이던 디캠프 마포 작업 공간

Q. 이제 본격적인 현장 이야기로 들어가 볼게요. 세 분이 구상한 아이디어는 'MoE 양자화에 특화된 합성 데이터 생성'이었습니다. 독자분들이 감을 잡을 수 있게 핵심만 짚어 주실 수 있을까요?

한철: 전문가 혼합 구조(MoE)는 대규모 언어 모델(LLM)의 효율화를 위해 만들어진 알고리즘이에요. MoE 모델 안에 수많은 '전문가(expert)'를 두고, 주어진 입력에 대해 일부 전문가만 활성화되어 처리하는 구조입니다. 문제는 전문가들이 활성화되는 빈도가 파레토 분포처럼 크게 치우쳐 있다는 점이에요. 자주 활성화되는 전문가가 있고, 활성화가 잘 안되는 전문가가 있죠.

진짜 문제는 양자화 이후에 드러납니다. 양자화는 정밀도를 낮추면서 표현할 수 있는 수치 정보를 제한하는 작업이에요. 어떤 수치를 살리고 어떤 수치를 버릴지 선택해야 하기 때문에, 어느 전문가가 활성화되고 있는지를 자세히 알아야 하는데요. 자주 활성화되는 전문가는 통계가 충분히 쌓이지만, 활성화가 잘 안되는 전문가는 판단 자체가 불확실해집니다. 그렇다고 캘리브레이션 데이터를 무작정 많이 투입할 수도 없는 노릇이고요.

건민: 그래서 저희는 "모든 전문가가 골고루 활성화되도록 캘리브레이션 데이터를 설계하면 양자화 오차가 줄지 않을까" 라는 아이디어에서 출발했습니다. 비유하자면 이래요. '커피 한 잔 마실래?' 같은 익숙한 조합은 자주 활성화되는 전문가만 반복 호출하지만, '커피에 위상수학 한 스푼 넣어 줘' 같은 어색한 조합을 던지면 평소 활성화되지 않던 전문가가 활성화되거든요. 그렇게 캘리브레이션 데이터에 어색한 조합을 일부러 넣자는 게 저희의 첫 번째 축이었어요. 여기에 건호 님이 두 번째 축을 더해 주셨습니다.

MoE 양자화 캘리브레이션 데이터 설계 동기를 설명하는 PASCAL-MoE 발표 자료 Motivation 슬라이드 — 사진 3: PASCAL-MoE 발표 자료의 Motivation 슬라이드

건호: 활성화 빈도 외에도, 양자화에 특별히 민감한 전문가가 따로 있습니다. 이건 사전 캘리브레이션 데이터 없이 가중치 자체에서 판단할 수 있는데, 활성화 빈도와는 독립적으로 결정돼요. 양자화에는 민감한데 활성화는 덜 되는 전문가들도 있거든요. 이런 전문가들은 캘리브레이션 데이터가 충분히 모이지 않으니까, 이들을 더 자주 활성화시키는 데이터셋을 만들자는 게 저희의 두 번째 축이었습니다. 그렇게 잠들어 있는 전문가를 일부러 자극하는 샘플들을 AI가 직접 합성하도록 파이프라인을 설계한 겁니다.

Q. 마이크 타이슨은 이런 말을 했죠. "누구나 그럴싸한 계획은 갖고 있다. 얻어맞기 전까지…" 라고요. 우리 노타 팀도 처음에 세웠던 계획과 실제 현장이 달라 애먹었던 장면이 있었을 것 같은데요. (웃음) 가장 크게 어긋났던 지점이 있다면 어떤 거였어요?

건민: 사실 제안서로 큰 그림은 잡고 들어갔기 때문에 큰 문제는 없었어요. 'A냐, A 프라임이냐' 하는 정도의 미묘한 차이에서 논의가 있긴 했고요. 다행히 합의점을 바로바로 찾을 수 있어서 잘 마쳤습니다.

건호: 의견 합의보다 빠듯한 일정이 조금 더 어려웠어요. 첫날은 세미나가 오후 5시까지 이어졌으니까, 실질적으로 참여할 수 있는 시간이 18시간 정도밖에 안 됐거든요. 더 많은 케이스나 데이터로 했다면 더 확실한 결과를 보여줄 수 있었을 텐데, 그 부분이 좀 아쉬웠습니다.

(Q. 해커톤 결과물의 완성도로 따지면 어느 정도였나요?)

한철: 완벽은 아니지만, 실용성을 충분히 보여줄 만큼의 단서는 챙긴 결과물이라고 봐요. 정량적으로 몇 퍼센트 개선됐다는 수치까지 함께 제시했거든요. 보통 해커톤은 컨셉만 보여주는 선에서 끝나는데, 저희는 상용화 가능성까지 확인할 수 있는 수준을 보여줬다고 생각합니다.

벤치마크에서 베이스라인 대비 정량 개선 수치를 보여주는 PASCAL-MoE Experimental Results 슬라이드 — 사진 4: 정량 개선 폭을 보여준 PASCAL-MoE 발표 자료의 슬라이드

Q. 일정표를 보면 해커톤 중간에 Nemotron을 직접 만든 엔비디아 팀과 대화를 나눌 수 있는 'Connect with Experts' 세션이 있었습니다. 어떤 반응이나 조언이 돌아왔나요?

건호: 해커톤 진행 중에 한 번, 발표 직전에 한 번, 총 두 번 이야기를 나눌 기회가 있었어요. 첫 번째는 비교적 자유롭게 진행됐습니다. 해커톤 자체보다는 주로 엔비디아에 궁금했던 점들을 묻는 시간이었어요. 마침 엔비디아도 MoE를 만드는 팀이니까 "MoE 양자화에 대해 어떻게 생각하냐", "MoE를 만들 때 어떤 어려움이 있었냐" 같은 주제를 서로 주고받으며 교감을 나눴습니다.

건민: 두 번째 세션에서는 해커톤에 집중해서 이야기를 나눴어요. 그 과정에서 엔비디아 소프트웨어 스택을 많이 활용했다는 점이 자연스럽게 어필이 됐던 것 같아요. 보통의 해커톤이 그렇듯 이번 행사도 Nemotron을 알리려는 목적이 강했는데, 저희가 Nemotron에 대해 잘 알고 많이 사용했다는 점이 이 세션에서 그대로 드러나면서 점수를 좀 따지 않았나 싶습니다.

Q. '공식적으로는' 선택 사항이었던 Overnight Sprint로 넘어가셨습니다. 세 분은 밤을 새웠다고 들었는데, 그 밤의 분위기는 어땠어요? 다른 팀들도 많이 남아서 하던가요?

건호: 기본적으로 주최측에서 세미나실들을 제공했는데요. 집에 안 가는 사람도 있고, 집 갔다 오는 사람도 있고 다양했어요. 저희는 근처 숙소를 하나 잡아서 거기서 추가로 작업했습니다.

한철: 쪽잠을 자면서 서로 부족한 점에 대해 의견을 나누고, 충돌하는 부분이 있으면 ‘Disagree & Commit’을 실행하며 깎아 나갔어요. 노타의 리더십 원칙 중 하나거든요. 이 방식이 더 나은 답을 찾는 데 주효했습니다.

사진 5: 둘째 날 아침 공식 스케줄에 포함된 'Morning Meditation' 시간

(Q. 의외로 둘째 날 아침 공식 스케줄에 'Morning Meditation'이 있었어요. 세 분은 그 시간에 뭘 하고 계셨나요?)

한철: 엔비디아 본사에서도 마인드풀니스 프로그램을 운영한다고 들었습니다. 아마 그 일환이었던 것 같아요. 저희는 마지막까지 다듬느라 명상할 시간이 없… 어서요. (웃음) 참여하지 못했습니다.

Part 3. 5분: “...over there!”

사진 6: 심사위원 앞에서 박한철 님이 PASCAL-MoE 파이프라인을 발표하는 장면

Q. 이제 힘들었던 과정은 뒤로하고 발표와 시상 이야기로 넘어가 보겠습니다. Final Showcase 무대에서 팀마다 할당된 발표 시간은 5분이었다고요. 굉장히 짧은 시간인데, 어떤 것들을 중점적으로 얘기하셨어요?

한철: 말씀해 주신 것처럼 시간이 워낙 짧아서, 선택과 집중을 해야 했어요. 우선 깃허브 데모는 QR 코드로 띄워두고, 5분은 알고리즘 설명에 집중했습니다. 그리고 아이스브레이킹으로 시작한 게 주효했던 것 같아요. 저희 발표 순서가 거의 마지막이라 심사위원들이 많이 지쳐 있었거든요. 그래서 드립을 던지고 시작했습니다.

"We have compressed various LLMs so that they can run on NVIDIA edge devices, such as Jetson Nano, NX, and Orin Nano. And the next step is… over there!”

그리곤 DGX Spark 쪽을 가리켰죠. 상품이 DGX Spark였거든요. 안 웃으실 상황을 대비해 농담을 하나 더 준비해 뒀는데, 다행히 심사위원분들이 먼저 웃어주셨어요.

동시에 이번 해커톤의 결과가 연구로만 끝나는 게 아니라, 실제로 엔비디아 NeMo Data Designer 같은 도구에 곧바로 플러그인되어 쓰일 수 있다는 점을 명시적으로 발표에 넣었습니다. 아마 이 점도 플러스 요인이었던 것 같아요.

Q. Track C 1위와 종합 1위가 차례로 호명됐습니다. 드립도 통했었다니, 수상은 어느 정도 예상하셨을까요?

건민: 사실 전혀 예상 못 했어요. 저희 과제의 약점이나 한계는 만든 사람이 제일 잘 알잖아요. 그 부분이 어떻게 드러날지 몰라 걱정이 컸거든요. 하지만 기우였습니다. 모두 똑같이 제한된 시간 안에서 작업한 거라 약점과 한계는 누구에게나 있고, 평가는 잘한 부분 위주로 이뤄지니까 좋게 봐주신 것 같습니다.

(Q. 1등 발표 때 왜 저희 팀이 뽑혔는지 설명이 있었나요?)

건호: 총평에서 "정성적 평가뿐 아니라 정량적 평가까지 잘 보여준 팀" 이라는 언급이 있었어요. 요즘엔 클로드 같은 도구가 있다 보니 다른 팀들이 데모를 굉장히 화려하게 만들거든요. "PPT를 만들어주는 에이전트" 같은 걸 실제 서비스처럼 완성도 있게 보여주는 팀이 많았어요. 그런 가운데 저희는 정량적인 개선 수치를 함께 제시했다는 게 차별점이 됐던 것 같습니다.

한철: 거기에 저희가 보기엔 피칭 전략과 SNS 전략도 한몫했다고 봐요. 피어 리뷰 점수가 20점이라서, 슬랙 해커톤 채널에 저희 데모를 찍어 올리고, 재미있는 이모티콘 조합으로 사람들이 좋아요를 눌러주도록 유도했거든요.

Q. 그렇게 우여곡절 끝에 종합 1위로 DGX Spark를 받으셨는데요. 사실 한 대 더 받을 뻔한 에피소드가 있다고요?

한철: 종합 1위 상품 외에도, 전체 참가자 중 한 명에게 추가로 DGX Spark를 주는 뽑기 이벤트가 따로 있었어요. 건민 님이 거기서 2등이었거든요.

건호: 그런데 돌아보니까 그게 재물이었던 것 같아요.

건민: 제 덕에 1등 했네요. (웃음)

Part 4. 돌아와서: 넷츠프레소로 이어지는 길

Q. 이제 마지막으로 해커톤 이후의 모습에 대해 이야기 나눠볼까 해요. 이번 해커톤에서 검증한 접근이, 평소 넷츠프레소 업무와는 어떤 지점에서 맞닿아 있을까요? 나중에 고객이 체감할 수 있는 형태로 이어진다면 어떤 모습일지도 궁금합니다.

한철: 크게 두 가지 방향이 있을 것 같아요.

첫 번째는 엔비디아 Model Opt 팀과의 협업 가능성이에요. 해커톤 도중 Model Opt 팀에서 먼저 저희에게 관심을 보여주셨습니다. 이 팀은 Nemotron 모델을 더 좋게 양자화하는 'Quantization-aware Distillation (QAD)' 기술을 가지고 있는데요. 저희 파이프라인은 MoE 구조 특성을 더 깊이 고려해 데이터를 만들기 때문에, 이를 QAD에 적용하면 기존에 사용된 데이터보다 개선된 성능을 얻을 수 있지 않을까 하는 기대로 협업을 제안해 주셨어요.

두 번째는 넷츠프레소 플랫폼으로의 통합입니다. 저희가 개발한 MoE 특화 양자화 기술인 NMQ(Nota MoE Quantization)는 이미 넷츠프레소의 AQ(Advanced Quantization) 모듈에 통합하는 작업을 진행하고 있어요. 여기에 이번 해커톤에서 만든 SDG를 얹는 방향으로 진행하려고 합니다. 알고리즘 쪽과 데이터 쪽을 같이 가져가는 거죠.

(Q. 알고리즘과 데이터 모두 접근하는 방식이 노타만의 특장점으로 보이는데요. 맞나요?)

한철: 앞서 말씀드렸던 것처럼 여전히 알고리즘 쪽이 메인스트림이에요. 데이터 중심 접근은 아직 일부 연구 그룹에서만 다루고 있는 단계로, 저희가 기민하게 대응하고 있다고 봐주시면 좋을 것 같아요. 데이터 쪽으로 눈을 돌린 건 건호 님이 관련 논문을 소개해주신 게 계기였어요. 그 논문도 초기 단계의 접근이었는데, 저희가 좀 더 정교하게 발전시킨 거고요. 아직 더 개선할 내용이 많지만, 분명 옳은 방향이라 생각합니다.

Q. 결과까지 내 보니 팀워크도 단단해지셨을 것 같아요. 이 팀으로 다음에 또 해 보고 싶은 목표나 프로젝트가 있으신가요?

한철: 솔직히 말씀드리면, 원래도 서로 스타일을 대충 파악한 상태로 시작했어요. 건민 님과는 계속 같이 일해왔고요. 그래서 극적으로 바뀌었다기보다는, "역시 이렇게 하면 되는구나" 를 재확인한 느낌입니다.

건호: 저는 들어와서 한 가지 일을 마무리해서 성과로 이어진 게 다행이라고 생각해요. 여기서 멈추지 않고 더 큰 성과로 이어갈 수 있으면 좋겠습니다. 아까 말한 Model Opt 팀 협업이나 넷츠프레소 플랫폼 통합 같은 방향으로요. 이번 대회에서는 컨셉만 보여드렸지만, 저는 이 방향 자체가 꽤 좋은 방향이라고 보고 있어요.

Q. 마지막 질문입니다. 이번 해커톤 경험 전체를 돌아보시면서, 지금 가장 하고 싶은 말이 있다면 세 분 각자 자유롭게 들려주시면 좋겠습니다. 소감이든, 이 글을 읽는 독자분께 전하고 싶은 한마디든요.

한철: 나이가 들어서 이제 할 일은 아닌 것 같습니다… 농담이고요. (웃음) 체력적으로 많이 힘들었던 것은 있지만 분명 뜻 깊은 일이었습니다.

건호: 저는 해커톤이 이번이 처음이었거든요. 정말 많이 배웠고, 결과도 잘 나와서 만족스러웠어요.

건민: 체력적으로 힘들긴 했지만, 짧은 시간에 많은 인풋이 들어온 좋은 성장의 기회였습니다.

에필로그: 그 한 줄 뒤에 남은 것

박한철·김건민·이건호 세 사람이 무박 2일에 걸쳐 만든 결과물은 'MoE 양자화에 특화된 합성 데이터 생성 파이프라인'이라는 한 줄로 요약됩니다. 그러나 그 한 줄 뒤에는, 회의실과 숙소를 오가며 번갈아 잠들던 밤이 있었고, 세미나를 듣는 중에도 코드 버그를 발견해 부랴부랴 수정하던 장면이 있었고, 5분짜리 피치 안에 엔비디아와의 협업 미래까지 담아내려 했던 클로징 멘트가 있었습니다.

사진 9: 시상식을 마치고 엔비디아 매기 리우(Maggie Liu) 부사장과 함께한 단체 사진

※ 이 인터뷰는 무대 뒤의 이야기에 집중했습니다. 'MoE 양자화 + 합성 데이터'라는 기술 자체에 대한 풀이는 이곳 노타 테크블로그의 후속 글에서 이어집니다.

노타의 AI 모델 최적화 기술이 궁금하시다면, 넷츠프레소에서 만나보세요.

노타 AI의 최신 인사이트, 이제 LinkedIn에서도 만나보세요. 엣지 AI 트렌드부터 기술 업데이트까지 — Edge Insights 뉴스레터를 구독하고 가장 먼저 받아보세요. 👉 구독하기

[엔비디아 Nemotron 해커톤] 20팀 중 종합 1위, 무박 2일의 비하인드