넥슨코리아 최가운 개발자 “막연한 AI 적용 한계…명확한 니즈 정의해야”

넥슨코리아 최가운 개발자

넥슨코리아에서 선행개발 및 R&D 업무를 담당하는 최가운 개발자는 25일 ‘넥슨 개발자 콘퍼런스(NDC) 2025’에서 ‘메이플스토리 월드 이미지생성 AI R&D, 내 딸을 메이플 캐릭터로?’ 강연을 통해 인공지능(AI) 기술을 실무에 적용한 사례와 한계, 향후 전망에 대한 자신의 의견을 공유했다.

그가 AI 기술을 적용하는 연구에 착수하게 된 것은 ‘메이플 토이 타운’이라는 ‘메이플스토리 월드’ 내의 경영 시뮬레이션 게임 때문이다. 자신의 딸이 너무 좋아하는 해당 게임에 딸의 모습을 닮은 아바타를 삽입하면 얼마나 좋을까라는 것이 연구의 출발점이다.

그는 이를 토대로 AI를 활용해 실제 원하는 이미지를 얻기 위해서는 컨트롤넷(ControlNet), IP어댑터(IP Adapter), 로라(LoRA)와 같이 필요에 따라 교체할 수 있는 추가적인 보조 도구와 작성자의 의도와 설계를 담은 데이터가 필요하다고 설명했다. 이 때문에 ‘로아’와 같은 모델이 보편화 될 것이라는 것이 그의 생각이다.

또 실제 실무에서 활용하는 과정에서 느낀 한계점은 ▲해당 분야의 전문 지식을 갖춰야 하고 ▲프로세스가 아직 전문가가 쓰기에는 적합한 모델이 부족하고 ▲빠르게 발전하는 기술 속도 등이라고 언급했다. 이에 부품을 갈아 끼우듯 교체 가능한 파이프라인 구축이 필요하고 AI 기술이 필요한 지점을 명확히 정의할 필요가 있다고 강조했다.

그에 따르면 이미지 생성 과정은 지시하기와 그리기로 구분된다. 우선 지시하기의 경우 AI 모델이 확률로 동작한다는 점을 이해해야 한다. 가령 한국 여성을 그려달라고 하면 평균적인 여성의 모습을 그려준다. 이때 자신의 딸 사진을 추가해 그려달라고 하면 결과값이 미묘하게 달라지게 되고 명확한 지시가 필요해지는 것을 알 수 있다. 여기서 보조 모델이 필요해진다는 설명이다. 컨트롤넷과 IP어댑터 같은 보조 모델은 같이 사용하면 더 좋은 결과값을 얻을 수 있다는 것이 그의 소개다.

그리기 모델도 마찬가지다. 역시 확률로 작동하고 원하는 결과를 얻기 위해서는 보조 모델를 추가한다. 대표적인 것은 로라다. 로라를 통해 원하는 결과가 나올 수 있도록 학습을 시키게 된다. 이때 각 부위별로 구분해 그림을 그리게 하면 더 좋은 결과가 나올 수 있다고 한다. 가령 사람이라면 얼굴, 몸, 의상 등을 분리해 입력하는 방식이다.

다만 로라를 활용하기 위해서는 학습이 필요하다. 빠르게 결과를 도출하기 위해서는 기존에 있는 아티클을 찾아 배우거나 학습 데이터를 추출해 참고할 수 있다고 한다.

그는 “가령 디즈니 캐릭터를 생성하는 로라의 학습 방법을 보고 빠르게 배울수도 있을 것이고 아티클이 없다면 학습 데이터를 추출해 참고할 수도 있다”라며 “로라를 활용하는 기준점을 소개하면 이미지를 10~30장 정도를 학습시키면 좀 더 알 수 있을 것”이라고 덧붙였다.

물론 개발자 입장에서 AI를 실제 실무에 적용하는 것은 또 다른 문제다. 첫째는 해당 분야의 전문 지식이 있어야 한다는 것이다. 그는 경기장 배경을 제작하는 과정을 예로 들며 AI로 작성된 결과물에 대해 디자이너로부터 피드백을 받았으나 이를 전혀 이해하지 못한 상황을 소개했다. 아티스트들이 쓰기에는 AI 모델이 창작자의 설계와 의도를 반영해주기에 충분하지 않았다. 아티스트가 아닌 사람이 보이게는 AI를 사용하면 바로 되는 것 같지만 아티스트 입장에서는 과정에 참여할 수 없어 보기와 달리 적절하지 않았다.

두 번째는 AI를 사용하면 생산성이 증가할 것으로 생각되지만 의외로 준비 기간이 길다는 점이다. 실무에 활용하기에 위해서는 적합한 데이터가 필요한데 이를 모으고 학습하는 것에만 2주가 흘렀다. 실제로 작업할 수 있도록 워크플로우를 구현하는 것도 1주가 소요됐다.

이 과정에서 프로세스 변화도 생겼다. 기획자와 디자이너 간의 소통으로 작업이 이뤄지던 것을 기획자와 디자이너 사이에서 소통이 이뤄질 수 있도록 프로그래머가 적절한 모델을 찾아줘야 했다.

세 번째는 AI 기술의 빠른 발전 속도다. 당장 그가 이날 발표한 내용은 지난해 10월에서 11월 사이에 연구한 내용인데 현재 상황에서는 지금까지 연구한 것이 다 무의미해진 것은 아닌가 싶은 생각이 들 정도라고 한다.

이에 그는 실제 AI 기술을 사용할 수 있는 파이프라인을 만들어 새로운 기술이 나오면 쉽게 교체할 수 있도록 해야 한다고 주장하기도 했다.

또 AI 사용이 가능한 병목지점과 실무자의 니즈도 정의해야 한다고 했다. 가령 기획자의 경우 ‘메이플스토리’의 용어로 지시를 내리고 싶지만 AI는 이를 잘 반영하지 못한다. 디자이너는 새로운 그림을 작성하기 보다는 기존 것을 변형하기를 원했다. 이 같은 니즈를 명확하게 파악해야 해당 부분에서 기술 적용의 발전이 이뤄질 수 있다는 설명이다.

다만 그는 기술의 발전으로 이날 발표에서 언급한 한계도 극복이 가능한 시기가 올 수 있다고 내다봤다.

그는 “점차 시간이 흐르면서 기술이 발전하고 있고 이제는 그림을 그리는 과정도 배울 수 있지 않을까 싶다”라며 “언어 모델처럼 디자이너의 설계와 의도를 이해하고 그릴 수 있지 않을까 싶다”라고 덧붙였다.

Copyright © 매경게임진. 무단전재 및 재배포 금지.