다중 모드 합성 데이터 생성을 위한 NeMo Data Designer
NeMo Data Designer: An Extensible Framework for Multimodal Synthetic Data Generation
arXivNeMo Data Designer(NDD)는 텍스트, 이미지, 코드 등 다양한 형태의 데이터를 인공적으로 생성하는(합성 데이터 생성) 데 사용되는 오픈소스 범용 프레임워크입니다.
- 사용자가 원하는 데이터셋 구조와 다양성을 선언적 방식으로 정의하며, 플러그인 시스템과 반복 검토 루프를 통해 높은 확장성과 재현성을 제공합니다.
- 데이터 확보가 어려운 복잡한 다중 모드 학습 데이터를 체계적으로 생성하여, AI 모델 개발의 효율성과 데이터셋 품질을 획기적으로 높일 수 있습니다.
- 실제 구동 시 의존성 해결 및 외부 모델 호출까지 지원하므로, 복잡한 엔터프라이즈 환경에서의 데이터 파이프라인 구축 가능성을 확인해 보세요.
NeMo Data Designer(NDD)는 다중 모드 생성(SDG)을 위한 범용 프레임워크입니다. 이 프레임워크는 사용자가 텍스트, 코드, 구조화된 출력, 이미지, 등 다양한 유형의 데이터를 정의할 수 있는 선언적 구성 형식을 제공합니다. 이를 통해 사용자나 는 데이터셋의 각 컬럼을 명시적으로 정의하고, 데이터셋의 다양성을 제어하는 것이 가능하며, 플러그인 시스템을 활용하여 추가적인 기능과 컬럼 타입을 도입할 수 있습니다.
NDD는 재현성(reproducibility)을 핵심 가치로 삼아 구성 자체를 검사 가능한 아티팩트로 지원하며 워크플로우 공유가 가능합니다. 합성 데이터 생성은 반복적인 과정이므로, NDD는 미리보기 및 수정(preview-and-revision) 루프를 코어 워크플로우에 내장했습니다. 사용자는 소수의 레코드를 생성하고 검토하여 사양을 다듬은 후, 전체 규모로 재실행할 수 있습니다.
런타임 환경에서 NDD는 의존성을 해결하고 사용자 제공 모델 엔드포인트 호출을 스케줄링하며 실패한 요청에 대한 재시도까지 처리합니다. 이 프레임워크는 구조화된 데이터부터 에이전트 기반, 다중 모드 및 도메인 특화 작업에 이르기까지 다양한 사례 연구를 지원하며, Nemotron 모델 개발이나 실제 기업 배포 환경에서도 사용되었습니다.
용어 풀이
- 합성 데이터
- 실제로 모은 것이 아니라 AI나 프로그램으로 만들어 낸 학습용 데이터.
- 오픈소스
- 소스 코드를 공개해 누구나 보고 고치고 다시 배포할 수 있게 한 소프트웨어.
- 임베딩
- 글이나 이미지의 의미를 숫자 목록으로 바꾼 것. 의미가 비슷한 것을 찾을 때 써요.
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.