수정 가능한 텍스트 생성을 위한 Reviser 모델 제안
Reviser: Revision-Capable Text Generation via Autoregressive Cursor Actions
arXivReviser는 텍스트를 수정하거나 삽입하는 '수정 가능(Revision-Capable)'한 생성 모델입니다. 최종 결과 순서가 아닌, 커서 위치 기반의 액션 시퀀스(삽입/이동) 예측을 통해 응답을 생성합니다.
- 이 접근 방식은 기존 LLM들이 어려워했던 비단조적인 텍스트 수정 및 삽입 과정을 자연스럽게 구현하며, 다단계 정제 모델 대비 성능과 효율성 모두에서 강점을 보입니다.
- 기존 AI가 단순히 내용을 이어 붙이는 방식을 넘어, 마치 사람이 문서를 편집하듯 수정이 가능한 기능을 제공하여 인공지능 활용 분야의 범위를 확장합니다.
- Reviser는 크기에 맞는 자가회귀 모델과 경쟁력을 갖추었으며, 특히 FLOPs 기준으로 볼 때 여러 번의 패스를 거치는 복잡한 베이스라인보다 추론 계산량이 적습니다.
Revision-capable generation은 이전 내용을 삽입하거나 수정할 수 있어 매력적이지만, 기존의 비자가회귀 및 편집 기반 접근 방식들은 반복적인 시퀀스 레벨 계산을 통해 이러한 유연성을 얻어왔습니다. 본 연구에서는 Reviser라는 디코더 전용 를 제안하며, 이 모델은 가변 캔버스(mutable canvas) 위에서 커서 상대 액션 시퀀스로 응답을 생성합니다.
Reviser는 매 단계마다 정확히 하나의 액션 인 INSERT(토큰), MOVE($\Delta$), 또는 STOP 중 하나를 예측합니다. 이 모델의 자가회귀적 특성은 최종 텍스트 순서가 아닌 편집 기록(edit-history) 액션에 기반하며, 이를 통해 단순한 내용 추가를 넘어 진정한 비단조적인 생성을 가능하게 합니다.
Reviser는 지속성 에서 SEDD와 MDLM보다 우수한 성능을 보였으며, 모델이 단순히 끝에 내용을 이어 붙이는 것이 아니라 빈번한 후방 이동이나 중간 캔버스 삽입을 수행함을 확인했습니다. 또한, 공유 FLOPs 기준으로는 여러 번의 패스를 거치는 다중 정제 및 확산 스타일의 베이스라인보다 추론 계산량이 적으면서도 크기에 맞는 자가회귀 모델과 경쟁력을 갖추었습니다.
용어 풀이
- 트랜스포머
- 오늘날 대부분의 언어 모델이 쓰는 신경망 구조. 문장 속 단어들의 관계를 한꺼번에 계산해요.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- 벤치마크
- 모델 성능을 같은 조건에서 비교하려고 만든 시험 문제 모음.