과학 컴퓨팅 LLM 에이전트의 실행형 코드 검증 시스템 연구
Rules to Tools: Executable Checks for LLM Agents in Scientific Computing
arXiv연구진은 과학 컴퓨팅 분야 LLM 에이전트의 코드 신뢰도를 높이기 위해 'Rules to Tools'라는 실행형 검증 시스템을 개발했습니다.
LLM 에이전트가 과학적/공학적 문제를 해결할 때, 단순 이론 검증을 넘어 실제 실행 가능한 수준의 높은 신뢰성을 확보하는 데 핵심적인 역할을 해요.
- 실험 결과, R2T를 활용할 경우 단순 텍스트 검토 대비 코드 수정 성공률과 오류 탐지율이 전반적으로 높아지는 것이 확인되었습니다.
- 이는 LLM 에이전트가 과학적/공학적 문제를 해결할 때, 단순 이론 검증을 넘어 실제 실행 가능한 수준의 높은 신뢰성을 확보하는 데 핵심적인 역할을 할 전망입니다.
- 다만, 검증 성능은 작업 유형별로 편차가 크므로, 실제 적용 시 에이전트 측의 효율성 및 시스템 운영에 따른 자원 소모를 함께 고려해야 합니다.
과학 코딩 는 과학적 요구사항, 경계 조건 및 출력 요구사항을 문자로 받으면 자신이 수정한 프로그램을 평가해야 합니다. 'Rules to Tools(R2T)'는 공공의 과학적 요구사항에 대한 준비된 실행형 검사를 제공하는 시스템입니다. 이 도구는 매칭된 SciCode 복구 그룹이 작성된 검사, 시작 프로그램, 모델 및 예산을 공유하고, 도구 그룹은 호출 가능한 구현체를 받습니다.
실험 결과, 두 가지 작업 ID 코호트에서 완전한 복구율을 비교했을 때, 텍스트 기반 방식으로는 30개 중 26개가 성공했으나, 준비된 검사를 활용했을 때는 30개 중 29개가 성공하는 것으로 나타났습니다. 또한, 매칭된 편미분 방정식(PDE) 비교에서는 상세 텍스트가 24개 중 23개를 기록한 반면, 검사 시스템은 24개 중 24개의 높은 점수를 받았습니다.
에이전트 측의 출력 절감액은 코호트에 따라 차이가 있었으며, 공용 CPU 사용량은 두 작업 ID 코호트 모두에서 증가했습니다. 특히, 대체 시작 프로그램을 사용한 다섯 가지 개발 노출형 과제는 10점 만점에 3점을 기록했으나, 검사 시스템을 활용했을 때는 7점을 기록하는 등 성능 향상을 보였습니다.
용어 풀이
- 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
'Rules to Tools(R2T)'는 어떤 시스템인가요?
공공의 과학적 요구사항에 대한 준비된 실행형 검사를 제공하는 시스템이에요. 이 도구는 매칭된 SciCode 복구 그룹이 작성한 검사, 시작 프로그램, 모델 및 예산을 공유하고, 호출 가능한 구현체를 받아요.
R2T를 사용했을 때 성능 향상이 얼마나 큰가요?
텍스트 기반 방식과 비교했을 때, 완전한 복구율이 높아지는 것이 확인되었어요. 예를 들어, 두 작업 ID 코호트에서 텍스트 기반 방식은 30개 중 26개가 성공했지만, 준비된 검사를 활용했을 때는 30개 중 29개가 성공했어요. 또한, 대체 시작 프로그램을 사용한 과제는 R2T를 활용할 때 점수가 향상되는 등 성능 개선을 보였어요.
R2T 시스템을 사용할 경우 자원 소모가 늘어나나요?
네, 에이전트 측의 출력 절감액은 코호트에 따라 차이가 있었고, 공용 CPU 사용량은 두 작업 ID 코호트 모두에서 증가하는 것이 확인되었어요.