전문 분야 시스템 프롬프트가 과학적 과제 수행에 미치는 영향 평가
Scientific Agents: Evaluating Profession-Specific System Prompts on Scientific Tasks
연구진이 전문 지식을 담은 시스템 프롬프트(전문가 프로필)를 활용하여 AI 에이전트의 과학적 과제 수행 능력을 검증했습니다.
AI 시스템을 설계할 때 전문 지식을 많이 넣는 것보다 간결함과 경제성을 최우선으로 고려해야 한다는 점을 보여줘요.
- 테스트 결과, 상세한 전문가 프로필을 사용해도 정확도가 유의미하게 향상되지 않았으며, 오히려 토큰 사용량과 비용이 크게 증가하는 것으로 나타났습니다.
- 이는 AI 시스템 설계 시 전문 지식을 무조건 많이 넣기보다 간결함과 경제성을 최우선으로 고려해야 함을 보여줍니다.
- 다만, API 오류가 잦은 환경에서는 프롬프트의 길이 자체가 안정성을 높일 수 있으므로, 부분적인 정보 검색 방식에 대한 연구가 필요합니다.
연구진은 전문 분야별 (전문가 프로필)를 활용하여 의 과학적 과제 수행 능력을 평가했습니다. 이들은 Gemini 3.8 Flash와 코퍼스인 Scientific Agents를 이용해, 최소 기준선 및 다른 유형의 들과 비교 분석을 진행했습니다. 테스트 결과, 상세한 전문 프로필을 사용했음에도 불구하고 정확도 향상은 일관되게 나타나지 않았습니다.
광범위하게 수행된 평가에서, 매칭된 전문 프로필은 최소 기준선 대비 평균 정확도 차이가 -0.6 퍼센트 포인트로 측정되었으며 통계적으로 유의미한 개선을 보이지 않았습니다. 또한, 전문 프로필 사용 시 출력 이 1.5~2.3배 증가하고 성공적인 호출당 비용은 2.2~4.5배 더 많이 발생하는 것으로 나타났습니다.
도구 사용이 필요한 BioMysteryBench 생물정보학 문제에서는 전문 프로필을 사용했을 때 평균 해결률이 46.7%였으나, 기준선 대비 -10.0 퍼센트 포인트의 차이를 보였습니다. 다만, 오류가 잦은 SuperGPQA 테스트에서는 짧은 기본 프롬프트가 54.0%의 정답률을 기록한 반면, 전문 프로필 사용 시에는 71.6%를 기록하는 등, 프롬프트 길이 자체가 안정성 측면에서 이점을 가질 수 있다는 점이 확인되었습니다.
용어 풀이
- 시스템 프롬프트
- 대화가 시작되기 전에 AI의 역할과 규칙을 정해 두는 지시문.
- AI 에이전트
- 목표를 받으면 스스로 계획을 세우고 도구를 써서 여러 단계의 작업을 해내는 AI.
- 오픈 소스
- 소스 코드를 공개해 누구나 보고 고치고 다시 배포할 수 있게 한 소프트웨어.
- 프롬프트
- AI에게 주는 지시나 질문 글.
- 토큰
- AI 모델이 글을 처리하는 단위. 단어보다 작은 조각이며 사용량과 요금을 셀 때 기준이 돼요.
- API
- 프로그램끼리 기능을 주고받는 약속된 창구. AI 모델은 보통 API로 불러 써요.
전문 지식을 담은 프롬프트가 과학적 과제 수행에 도움이 되나요?
광범위하게 평가했을 때, 전문 프로필을 사용해도 최소 기준선 대비 평균 정확도 차이는 -0.6 퍼센트 포인트로 측정되었으며 통계적으로 유의미한 개선은 보이지 않았어요. 오히려 전문 프로필 사용 시 출력 토큰이 1.5~2.3배 증가하고 성공적인 호출당 비용이 더 많이 발생하는 것으로 나타났습니다.
오히려 짧은 기본 프롬프트가 더 안정적일 수 있나요?
API 오류가 잦은 SuperGPQA 테스트에서는 짧은 기본 프롬프트가 전문 프로필을 사용했을 때보다 높은 정답률을 기록했어요. 이는 프롬프트의 길이 자체가 안정성 측면에서 이점을 가질 수 있다는 점이 확인되었어요.
AI 시스템 설계 시 가장 중요하게 고려해야 할 점은 무엇인가요?
전문 프로필을 사용해도 정확도 향상이 일관되게 나타나지 않았고, 토큰 사용량과 비용이 크게 증가했어요. 따라서 AI 시스템 설계 시에는 전문 지식을 무조건 많이 넣기보다 간결함과 경제성을 최우선으로 고려해야 해요.