오픈AI API, 12시간 프롬프트 캐시 옵션 추가

오픈AI가 API에 캐시 유지 시간을 12시간까지 늘릴 수 있는 새로운 프롬프트 캐싱 옵션을 추가했습니다. 기존 캐시는 일정 시간이 지나면 자동 소멸돼 반복 요청 때마다 같은 프롬프트를 다시 처리해야 했는데, 이번 옵션을 쓰면 긴 시스템 프롬프트나 문서를 매번 새로 계산하지 않고 더 오래 재사용할 수 있어 반복 호출이 잦은 서비스의 응답 속도와 비용 효율을 높일 수 있습니다. 다만 이 긴 캐시를 쓰려면 캐시를 새로 쓰는(write) 비용이 기존보다 2.5배 높게 책정돼, 캐시 적중률이 충분히 높은 경우에만 비용 이득을 볼 수 있는 구조입니다. 개발자들은 자신의 호출 패턴에 맞춰 짧은 기본 캐시와 이번에 추가된 장시간 캐시 중 유리한 쪽을 선택해 쓸 수 있게 됐습니다.

출처: OpenAI 개발자 커뮤니티