AI 서비스의 응답 시간을 줄이려면 어떻게 해야 하나요?

AI 서비스의 API로 전송되는 요청에는 번역할 문자열이 포함되어 있습니다. 요청이 길수록 API가 처리하는 데 더 많은 시간이 걸립니다.

예를 들어, 1,000개의 문자열이 포함된 게시물을 번역하는 경우 ChatGPT는 완료하는 데 1분 이상 걸릴 수 있습니다.

AI 서비스의 응답 시간을 줄이려면 다음 방법을 사용할 수 있습니다.

• 동일한 AI 서비스에서 더 빠른 모델을 사용합니다（예: ChatGPT 5 대신 ChatGPT 5 mini）
• 플러그인 설정에서 API로 전송되는 페이로드 크기를 줄입니다

페이로드 크기를 줄이면 요청이 여러 개의 요청으로 분할되며, 각 요청은 더 빠르게 처리됩니다. 이 요청들은 병렬로 처리되므로 전체 응답 시간이 단축됩니다.

**Settings > Service Configuration > [AI service]**로 이동하여 Max request payload length 옵션의 값을 줄여 주세요.

최적의 응답 시간을 제공하는 값을 찾을 때까지 다양한 값을 시도해 보세요. 예를 들어, 현재 8000으로 설정되어 있다면 4000으로 변경한 후 다시 시도해 보세요.