Hız sınırı hataları ("Çok Fazla İstek", "Oran sınırına ulaşıldı"), kuruluşunuzun dakika başına gönderilebilecek maksimum istek ve token sayısı olan hız sınırına ulaşmasından kaynaklanır. Sınıra ulaşılırsa, hız sınırı sıfırlanana kadar kuruluş istekleri başarıyla gönderemez. Hata mesajı şöyle görünür:

Rate limit reached for default-code-davinci-002 in organization org-exampleorgid123 on tokens per min.
Limit: 10000.000000 / min. Current: 10020.000000 / min.
Contact support@openai.com if you continue to have issues.

Üstel geri alma kullanarak bu hataları ele almanızı öneririz. Üstel geri çekilme, bir hız sınırı hatasına ulaşıldığında kısa bir uyku gerçekleştirmek ve ardından başarısız isteği yeniden denemek anlamına gelir. İstek hala başarısız olursa uyku süresi uzatılır ve işlem tekrarlanır. Bu, istek başarılı olana veya maksimum yeniden deneme sayısına ulaşılana kadar devam eder.

Başarısız istekler dakika başına sınırınıza katkıda bulunduğundan, bir isteği sürekli olarak yeniden göndermek işe yaramaz. Hız sınırları daha kısa süreler boyunca uygulanabilir - örneğin, 60 RPM sınırı için saniyede 1 istek - yani kısa yüksek hacimli istek patlamaları da hız sınırı hatalarına yol açabilir. Üstel geri çekilme, bu hataların sıklığını en aza indirmek için istekleri birbirinden ayırarak iyi çalışır.

Python'da üstel bir geri çekilme çözümü şöyle görünebilir:

from openai.error import RateLimitError
import backoff
@backoff.on_exception(backoff.expo, RateLimitError)
def completions_with_backoff(**kwargs):
response = openai.Completion.create(**kwargs)
return response

(Lütfen dikkat: Backoff kitaplığı üçüncü taraf bir araçtır. Tüm müşterilerimizi, projeleri için herhangi bir harici kodu doğrulamaya geldiğinde gerekli özeni göstermelerini öneririz.)

Exponential backoff uygulanması yine de bu hatayla sonuçlanıyorsa, lütfen Hız Limiti Artış Talebini doldurun. Yine de mümkün olan en kısa sürede size geri döneceğiz.

Her bir motor türü için varsayılan hız limitleri hakkında daha fazla bilgi edinmek için lütfen buraya bakın.