Hız sınırının altındayım ancak hız sınırı hataları alıyorum.

Her kuruluş, saniyede kaç isteğin gönderilebileceğini belirleyen oran sınırlarına tabidir. İstek, bu oran sınırına ulaştı.

Hız limitleri sayısallaştırılabilir, yani daha kısa süreler boyunca uygulanırlar (ör. 60.000 istek/dakika, 1.000 istek/saniye olarak uygulanabilir). Teknik olarak dakika başına hız sınırının altında olsanız bile, çok uzun olan kısa istek veya içerik patlamaları (istemler+max_tokens) göndermek, hız sınırı hatalarına yol açabilir.

Nasıl düzeltebilirim?

Üstel geri alma mantığını kodunuza dahil edin. Bu, başarısız istekleri yakalayacak ve yeniden deneyecektir.

Jeton limitleri için

Tamamlamalarınızın boyutuna uyacak şekilde max_tokens değerini azaltın. Kullanım ihtiyaçları bu değerden tahmin edilir, bu nedenle onu azaltmak, beklenmedik bir şekilde hız sınırı hatası alma şansınızı azaltır. Örneğin, bilgi isteminiz yaklaşık 400 jeton tamamlama oluşturuyorsa, max_tokens değeri aynı boyutta olmalıdır.

İstemlerinizi optimize edin. Bunu, talimatlarınızı kısaltarak, fazladan kelimeleri kaldırarak ve fazladan örneklerden kurtularak yapabilirsiniz. Hala iyi çalıştığından emin olmak için isteminiz üzerinde çalışmanız ve bu değişikliklerden sonra test etmeniz gerekebilir. Daha kısa bir bilgi isteminin ek faydası, sizin için daha düşük maliyettir. 

İstek limitleri için

İstemlerinizi bir dizide toplu hale getirin. Bu, yapmanız gereken isteklerin sayısını azaltacaktır. Bilgi istemi parametresi en fazla 20 benzersiz bilgi istemi tutabilir.