Logit_bias, belirtilen tokenlerin bir Tamamlamada görünme olasılığını değiştiren isteğe bağlı bir parametredir.

Bu parametre, belirteçleri -100'den (bir yasak) ila 100'e (özel belirteç seçimi) kadar ilişkili bir önyargı değerine eşleyen bir JSON nesnesini kabul eder. -1 ve 1 gibi orta değerler, bir jetonun seçilme olasılığını daha az derecede değiştirecektir. Logit_bias parametresi kullanılırken, sapma, örneklemeden önce model tarafından üretilen logitlere eklenir.

Parametre metni değil belirteçleri aldığından, metni belirteç kimliklerine dönüştürmek için bir belirteç oluşturucu aracı kullanmak isteyeceksiniz. Birkaç örnek üzerinden gidelim.

Örnek 1: "zamanı" kaldırın

Tamamlamalar uç noktasını "Bir zamanlar" istemiyle çağırırsak, tamamlama büyük olasılıkla "zaman" ile başlayacaktır.

"Time" kelimesi ID 2435'e ve "time" (başlangıçta boşluk olan) kelimesi ID 640'a tokenleşir. Bunları -100 ile logit_bias aracılığıyla tamamlamada görünmelerini yasaklamak için geçirebiliriz, örneğin Bu yüzden:

openai.Completion.create(
 engine="davinci",
 max_tokens=50,
 temperature=0,
 prompt = "Once upon a",
 logit_bias={2435:-100, 640:-100},
)

Şimdi, "Bir varmış bir yokmuş" istemi, "gece yarısı kasvetli, ben düşünürken, zayıf ve yorgun" tamamlamasını oluşturuyor. "Zaman" kelimesinin hiçbir yerde bulunmadığına dikkat edin, çünkü bu belirteci logit_bias kullanarak fiilen yasakladık.

Örnek 2: Hedeflenen logit sapma değerleri ile yön verin

Tarif oluşturucu istemini kullanarak başka bir örnek üzerinden gidelim. Varsayılan olarak, ortak bir tamamlama “1” ile başlar. Biberleri ocakta bir tencerede ısıtın.” Ancak, bir potumuz olmadığını varsayalım. 1787'ye işaret eden "pot" kelimesini şu şekilde yasaklayabiliriz:

openai.Completion.create(
 engine="davinci-instruct-beta",
 prompt="Write a recipe based on these ingredients and instructions:\n\nFrito Pie\n\nIngredients:\nFritos\nChili\nShredded cheddar cheese\nSweet white or red onions, diced small\nSour cream\n\nDirections:",
 temperature=0,
 max_tokens=120,
 top_p=1,
 frequency_penalty=0,
 logit_bias={1787:-100},
 presence_penalty=0
)

Artık tamamlamamız “1. Biberleri bir tencerede ısıtın.” Mükemmel!

Örnek 3: Bir kelimenin görünme olasılığını artırın

Bir kelimenin görünme olasılığını artırmak istediğimizi varsayalım. Örneğin, mikrodalga ile yapabileceğiniz tarifler sunan bir site yürütüyoruz, bu nedenle tarifte "mikrodalga" kelimesinin göründüğünden emin olmak istiyoruz, bu da ID 27000'e dönüşüyor. bu belirteç, şöyle bir pozitif logit_bias ayarlayarak görünür:

openai.Completion.create(
 engine="davinci-instruct-beta",
 prompt="Write a recipe based on these ingredients and instructions:\n\nFrito Pie\n\nIngredients:\nFritos\nChili\nShredded cheddar cheese\nSweet white or red onions, diced small\nSour cream\n\nDirections:",
 temperature=0,
 max_tokens=120,
 top_p=1,
 frequency_penalty=0,
 logit_bias={27000:5},
 presence_penalty=0
)

Artık tamamlamamız “1. Biberleri mikrodalgada veya set üstü ocakta ısıtın.” logit_bias'ı 5'e ayarladık, çünkü logit_bias'ı 1'e ayarlamanın genellikle "mikrodalga" kelimesinin tamamlamada görünmesine neden olmadığını, 10 gibi daha yüksek logit_bias değerlerinin ise "mikrodalga" kelimesinin tamamlamada çok sık görünmesine neden olduğunu bulduk.