Motivasyon

Çoğu zaman talimat modelleriyle yüksek kaliteli bir çıktı elde etmek nispeten kolaydır; bu, özenle seçilmiş örnekleri görünce etkilemek için yeterlidir, ancak bu, üretime dağıtılacak kadar güvenilir olmayabilir.

Örnekler
Bu genellikle, girdinin üretken dönüşümü olarak adlandıracağımız bir problem sınıfında meydana gelir; burada görev, bir biçimde girdi olarak sunulan bilgiyi başka bir biçime dönüştürmektir. Bu görevler şunları içerir:

• Ürün adı, rengi, boyutu, kategorisi gibi yapılandırılmış bir girdiye dayalı ilgi çekici bir ürün açıklaması oluşturma
• Bir dizi müşteri incelemesini açıklayıcı, nötr tonlu bir özet, bir reklam veya akılda kalıcı bir sloganla özetleme
• İlgilenilen konuya odaklanırken bir içeriği belirli bir marka stiline ve biçimine göre yeniden yazmak. (örneğin, yeni bir akıllı telefonla ilgili bir basın açıklamasına dayanarak, amatör fotoğrafçılara yönelik bir reklam yazın.
• Sağlanan bağlama göre bir soruyu yanıtlama.

Bu kılavuzun amacı doğrultusunda, sağlanan bağlama dayalı bir reklam oluşturmaya odaklanacağız. Reklamın doğru olmasını, bağlamla desteklenmesini ve ilgi çekici olmasını istiyoruz.

Fikir
Daha iyi bilgi istemleri, bu görevdeki performansı, zamanın yaklaşık %50 ila %65'inde iyi sonuçlar verecek şekilde artırabilir, ancak çoğu zaman bunun ötesine geçemez. Bununla birlikte, biraz daha yüksek sıcaklığa sahip ~5 farklı nesle bakıldığında, insan bir uzman genellikle yüksek yayınlanabilir kalitede bir nesil bulur.

Oluşturulan örnek sayısından en iyisini etkili bir şekilde seçmek için bir insan uzmanla aynı ayırt edici işlevi yerine getirmesi için bir sınıflandırıcıya ince ayar yapacağız. En iyi, etki alanından etki alanına değişebilir, ancak genellikle doğruluk, bir prototipi "üretebilmenin" önündeki ana kısıtlamadır. Örneğin, ara sıra biraz daha az ilgi çekici bir reklam tolere edilebilir, ancak girdilerle desteklenmeyen gerçek dışı bir reklam kabul edilemez.

Ek olarak, bir reklamın okuyucular için ne kadar ilgi çekici olduğunu doğrulamaya odaklanan başka ayrımcılar da oluşturabiliriz.

Yaklaşmak

Yaklaşım aşağıdaki adımlara ayrılabilir:

Bazıları yüksek kalitede olacak, makul tamamlamalar oluşturmak için bir bilgi istemi oluşturun. Alternatif olarak, istenen üretken görevde bir modelde ince ayar yapın. Bu modele jeneratör diyeceğiz.

"Evet" veya "hayır" tahmininde bulunan birkaç yüz ila bin uzman etiketli örneğe dayalı olarak her tamamlamayı doğruluk açısından derecelendirmek için bir ada ikili sınıflandırıcıya ince ayar yapın. Alternatif olarak, eğittiğimiz genel bir önceden oluşturulmuş doğruluk ve gereklilik modelini kullanın. Bu modele ayrımcı diyeceğiz.

Jeneratörün sıcaklığını artırarak en kolay şekilde elde edilen bir dizi farklı tamamlama (10-50) oluşturun.

Tamamlananların her birini, 2. adımdaki ayrımcının "evet" etiketinin tahmin edilen logprobuna göre derecelendirin ve yalnızca uygulamanızın gerektirdiği doğruluk için yeterince yüksek bir güvene sahip tamamlamayı seçin. Bu eşiğe hiçbir tamamlama ulaşamazsa, daha yüksek sıcaklıkta daha fazla örnek üretmeyi deneyebilir veya üretilen örneklerin hiçbirinin yeterince doğru olmadığını söyleyerek özel bir çıktı döndürebilirsiniz.

Bir ayrımcıya ince ayar nasıl yapılır?

Lütfen Vaka incelemesini okuyun: Model doğru olmayan beyanlarda mı bulunuyor? Bu konuyla ilgili daha fazla arka plan için.

Girişi biçimlendir

{“prompt”:”Context:<elaborate dry context>\nAd:<generated ad>\nSupported:”, “completion”:” yes”}
{“prompt”:”Context:<elaborate dry context>\nAd:<generated ad>\nSupported:”, “completion”:” no”}
{“prompt”:”Context:<elaborate dry context>\nAd:<generated ad>\nSupported:”, “completion”:” yes”}

Parametreleri ayarla

En hızlı motor olduğu ve ince ayardan sonra bir sınıflandırma görevinde iyi tahmin oluşturabildiği için ada kullanmanızı öneririz. İnce ayar ile sınıflandırmada daha iyi bir performans elde etmek için, birkaç atışla öğrenmeye kıyasla normalde sınıf başına en az 100 örneğe ihtiyacımız var. Örnek sayısındaki herhangi bir ikiye katlama ile performans doğrusal olarak artma eğilimindedir.

Ayrımcının doğruluğu ne kadar yüksek olursa, modelin yeterince emin olduğu bir örnek bulmak o kadar kolay olacaktır.

Güven kazanmak için ayrımcı nasıl kullanılır?

İlk oluşturulan tamamlama belirtecinin günlük olasılığı, güveni belirlemek için kullanılabilir. Günlük olasılığını elde etmek için, tamamlama isteğine logprobs=2 ve logit_bias={'645': 100, '3763': 100} argümanı ekleyebilirsiniz; burada 645 ve 3763, sırasıyla "hayır" ve "yes" belirteç kimlikleridir. . Daha fazla ayrıntıyı sınıflandırma kılavuzunun son bölümünde bulabilirsiniz. "evet" belirteci için günlük olasılığı ne kadar yüksekse, çıktının desteklendiğine dair tahmin o kadar güvenilir olur.

Günlük olasılık eşiği nasıl belirlenir?
Reklamın %98'den fazla olasılıkla destekleneceği bir eşik belirlemek için şunları yapabiliriz:

Bekletilen bir veri kümesinde "evet" olasılığını tahmin etmek için ayrımcıyı kullanın

Günlük olasılık ölçüsünü yüzdelik dilimlere dönüştürün. Bu, tahminleri sıralayarak ve her bir günlük olasılığına, daha düşük bir günlük olasılığına sahip tahminlerin bir yüzdesini temsil eden bir yüzdelik sıralama atayarak elde edilebilir.

Her yüzdelik dilim için, o eşiğin üzerinde bulunan gerçek doğru reklamların payı olan bir kesinlik hesaplayın.

Ardından, kesinliğin %98'in biraz üzerinde olduğu bir yüzdelik dilim bulabilirsiniz. En az %98'lik bir kesinlik elde etmek için gereken günlük olasılık eşiği, tutulan veri kümesindeki bu yüzdelik dilimdeki günlük olasılığıdır.

Aşağıda, uzatılan veri kümesindeki kesinlik ve doğruluk yüzdeliklerinin bir grafiği bulunmaktadır. Bu veri setinde, -0,000685 günlük olasılığına karşılık gelen 0,58 yüzdelik dilimde %98 kesinlik elde edilir.

Grafikte görülebileceği gibi, bu eşiğin üzerinde "evet" için log olasılığı olan herhangi bir örneği kabul edersek, bu tür örneklerin ~%98 oranında desteklenmesini bekleriz. Bu, tek bir numune kullanırsak, zamanın yalnızca %56'sında yeterli kesinlik elde edebileceğimiz anlamına gelir.

Daha fazla örnek oluşturarak doğruluğu artırma
Birkaç örnek oluşturarak ve ardından en yüksek günlük olasılığına sahip olanı seçerek, seçilen reklamın gerçekten doğru olma olasılığını artırabiliriz. 3 örnek oluşturarak, %98,3'lük yeterli doğruluk eşiğine ulaşabiliriz. Bu, 10 örnek üretilerek %99,6'ya, 17 örnek üretilerek %99,8'e çıkarılabilir. Örnek sayısı önemli ölçüde arttıkça, bu metodoloji ile azalan getiriler gözlemleyebiliriz.

İyi bir ayrımcı yetiştirmek için kaç örneğe ihtiyacınız var?
Hassas geri çağırma eğrisinin (auprc) altındaki alan, ayrımcı performansını değerlendirmek için makine öğreniminde yaygın olarak kullanılır. Eğitim örneklerinin sayısını 0,8 auprc'ye ulaşan sıfır vuruşlu davinci-instruct-beta temel çizgisine yükseltirken ince ayarlı ayrımcının performansını karşılaştırıyoruz.

Görüldüğü gibi ince ayar için eğitim örneklerinin sayısı arttıkça görevdeki ince ayar performansı da artıyor. Bu veri kümesinde de gözlemlenebilen hızlı tasarımdan daha iyi performans elde etmek için genellikle sınıf başına yaklaşık yüz örneğe ihtiyaç vardır. Ardından, ince ayarlı eğitim setinin boyutunu ikiye katladığımız için performans kabaca doğrusal olarak artmaya devam ediyor.

Genel çıkarım görevlerinde eğitilmiş bir modelin bu problem üzerinde ne kadar iyi performans gösterdiğini test etmek istedik. Kabaca, 20 örnekle ince ayarlı bir model veya iyi tasarlanmış bir sıfır atış davinci-instruct-beta istemi kadar iyi performans gösteriyor gibi görünüyor.

Birden fazla ayrımcı için olası uzantılar

Birden çok ayrımcıyı eğitebilir ve çıktılarını ilginç şekillerde birleştirebiliriz.

Örneğin, oluşturulan reklamların ne kadar ilgi çekici olduğunu tahmin etmesi için bir ayrımcıyı eğitebilir ve ardından yeterince doğru olan reklamlar arasından en ilgi çekici reklamı seçebiliriz.

Çözüm
Açıklanan tekniği kullanarak 10 nesil örnekleyerek yayınlanabilir içerik yüzdesini %99,5'in üzerine çıkarmayı başardık.