Aralık 2022 itibarıyla V2 gömme modelleri için, bir dizeyi belirteçlere bölmenin henüz bir yolu yoktur. Toplam belirteç sayısını almanın tek yolu, bir API isteği göndermektir.

İstek başarılı olursa, yanıttan jeton sayısını çıkarabilirsiniz: `response[“usage”][“total_tokens”]`

İstek çok fazla belirteç olduğu için başarısız olursa, belirteç sayısını hata mesajından çıkarabilirsiniz: `Bu modelin maksimum bağlam uzunluğu 8191 belirteçtir, ancak siz 10000 belirteç istediniz (isteminizde 10000; tamamlama için 0). Lütfen isteminizi azaltın; veya tamamlama uzunluğu.

GPT-2/GPT-3 simgeleştirmeye dayalı V1 katıştırma modelleri için belirteçleri birkaç şekilde sayabilirsiniz:

Tek seferlik kontroller için OpenAI belirteç sayfası uygundur

Python'da, transformers.GPT2TokenizerFast (GPT-2 belirteç oluşturucu, GPT-3 ile aynıdır)

JavaScript'te, gpt-3 kodlayıcı

K en yakın gömme vektörlerini hızlı bir şekilde nasıl alabilirim?
Birçok vektörü hızlı bir şekilde aramak için bir vektör veritabanı kullanmanızı öneririz.

Vektör veritabanı seçenekleri şunları içerir:

• Tamamen yönetilen bir vektör veritabanı olan Pinecone
• Weaviate, açık kaynaklı bir vektör arama motoru
• Faiss, Facebook tarafından bir vektör arama algoritması

Hangi mesafe fonksiyonunu kullanmalıyım?
Kosinüs benzerliğini öneriyoruz. Mesafe işlevinin seçimi genellikle çok önemli değildir.

OpenAI yerleştirmeleri 1 uzunluğuna göre normalleştirilir, bu şu anlama gelir:

Kosinüs benzerliği, yalnızca bir nokta çarpımı kullanılarak biraz daha hızlı hesaplanabilir

Kosinüs benzerliği ve Öklid mesafesi, aynı sıralamayla sonuçlanacaktır.