Tokenizer Nedir?
Yapay zeka modelleri (ChatGPT, Claude vs.) metinleri bizim gibi harf harf veya bütün bir kelime olarak görmezler. Metni matematiksel olarak işleyebilmek için "Token" adı verilen daha küçük parçalara bölerler.
BPE (Byte Pair Encoding) gibi algoritmalar, devasa eğitim verilerinde en sık yan yana gelen harf gruplarını tespit eder. Sık kullanılan kalıplar tek bir token'a dönüşürken, nadir veya karmaşık yapılar parçalanır.
Algoritma Mantığı
Sık karşılaşılan harf grubu birleşerek tek ID alır.
Dilin Yapısı ve Algoritma Eğilimi
Yapay zeka modellerinin eğitim verilerinin çok büyük bir kısmı İngilizce'dir. Bu nedenle Tokenizer algoritmaları İngilizce kelimeleri çok iyi tanır ve genellikle tek kelime = tek token prensibiyle çalışır.
Ancak Türkçe sondan eklemeli (agglutinative) bir dildir. Yeni kelimeler sürekli köklere ekler getirilerek türetildiği için algoritma kelimeyi bir bütün olarak ezberleyemez. Sonuç olarak Türkçe kelimeler sıklıkla anlamsız hecelere veya harflere bölünmek zorunda kalır.
Aynı Anlam, Farklı Parçalar
İngilizce ve Türkçe kelimelerin yapay zeka tarafından nasıl parçalandığını görün.
Accessibility
Bütünsel yapı. Sık karşılaşıldığı için büyük parçalar halinde işlenir.
Erişilebilirlik
Sondan eklemeli yapı. Algoritma ekleri tanıyamadığı için küçük hecelere böler.
Bunun Bize Maliyeti Nedir?
- 💰
Daha Fazla Kredi Tüketimi
Yapay zeka API'leri (OpenAI, Anthropic vb.) harf veya kelime sayısına göre değil, işlenen token sayısına göre ücretlendirilir. Türkçe girdi ve çıktılar aynı anlamdaki İngilizce metne göre ortalama 3-5 kat daha fazla token oluşturduğu için çok daha pahalıya mal olur.
- ⏱️
Daha Yavaş Yanıt Süresi (Latency)
Modeller çıktı üretirken tokenleri tek tek tahmin ederek yazar (Auto-regressive generation). Çıktıdaki toplam token sayısı arttıkça, yapay zekanın cümleyi tamamlayıp ekrana dökme süresi doğrudan uzar.
- 🧠
Daha Dar Bağlam Hafızası (Context Limit)
Her modelin tek bir sohbette hatırlayabileceği maksimum token limiti vardır. Türkçe kullanıldığında, bu hafıza İngilizce kullanıma kıyasla çok daha hızlı dolar ve modele verebileceğiniz döküman boyutu kısalır.
