Hitung perkiraan jumlah token untuk model OpenAI GPT, Claude, dan Llama secara instan.
Model bahasa besar (Large Language Models / LLM) seperti OpenAI GPT-4o, Anthropic Claude 3.5 Sonnet, dan Meta Llama tidak memproses teks kata demi kata seperti manusia. Teks masukan dipecah menjadi potongan sub-kata yang disebut token menggunakan algoritma Byte Pair Encoding (BPE). Mengetahui jumlah token teks prompt sangat krusial untuk mencegah terlampauinya batas jendela konteks model (context window limit) dan mengendalikan biaya pemanggilan API berbayar.
Sebagai contoh skenario konkret, seorang perekayasa kecerdasan buatan menyusun prompt sistem berisi instruksi kepatuhan hukum sepanjang 1.200 kata bahasa Indonesia. Dengan menempelkan naskah ke alat ini, mesin tokenizer menghitung perkiraan token secara waktu nyata: teks tersebut menghasilkan sekitar 1.850 token. Alat memvisualisasikan batas potongan token dengan latar belakang warna selang-seling dan menghitung perkiraan tagihan biaya masukan API (~$0,0046). Karena kata dalam bahasa Indonesia sering kali terpecah menjadi lebih banyak token daripada bahasa Inggris, visualisasi potongan membantu pengembang mengoptimalkan ringkasan kata yang hemat token.
Semua komputasi tokenisasi dihitung 100% lokal di peramban Anda tanpa mengirimkan naskah rahasia ke server API luar.
Rasio Estimasi Token: ~1 Token ≈ 4 Karakter Bahasa Inggris (~3 Karakter Bahasa Indonesia) ; Biaya = (Token / 1000) × Tarif_Model
Algoritma memecah string menjadi token sub-kata menurut kamus tokenisasi BPE (tiktoken/cl100k) dan mengalikan hasilnya dengan tarif harga per 1K token resmi.