Mis on Token?
Definitsioon
Token on tekstiühik, milleks keelemudel teksti jagab: sõna, sõnaosa või märk. Keelemudelite hinnad ja pikkusepiirangud arvestatakse tokenites.
Inglise keeles on üks token keskmiselt umbes ¾ sõna. Eesti keeles on sõnad pikemad ja käänded keerulisemad, seega kulub sama teksti jaoks sageli rohkem tokeneid.
Tokenite arv mõjutab AI-lahenduse jooksvat kulu.
Miks see ettevõttele oluline on
Jooksev AI-kulu sõltub tokenite hulgast. Hea lahendus saadab mudelile ainult vajaliku konteksti, mitte kõiki dokumente.
→ Seotud mõisted
→ Tasuta AI-audit
Räägi, mis võtab
liiga kaua.
Saad e-postiga nimekirja 3–5 kohast, mida saab automatiseerida, koos säästetud tundide ja hinnaga. Ilma kõnede ja kohustuseta.
E-postinfo@aiettevottele.ee
Vastameühe tööpäeva jooksul
AsukohtTallinn, Eesti