Token
orddel, subenhet, språktoken
Et token er den minste enheten i tekst som en modell prosesserer, ofte et ord, prefiks eller suffix. For eksempel kan ordet “datamaskin” deles i tokenene “data” og “maskin”.
orddel, subenhet, språktoken
Et token er den minste enheten i tekst som en modell prosesserer, ofte et ord, prefiks eller suffix. For eksempel kan ordet “datamaskin” deles i tokenene “data” og “maskin”.