en: tokenisation, tokenization

??


bg: сегментация

процес на (или резултат от) автоматично разделяне на текст на единици в зависимост от отпределени критерии;


sk: tokenizácia

výsledok automatizovaného členenia textu na tokeny (Šimková, M.: Výberový slovník termínov z korpusovej lingvistiky. 2006.)


CategoryCorpusLinguistics

mltd: tokenisation (last edited 2009-05-27 13:44:05 by garabik)