La tokenización implica dividir una secuencia de texto en unidades individuales denominadas:
Documentos
Oraciones
Tokens
Párrafos

Informática Los ejercicios se están cargando. ...