Token

Token merupakan unit atau elemen dasar bahasa komputer (seperti 'kata' di bahasa manusia), dimana unit tersebut tidak terbagi lagi. Token merupakan bagian hasil dari pemecahan sumber program yaitu penerjemahan lexeme pada saat melakukan scanner.
Token mereprentasikan nama :

•     identifier -> nama variabel, fungsi, tipe atau nama yang didefinisikan pemakai.

•     Keyword

•     literal string

•     operator

•     label

•     simbol tanda -> tanda kurung, koma, titik koma.

Program dan tokennya

#include
int main()
{
cout<<"HEY, you, I'm alive! Oh, and Hello World!";
return 0;
}
Tokennya :
 #        : T _ symbol
Include        : T _ reserved word 
{        : T _ delimeter
Cout        : T _ reserved word 
;        : T _ special symbol
<< >>        : T _ special symbol
Return         : T _ reserved word 
0        : T _ konstanta
Int main    : T _ identifier