词法分析形式就是token序列，大概需要记住下面几种单词类型：
关键字
关键字就类似于c语言中的main if else while 等等关键字 一个词一个码，用来表示特殊的结构
标识符
标识符具体包括变量名 数组名 记录名 过程名 使用id/idn用来标识 因此是多词一码
常量
常量类似于c语言中的类型定义，一个类型一个码 const
运算符
运算符包括算术运算 关系运算 逻辑运算三个部分 在三元表达式中可以使用op表示，这里需要注意++ >=这种，是在一个token序列里面的，而不是分开的
界限符
这个界限符类似于c语言中定义if while函数所使用的的界限符，一词一码
原文：https://www.cnblogs.com/HIT-ryp/p/13180142.html