Programmes par ctokenizer.sf.net

CTokenizer accepte la syntaxe C++ comme entrée et produit un vecteur d’objets CToken, qui contiennent une chaîne symbolique et un type de jeton (n énuméré), qui peut ensuite être utilisé pour parsemer l’entrée.