token_data
union token_data token_data;
tokenize_atom(struct tokenizer_context *tcx, union token_data *token_data)
token_data->constant = ul;
strcpy(token_data->identifier, buf);
tokenize(struct tokenizer_context *tcx, union token_data *token_data)
token_data->op = ch;
token_data->op = ch;
token_data->op = ch;
token_data->op = ch;
token_data->op = prevch; /* OP_LT or OP_GT */
token_data->op = ch+prevch;
return tokenize_atom(tcx, token_data);
get_token(struct tokenizer_context *tcx, union token_data *token_data)
*token_data = tcx->token0.token_data;
return tokenize(tcx, token_data);
int token, union token_data *token_data)
tcx->token0.token_data = *token_data;
union token_data token_data;
token = get_token(&tcx, &token_data);
printf("constant: %lu\n", token_data.constant);
printf("symbol: %s\n", token_data.identifier);
printf("%c=\n", token_data.op-'=');
switch(token_data.op) {
printf("%c=\n", token_data.op-'=');
printf("%c\n", token_data.op);
printf("%c\n", token_data.op);
union token_data token_data;
union token_data token_data;
token = get_token(tcx, &token_data);
token = get_token(tcx, &token_data);
unget_token(tcx, token, &token_data);
pelem->u.token_data = token_data;
union token_data token_data;
token = get_token(tcx, &token_data);
unget_token(tcx, token, &token_data);
union token_data token_data;
token = get_token(tcx, &token_data);
unget_token(tcx, token, &token_data);
op = token_data.op;
union token_data token_data;
token = get_token(tcx, &token_data);
unget_token(tcx, token, &token_data);
token = get_token(tcx, &token_data);
unget_token(tcx, token, &token_data);
union token_data token_data;
token = get_token(tcx, &token_data);
unget_token(tcx, token, &token_data);
token1 = get_token(tcx, &token_data);
unget_token(tcx, token1, &token_data);
printf("%d", pelem->u.token_data.constant);
printf("%s", pelem->u.token_data.identifier);
return pe->u.token_data.constant;