Pythonのソースコードを字句解析する

tokenizeモジュールのgenerate_tokens関数を使う

# -*- coding: utf-8 -*-

import tokenize
import StringIO
import token

src = """s = "hello"
print s"""

# generate_tokensの引数は呼び出し可能オブジェクト
g = tokenize.generate_tokens(StringIO.StringIO(src).readline)

print "#ソースコード"
print src
print
print "#トークン (type, value, start(row, col), end(row, col), line)"
for t in g:
    print t
print
print "#トークンのタイプ"
print token.tok_name

実行すると

#ソースコード
s = "hello"
print s

#トークン (type, value, start(row, col), end(row, col), line)
(1, 's', (1, 0), (1, 1), 's = "hello"\n')
(51, '=', (1, 2), (1, 3), 's = "hello"\n')
(3, '"hello"', (1, 4), (1, 11), 's = "hello"\n')
(4, '\n', (1, 11), (1, 12), 's = "hello"\n')
(1, 'print', (2, 0), (2, 5), 'print s')
(1, 's', (2, 6), (2, 7), 'print s')
(0, '', (3, 0), (3, 0), '')

#トークンのタイプ
{0: 'ENDMARKER', 256: 'NT_OFFSET', 2: 'NUMBER', 3: 'STRING', 4: 'NEWLINE', 5: 'INDENT', 6: 'DEDENT', 7: 'LPAR', 8: 'RPAR', 9: 'LSQB', 10: 'RSQB', 11: 'COLON', 12: 'COMMA', 13: 'SEMI', 14: 'PLUS', 15: 'MINUS', 16: 'STAR', 17: 'SLASH', 18: 'VBAR', 19: 'AMPER', 20: 'LESS', 21: 'GREATER', 22: 'EQUAL', 23: 'DOT', 24: 'PERCENT', 25: 'BACKQUOTE', 26: 'LBRACE', 27: 'RBRACE', 28: 'EQEQUAL', 29: 'NOTEQUAL', 30: 'LESSEQUAL', 31: 'GREATEREQUAL', 32: 'TILDE', 33: 'CIRCUMFLEX', 34: 'LEFTSHIFT', 35: 'RIGHTSHIFT', 36: 'DOUBLESTAR', 37: 'PLUSEQUAL', 38: 'MINEQUAL', 39: 'STAREQUAL', 40: 'SLASHEQUAL', 41: 'PERCENTEQUAL', 42: 'AMPEREQUAL', 43: 'VBAREQUAL', 44: 'CIRCUMFLEXEQUAL', 45: 'LEFTSHIFTEQUAL', 46: 'RIGHTSHIFTEQUAL', 47: 'DOUBLESTAREQUAL', 48: 'DOUBLESLASH', 49: 'DOUBLESLASHEQUAL', 50: 'AT', 1: 'NAME', 52: 'ERRORTOKEN', 53: 'COMMENT', 54: 'NL', 51: 'OP'}

詳細はドキュメントで

• 30. Python言語サービス
• 30.5 tokenize -- Pythonソースのためのトークナイザ
• 30.3 token -- Python解析木と共に使われる定数