コンパイル済みPythonファイル

本格的にPythonでモジュールをいくつも開発して利用するようなことでもない限り、それほど必要性は高くないのだが、たくさんデプロイされているコンパイル済みのPythonファイルについても一応、知っておいたほうがよいだろう。

Pythonやそのパッケージをインストールすると、「.pyc」という拡張子のファイルがインストールされることを確認できると思う。通常、「__pycache__」という名前のディレクトリ以下にデプロイされていることが多い。例えば、Python 3.6.6の場合なら、次のようになっているはずだ。

daichi@ubuntu1804:~$ ls /usr/lib/python3.6/__pycache__/ | head
abc.cpython-36.pyc
aifc.cpython-36.pyc
antigravity.cpython-36.pyc
argparse.cpython-36.pyc
ast.cpython-36.pyc
asynchat.cpython-36.pyc
asyncore.cpython-36.pyc
base64.cpython-36.pyc
bdb.cpython-36.pyc
binhex.cpython-36.pyc
daichi@ubuntu1804:~$ ls /usr/lib/python3.6/__pycache__/ | wc -l
171
daichi@ubuntu1804:~$

fileコマンドで拡張子が「.pyc」のファイルを調べてみると、「python 3.6 byte-compiled」のようにコンパイル済みのPythonのバイトコードであることがわかる。

daichi@ubuntu1804:~$ file /usr/lib/python3.6/__pycache__/* | head
/usr/lib/python3.6/__pycache__/abc.cpython-36.pyc:                                     python 3.6 byte-compiled
/usr/lib/python3.6/__pycache__/aifc.cpython-36.pyc:                                    python 3.6 byte-compiled
/usr/lib/python3.6/__pycache__/antigravity.cpython-36.pyc:                             python 3.6 byte-compiled
/usr/lib/python3.6/__pycache__/argparse.cpython-36.pyc:                                python 3.6 byte-compiled
/usr/lib/python3.6/__pycache__/ast.cpython-36.pyc:                                     python 3.6 byte-compiled
/usr/lib/python3.6/__pycache__/asynchat.cpython-36.pyc:                                python 3.6 byte-compiled
/usr/lib/python3.6/__pycache__/asyncore.cpython-36.pyc:                                python 3.6 byte-compiled
/usr/lib/python3.6/__pycache__/base64.cpython-36.pyc:                                  python 3.6 byte-compiled
/usr/lib/python3.6/__pycache__/bdb.cpython-36.pyc:                                     python 3.6 byte-compiled
/usr/lib/python3.6/__pycache__/binhex.cpython-36.pyc:                                  python 3.6 byte-compiled
daichi@ubuntu1804:~$

含まれている文字列に関してはそのままのデータとして収められているので確認できるが、コンパイル後のバイトコードなので、中を見ようとしても次のような表示となり、確認できない。

Pythonバイトコードはそのままでは人には判読できない

Pythonは基本的にインタプリタとして動作するため、ユーザーが明示的にコンパイルする必要はないのだが、別途バイトコードを生成する機能も持っている。なぜかと言うと、インタプリタとは言っても動作時にはバイトコードを生成して動作しているからだ。そのため、Pythonのソースコードをあらかじめバイトコードに変換しておけば、読み込み時にソースコードからバイトコードに変換する処理を省略することができる。つまり、モジュールの読み込み時間を短縮することができることになる。

つまり、Pythonで「.pyc」という拡張子が付いたファイルは、読み込みの高速化を狙ってあらかじめバイトコードにコンパイルされたものなのだ。自作モジュールの高速読み込みを実現したい場合には利用を検討すればよいし、速度が気にならないなら別にやらなくてもよい。こういった目的でバイトコードファイルが用意されている、ということを理解しておいてもらえればよいと思う。

スタンダードモジュール

Pythonには「スタンダードモジュール」と呼ばれる基本モジュールがいくつか用意されている。スタンダードモジュールからは、Pythonを利用するにあたって最も基本的な機能や、カーネルまたはOSの提供している機能をダイレクトに使うような機能が利用できるようになっていることが多い。

最も代表的なのは、sysモジュールだ。例えば、Pythonをインタラクティブモードで使っているときに表示されるプロンプトはsysモジュールで定義されており、この値を変更すると次のようにプロンプト表示を変更することができる。

>>> import sys
>>> sys.ps1
'>>> '
>>> sys.ps2
'... '
>>> sys.ps3
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
AttributeError: module 'sys' has no attribute 'ps3'
>>> sys.ps1 = '$ '
$
$
$ ls
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
NameError: name 'ls' is not defined
$ print('Hello World!')
Hello World!
$

なお、モジュールで定義された変数などはdir()関数を利用すると一覧表示することができる。例えば、sysモジュールの場合は以下のようになる。

>>> import sys
>>> dir(sys)
['__displayhook__', '__doc__', '__excepthook__', '__interactivehook__', '__loader__', '__name__', '__package__', '__spec__', '__stderr__', '__stdin__', '__stdout__', '_clear_type_cache', '_current_frames', '_debugmallocstats', '_getframe', '_git', '_home', '_xoptions', 'abiflags', 'api_version', 'argv', 'base_exec_prefix', 'base_prefix', 'builtin_module_names', 'byteorder', 'call_tracing', 'callstats', 'copyright', 'displayhook', 'dont_write_bytecode', 'exc_info', 'excepthook', 'exec_prefix', 'executable', 'exit', 'flags', 'float_info', 'float_repr_style', 'get_asyncgen_hooks', 'get_coroutine_wrapper', 'getallocatedblocks', 'getcheckinterval', 'getdefaultencoding', 'getdlopenflags', 'getfilesystemencodeerrors', 'getfilesystemencoding', 'getprofile', 'getrecursionlimit', 'getrefcount', 'getsizeof', 'getswitchinterval', 'gettrace', 'hash_info', 'hexversion', 'implementation', 'int_info', 'intern', 'is_finalizing', 'last_traceback', 'last_type', 'last_value', 'maxsize', 'maxunicode', 'meta_path', 'modules', '
ath', 'path_hooks', 'path_importer_cache', 'platform', 'prefix', 'ps1', 'ps2', 'set_asyncgen_hooks', 'set_coroutine_wrapper', 'setcheckinterval', 'setdlopenflags', 'setprofile', 'setrecursionlimit', 'setswitchinterval', 'settrace', 'stderr', 'stdin', 'stdout', 'thread_info', 'version', 'version_info', 'warnoptions']
>>>

前回、モジュールの動きを知るために次のようなフィボナッチ数列を計算する関数を含むモジュール「fibo.py」をサンプルとして取り上げたが、これを読み込んでdirs()関数で表示させると次のようになる。

■フィボナッチ数列モジュール「fibo.py」

# Fibonacci numbers module

def fib(n):    # write Fibonacci series up to n
    a, b = 0, 1
    while a < n:
        print(a, end=' ')
        a, b = b, a+b
    print()

def fib2(n):   # return Fibonacci series up to n
    result = []
    a, b = 0, 1
    while a < n:
        result.append(a)
        a, b = b, a+b
    return result

■fibo.pyで定義されているものを一覧表示

>>> import fibo
>>> dir(fibo)
['__builtins__', '__cached__', '__doc__', '__file__', '__loader__', '__name__', '__package__', '__spec__', 'fib', 'fib2']
>>>

dir()関数は、引数にモジュール名を指定しなかった場合、以下のように自分が定義したものが一覧表示される。

>>> v = 0
>>> str = 'str'
>>> dir()
['__annotations__', '__builtins__', '__doc__', '__loader__', '__name__', '__package__', '__spec__', 'str', 'v']
>>>

組み込み関数と組み込み変数

なお、ここまでの方法だとモジュールや自分が定義した関数（または変数）については一覧表示させることができるものの、組み込み関数や組み込み変数については表示させることができない。

組み込み関数や組み込み変数を一覧表示させるには、次のようにbuiltinsモジュールを読み込ませてdir(builtins)で表示させればよい。

>>> import builtins
>>> dir(builtins)
['ArithmeticError', 'AssertionError', 'AttributeError', 'BaseException', 'BlockingIOError', 'BrokenPipeError', 'BufferError', 'BytesWarning', 'ChildProcessError', 'ConnectionAbortedError', 'ConnectionError', 'ConnectionRefusedError', 'ConnectionResetError', 'DeprecationWarning', 'EOFError', 'Ellipsis', 'EnvironmentError', 'Exception', 'False', 'FileExistsError', 'FileNotFoundError', 'FloatingPointError', 'FutureWarning', 'GeneratorExit', 'IOError', 'ImportError', 'ImportWarning', 'IndentationError', 'IndexError', 'InterruptedError', 'IsADirectoryError', 'KeyError', 'KeyboardInterrupt', 'LookupError', 'MemoryError', 'ModuleNotFoundError', 'NameError', 'None', 'NotADirectoryError', 'NotImplemented', 'NotImplementedError', 'OSError', 'OverflowError', 'PendingDeprecationWarning', 'PermissionError', 'ProcessLookupError', 'RecursionError', 'ReferenceError', 'ResourceWarning', 'RuntimeError', 'RuntimeWarning', 'StopAsyncIteration', 'StopIteration', 'SyntaxError', 'SyntaxWarning', 'SystemError', 'SystemExit', 'Tab
rror', 'TimeoutError', 'True', 'TypeError', 'UnboundLocalError', 'UnicodeDecodeError', 'UnicodeEncodeError', 'UnicodeError', 'UnicodeTranslateError', 'UnicodeWarning', 'UserWarning', 'ValueError', 'Warning', 'ZeroDivisionError', '_', '__build_class__', '__debug__', '__doc__', '__import__', '__loader__', '__name__', '__package__', '__spec__', 'abs', 'all', 'any', 'ascii', 'bin', 'bool', 'bytearray', 'bytes', 'callable', 'chr', 'classmethod', 'compile', 'complex', 'copyright', 'credits', 'delattr', 'dict', 'dir', 'divmod', 'enumerate', 'eval', 'exec', 'exit', 'filter', 'float', 'format', 'frozenset', 'getattr', 'globals', 'hasattr', 'hash', 'help', 'hex', 'id', 'input', 'int', 'isinstance', 'issubclass', 'iter', 'len', 'license', 'list', 'locals', 'map', 'max', 'memoryview', 'min', 'next', 'object', 'oct', 'open', 'ord', 'pow', 'print', 'property', 'quit', 'range', 'repr', 'reversed', 'round', 'set', 'setattr', 'slice', 'sorted', 'staticmethod', 'str', 'sum', 'super', 'tuple', 'type', 'vars', 'zip']
>>>

組み込み関数や組み込み変数については、名前の衝突を避けたい場合など、時々知りたくなることがあるので、この方法を覚えておくとよいと思う。たまに表示させて確認しておくとよいだろう。

【参考資料】
・ The Python Tutorial