macOSのPython3にNumPy, SciPy, matplotlibをインストールする．

macOSに付属していたPython 2では NumPy, SciPy, matplotlib がプリインストールされていました．一方で，Python 3にはそれらがインストールされていないため，別途インストールが必要です．

インストールする際には，ターミナルで以下のようなコマンドを実行します．

まずは，NumPyのインストールです．

% python3 -m pip install --upgrade numpy

python3 -m pip install コマンドを使って，NumPyをインストールします．

--upgrade オプションをつけると，古いバージョンがインストールされている場合には，新しいバージョンに更新されます．

以下は，上記のコマンドを実行した結果です．

Requirement already satisfied: numpy in /usr/local/lib/python3.9/site-packages (1.20.2)

Collecting numpy

  Downloading numpy-1.21.5-cp39-cp39-macosx_10_9_x86_64.whl (17.0 MB)

     |████████████████████████████████| 17.0 MB 915 kB/s 

Installing collected packages: numpy

  Attempting uninstall: numpy

    Found existing installation: numpy 1.20.2

    Uninstalling numpy-1.20.2:

      Successfully uninstalled numpy-1.20.2

Successfully installed numpy-1.21.5

次にSciPyのインストールです．実行するコマンドは以下です．

% python3 -m pip install --upgrade scipy

すると，以下のようにインストールが実行されます．

Collecting scipy

  Downloading scipy-1.7.3-cp39-cp39-macosx_10_9_x86_64.whl (33.2 MB)

     |████████████████████████████████| 33.2 MB 1.2 MB/s 

Requirement already satisfied: numpy<1.23.0,>=1.16.5 in /usr/local/lib/python3.9/site-packages (from scipy) (1.21.5)

Installing collected packages: scipy

Successfully installed scipy-1.7.3

最後にmatplotlibのインストールです．実行するコマンドは以下です．

% python3 -m pip install --upgrade matplotlib

そうすると，インストールが始まります．

Requirement already satisfied: matplotlib in /usr/local/lib/python3.9/site-packages (3.4.2)

Collecting matplotlib

  Downloading matplotlib-3.5.1-cp39-cp39-macosx_10_9_x86_64.whl (7.3 MB)

     |████████████████████████████████| 7.3 MB 1.2 MB/s 

Collecting fonttools>=4.22.0

  Downloading fonttools-4.28.5-py3-none-any.whl (890 kB)

     |████████████████████████████████| 890 kB 1.2 MB/s 

Requirement already satisfied: cycler>=0.10 in /usr/local/lib/python3.9/site-packages (from matplotlib) (0.10.0)

Requirement already satisfied: packaging>=20.0 in /usr/local/lib/python3.9/site-packages (from matplotlib) (20.9)

Requirement already satisfied: pyparsing>=2.2.1 in /usr/local/lib/python3.9/site-packages (from matplotlib) (2.4.7)

Requirement already satisfied: python-dateutil>=2.7 in /usr/local/lib/python3.9/site-packages (from matplotlib) (2.8.1)

Requirement already satisfied: numpy>=1.17 in /usr/local/lib/python3.9/site-packages (from matplotlib) (1.21.5)

Requirement already satisfied: pillow>=6.2.0 in /usr/local/lib/python3.9/site-packages (from matplotlib) (8.2.0)

Requirement already satisfied: kiwisolver>=1.0.1 in /usr/local/lib/python3.9/site-packages (from matplotlib) (1.3.1)

Requirement already satisfied: six in /usr/local/lib/python3.9/site-packages (from cycler>=0.10->matplotlib) (1.15.0)

Installing collected packages: fonttools, matplotlib

  Attempting uninstall: matplotlib

    Found existing installation: matplotlib 3.4.2

    Uninstalling matplotlib-3.4.2:

      Successfully uninstalled matplotlib-3.4.2

Successfully installed fonttools-4.28.5 matplotlib-3.5.1

ちなみに，Seabornもデフォルトではインストールされていないので，別途インストールするには，以下のようになります．

hide@MBP ~ % pip3 install seaborn

Collecting seaborn

  Using cached seaborn-0.11.2-py3-none-any.whl (292 kB)

Requirement already satisfied: pandas>=0.23 in /usr/local/lib/python3.9/site-packages (from seaborn) (1.2.4)

Requirement already satisfied: numpy>=1.15 in /usr/local/lib/python3.9/site-packages (from seaborn) (1.21.5)

Requirement already satisfied: matplotlib>=2.2 in /usr/local/lib/python3.9/site-packages (from seaborn) (3.5.1)

Requirement already satisfied: scipy>=1.0 in /usr/local/lib/python3.9/site-packages (from seaborn) (1.7.3)

Requirement already satisfied: python-dateutil>=2.7 in /usr/local/lib/python3.9/site-packages (from matplotlib>=2.2->seaborn) (2.8.1)

Requirement already satisfied: pillow>=6.2.0 in /usr/local/lib/python3.9/site-packages (from matplotlib>=2.2->seaborn) (8.2.0)

Requirement already satisfied: kiwisolver>=1.0.1 in /usr/local/lib/python3.9/site-packages (from matplotlib>=2.2->seaborn) (1.3.1)

Requirement already satisfied: packaging>=20.0 in /usr/local/lib/python3.9/site-packages (from matplotlib>=2.2->seaborn) (20.9)

Requirement already satisfied: pyparsing>=2.2.1 in /usr/local/lib/python3.9/site-packages (from matplotlib>=2.2->seaborn) (2.4.7)

Requirement already satisfied: cycler>=0.10 in /usr/local/lib/python3.9/site-packages (from matplotlib>=2.2->seaborn) (0.10.0)

Requirement already satisfied: fonttools>=4.22.0 in /usr/local/lib/python3.9/site-packages (from matplotlib>=2.2->seaborn) (4.28.5)

Requirement already satisfied: six in /usr/local/lib/python3.9/site-packages (from cycler>=0.10->matplotlib>=2.2->seaborn) (1.15.0)

Requirement already satisfied: pytz>=2017.3 in /usr/local/lib/python3.9/site-packages (from pandas>=0.23->seaborn) (2021.1)

Installing collected packages: seaborn

Successfully installed seaborn-0.11.2

-----

pipコマンドを使ってインストールする際に以下のような警告が出る場合があります．

WARNING: You are using pip version 21.0.1; however, version 21.3.1 is available.

You should consider upgrading via the '/opt/homebrew/opt/python@3.9/bin/python3.9 -m pip install --upgrade pip' command.

/opt/homebrew/opt/python@3.9/bin/は，Python3（この場合は ver. 3.9）のインストールされている場所なので，環境によって異なります．

警告はpipを最新にするようにというないようなので，以下のように実行しておきます．

% /opt/homebrew/opt/python@3.9/bin/python3.9 -m pip install --upgrade pip

Requirement already satisfied: pip in /opt/homebrew/lib/python3.9/site-packages (21.0.1)

Collecting pip

  Downloading pip-21.3.1-py3-none-any.whl (1.7 MB)

     |████████████████████████████████| 1.7 MB 4.7 MB/s 

Installing collected packages: pip

  Attempting uninstall: pip

    Found existing installation: pip 21.0.1

    Uninstalling pip-21.0.1:

      Successfully uninstalled pip-21.0.1

Successfully installed pip-21.3.1

Pythonで予約語を表示するコマンドと組み込み関数を表示するコマンド

Pythonで予約語や組み込み関数を表示する際のメモです．

Pythonで予約語を表示するには"__import__('keyword').kwlist"というコマンドを用います．

>>> # 予約語を表示するコマンド

>>> __import__('keyword').kwlist

['False', 'None', 'True', '__peg_parser__', 'and', 'as', 'assert', 'async', 'await', 'break', 'class', 'continue', 'def', 'del', 'elif', 'else', 'except', 'finally', 'for', 'from', 'global', 'if', 'import', 'in', 'is', 'lambda', 'nonlocal', 'not', 'or', 'pass', 'raise', 'return', 'try', 'while', 'with', 'yield']

>>> 

組み込み関数を表示するには"dir(__builtins__)"というコマンドを用います．

>>> # 組み込み関数を表示するコマンド

>>> dir(__builtins__)

['ArithmeticError', 'AssertionError', 'AttributeError', 'BaseException', 'BlockingIOError', 'BrokenPipeError', 'BufferError', 'BytesWarning', 'ChildProcessError', 'ConnectionAbortedError', 'ConnectionError', 'ConnectionRefusedError', 'ConnectionResetError', 'DeprecationWarning', 'EOFError', 'Ellipsis', 'EnvironmentError', 'Exception', 'False', 'FileExistsError', 'FileNotFoundError', 'FloatingPointError', 'FutureWarning', 'GeneratorExit', 'IOError', 'ImportError', 'ImportWarning', 'IndentationError', 'IndexError', 'InterruptedError', 'IsADirectoryError', 'KeyError', 'KeyboardInterrupt', 'LookupError', 'MemoryError', 'ModuleNotFoundError', 'NameError', 'None', 'NotADirectoryError', 'NotImplemented', 'NotImplementedError', 'OSError', 'OverflowError', 'PendingDeprecationWarning', 'PermissionError', 'ProcessLookupError', 'RecursionError', 'ReferenceError', 'ResourceWarning', 'RuntimeError', 'RuntimeWarning', 'StopAsyncIteration', 'StopIteration', 'SyntaxError', 'SyntaxWarning', 'SystemError', 'SystemExit', 'TabError', 'TimeoutError', 'True', 'TypeError', 'UnboundLocalError', 'UnicodeDecodeError', 'UnicodeEncodeError', 'UnicodeError', 'UnicodeTranslateError', 'UnicodeWarning', 'UserWarning', 'ValueError', 'Warning', 'ZeroDivisionError', '_', '__build_class__', '__debug__', '__doc__', '__import__', '__loader__', '__name__', '__package__', '__spec__', 'abs', 'all', 'any', 'ascii', 'bin', 'bool', 'breakpoint', 'bytearray', 'bytes', 'callable', 'chr', 'classmethod', 'compile', 'complex', 'copyright', 'credits', 'delattr', 'dict', 'dir', 'divmod', 'enumerate', 'eval', 'exec', 'exit', 'filter', 'float', 'format', 'frozenset', 'getattr', 'globals', 'hasattr', 'hash', 'help', 'hex', 'id', 'input', 'int', 'isinstance', 'issubclass', 'iter', 'len', 'license', 'list', 'locals', 'map', 'max', 'memoryview', 'min', 'next', 'object', 'oct', 'open', 'ord', 'pow', 'print', 'property', 'quit', 'range', 'repr', 'reversed', 'round', 'set', 'setattr', 'slice', 'sorted', 'staticmethod', 'str', 'sum', 'super', 'tuple', 'type', 'vars', 'zip']

>>> 

大量のテキストデータをマージする

 Pythonで大量のテキストデータをマージする際のメモです．

大量のテキストデータをマージするPythonのコードを作成した際のメモです．
用途としては，Hi-netのダウンロードデータ（1分間）をマージすることを想定しています．

ダウンロードしたテキストデータは以下のような名前だとします（当然，これはこの例の場合なので，読み替えて下さい）．

201412071000_Daimon_4b33
201412071000_Daimon_4b34
201412071000_Daimon_4b35
…
201412071059_Daimon_4b33
201412071059_Daimon_4b34
201412071059_Daimon_4b35

データの名前の末尾が"4b33"，"4b34"，"4b35"になっていますが，この末尾別にマージしたいとします．

コードは以下のようになります．

# Setting

new_file_UD = 'Daimon_UD.txt' # Set the file name!

new_file_NS = 'Daimon_NS.txt' # Set the file name!

new_file_EW = 'Daimon_EW.txt' # Set the file name!

# Import modules

import glob

# Data append function 

def data_append(file_path): 

    with open(combined_file, mode='a', encoding='UTF-8') as f:

        with open(file_path, mode='r', encoding = 'UTF-8') as fr:

            data = fr.read()

            f.write(data)

#U-D

# Create new file

combined_file = new_file_UD

# Execution 

for file in glob.glob('./Directory_name/*_4b33.txt'):

    data_append(file)

#N-S

# Create new file

combined_file = new_file_NS

# Execution 

for file in glob.glob('./Directory_name/*_4b34.txt'):

    data_append(file)

#E-W

# Create new file

combined_file = new_file_EW

# Execution 

for file in glob.glob('./Directory_name/*_4b35.txt'):

    data_append(file)

# Settiung では（マージして）作成するファイル名を設定します．ファイルを実行する際には，作成したいファイル名に設定します．この部分は必須ではなく，後述の "# Create new file "のところで設定しても良いのですが，プログラムの実行の際に書き換えたりする場所を限定したかったために，このような形式にしています．

# Import modules では，必要となるモジュール "glob" を読み込みます．

# Data append function では，以下の関数を定義しています．

1. 書き込みを行いたいファイル（combined_file）を追記モード aで開く（f）
2. マージしたいファイルのパスを読み込んで，そのファイルを読み込みモード rで開く(fr）
3. 読み込んだファイル（fr）を data という変数に格納して，書き込みを行いたいファイル(f) に追記する（ f.write(data) ）