ラベル AWS の投稿を表示しています。 すべての投稿を表示
ラベル AWS の投稿を表示しています。 すべての投稿を表示

2022年1月26日水曜日

Amazon SageMaker Studio LabのJupiterLab日本語化

普通のJupiterLabと同様に日本語化できるのではないかと試してみました。

ターミナルから

 (studiolab) studio-lab-user@default:~$ conda install jupyterlab-language-pack-ja-jp

Collecting package metadata (current_repodata.json): done

Solving environment: done


==> WARNING: A newer version of conda exists. <==

  current version: 4.10.3

  latest version: 4.11.0


Please update conda by running


    $ conda update -n base conda


## Package Plan ##


  environment location: /home/studio-lab-user/.conda/envs/studiolab


  added / updated specs:

    - jupyterlab-language-pack-ja-jp


The following NEW packages will be INSTALLED:


  jupyterlab-langua~ conda-forge/noarch::jupyterlab-language-pack-ja-jp-3.2.post7-pyh87cfba7_0


Proceed ([y]/n)? y


Preparing transaction: done

Verifying transaction: done

Executing transaction: done


・一度、rutime(インスタンス)を再起動

Settings→Language→日本語(日本)を選択

メニューは英語だけどサブメニューは日本語になりました。




2022年1月25日火曜日

TensorFlowでnot use cuDNN kernels警告メッセージ

 Amazon SageMaker Studio LabにTensor Flow2.6.2をインストールしてLSTMを使用して学習させてみたところ以下のエラーメッセージが表示

WARNING:tensorflow:Layer lstm will not use cuDNN kernels since it doesn't meet the criteria. It will use a generic GPU kernel as fallback when running on GPU.

WEBで翻訳させてみると「警告:tensorflow:Layer lstm_2は、基準を満たしていないため、cuDNNカーネルを使用しません。 GPUで実行する場合、フォールバックとして汎用GPUカーネルを使用します。」

基準は公式ドキュメントに記載があり以下のようです。

The requirements to use the cuDNN implementation are:

activation == tanh

recurrent_activation == sigmoid

recurrent_dropout == 0

unroll is False

use_bias is True

Inputs, if use masking, are strictly right-padded.

Eager execution is enabled in the outermost context.

    (修正前)

    m.add(LSTM(128, activation='relu',unroll=False,use_bias=True, input_shape=(nda_x_training.shape[1], nda_x_training.shape[2]))) 


    (修正後)

    m.add(LSTM(128, dropout=0.5,recurrent_dropout=0,activation='tanh',recurrent_activation='sigmoid',unroll=False,use_bias=True, input_shape=(nda_x_training.shape[1], nda_x_training.shape[2]))) 

 無事警告メッセージは表示しなくなったのでGPUが使用されたのかな。

2022年1月22日土曜日

Amazon SageMaker Studio Labでcondaで仮想環境作成

 無事JupiterLabでPythonが使えるようなりましたが、今後色々なパッケージを追加していく上で元に戻せるように方法を調べているとcondaで仮想環境を複数作成する方法がAWSのドキュメントに書いてありました。

早速手順にある”conda env create --name <任意の環境名> python=3.9”をコンソールで入力してみるとSyntaxエラー?

調べてみてcondaの後ろのenvが不要っぽく”conda create --name <任意の環境名> python=3.9”で試してみると無事完了しました、ちなみにその際はAWSドキュメントに記載があるようにターミナル(File→New→Terminal)から実行しました。


(studiolab) studio-lab-user@default:~$ conda create --name <任意の環境名> python=3.9

−−−−−−−−−−−−−−−実行ログ

Collecting package metadata (current_repodata.json): done

Solving environment: done



==> WARNING: A newer version of conda exists. <==

  current version: 4.10.3

  latest version: 4.11.0


Please update conda by running


    $ conda update -n base conda




## Package Plan ##


  environment location: /home/studio-lab-user/.conda/envs/<任意の環境名>


  added / updated specs:

    - python=3.9



The following packages will be downloaded:


    package                    |            build

    ---------------------------|-----------------

    _libgcc_mutex-0.1          |      conda_forge           3 KB  conda-forge

    _openmp_mutex-4.5          |            1_gnu          22 KB  conda-forge

    bzip2-1.0.8                |       h7f98852_4         484 KB  conda-forge

    ld_impl_linux-64-2.36.1    |       hea4e1c9_2         667 KB  conda-forge

    libnsl-2.0.0               |       h7f98852_0          31 KB  conda-forge

    libuuid-2.32.1             |    h7f98852_1000          28 KB  conda-forge

    openssl-3.0.0              |       h7f98852_2         2.9 MB  conda-forge

    pip-21.3.1                 |     pyhd8ed1ab_0         1.2 MB  conda-forge

    python-3.9.9               |h543edf9_0_cpython        27.4 MB  conda-forge

    python_abi-3.9             |           2_cp39           4 KB  conda-forge

    readline-8.1               |       h46c0cb4_0         295 KB  conda-forge

    tk-8.6.11                  |       h27826a3_1         3.3 MB  conda-forge

    xz-5.2.5                   |       h516909a_1         343 KB  conda-forge

    ------------------------------------------------------------

                                           Total:        36.6 MB


The following NEW packages will be INSTALLED:


  _libgcc_mutex      conda-forge/linux-64::_libgcc_mutex-0.1-conda_forge

  _openmp_mutex      conda-forge/linux-64::_openmp_mutex-4.5-1_gnu

  bzip2              conda-forge/linux-64::bzip2-1.0.8-h7f98852_4

  ca-certificates    conda-forge/linux-64::ca-certificates-2021.10.8-ha878542_0

  ld_impl_linux-64   conda-forge/linux-64::ld_impl_linux-64-2.36.1-hea4e1c9_2

  libffi             conda-forge/linux-64::libffi-3.4.2-h7f98852_5

  libgcc-ng          conda-forge/linux-64::libgcc-ng-11.2.0-h1d223b6_11

  libgomp            conda-forge/linux-64::libgomp-11.2.0-h1d223b6_11

  libnsl             conda-forge/linux-64::libnsl-2.0.0-h7f98852_0

  libuuid            conda-forge/linux-64::libuuid-2.32.1-h7f98852_1000

  libzlib            conda-forge/linux-64::libzlib-1.2.11-h36c2ea0_1013

  ncurses            conda-forge/linux-64::ncurses-6.3-h9c3ff4c_0

  openssl            conda-forge/linux-64::openssl-3.0.0-h7f98852_2

  pip                conda-forge/noarch::pip-21.3.1-pyhd8ed1ab_0

  python             conda-forge/linux-64::python-3.9.9-h543edf9_0_cpython

  python_abi         conda-forge/linux-64::python_abi-3.9-2_cp39

  readline           conda-forge/linux-64::readline-8.1-h46c0cb4_0

  setuptools         conda-forge/linux-64::setuptools-60.5.0-py39hf3d152e_0

  sqlite             conda-forge/linux-64::sqlite-3.37.0-h9cd32fc_0

  tk                 conda-forge/linux-64::tk-8.6.11-h27826a3_1

  tzdata             conda-forge/noarch::tzdata-2021e-he74cb21_0

  wheel              conda-forge/noarch::wheel-0.37.1-pyhd8ed1ab_0

  xz                 conda-forge/linux-64::xz-5.2.5-h516909a_1

  zlib               conda-forge/linux-64::zlib-1.2.11-h36c2ea0_1013


Proceed ([y]/n)? y


Downloading and Extracting Packages

xz-5.2.5             | 343 KB    | #################################################### | 100% 

readline-8.1         | 295 KB    | #################################################### | 100% 

libnsl-2.0.0         | 31 KB     | #################################################### | 100% 

_libgcc_mutex-0.1    | 3 KB      | #################################################### | 100% 

_openmp_mutex-4.5    | 22 KB     | #################################################### | 100% 

python_abi-3.9       | 4 KB      | #################################################### | 100% 

tk-8.6.11            | 3.3 MB    | #################################################### | 100% 

python-3.9.9         | 27.4 MB   | #################################################### | 100% 

pip-21.3.1           | 1.2 MB    | #################################################### | 100% 

libuuid-2.32.1       | 28 KB     | #################################################### | 100% 

ld_impl_linux-64-2.3 | 667 KB    | #################################################### | 100% 

bzip2-1.0.8          | 484 KB    | #################################################### | 100% 

openssl-3.0.0        | 2.9 MB    | #################################################### | 100% 

Preparing transaction: done

Verifying transaction: done

Executing transaction: done

#

# To activate this environment, use

#

#     $ conda activate <任意の環境名>

#

# To deactivate an active environment, use

#

#     $ conda deactivate

−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−ここまで
■作成されている環境を確認
(studiolab) studio-lab-user@default:~$ conda info -e

# conda environments:
#
default                  /home/studio-lab-user/.conda/envs/default
studiolab             *  /home/studio-lab-user/.conda/envs/studiolab
<任意の環境名>                   /home/studio-lab-user/.conda/envs/<任意の環境名>
base                     /opt/conda

AWSのドキュメントに従い有効化するため"conda activate <任意の環境名>"を実行すると

(studiolab) studio-lab-user@default:~$ conda activate <任意の環境名>
usage: conda [-h] [-V] command ...
conda: error: argument command: invalid choice: 'activate\xa0<任意の環境名>' (choose from 'clean', 'compare', 'config', 'create', 'help', 'info', 'init', 'install', 'list', 'package', 'remove', 'uninstall', 'run', 'search', 'update', 'upgrade')

エラー・・・またか、また調べてみるとcondaのバージョンが上がったせいかshellがbashの場合はcondaではなくsourceコマンドをしようするみたい

(studiolab) studio-lab-user@default:~$ $source activate <任意の環境名>

(<任意の環境名>) studio-lab-user@default:~$ conda info -e
# conda environments:
#
default                  /home/studio-lab-user/.conda/envs/default
studiolab                /home/studio-lab-user/.conda/envs/studiolab
<任意の環境名>               *  /home/studio-lab-user/.conda/envs/<任意の環境名>
base                     /opt/conda

<任意の環境名>の右側に*マークがついて有効になりました。

続けてipykernelをインストール

(<任意の環境名>) studio-lab-user@default:~$ $conda install ipykernel
−−−−−−−−−−−−−−−−−−−−−−−−−−ここから
Collecting package metadata (current_repodata.json): done
Solving environment: done


==> WARNING: A newer version of conda exists. <==
  current version: 4.10.3
  latest version: 4.11.0

Please update conda by running

    $ conda update -n base conda



## Package Plan ##

  environment location: /home/studio-lab-user/.conda/envs/<任意の環境名>

  added / updated specs:
    - ipykernel


The following packages will be downloaded:

    package                    |            build
    ---------------------------|-----------------
    asttokens-2.0.5            |     pyhd8ed1ab_0          21 KB  conda-forge
    backcall-0.2.0             |     pyh9f0ad1d_0          13 KB  conda-forge
    backports-1.0              |             py_2           4 KB  conda-forge
    backports.functools_lru_cache-1.6.4|     pyhd8ed1ab_0           9 KB  conda-forge
    black-21.12b0              |     pyhd8ed1ab_0         122 KB  conda-forge
    click-8.0.3                |   py39hf3d152e_1         147 KB  conda-forge
    dataclasses-0.8            |     pyhc8e2a94_3          10 KB  conda-forge
    debugpy-1.5.1              |   py39he80948d_0         2.0 MB  conda-forge
    entrypoints-0.3            |  pyhd8ed1ab_1003           8 KB  conda-forge
    executing-0.8.2            |     pyhd8ed1ab_0          18 KB  conda-forge
    ipykernel-6.7.0            |   py39hef51801_0         180 KB  conda-forge
    ipython-8.0.1              |   py39hf3d152e_0         1.1 MB  conda-forge
    jedi-0.18.1                |   py39hf3d152e_0         992 KB  conda-forge
    jupyter_core-4.9.1         |   py39hf3d152e_1          80 KB  conda-forge
    libsodium-1.0.18           |       h36c2ea0_1         366 KB  conda-forge
    libstdcxx-ng-11.2.0        |      he4da1e4_11         4.2 MB  conda-forge
    matplotlib-inline-0.1.3    |     pyhd8ed1ab_0          11 KB  conda-forge
    mypy_extensions-0.4.3      |   py39hf3d152e_4          10 KB  conda-forge
    nest-asyncio-1.5.4         |     pyhd8ed1ab_0           9 KB  conda-forge
    parso-0.8.3                |     pyhd8ed1ab_0          69 KB  conda-forge
    pathspec-0.9.0             |     pyhd8ed1ab_0          31 KB  conda-forge
    pexpect-4.8.0              |     pyh9f0ad1d_2          47 KB  conda-forge
    pickleshare-0.7.5          |          py_1003           9 KB  conda-forge
    platformdirs-2.3.0         |     pyhd8ed1ab_0          14 KB  conda-forge
    ptyprocess-0.7.0           |     pyhd3deb0d_0          16 KB  conda-forge
    pure_eval-0.2.1            |     pyhd8ed1ab_1          14 KB  conda-forge
    python-dateutil-2.8.2      |     pyhd8ed1ab_0         240 KB  conda-forge
    pyzmq-22.3.0               |   py39h37b5a0c_1         537 KB  conda-forge
    six-1.16.0                 |     pyh6c4a22f_0          14 KB  conda-forge
    stack_data-0.1.4           |     pyhd8ed1ab_0          21 KB  conda-forge
    tomli-1.2.2                |     pyhd8ed1ab_0          15 KB  conda-forge
    tornado-6.1                |   py39h3811e60_2         646 KB  conda-forge
    traitlets-5.1.1            |     pyhd8ed1ab_0          82 KB  conda-forge
    typed-ast-1.5.1            |   py39h3811e60_0         213 KB  conda-forge
    typing_extensions-4.0.1    |     pyha770c72_0          26 KB  conda-forge
    wcwidth-0.2.5              |     pyh9f0ad1d_2          33 KB  conda-forge
    zeromq-4.3.4               |       h9c3ff4c_1         351 KB  conda-forge
    ------------------------------------------------------------
                                           Total:        11.6 MB

The following NEW packages will be INSTALLED:

  asttokens          conda-forge/noarch::asttokens-2.0.5-pyhd8ed1ab_0
  backcall           conda-forge/noarch::backcall-0.2.0-pyh9f0ad1d_0
  backports          conda-forge/noarch::backports-1.0-py_2
  backports.functoo~ conda-forge/noarch::backports.functools_lru_cache-1.6.4-pyhd8ed1ab_0
  black              conda-forge/noarch::black-21.12b0-pyhd8ed1ab_0
  click              conda-forge/linux-64::click-8.0.3-py39hf3d152e_1
  dataclasses        conda-forge/noarch::dataclasses-0.8-pyhc8e2a94_3
  debugpy            conda-forge/linux-64::debugpy-1.5.1-py39he80948d_0
  decorator          conda-forge/noarch::decorator-5.1.1-pyhd8ed1ab_0
  entrypoints        conda-forge/noarch::entrypoints-0.3-pyhd8ed1ab_1003
  executing          conda-forge/noarch::executing-0.8.2-pyhd8ed1ab_0
  ipykernel          conda-forge/linux-64::ipykernel-6.7.0-py39hef51801_0
  ipython            conda-forge/linux-64::ipython-8.0.1-py39hf3d152e_0
  jedi               conda-forge/linux-64::jedi-0.18.1-py39hf3d152e_0
  jupyter_client     conda-forge/noarch::jupyter_client-7.1.1-pyhd8ed1ab_0
  jupyter_core       conda-forge/linux-64::jupyter_core-4.9.1-py39hf3d152e_1
  libsodium          conda-forge/linux-64::libsodium-1.0.18-h36c2ea0_1
  libstdcxx-ng       conda-forge/linux-64::libstdcxx-ng-11.2.0-he4da1e4_11
  matplotlib-inline  conda-forge/noarch::matplotlib-inline-0.1.3-pyhd8ed1ab_0
  mypy_extensions    conda-forge/linux-64::mypy_extensions-0.4.3-py39hf3d152e_4
  nest-asyncio       conda-forge/noarch::nest-asyncio-1.5.4-pyhd8ed1ab_0
  parso              conda-forge/noarch::parso-0.8.3-pyhd8ed1ab_0
  pathspec           conda-forge/noarch::pathspec-0.9.0-pyhd8ed1ab_0
  pexpect            conda-forge/noarch::pexpect-4.8.0-pyh9f0ad1d_2
  pickleshare        conda-forge/noarch::pickleshare-0.7.5-py_1003
  platformdirs       conda-forge/noarch::platformdirs-2.3.0-pyhd8ed1ab_0
  prompt-toolkit     conda-forge/noarch::prompt-toolkit-3.0.24-pyha770c72_0
  ptyprocess         conda-forge/noarch::ptyprocess-0.7.0-pyhd3deb0d_0
  pure_eval          conda-forge/noarch::pure_eval-0.2.1-pyhd8ed1ab_1
  pygments           conda-forge/noarch::pygments-2.11.2-pyhd8ed1ab_0
  python-dateutil    conda-forge/noarch::python-dateutil-2.8.2-pyhd8ed1ab_0
  pyzmq              conda-forge/linux-64::pyzmq-22.3.0-py39h37b5a0c_1
  six                conda-forge/noarch::six-1.16.0-pyh6c4a22f_0
  stack_data         conda-forge/noarch::stack_data-0.1.4-pyhd8ed1ab_0
  tomli              conda-forge/noarch::tomli-1.2.2-pyhd8ed1ab_0
  tornado            conda-forge/linux-64::tornado-6.1-py39h3811e60_2
  traitlets          conda-forge/noarch::traitlets-5.1.1-pyhd8ed1ab_0
  typed-ast          conda-forge/linux-64::typed-ast-1.5.1-py39h3811e60_0
  typing_extensions  conda-forge/noarch::typing_extensions-4.0.1-pyha770c72_0
  wcwidth            conda-forge/noarch::wcwidth-0.2.5-pyh9f0ad1d_2
  zeromq             conda-forge/linux-64::zeromq-4.3.4-h9c3ff4c_1


Proceed ([y]/n)? y


Downloading and Extracting Packages
click-8.0.3          | 147 KB    | #################################################### | 100% 
dataclasses-0.8      | 10 KB     | #################################################### | 100% 
parso-0.8.3          | 69 KB     | #################################################### | 100% 
nest-asyncio-1.5.4   | 9 KB      | #################################################### | 100% 
pyzmq-22.3.0         | 537 KB    | #################################################### | 100% 
zeromq-4.3.4         | 351 KB    | #################################################### | 100% 
pure_eval-0.2.1      | 14 KB     | #################################################### | 100% 
typing_extensions-4. | 26 KB     | #################################################### | 100% 
ipython-8.0.1        | 1.1 MB    | #################################################### | 100% 
tornado-6.1          | 646 KB    | #################################################### | 100% 
ptyprocess-0.7.0     | 16 KB     | #################################################### | 100% 
backports-1.0        | 4 KB      | #################################################### | 100% 
entrypoints-0.3      | 8 KB      | #################################################### | 100% 
backports.functools_ | 9 KB      | #################################################### | 100% 
traitlets-5.1.1      | 82 KB     | #################################################### | 100% 
six-1.16.0           | 14 KB     | #################################################### | 100% 
asttokens-2.0.5      | 21 KB     | #################################################### | 100% 
jedi-0.18.1          | 992 KB    | #################################################### | 100% 
jupyter_core-4.9.1   | 80 KB     | #################################################### | 100% 
mypy_extensions-0.4. | 10 KB     | #################################################### | 100% 
stack_data-0.1.4     | 21 KB     | #################################################### | 100% 
ipykernel-6.7.0      | 180 KB    | #################################################### | 100% 
typed-ast-1.5.1      | 213 KB    | #################################################### | 100% 
libstdcxx-ng-11.2.0  | 4.2 MB    | #################################################### | 100% 
libsodium-1.0.18     | 366 KB    | #################################################### | 100% 
backcall-0.2.0       | 13 KB     | #################################################### | 100% 
pickleshare-0.7.5    | 9 KB      | #################################################### | 100% 
matplotlib-inline-0. | 11 KB     | #################################################### | 100% 
wcwidth-0.2.5        | 33 KB     | #################################################### | 100% 
python-dateutil-2.8. | 240 KB    | #################################################### | 100% 
debugpy-1.5.1        | 2.0 MB    | #################################################### | 100% 
pathspec-0.9.0       | 31 KB     | #################################################### | 100% 
platformdirs-2.3.0   | 14 KB     | #################################################### | 100% 
tomli-1.2.2          | 15 KB     | #################################################### | 100% 
executing-0.8.2      | 18 KB     | #################################################### | 100% 
pexpect-4.8.0        | 47 KB     | #################################################### | 100% 
black-21.12b0        | 122 KB    | #################################################### | 100% 
Preparing transaction: done
Verifying transaction: done
Executing transaction: done

−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−−ここまで
無事インストールが完了するとJupiterLabのランチャーに<任意の環境名>:PythonのNotebookとコンソールのアイコンが作成されました。

ちなみにインストール途中の警告メッセージ
==> WARNING: A newer version of conda exists. <==

  current version: 4.10.3

  latest version: 4.11.0



Please update conda by running



    $ conda update -n base conda

の指示に従ってupdateしようとするとbaseのフォルダへのアクセス権がなくエラーになりアップデートできませんでした。

2022年1月21日金曜日

Amazon SageMaker Studio Labアカウント登録

Chromebookのcrostini上でのTensorFlowは中々重くなってきたのでどうしようと思っていたら無料で開発環境を使える事が分かりさっそくアカウント登録をしてみました。

詳細に説明されている方がいるのであくまでも備忘録なメモ

■申し込み

申し込みurl:https://studiolab.sagemaker.aws/requestAccount

メールアドレスが必須で残りは任意

すぐに「Verify your email」という件名のメールが届く

−−−−−−−−−−−−−−−−−−−−−−−メール本文

Verify your email

Thank you for requesting an Amazon SageMaker Studio Lab account. Please verify your email within 24 hours by clicking the button below.

 Verify your email

You can also click on this link or copy and paste it into your browser:

https://studiolab.sagemaker.aws/requestAccount?

xxxxxxxxxxxxxxxxxx

Sincerely,

— The Amazon SageMaker Studio Lab team

−−−−−−−−−−−−−−−−−−−−−−−ここまで


■メールのURLをクリックして


−−−−−−−−−−−−−−−−−−−−−−−ここから 画面

our email was verified.


We've added you to the waitlist. Once your request is approved, we'll send you an email with a link to create your account.


In the meantime, check out the FAQ to learn more about the Amazon SageMaker Studio Lab.

−−−−−−−−−−−−−−−−−−−−−−−ここまで

リクエストを受けつけたからメールを待てらしい、するとすぐに「Account request confirmed」メールが届いた

−−−−−−−−−−−−−−−−−−−−−−−ここから

Account request confirmed

Thank you for your interest in Amazon SageMaker Studio Lab. We’ve added you to the wait list. We will email you a link to create your account once your request is approved. No further action is needed on your part at this time.

In the meantime, check out the FAQ for more info.

Sincerely,

— The Amazon SageMaker Studio Lab team

−−−−−−−−−−−−−−−−−−−−−−−ここまで

アカウントリクエストが確認されたから、アカウントを作成するためのURLをメールで送るから待てらしい

次の日に「Account request approved」メールが届く

−−−−−−−−−−−−−−−−−−−−−−−ここから

Account request approved

We’ve approved your request for an Amazon SageMaker Studio Lab account. Click the button below to complete your registration.

Create account

You can also click on this link or copy and paste it into your browser:

https://studiolab.sagemaker.aws/signup

This approval will expire in 7 days.

Sincerely,

— The Amazon SageMaker Studio Lab team

−−−−−−−−−−−−−−−−−−−−−−−ここまで

■Create accountボタンをクリックするかリンクをクリックしてアカウント入力フォームを表示

メールアドレス、パスワード、ユーザー名を入力

Create accountボタンをクリックすると下の画面が表示する


−−−−−−−−−−−−−−−−−−−−−−−画面

Verify your email

To complete registration, please click on the link in the email we’ve sent to xxxx@xxxxx

−−−−−−−−−−−−−−−−−−−−−−−ここまで

「Verify your email」メールが届く

−−−−−−−−−−−−−−−−−−−−−−−ここから

Verify your email

You’re almost done with Amazon SageMaker Studio Lab account registration. Please verify your email within 24 hours by clicking the button below.

 Verify your email

You can also click on this link or copy and paste it into your browser:

https://studiolab.sagemaker.aws/signup/?confirmation-token=xxxxxxxxx

Sincerely,

— The Amazon SageMaker Studio Lab team

−−−−−−−−−−−−−−−−−−−−−−−ここまで

■ボタンかリンクをクリックするとSign in画面が表示するのでusernameかメールアドレスでログインする

「Your account is ready」メールもも届いていて完了

−−−−−−−−−−−−−−−−−−−−−−−ここから

Your account is ready

Thank you for completing Amazon SageMaker Studio Lab account registration. You are now ready to learn and experiment with machine learning right in your browser. Sign in to get started.

Sincerely,

— The Amazon SageMaker Studio Lab team

−−−−−−−−−−−−−−−−−−−−−−−ここまで

■ログイン

メールアドレスか、ユーザー名でログイン


■起動

Select Compute Typeを選択してStart runtimeをクリックすると起動され、Open Project(丸いボタン)が青くなったらクリックして起動する。

MacのSafariではポップアップブロックされる場合があるのでその場合は、Safari>環境設定>WEBサイトでstudiolab.sagemaker.awsのポップアップを許可


無事JupyterLabが起動

とりあえずこれでPythonは使えるようになりました。TensorFlow等のインストールは次回

2020年5月11日月曜日

AWS Amazon Linux2にCLIインストール

基本的に公開ドキュメント通りにインストール

■高権限ユーザに切り替え

$su -

■tmpフォルダで作業

#cd /tmp

■パッケージをダウンロード

#curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"

■公開ドキュメントに記載の公開鍵(文字列)を任意のファイル名(pub.key)に保存


 ■AWS CLI パブリックキーをインポート

#gpg --import pub.key

gpg: directory `/root/.gnupg' created
gpg: new configuration file `/root/.gnupg/gpg.conf' created
gpg: WARNING: options in `/root/.gnupg/gpg.conf' are not yet active during this run
gpg: keyring `/root/.gnupg/secring.gpg' created
gpg: keyring `/root/.gnupg/pubring.gpg' created
gpg: /root/.gnupg/trustdb.gpg: trustdb created
gpg: key 4672475C: public key "AWS CLI Team <aws-cli@amazon.com>" imported
gpg: Total number processed: 1
gpg:               imported: 1  (RSA: 1)

■AWS CLI 署名ファイルをダウンロード

#curl -o awscliv2.sig https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip.sig

■パッケージの署名検証

#gpg --verify ./awscliv2.sig ./awscliv2.zipawscliv2.sig awscliv2.zip

gpg: Signature made Thu 07 May 2020 10:58:13 PM UTC using RSA key ID 4672475C
gpg: Good signature from "AWS CLI Team <aws-cli@amazon.com>"
gpg: WARNING: This key is not certified with a trusted signature!
gpg:          There is no indication that the signature belongs to the owner.
Primary key fingerprint: FB5D B77F D5C1 18B8 0511  ADA8 A631 0ACC 4672 475C

■パッケージファイルを解凍

#unzip awscliv2.zip


■CLIインストール

#./aws/install

■インストール(バージョン)確認

#aws --version
aws-cli/2.0.12 Python/3.7.3 Linux/4.14.173-137.229.amzn2.x86_64 botocore/2.0.0dev16

インストール完了


2020年4月27日月曜日

AWS Amazon Linux2 EC2インスタンスへのログイン認証

WindowsサーバのEC2インスタンスに続きLinuxベースのインスタンスを作成していることに。

AMIはAmazon Linux 2で作成、EBSの無料枠が30GまでなのでWindowsインスタンスの削除が必要かと思ったら実際の使用サイズが30にいかなければ良さそう。

とりあえずインスタンスの作成が完了したのでログインしてみる、ログインはデフォルトで作成されているec2-userで公開鍵認証でログインする必要がある。

MacのターミナルからSSHで接続する場合(@から後ろはサーバーによって異なる)

ssh -I 公開鍵ファイル ec2-user@ec2-xx-xx-xx-xx.ap-northeast-1.compute.amazonaws.com(もしくはパブリックIPアドレス)

公開鍵ファイルはAWSのキーペア(デフォルトの名前で作成しているとMyFirstKey.pem)

接続できると思ったら・・・

The authenticity of host 'ec2-xx-xx-xx-xx.ap-northeast-1.compute.amazonaws.com (xx.xx.xx.xx)' can't be established.
ECDSA key fingerprint is SHA256:1BD4poD6tGkmoJPz5XAb6kCDeLouiWzfh5dYHuF8wUU.
Are you sure you want to continue connecting (yes/no)? yes
Warning: Permanently added 'ec2-xx-xx-xx-xx.ap-northeast-1.compute.amazonaws.com,xx.xx.xx.xx' (ECDSA) to the list of known hosts.
知らないホストに繋げようとすると警告が出る、yesを選択すると
/Users/[ユーザー名]/.ssh/known_hostsにサーバ情報が書き込まれ次回からは聞かれなくなる※EC2のパブリックIPがダイナミックな場合は起動毎にIPが代わるので都度聞いてくるっぽい。

次こそと思ったら

@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
@         WARNING: UNPROTECTED PRIVATE KEY FILE!          @
@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
Permissions 0644 for '/公開鍵ファイル.pem' are too open.
It is required that your private key files are NOT accessible by others.
This private key will be ignored.
Load key "/[公開鍵ファイル.pem]": bad permissions
ec2-user@ec2-xx-xx-xx-xx.ap-northeast-1.compute.amazonaws.com: Permission denied (publickey,gssapi-keyex,gssapi-with-mic).

公開鍵ファイルのパーミッションが悪いと怒られるのでchmodコマンドでパーミッションを変更

$chmod 400 公開鍵ファイル

無事接続成功。

ついでに、作業用ユーザーだけは公開鍵認証ではなくパスワード認証にしてしまう。(あくまでも検証用サーバーのためセキュリティは目をつぶる)

/etc/ssh/sshd_configの最後に以下を追加
Match User [ユーザー名]
  PasswordAuthentication yes
sshdを再起動
#service sshd restart

これでssh ユーザー名@ec2-xx-xx-xx-xx.ap-northeast-1.compute.amazonaws.comで接続できるのでちょっと楽になった。




2020年4月21日火曜日

AWS IAMユーザーによる請求情報画面へのアクセス

ルートユーザーに代わる高権限のIAMユーザーを作成したもののAdministratorAccessポリシーを適用していても請求情報画面にはアクセス出来ないみたい。

最初はそれでもよかったけれど意外にルートユーザに切り替えるのが面倒になってきたのでアクセスできるように変更。



  • ルートユーザでログイン
  • ナビゲーションバー→マイアカウント
  • ”IAM ユーザー/ロールによる請求情報へのアクセス”右の編集



  • IAMアクセスのアクティブ化にチェック



  • 有効にチェックをして更新ボタンクリック



      • ”IAMユーザー/ロールによる請求情報へのアクセスは有効になっています。”と表示して完了





      2020年4月11日土曜日

      AWS EC2のインスタンス作り始め

      AWSアカウントも無事作成できたので無料枠対象のEC2インスタンスを作成・起動してみることに。

      とりあえずチュートリアル通りの手順通りに作成して起動成功

      起動してみて初歩的なメモ

      WindowsベースのAMIに日本語版はなく英語版しかなく日本語化が必要。
      OSにWindows2019 BASEを選択してインスタンスを作成してみたけれど日本語化が上手くいかずWindows2016BASEで再作成。
      作成されたインスタンスのVPCがどうなるか気になったけれど、デフォルトでインターネットゲートウェイがアタッチされているVPCが作成されていて使用される。
      デフォルト設定ではインスタントを終了するとEBSストレージからルートボリュームは削除される。
      インスタンスを停止後、起動するとパブリックIPは停止前とは異なる。
      インスタンス再起動であればパブリックIPは変更されない。


      2020年4月6日月曜日

      AWS IAMのベストプラクティスに従いIAM管理者ユーザー作成

      IAMのユーザーガイドにも記載があるとおりAWSアカウントのルートユーザーは使用せず個別のIAMユーザーを作成することに。

      最初のIAM管理者のユーザー作成に従いマネージメントコンソールを操作可能な高権限ユーザーを作成

      これで今までルートユーザーでログインしていたところをIAMユーザーでログインする。その際、アカウントIDまたはアカウントエイリアスが必要でアカウントIDはルートユーザ(メールアドレス)でログインしてIAM管理画面で確認しておく。
      ついでに、アカウントIDが覚えにくいのでIAM画面の「IAM ユーザーのサインインリンク」の”カスタマイズ”リンクからアカウントエイリアスを設定しておくと便利かも。

      これで次回からhttps://[アカウントID].signin.aws.amazon.com/console/もしくはhttps://[アカウントエイリアス].signin.aws.amazon.com/console/にアクセスしてIAMユーザーでログインする。※GETパラメータでリージョンを指定してアクセスも可能らしい。

      ちょっとはまったのがIAMユーザログインではなくルートユーザでログインし直そうと思った時にどうやってログイン画面を切り替えるのかと思ったら
      「サインイン」ボタンの下に”ルートユーザーのEメールを使用してサインイン”のリンクがあった・・・。

      2020年4月4日土曜日

      AWS 無料利用枠の使用のアラートと請求アラートを受け取る

      とりあえずアカウントの作成が完了したので無料利用枠内で色々ためしてみることに。

      ただ、知らないうちに有料サービスを使用してしまう可能性があるので ”無料利用枠の使用のアラート”と”請求アラートを受け取る”設定をしておく。

      無料利用枠の使用のアラート

      サービス→Billing→Billingの設定の「無料利用枠の使用のアラートの受信」を有効にしてメールアドレスを指定(画面右上のリージョンがバージニア北部であることを確認しおく)

      請求アラートを受け取る


      こちらを参考にさせていただき設定しましたが、個人的な補足として


      • SNSトピックを作成した際に設定したEメールアドレスには確認メールが送信されるのでメール本文のリンクから確認画面にアクセスして確認完了させる必要がある
      • Macの標準メールソフトではAWSから送信されたメールが迷惑フォルダに移動されてしまう。


      とりあえずアラート設定は完了かな。。。


      2020年4月1日水曜日

      AWSアカウント作成

      やっとAWSを実際に使用してみるとことにしてまずはアカウント作成

      AWSアカウント作成の流れを見ながら作成すれば比較的簡単でした。

      海外が苦手な自分的には、住所の入力は英語表記する必要がありインターネットで英語表記についてのサイトを見ながら記入(例 Tokyo-toとかShinjyuku-kuとか)

      しかし、なぜか自分は「ステップ 4: SMS または日本語自動音声電話によるアカウント認証」ここではまる。。。

      検証コードを受取をSMSを選択してみたが送られ来ず(追伸会社問題なのかと思い2社試したが届かない)
      次に、音声通話を選択してみるとすぐに電話が来て案内に従い検証コードを入力してみても「認証に失敗しました」のアナウンス。

      何度か試みていると以下の「リクエストの処理中にエラーが発生しました」画面が表示してなにもできず本人確認完了画面も「ステップ 5: AWS サポートプランの選択」も出来ないまま終了


      こんな中途半端な状況でもアカウント作成完了のメールが届くしマネージメントコンソールにも問題なくログインできてしまう。

      こんな状況でいいのかな?

      念のためサポートに問い合わせてみよう

      その後

      awsのサイトで問い合わせ先を見つけるとこが出来ず(こういう所が不満)ダメもとで作成したアカウントでログインしてみると・・・出来た。
      選択できていないサポートプランも画面上はBasicになっていてこれでいいのかと思いつつサポートフォームで問い合わせてみる(ログイン後はサポート問い合わせフォームがある)
      数日後、登録していた携帯に電話があり状況を話すとやはり本人確認が未完了の状態とのこと。
      サポートからの電話で何個かの質問に答えることで電話にて無事本人確認が完了(※)
      ちなみに今回の事象について確認してみたところ原因不明とのことでさらにこういうことはよくあるのか質問してみると苦笑しながらよくあるらしい(こういうのがグローバルスタンダード?)

      ※これで無事に終わったと思いきや・・・サポートフォームに電話での内容の記載があり読んでいるとサインアップしてサポートプランを選択しないと完了しない趣旨が・・・電話ではそんな説明は一切なく本人確認完了しておくと説明があったのに。。。

      とりあえず指定されたURLにアクセスしてみると通常アカウント作成ページが表示、まさか新しいアカウントを作れとも?それでは電話での説明と違うので既存のアカウントでログインして再度サポートにフォームに追加質問を書いていると・・・新規タブでなにかページが表示している。
      そこには本人確認完了ページが・・・おいおい、さらにサポートプランの選択ページに続き無事本来のアカウント作成手順が完了したらしい。

      サポートからの電話は日本人の方で丁寧に対応にしていただき無事アカウントの作成は完了したものの一連を考えるとなんとも微妙・・・。

      2019年9月18日水曜日

      AWSソリューションアーキテクトアソシエイト

      どうしてもAWSに係わる可能性が大きくなり、ただ勉強してもつまらないのでAWS認定試験を受けることに。

      何種類かある試験でそれほど難しくなさそうなものをと思いソリューションアーキテクトアソシエイトを選択して書店で何種類かる参考書から何となく技術評論社の「AWS認定ソリューションアーキテクトアソシエイト合格教本」(2018年2月リリース対応)を購入
      ※アフィリエイト目的ではないのでリンクはしません。

      ・AWSの事前知識

      勉強を始める頃はEC2ってなに状態、AWSを使った事もなく実際に管理画面を見たこともなし。
      参考書の受験資格を読むと1年以上の実務経験とあるけど・・・

      ・勉強方法

      購入した参考書のみ、模擬試験や無料でのAWS操作やホワイトペーパーは一切未使用

      ・勉強期間

      通勤の行き帰りや週末の休みに参考書を何度も繰り返し読み込み、章ごとの確認問題と付録の模擬テストを実施する感じで概ね2ヶ月、もっとも土日やまとまった時間に集中して読めば2週間でも合格するような気がする。OracleのDBAの参考書に比べればたいしたことはないかも。

      ・試験の感想

      130分(アンケート入力時間含)でゆっくり読んでいたら意外に時間がなくなってしまった、65問あるのでとりあえず気になる所は後で見かえす事にして最後まで終わらせる方がいいのかもしれない。(参考書の模擬試験は実際の問題とかなり雰囲気は似ていてた)

      ・参考書について

      まぁ読んだおかげで合格しているわけですが・・・

      • 参考書は試験範囲を網羅しておらず全く知らない問題が出題された。
      • 付録の模擬試験にすら本文に記載のない問題があった、なので模擬問題の解答の説明を読んでおくのはいいかも。
      • 誤字/脱字は仕方ないものの説明に紛らわし箇所や説明と図例がイマイチあってない箇所があったような。(例えばELBにはSSL Termination機能が用意されているとあるがELBはCLB/ALB/NLBの総称と説明していてこの機能はNLBでは使えないとか、CloudWatchには3種類の機能がありそのひの1つにCloudWatchがあるってなんのこっちゃとか)

      なので今回の合格は偶然の可能性があり確実合格するためには参考書だけに頼らず問題集や模擬試験を受けるかちゃんと試験範囲を網羅した参考書を探してみる方がいいのかも。AWSは機能がどんどん変わっていくようなので参考書の情報が正しいとはかぎなそうなのが厄介かも。

      3年後に再試験を受けないといけないのが憂鬱、とても上の資格を受ける気もないしどうしたものかな。