Academic Cloud(AC) は、CES-Alpha 上で提供するクラウドコンピューティング環境です。 授業ごとに割り当てられた ACC(Academic Cloud Credits) を消費しながら、 仮想マシン(VM)を起動して JupyterLab などを利用できます。
ACC はクラウドリソースを使うための「通貨」です。 VM を起動している間、選んだ VM の種類に応じた速度で ACC が消費されます。 担当教員が授業用にまとめて購入・補充し、学生はその残高の中で VM を利用します。
VM に加え、永続ストレージ(Cloud Disk)と自動同期ストレージ(Storage)を組み合わせてデータを管理できます。
AC コースには 2 種類の VM モード があります。担当教員がコース設定でどちらを使うか選びます。
| 項目 | Common VM | Personal VM |
|---|---|---|
| 台数 | コース全体で 1 台 | 学生 1 人 1 台 |
| 起動者 | 担当教員が起動・管理 | 学生が自分で起動・停止 |
| 環境の独立性 | 全員が 同じ環境 を共有 | 個人専用環境(コース間でも共通) |
| ACC 消費 | 常時一定(起動中は全員分) | 起動中のみ個人分を消費 |
| 同時利用制限 | 常時 1 台(全員が同時アクセス) | 1 ユーザーにつき同時 1 台 複数コース間で排他(1 台だけ起動可) |
| 向いている場面 | 全員同じデモ・授業演習 | 個人課題・自習・長期プロジェクト |
コースの ACC 残高が 0.5 ACC 以上 必要です。 不足している場合、VM を起動できません。担当教員に残高補充を依頼してください。
VM 管理ページで「Boot up」ボタンを押します。 起動には通常 約 2 分 かかります。 完了すると JupyterLab へのリンクが表示されます。
VM の種別ごとに 消費率(ratio) が異なります。 例えば ratio = 2 の VM は ratio = 1 の VM の 2 倍の速さで ACC を消費します。 VM 管理ページで各タイプの ratio を確認できます。
複数の学生が同時に Personal VM を稼働させると、 コースの ACC 残高がその台数で分割されます。 各自の「実質利用可能時間」は台数が増えるほど短くなります。
「Open notebook」ボタンから JupyterLab を開き、 ノートブックやターミナルで作業します。 ファイルは VM 上(または Disk / Storage)に保存されます。
作業終了後は 「Shutdown」 ボタンで VM を停止してください。 停止しないと ACC が消費され続けます。 操作が 30 分ないと自動停止しますが、手動停止を推奨します。 長時間計算の場合は 5 章を参照してください。
数時間〜数日かかる計算を実行する場合は、アイドル自動停止を止める・
計算が終わったら VM を自分で停止させる・
データがクラウドに保存されたことを確認する の 3 点を押さえてください。
操作は JupyterLab のターミナルから /ces-alpha/bin/ces_vm.sh コマンドで行います。
| 種類 | 条件 | 止められるか |
|---|---|---|
| アイドル自動停止 | ノートブックの保存・カーネル起動・ターミナル入力などの操作が 30 分 ないとき(5 分前に通知) | 可(下記 keep-alive) |
| ACC 期限 | コースの ACC 残高(同時稼働台数で分割)や個人の ACC 上限から計算した利用可能時間を使い切ったとき | 不可(教員が ACC を補充すると延長されます) |
| 最大 VM 稼働時間 | 担当教員がユーザーごとに設定した上限時間に達したとき(未設定なら制限なし) | 不可(教員に変更を依頼) |
依頼から 5 分以内に JupyterLab が停止し、ホームディレクトリがクラウドストレージにバックアップされ、 その後 VM が削除されます。VM 管理ページの「Shutdown」ボタンと同じ処理です。 keep-alive が ON でも停止します。
計算終了後に自動で停止させる例(ブラウザを閉じても計算は続きます):
; でつないでいるため、計算がエラーで終了した場合も VM は停止します。成功時のみ停止させたい場合は && を使ってください(失敗時は VM が動き続け、ACC を消費します)。!/ces-alpha/bin/ces_vm.sh shutdown と書きます。/tmp など他の場所はバックアップされません。
ホームディレクトリは、VM の停止時にまとめてクラウドストレージ(GCS)へ保存され、次回起動時に復元されます。
Shutdown ボタン・ces_vm.sh shutdown・アイドル自動停止・ACC 期限による停止のいずれでも、
バックアップが完了してから VM が削除されます。
~/.julia、~/.cache など)を除外して容量を減らせます。AC コースでは、データの保存に 2 種類のストレージを利用できます。用途に応じて使い分けることが重要です。
| 項目 | Cloud Disk(永続ディスク) | Storage(GCS) |
|---|---|---|
| 実態 | GCE 永続ディスク(SSD) | Google Cloud Storage(オブジェクトストレージ) |
| VM との接続 | VM に直接アタッチ(高速・シームレス) | VM 起動時・停止時に自動同期 |
| アクセス速度 | ローカルディスクと同等(高速) | 同期処理に数秒〜数十秒かかる場合あり |
| 永続性 | 購入した有効期限まで保持 | 容量制限内で無期限保持 |
| ACC 消費 | ディスク購入・期限延長時に ACC を消費 | 無料(容量制限あり) |
| コース間共有 | 同じ Disk を複数コースで利用可 | Personal VM では自動的にコース間で共有 |
| 主な用途 | 大容量データ・DB・I/O 頻繁な長期作業 | ファイルバックアップ・ノートブックの保存 |
.ipynb)や小〜中規模のデータなら
Storage(GCS) で十分です(無料)。
GB 単位の大きなデータセットやデータベースを扱う場合は
Cloud Disk を購入することで快適に利用できます。
補足:
保存領域について OSディスク / クラウドストレージ / クラウドディスクの概念
(a)OSディスク ✘ 停止時のデータ保持保証なし
仮想マシン内のローカル領域:100GB
仮想マシン稼働中、OSファイルと作業ファイル合計で最大100GBまで利用できます。
◆ 停止時にデータ保持が保証されません。
停止後も残したいデータは、クラウドストレージ、またはクラウドディスクに保存してください。(b)クラウドストレージ ✔ 停止中も保持 ✔ 有効期間中保持
停止中も保持される領域:標準 2GB
仮想マシン停止中、作業ファイルはクラウドストレージ(容量=2GB)に保存されます。
◆ /home/[ user ]/notebook/
作業フォルダおよびクラウドディスク以外のファイルは停止時に削除されます。(c)クラウドディスク ✔ 停止中も保持 ✔ 有効期間中保持
大容量・永続領域
基準構成(BaseAC)以外のストレージが必要な場合に利用できます。
追加購入も可能です。
◆ /home/[ user ]/CloudDisk/
仮想マシン起動時、自動的にマウントされます。担当教員は、ACC 管理ページからクラウドディスクボリュームを購入し、そのボリュームからクラウドディスクを作成して、どの VM で使うかを管理できます。 クラウドディスクは「ボリュームを購入 → ボリュームからディスクを作成」の 2 段階で用意します。 作成したクラウドディスクは、同時に 1 台の VM にのみ接続できます。 接続先として コース共通VM または コースメンバーの個人VM を選んでください。
| コースの VM モード | ディスクの接続先 |
|---|---|
| 個人VMモード | ディスクごとに、コース共通VM か、コースメンバー 1 人の個人VM を選びます。 個人VMに接続したディスクは、そのメンバーだけが使います。 |
| 共通VMモード | 接続中のディスクはすべてコース共通VM にアタッチされ、共通VM で作業する全員が使います。 |
VM 上では、ディスクは ~/CloudDisk フォルダとして見えます。
2 台目のディスクは ~/CloudDisk2 のようになります(1 台の VM に最大 4 台まで)。
コースポータル左側のメニュー(またはポータルの「ACC管理」ボタン)から「ACC管理」を押下します。
ACC 管理ページの「クラウドディスク」欄に、ディスク関連のメニューがあります。
「クラウドディスクボリュームの購入」を押下すると、ボリュームのパッケージが表示されます。
「ディスクを作成」を押下します(購入直後は、決済完了ページの「ディスクを作成」からも進めます)。
作成するとクラウドディスク管理ページが開き、ディスクの初期化の経過時間が表示されます (例:「初期化中 0:03(通常 10 秒程度)」)。初期化が終わるとステータスが「アクティブ」になり、 「初期化完了(所要時間 0:51)」と表示されます。
ACC 管理ページの「クラウドディスクの管理」を押下すると、コースのディスクが 1 行ずつ表示されます。 ページ上部のバッジで、コースが「個人VMモード」か「共通VMモード」かを確認できます。
| 列 | 内容 |
|---|---|
| ディスク | ディスク名、容量・種類(HDD / SSD)・ゾーン、作成元のボリューム |
| 接続先 | 接続先のユーザー(またはコース共通VM)と VM 名。VM が起動中なら「実行中」と表示されます。 |
| ステータス | アクティブ(使用可能)、作成中(初期化中。経過時間が表示されます)・アタッチ中・デタッチ中・移動中・容量変更中(処理中、しばらく待つ)、 未接続(どの VM も使っていない。データは保持)、エラー |
| 有効期限 | この日までディスクとデータが保持されます。 |
ディスクの行の「管理」を押下すると、次の 4 つの操作ができる画面が開きます。
ディスクを使う VM(コース共通VM、またはメンバーの個人VM)、または「未接続」を選んで「変更を適用」を押下します。 必要なデタッチとアタッチは自動で行われます。
ゾーンは Google Cloud のデータセンターの場所です(例:asia-northeast1-b(東京)、us-west1-b(オレゴン))。 ディスクは 1 つのゾーンに保存され、VM は同じゾーンのディスクしか使えません。VM 起動時に CES-Alpha が次のように調整します。
そのため、通常は操作不要です。別ゾーンの VM 用に事前に準備したい場合だけ、ゾーンを選んで「このゾーンへ移動」を押下します。 VM にアタッチされているディスクは移動できないので、先に ① で「未接続」を選んで適用してください。
ディスクは有効期限まで保持されます。期限が切れる前に「有効期限を延長」を押下し、延長期間を選んでください。 延長には ACC を使用し、ディスクごとに行います(ボリュームの有効期限は変わりません)。 料金はディスクの容量に比例します(延長期間は月単位で計算されます)。
パッケージの ACC 価格 × ディスク容量 ÷ パッケージの容量(切り上げ)ディスクの容量が足りなくなったら、ボリュームの残り容量から5GB 単位で追加できます。
ホームフォルダは VM を停止するたびにまとめて保存され、次回起動時に展開されます(5 章)。 そこに Python パッケージ・conda 環境・Julia パッケージ・データセットなど大きなものを入れると、停止と起動のたびに時間がかかり、 一部のキャッシュフォルダは削除されることもあります。クラウドディスクはそのままアタッチされるので、インストールしたものはすぐに使えます。
Julia の場合は、パッケージをインストールする前に JULIA_DEPOT_PATH=~/CloudDisk/julia を設定してください。
以下のサービスも AC コースで利用できます。詳細マニュアルは順次公開予定です。