SAA学習-データベース-EFSの構築 - おっさん社内SEエンジニアの勉強ブログ

今回のテーマ：EFSの概要

主要サービスの公式資料

EFS： docs.aws.amazon.com

Amazon FSx For Windows File Server： docs.aws.amazon.com

Amazon FSx For Lustre： docs.aws.amazon.com

概要

EFS(Elastic File System)は複数のEC2インスタンスからアクセス可能な共有ストレージとなります。
ストレージシステムの概要は以下となります。

S3

オブジェクトストレージでリージョンに設置
HTTPによるAPI経由でアクセス
大容量のデータを長期保存するためのもの

EBS

ブロックストレージでAZに設置
EC2インスタンスのディスクボリュームとして利用
ネットワーク経由で利用
複数のEC2インスタンスへアタッチ不可

EFS

NASに似たファイルストレージ
ファイルシステムとして利用
複数のEC2インスタンスでの共有が可能

特徴

シンプルかつスケーラブルで柔軟に利用できるファイルストレージとなります。要点は以下のような項目があります。

シンプル

フルマネージド型サービス
ネットワークファイルシステムバージョン4(NFSv4)プロトコルを利用
関連ツールや標準プロトコルでAPIアクセス可能

スケーラブル

ペタバイトまでスケーラブルにデータ蓄積が可能
スループット/IOPS性能は自動的にスケーリングし、低レイテンシーを維持

柔軟性

ファイルの減少に合わせて自動で拡張・縮小が可能
事前に容量を設定する必要不要
使用した分の従量課金

基本性能

何千もの同時アクセスが実現可能となります。
概要と制限事項は以下のものになります。

概要

100MB(バースト込み)
ファイル名は255バイトまで
1ファイルの最大容量は48TB
インスタンス当たり128ユーザーまでが同時オープン接続可能
何千もの同時アクセスが実現可能

制限事項

アカウント当たりのファイルシステム数：1000
AZごとのファイルシステムあたりのマウントターゲット：1
ファイルシステムあたりのタグ：50
マウントターゲットあたりのSG：5
ファイルシステムあたりVPC数：1
各VPCのマウントターゲット数：400

EFSのデータ保存

EFSのデータファイルは複数AZに分散し保存されます。

EFSの設定ステップ

以下のステップでEFSの設定を行います。

1.ファイルシステムを作成
2.接続先のマウントターゲットの作成
3.セキュリティグループの作成
4.パフォーマンスモードの選択

EFSのファイルシステム

EFSの管理単位でファイルやディレクトリの保管場所となります。
1つのAWSアカウントで複数のファイルシステムを作成できます。
構造は以下のようなものになります。

f:id:In-houseSE:20210808080320p:plain

EFSのマウントターゲット

EC2インスタンスからの接続先がマウントターゲットとなります。
概要は以下のようなものになります。

VPC内のAZにある接続先
EC2インスタンスは同じAZ内にあるマウントターゲットから接続
固定DNS名とIPアドレスを有している
ファイルシステム DNS名を使用し、マウントすることで自動でIPアドレスを付与

概略図は以下のようになります。

f:id:In-houseSE:20210808082300p:plain

EFSのパフォーマンスモード

汎用モードと最大I/Oモードから選択します。
概要は以下のようになります。

汎用モード

デフォルトの指定で推奨されている
一般的な用途を想定したモード
レイテンシーが最も低い
1秒あたりのファイルシステム操作を7000に制限

最大I/Oモード

大規模な何十～何千というクライアントから同時アクセスが必要な際に利用
合計スループットを優先しスケール
レイテンシーが多少長くなる

バースト機能

ファイルストレージの負荷に対しバースト機能によりスケーラブルに対応します。確保する要因としては以下のものがあります。

NFSサーバー容量増大に応じたスループット性能の拡張が必要
一時的なピーク時が増大する可能性

また、バースト機能により一時的に性能を向上させることが可能となります。
バーストやその他関連事項は以下となります。

バースト

一時的な大量トラフィックの発生やそれに伴いサーバなどの処理性能が一時的に向上

バーストスループット

ファイルシステムが大きくなるにしたがって Amazon EFSによるスループットが拡張

クレジットシステム

ファイルシステムがバーストできる時期を判断
各ファイルシステムは時間の経過とともにクレジットを累積
データを読み書きするたびにクレジットを使用

cf)EC2インスタンスのt系ファミリアーも利用状況に応じて同じような管理がされます。

以下はAmazon EFSのバースト機能の概要となります。

容量に応じたバースト機能
1TB以上の容量応じて性能が向上する
最大で1GBまでバースト可能
容量に応じてクレジットの累積量とスループット性能が向上

EFSクライアント

EFSをEC2インスタンスから操作する際、専用のクライアントソフトウェアを利用します。
利用するソフトウェアは以下となります。

Amazon-efs-utilsに含まれるEFSマウントヘルパー
Linux NFSv4クライアント

プロビジョンスループット

バーストのスループットと異なる機能でユースケースに応じて利用します。
バーストのスループットとの比較は以下となります。

バーストのスループット

ピーク時にクレジットを消費してバーストを実行し一時的に性能を向上
最大スループットとバースト時間に制限あり
スループット性能向上にはストレージ容量の増大が必要

プロビジョンドスループット

一貫したスループットを事前に設定
API/AWS CLI/マネジメントコンソールより制御
1日1回だけスループット性能を減少可能

ユースケース

複数のEC2インスタンスでデータを共有する際にEFSを利用します。
利用方針やシーンの概要については以下となります。

利用方針

EBSではできない複数インスタンスからの同時アクセスが必要
数秒多淫いでデータ追記が必要
フルマネージドで運用し簡易に利用

利用シーン

アプリケーションの共有ディレクトリとして利用
ビックデータなど分散並列処理環境における共有データアクセスストレージとして利用
コンテンツの共有リポジトリとして利用

3つのファイルストレージ

EFS以外にもユースケースに応じたファイルストレージがあります。
種別について以下のものになります。

EFS

NASに似たファイルストレージ
ファイルシステムとして利用し、複数EC2インスタンスでの共有アクセスが可能
S3と異なりインターネットから直接アクセスができない

Amazon FSx For Windows File Server

Windows File Serverと互換性のあるストレージ
Windows上に構築されWindows AD 、OSやソフトウェアとの連携が豊富に可能j

Amazon FSx For Lustre

分散型ファイルストレージであるオープンソース「Lustre」と互換性のある分散型高速ストレージ
機械楽手など高速コンピューティングのデータレイヤーに利用する一時保存用の処理用ストレージ

Amazon FSx For Windows File Server

Windows File ServerをAWS クラウド上で利用したい場合に利用するストレージとなります。
特徴やユースケースなどは以下となります。

特徴・ユースケース

Windows File Serverのクラウド移行
Active Directory統合など幅広い管理機能
SMBプロトコルによりAmazon EC2、VMware Cloud on AWS、Amazon WorkSpaces、Amazon AppStream2.0インスタンスなど接続可能
最大数千台のコンピューティングインスタンスからのアクセス可能