Skip to main content

Sharing about AWS FSx

Updated 2 min readMarkdown
Sharing about AWS FSx

AWS ရဲ့ Storage services တွေထဲကမှ Amazon FSx အကြောင်း နည်းနည်းလေး ပြောကြည့်ချင်လို့ ပါ

Amazon FSx က other storage services တွေထဲကမှ 3rd party high-performance file system တစ်ခုဖြစ်ပါတယ်။ သူက AWS ဘက်ကနေ Fully managed လုပ်ထားတဲ့ service တစ်ခုလည်းဖြစ်တယ်။ AWS FSx အောက်မှာ သုံးလို့ရတဲ့ services အခွဲလေးခုရှိတယ်။ အဲ့တာ တွေက

1. FSx for Lustre

2. FSx for Windows File Server

3. FSx for NetAPP ONTAP

4. FSx for OpenZFS

ဆိုပီး use case ပေါ် မူတည်ပီး သုံးလို့ ရပါတယ်။ အဲ့တာဆို တစ်ခု ချင်းဆီအကြောင်း ကြည့်ရအောင်ပါ

1. FSx for Lustre

Lustre ဆိုတဲ့ နာမည်က Linux နဲ့ Cluster နှစ်ခု ကနေ ဆင်းသက်လာတာလို့ သိရပါတယ်။ သူ့ ကို compute workloads တွေဖြစ်တဲ့ Machine learning, high performance computing ( HPC ), video processing နဲ့ financial modeling case တွေမှာ အသုံးများတာကို တွေ့ရပါတယ်။

Lustre ကို တခြား AWS service တွေဖြစ်တဲ့ ( Amazon S3, Amazon SageMaker, Amazon Elastic Kubernetes Service, AWS Batch, AWS ParallelCluster ) တို့နဲ့ အဆင်ပြေပြေ Integration လုပ်လို့ရပါသေးတယ်။ On-premises servers တွေကနေ လည်း ( VPN or Direct connect ) ကို သုံးပီး FSx Lustre ကို လှမ်းသုံးလို့ ရပါတယ်။

FSx ရဲ့ Storage Options တွေကို ဆက်လေ့လာကြည့်ရင် ( SSD and HDD ) ဆိုပီး နှစ်မျိုးတွေ့နိုင်ပါတယ်။ SSD မှာမှ Persistent နဲ့ Scratch ဆိုပီး ထပ်ခွဲပါသေးတယ်။ အဲ့မှာ Persistent နဲ့ Scratch အကြောင်း ပြောဖို့လိုလာပါ တယ်။

Persistent ဆိုတဲ့ အတိုင်း Long-term storage အမျိုးအစားဖြစ်တယ်၊ data တွေကို replicate လုပ်တဲ့အခါ same AZ ထဲမှာပဲ replicate လုပ်ထားတယ်၊ ရေရှည် processing လည်းလုပ်မယ် ပျက်စီးမခံ နိုင်တဲ့ sensitive data တွေကို သိမ်းချင်တဲ့ အခါ Persistent storage type ကို ရွေးသင့်ပါတယ်။ Data ကို နှစ်နေရာ replicate လုပ်ပီး သိမ်းထားတဲ့ အတွက် File server တစ်လုံး crush ဖြစ်ခဲ့ရင်တောင် ကျန်တဲ့ တစ်ခုနဲ့ survive လုပ်နိုင်ပါတယ်။ File တစ်ခုခု fail သွားရင်တောင် minutes ပိုင်းအတွင်း ပြန် replace လုပ်ပေးပါတယ်။

Scratch ကတော့ cost optimize လည်းဖြစ်ရမယ် ရေရှည် လည်း မသိမ်းထားချင်ဘူး ခဏတဖြုတ် သုံးမဲ့ storage လိုချင်တယ်ဆို Scratch ကို ရွေးသင့်ပါတယ်။ သူက temporary storage ဖြစ်တဲ့ အတွက် data ကို သိမ်းတဲ့ အခါမှာ same AZ ထဲမှာ replicate လုပ်ပီး မသိမ်းပေးပါဘူး အဲ့တော့ file server crash ဖြစ်တာနဲ့ အကုန်ကုန်မှာပါ။

Lustre theory အကြောင်း ကတော့ ဒီလောက်နဲ့ လုံလောက်မယ်လို့ ယုံကြည်ပါတယ်။

နောက်နေ့ တွေမှာတော့ ကျန်တဲ့ သုံးမျိုးအကြောင်း ထပ်ပီး sharing လုပ်သွားပေးပါအုံးမယ်ဗျ။

See you guys in the next articles.

About the author

  • I'm Zin Lin Htet. Who love to learn and share about Linux, Cloud, Docker and K8s. Currently working as a DevOps Engineer at one of the famous Fintech Company in Myanmar.

No comments yet. Be the first to comment.

More from this blog