Hybrid Cloud for Storage

AWS is pushing for 'hybrid cloud'

-part of your infrastructure is on the cloud

-part of your infrastructure is on-premises

AWS가 하이브리드 클라우드를 추진하고 있다.

하이브리드 클라우드는 인프라의 일부를 클라우드에, 일부를 온프레미스 환경에 두는 것이다.

This can be due to

-Long clound migrations

-Security requirements

-Compliance requirements

-IT strategy

원인은 다음과 같습니다.

-오래 걸리는 클라우드 마이그레이션 이동

-보안 요구사항

-준수 요구사항

-IT 전략

S3 is a proprietary storage technology (unlike EFS / NFS), so how do you expose the S3 data on-premises?

S3는 AWS 독점 스토리지 기술입니다(EFS/NFS와 달리). 그렇다면 S3 데이터를 온프레미스에 노출하는 방법은 무엇일까?

S3와 온프레미스 인프라 사이의 가교 역할을 하는 것이 AWS Storage Gateway이다.


AWS Storage Cloud Native Options

Block 스토리지 : Amazon EBS, EC2 Instance Store

File 시스템 : Amazon EFS, Amazon FSx

객체 레벨 스토리지 : Amazon S3, Amazon Glacier


AWS Storage Gateway

Bridge between on-premises data and cloud data in S3

온프레미스 데이터와 S3 클라우드의 다리 역할을 해준다.

Use cases: disaster recovery, backup & restore, tiered storage

사용 사례: 재해 복구, 백업 및 복원 & 계층화된 스토리지에 쓰임

3 types of Storage Gateway(세 가지 유형이 시험에 나올 수 있다)

-File Gateway

-Volume Gateway

-Tape Gateway

세 가지 게이트웨이의 차이점을 잘 알아야 한다!!


File Gateway

Configured S3 buckets are accessible using the NFS and SMB protocol

NFS 및 SMB 프로토콜을 사용하여 구성된 S3 버킷에 액세스할 수 있습니다.

Supports S3 standard, S3 IA, S3 One Zone IA

S3 표준 , S3 IA, S3 One Zone IA를 지원한다.

Bucket access using IAM roles for each File Gateway

각 파일 게이트웨이에 대해 IAM 역할을 사용한 버킷 액세스(버킷 액세스가 보호됨)

Most recently used data is cached in the file gateway

가장 최근에 사용된 데이터는 파일 게이트웨이에 캐시된다. (파일 액세스 지연 시간을 낮추도록 도와줌)

Can be mounted on mayn servers 온프레미스의 여러 서버에 장착 가능하다.

Integrated with Active Directory (AD) for user authentication

사용자 인증이 필요할 경우, 온프레미스의 AD와 통합되어 사용자 인증을 실행할 수 있다.


Volume Gateway

Block storage using iSCSI protocol backed by S3

S3의 iSCSI 프로토콜을 사용하는 블록 스토리지이다.

Backed by EBS snapshots which can help restore on-premises volumes

내부 볼륨을 복원하는 데 도움이 되는 EBS 스냅샷 지원함

볼륨 게이트웨이는 두 종류가 있다.

Cached volumes: low latency access to most recent data

Stored volumes: entire dataset is on premise, scheduled backups to S3

캐시된 볼륨: 최신 데이터에 대한 짧은 지연 시간 액세스

저장된 볼륨: 전체 데이터셋이 내부에 있으며, S3에 예약된 백업


Tape Gateway

Some companies have backup processes using physical tapes

일부 기업에서는 물리적 테이프를 사용한 백업 프로세스를 사용해야 한다.

With Tape Gateway, companies use the same processes but, in the cloud

테이프 게이트웨이를 사용하는 기업은 클라우드에서 동일한 프로세스를 사용합니다.

Virtual Tape Library (VTL) backed by Amazon S3 and Glacier

Amazon S3 및 Glacier가 지원하는 VTL(Virtual Tape Library)

Back up data using existing tape-based processes (and iSCSI interface)

기존 테이프 기반 프로세스(및 iSCSI 인터페이스)를 사용하여 데이터 백업

Works with leading backup software vendors

주요 백업 소프트웨어 공급업체와 협력 가능

때때로 게이트웨이를 실행할 가성 서버가 없을 경우에는 옵션으로 AWS의 하드웨어를 이용한다.

그것이 Storage Gateway - Hardware appliance 라고 한다.


Storage Gateway - Hardware appliance

Using Storage Gateway means you need on-premises virtualization

Otherwise, you can use a Storage Gateway Hardware Appliance

You can buy it on amazon.com

스토리지 게이트웨이를 사용한다는 뜻은 온프레미스 가상화가 필요하다는 것이다.

온프레미스 가상화가 없으면 스토리지 게이트웨이 하드웨어 어플라이언스를 사용할 수 있다.

amazon.com에서 살 수 있다.

Works with File Gateway, Volume Gateway, Tape Gateway

3개 타입의 게이트웨이에서 사용 가능하다. (설정할 수 있다)

Has the required CPU, memory, network, SSD cache resources

물리적인 설치 필요하며 올바르게 작동하기 위해서 CPU, 메모리 , 네트워크, SSD 캐시 리소스가 필요하다.

Helpful for daily NFS backups in small data centers

소규모 데이터 센터에서 매일 NFS 백업을 수행하지만 가상화가 불가능한 경우에 유용하다.


AWS Storage Gateway Summary

시험에서는 문제를 자세히 읽어야 어떤 게이트웨이를 사용할지 알 수 있다.

On-premises data to the cloud -> Storage Gateway

온프레미스 데이터와 클라우드 사이에 브리지 필요한 것은 스토리지 게이트웨이

File access / NFS - user auth with AD => File Gateway

네트워크 파일 시스템과 함께 AD를 사용하는 선택적 사용자 인증이 필요할 경우는 File Gateway

Volumes / Block Storage / iSCSI => Volume Gateway (backed by S3 with EBS snapshots)

볼륨, 블록 스토리지, iSCSI 백업이 필요한 경우는 Volume Gateway. (EBS 스냅샷이 생성되어 S3의 지원을 받을 수 있다)

VTL Tape Solution / Backup with iSCSI => Tape Gateway (backed by S3 and Glacier)

백업에 테이프 솔루션이 필요하면 Tape Gateway

No on-premises virtualization => Hardware Appliance

온프레미스 가상화 시스템이 없는 경우, 하드웨어 어플라이언스를 주문하고 데이터 센터에 설치.

'Cloud > AWS' 카테고리의 다른 글

Amazon SQS  (0) 2022.12.01
Storage Comparison / AWS 모든 스토리지 비교  (0) 2022.11.28
Amazon FSx - Overview  (0) 2022.11.28
AWS Snow Family 개요  (0) 2022.11.27
AWS Global Accelerator 개요  (0) 2022.11.26

Amazon FSx - Overview

Launch 3rd party high-performance file system on AWS

타사 제품의 고성능 파일 시스템을 FSx에서 사용가능하다

Fully managed service AWS의 완전관리형 서비스이다.

FSx for Lustre / FSx for Windows File server / FSx for NetApp ONTAP(이건 시험에 나오지 않음)


Amazon FSx for Windows

EFS is a shared POSIX system for Linux systems. EFS는 리눅스 시스템을 위한 POSIX 시스템.

FSx for Windows is a fully managed Windows file ststem share drive

Windows용 FSx도 비슷하다. Windows와 Linux 컴퓨터에서 액세스 할 수 있는 완전 관리형 Windows 파일 시스템 공유 드라이브를 제공한다.

Supports SMB protocol & Windows NTFS SMB 프로토콜 및 Windows NTFS를 지원한다.

Microsoft Active Directory integration, ACLs, user quotas Microsoft Active Directory

통합 기능과 ACL, 사용자 할당 기능이 있다.

Can be mounted on Linux EC2 instances 리눅스 EC2 인스턴스에 마운트 할 수도 있다.

Scale up to 10s of GB/s, millions of IOPS, 100s PB of data

대규모 처리 용량 갖추고 있다.

Storage Options:

-SSD : latency sensitive workloads (databases, media processing, data analytics . . .)

-HDD : broad spectrum of workloads (home directory, CMS . . .)

SSD는 지연시간에 민감한 워크로드에 적합하다.(데이터베이스, 미디어 처리, 데이터 분석 등)

HDD는 광범위한 워크로드에 적합하다 (홈 디렉토리, CMS 등)

Can be accessed from your on-premises infrastructure (VPN or Direct Connect)

Can be configured to be Multi-AZ (high availability)

Data is backed-up daily to S3

온프레미스 인프라(VPN 또는 Direct Connect)에서 액세스 가능

Multi-AZ(고가용성)로 구성 가능

데이터를 S3에 매일 백업할 수 있음


Amazon FSx for Lustre

Lustre is a type of parallel distributed file system, for large-scale computing

Lustre는대규모 컴퓨팅을 위한 병렬 분산 파일 시스템의 일종이다.

The name Lustre is derived from "Liniux" and "cluster"

Lustre의 이름은 리눅스와 클러스터의 파생된 단어다.

Machine Learning, High Performance Computing (HPC)

머신러닝, 고성능 컴퓨팅에 사용된다.

Video Processing, Financial Modeling, Electronic Design Automation

비디오 처리, 재무 모델링, 전자 설계 자동화와 같은 애플리케이션에 사용됨

Scales up to 100s GB/s, millions of IOPS, sub-ms latencies

초당 100GB 처리량, 수백만 IOPS, 밀리 초 이하의 지연시간 제공

Storage Options:

-SSD: low-latency, IOPS intensive workloads, small & random file operations

-HDD: throughput-intensive workloads, large & sequential file operations

-SSD: 지연 시간이 짧고 IOPS가 높은 워크로드, 소규모 및 랜덤 파일 작업

-HDD: 처리량이 많은 워크로드, 대용량 및 순차적 파일 작업

Seamless integration with S3

-Can 'read S3' as a file system (through FSx)

-Can write the output of the computations back to S3 (through FSx)

S3와의 원활한 통합

- 파일 시스템으로 'S3 읽기' 가능(FSx를 통해)

- 계산 결과를 S3에 다시 쓸 수 있습니다(FSx를 통해).

Can be used from on-premises servers (VPN or Direct Connect)

온프레미스 서버(VPN 또는 Direct Connect)에서 사용 가능


FSx File System Deployment Options

Scratch File System

-Temporary storage

-Data is not replicated (doesn't persist if file server fails)

-High burst (6X faster, 200MBps per TiB)

-Usage: short-term processing, optimize costs

-임시보관

-데이터가 복제되지 않음(파일 서버에 장애가 발생해도 지속되지 않음. 서버 실패하면 저장한 파일을 잃게 됨)

-높은 버스트(6배 더 빠른 속도, TiB당 200MBps)

-용도: 단기 처리, 비용 최적화

Persistent FIle System

-Long term storage

-Data is replicated within same AZ

-Replace failed files within minutes

-Usage: long-term processing, sensitive data

-장기 보관

-데이터가 동일한 AZ 내에서 복제됩니다.

-몇 분 안에 실패한 파일 교체 가능

-용도: 장기 처리, 민감한 데이터

시험에서는 스크래치와 영구 파일 시스템 중 어떤 것을 선택해야 하는지 물어보는 시나리오가 출제됨.

AWS Snow Family

Highly-secure, portable devices to collect and process data at the edge, and migrate data into and out of AWS

엣지에서 데이터를 수집 및 처리하고 AWS로 데이터를 마이그레이션하는 매우 안전한 휴대용 장치

Data migration : Snowcone, Snowball Edge, Snowmobile

Edge computing : Snowcone, Snowball Edge


일반적으로 데이터 마이그레이션 할 때의 문제점

-Limited connectivity 제한적인 연결

-Limited bandwidth 제한적인 대역폭

-High network cost 높은 네트워크 전송 비용

-Shared bandwidth (can't maximize the line) 공유하는 대역폭 문제

-Connection stability 불안정한 연결

이러한 이유로 Snow 제품군을 사용한다.

AWS Snow Family: offline devices to perform data migrations

It it takes more than a week to transfer over the network, use Snowball devices

스노우 제품군은 오프라인에서 데이터 마이그레이션을 실행하는 장치이다.

데이터 전송 시 네트워크를 사용하여 일주일이 넘는 시간이 걸린다면 스노우 볼 장치를 사용하자

S3에 직접 업로드 할 시:

Client ---> 10Gbit/s 으로 Amazon S3 bucket 으로 전송

스노우 패밀리 사용할 경우:

Client가 AWS로부터 Snowball 물리적 장치를 받아서 로컬에서 데이터를 직접 장치로 전송 -> 장치를 AWS에게 주면 AWS가 자체적인 인프라에 연결함.

*네트워크가 아닌 물리적인 경로를 이용하는 것이다.


Snowball Edge (for data transfer)

Physical data transport solution: move TBs or PBs of data in or out of AWS

물리적 데이터 전송 솔루션: TB 또는 PB의 데이터를 AWS 안팎으로 이동

Alternative to moving data over the network (and paying network fees)

네트워크를 통해 데이터를 이동하는 것(및 네트워크 요금 지불)에 대한 대안

Pay per data transfer job

데이터 전송 건마다 비용 청구

Provide block storage and Amazon S3-compatible object storage

블록 스토리지 및 Amazon S3 호환 개체 스토리지 제공

Snowball Edge Storage Optimized

-80TB of HDD capacity for block volume and S3 compatible object storage

Snowball Edge Compute Optimized

-42TB of HDD capacity for block volume and S3 compatible object storage

Use cases: large data cloud migrations, DC decommission, disaster recovery

사용 사례: 대규모 데이터 클라우드 마이그레이션, 데이터 센터 폐쇄, 재해 복구


AWS Snow cone

Small, portable computing, anywhere, rugged & secure, withstands harsh environments

소형 휴대용 컴퓨팅, 어디서나 견고하고 안전하며 가혹한 환경에도 견딜 수 있습니다.

Light (4.5 pounds, 2.1kg)

Device used for edge computing, storage, and data transfer

엣지 컴퓨팅, 스토리지 및 데이터 전송에 사용되는 장치

8 TBs of usable storage 8TB의 저장공간

Use Snowcone where Snowball does not fit (space-constrained environment)

스노우볼에 적합하지 않을 때는 스노우콘 사용(공간 제한 환경)

Must provide your own battery / cables 자신의 배터리와 케이블을 사용하여야 한다.

Can be sent back to AWS offline, or connect it to internet and use AWS DataSync to send data.

오프라인으로 AWS로 다시 전송하거나 인터넷에 연결하여 AWS DataSync를 사용하여 데이터를 전송할 수 있습니다.


AWS Snowmobile

Transfer exabytes of data ( 1EB = 1천 PB = 1만 TB) 엑사바이트를 전송할 수 있다.

Each Snowmobile has 100 PB of capacity (use multiple in parallel) 각 스노우모빌은 100PB의 용량을 가지고 있다.

High security: temperature controlled, GPS, 24/7 video surveillance 보안이 뛰어나다. 온도 조절 가능, GPS 추적, 24시간 비디오 감시

Better than Snowball if you transfer more than 10 PB 10 PB 이상 전송할 경우 스노우볼 보다 적합하다.


Snow Family - Usage Process

1. Request Snowball devices from the AWS console for delivery 배송을 위해 콘솔에서 장치를 요청

2. Install the snowball client / AWS OpsHub on your servers 스노우볼 클라이언트나 AWS OpsHub를 서버에 설치

3. Connect the snowball to your servers and copy files using the client Snowball 서버를 연결, 클라이언트를 스노우 볼을 사용해서 파일을 복사함

4. Ship back the device when you're done (goes to the right AWS facility) 장치를 다시 돌려보냄

5. Data will be loaded into an S3 bucket S3 버킷에 해당 데이터를 불러들인다.

6. Snowball is completely wiped 스노우 볼은 보안 조치에 따라 전부 지워진다.


Snow 제품군의 두 번째 사용사례 : Edge Computing

엣지 컴퓨팅이란

Process data while it's being created on an edge location

데이터가 엣지 로케이션에서 생성될 때 실시간으로 처리하는 방식을 뜻함.

A truck on the road, a ship on the sea, a mining station underground . . .

ex)인터넷이 없는 곳, 도로 위 트럭, 바다 위의 배, 지하의 광산 등이 모두가 엣지 로케이션이 될 수 있다.

These locations may have

-Limited / no internet access

-Limited / no easy access to computing power

이곳에서 데이터를 만들기는 하지만 인터넷은 연결되지 않을 수도 있기 때문이다.

즉, 연결이 제한되어 있거나 인터넷 액세스가 없거나 컴퓨팅을 할 수 없는 곳이다. 이런 장소에서 컴퓨팅이나 데이터 처리를 해야 할 경우 엣지 컴퓨팅이 필요하다.

We setup a Snowball Edge / Snowcone device to do edge computing

엣지 컴퓨팅을 하기 위해 스노우볼 엣지/스노우콘에 장치를 설정할 수 있다.

Use cases of Edge Computing:

-Preprocess data 데이터 전처리

-Machine learning at the edge 엣지에서 머신 러닝하는 경우

-Transcoding media streams 미디어 스트림 트랜스 코딩 등

Eventually (if need be) we can ship back the device to AWS (for transferring data for example)

궁극적으로, 데이터를 AWS 재전송 해야 하는 경우 Snowcone이나 Snowball Edge 장치를 보내면 된다.

(데이터가 생성되는 곳에서, 그 데이터를 처리하고 AWS로 보내는 것임)


Snow Family - Edge Computing

Snowcone (smaller)

-2 CPUs, 4 GB of memory, wired or wireless access (wifi 가지고 있음)

-USB-C power using a cord or the optional battery

Snowball Edge - Compute Optimized

-52 vCPUs, 208 GiB of RAM

-Optional GPU (useful for video processing or machinel learning) 영상처리나 머신 러닝할 때 유용함.

-42 TB usable storage

Snowball Edge - Storage Optimized

-Up to 40 vCPUs, 80GiB of RAM

-object storage clustering available

All: Can run EC2 instances & AWS Lambda functions (using AWS IoT Greengrass)

Long-term deployment options: 1 and 3 years discounted pricing 장기 배포 옵션으로 1년 or 3년 빌리면 할인된 가격으로 가능


AWS OpsHub

Historically, to use Snow Family devices, you needed a CLI

이전에는 Snow Family 장치를 사용하려면 CLI가 필요했습니다.

Today, you can use AWS OpsHub (a software you install on your computer / laptop) to manage your Snow Family Device

이제 AWS OpsHub(컴퓨터/노트북에 설치하는 소프트웨어)을 사용하여 Snow Family 장치를 관리할 수 있습니다.

-Unlocking and configuring single or clustered devices

-Transferring files

-Launching and managing instances runnung on Snow Family Devices

-Monitor device metrics (storage capacity, active instances on your device)

-Launch compatible AWS services on your devices (ex: EC2 instances, AWS DataSync, Network File System)

-단일 또는 클러스터된 장치 잠금 해제 및 구성

-파일 전송

- Snow Family 장치에서 실행되는 인스턴스 실행 및 관리

-장치 메트릭 모니터링(스토리지 용량, 장치의 활성 인스턴스)

- 장치에서 호환되는 AWS 서비스 시작(예: EC2 인스턴스, AWS DataSync, 네트워크 파일 시스템)

Global users for our application 글로벌 사용자를 위한 애플리케이션

You have deployed an application and have global users who want to access it directly.

They go over the public internet, which can add a lot of latency due to many hops

We wish to go as fast as possible through AWS network to minimize latency

애플리케이션을 디플로이 했지만 전 세계 사용자들이 빠르게 직접 접근하고 싶어한다.

그러나 애플리케이션은 한 리전에만 배치돼 있다.

예를 들면 한국 리전에 있고 Public ALB 배치돼 있으며, 사용자들은 전 세계에 걸쳐 접근하고 있다.

이렇게 되면 애플리케이션에 접근할 때 공용 인터넷을 통하게 된다.

라우터를 거치는 동안의 수 많은 홉으로 인해 상당한 지연이 발생할 수 있다.

이러한 홉들이 지연시키거나 연결을 끊을 수도 있기 때문에, 가능한 빨리 Amazon 네트워크를 통하게 하여

지연시간을 최소화 시키는 것이 좋다.


Unicast IP & Anycast IP

Unicast IP : one server holds one IP address

Anycast IP : all servers hold the same IP address and the client is routed to the nearest one


AWS Global Accelerator

Global Accelerator는 애니캐스트 IP 개념을 사용한다.

Leverage the AWS internal network to route to your application

2 Anycast IP are created for your application

The Anycast IP send traffic directly to Edge Locations

The Edge locations send the traffic to your application

AWS 내부 네트워크를 활용하여 애플리케이션으로 라우팅

2 Anycast IP가 애플리케이션을 위해 생성됩니다.

Anycast IP가 Edge 로케이션 위치로 트래픽을 직접 전송

Edge 로케이션 위치가 트래픽을 애플리케이션으로 전송합니다.

Works with Elastic IP, EC2 instances, ALB, NLB, public or private

탄력적 IP, EC2 인스턴스, ALB, NLB, 공용 및 사설과 함께 작동한다.

Consistent Performance

-Intelligent routing to lowest latency and fast regional failover

-No issue with client cache (because the IP doens't change)

-Internal AWS network

일관된 성능

-최저 지연 시간 및 빠른 regional failover를 위한 지능형 라우팅

- 클라이언트 캐시에 문제 없음(IP가 변경되지 않으므로)

- 내부 AWS 네트워크 사용

Health Chekcs

-Gloabl Accelerator performs a health check of your applications

-Helps make your application global (failover less than 1 minute for unhealthy)

-Great for disater recovery (thanks to the health checks)

상태 점검

-Global Accelerator가 응용 프로그램의 상태 점검을 수행합니다.

-응용프로그램을 글로벌하게 만들 수 있습니다(장애 발생 시 1분 미만의 페일오버).

-재해 복구에 매우 적합합니다(상태 확인 덕분에)

Security

-only 2 external IP need to be whitelisted

-DDoS protection thanks to AWS Shield

보안

-외부 IP 2개만 화이트리스트에 추가해야 함

-AWS Shield를 통한 DDoS 보호


AWS Global Accelerator vs CloudFront 차이점

공통점

They both use the AWS global network and its edge locations around the world

둘 다 AWS의 글로벌 네트워크 및 엣지로케이션을 사용한다.

Both services integrate with AWS Shield for DDoS protection

둘 다 DDoS 보호를 위해 AWS 쉴드와 통합된다.

CloudFront

-Improves performance for both cacheable content (such as images and videos)

-Dynamic content (such as API acceleration and dynamic site delivery)

-Content is served at the edge

-캐시 가능한 콘텐츠(예: 이미지 및 비디오)의 성능 향상

-동적 콘텐츠(API 가속화 및 동적 사이트 전달 등) 성능 향상

-콘텐츠는 엣지 로케이션에서 제공됩니다.

Global Accelerator

-Improves performance for a wide range of applications over TCP or UDP

-Proxying packets at the edge to applications running in one or more AWS Regions

-Good fit for non-HTTP use cases, such as gaming(UDP), IoT (MQTT), or Voice over IP

-Good for HTTP use cases that require static IP addresses

-Good for HTTP use cases that required deterministic, fast regional failover

- TCP 또는 UDP를 통해 다양한 애플리케이션의 성능 향상

- 엣지 로케이션에서 하나 이상의 AWS 영역에서 실행되는 애플리케이션에 패킷 프록시 수행

- 게임(UDP), IoT(MQTT) 또는 Voice over IP와 같은 비 HTTP 사용 사례에 적합

-고정 IP 주소가 필요한 HTTP 사용 사례에 적합합니다.

-결정론적이고 빠른 지역 페일오버가 필요한 HTTP 사용 사례에 적합

CloudFront - Pricing

CloudFront Edge locations are all around the world 클라우트 프론트 엣지 로케이션은 전 세계에 있다.

The cost of data out per edge location varies 엣지 로케이션 위치에 따라 데이터 전송비용도 다르다.

CloudFront - Classes

You can reduce the number of edge locations for cost reduction 엣지 로케이션의 수를 줄여 가격을 낮출 수 있다.

Three price classes:

1. Price Class All : all regions - best performance

2. Price Class 200 : most regions, but excludes the most expensive regions

3. Price class 100 : only the least expensive regions


CloudFront - Multiple Origin

To route to different kind of origins based on the content type

Based on path pattern :

/images/*

/api/*

/*

콘텐츠의 유형이나 경로에 따라 클라우드 프론트를 거치는 라우트나 경로를 리다이렉팅 해 다른 오리진으로 라우팅하고 싶을 때.

클라우드프론트에서 사용되는 경로를 기반으로 다중 오리진이 정의된다.


CloudFront - Origin Groups

To increase high-availability and do failover 고가용성 증가시키고 장애조치가 가능하다.

Origin Group : one primary and one secondary origin 주와 보조 오리진이 존재한다.

If the primary origin fails, the second one is used 주 오리진이 실패할 경우, 보조 오리진이 사용된다.


CloudFront - Field Level Encryption 필드 수준 암호화

Protect user sensitive information through application stack

Adds an additional layer of security along with HTTPS

Sensitive information encrypted at the edge close to user

Uses asymmetric encryption

애플리케이션 스택을 통해 사용자에게 중요한 정보 보호

HTTPS와 함께 보안 계층을 추가합니다.

사용자와 가까운 가장자리에서 암호화된 중요한 정보

비대칭 암호화 사용

Usage

-Specify set of fields in POST requests that you want to be encrypted (up to 10 fields)

-Specify the public key to encrypt them

사용

-POST 요청에서 암호화할 필드 집합 지정(최대 10개 필드)

-암호화 할 공용 키를 지정함

CloudFront Signed URL / Signed Cookies

You want to distribute paid shared content to premium users over the world

유료 공유 콘텐츠를 전 세계 프리미엄 사용자에게 배포하고자 하는 경우에 쓸 수 있다.

We can use CloudFront Signed URL / Cookie. We attach a policy with:

-includes URL expiration

-includes IP ranges to access the data from

-Trusted signers (which AWS acacounts can create signed URLs)

클라우드 프론트 서명된 URL과 쿠키를 사용할 수 있다. 정책과 연결하여

-URL이나 쿠키가 언제 만료되는지 설정

-데이터에 액세스 할 수 있는 IP 범위 설정

-신뢰할 수 있는 서명자(서명된 URL을 생성할 수 있는 AWS 계정)

How long should the URL be valid for? URL이 얼마나 오래 유효해야 하는 걸까?

-Shared content(movie, music) : make it short (a few minutes) 영화나 음악과 같은 콘텐츠를 공유할 때는 짧아도 된다(몇 분)

-Private content(private to the user) : you can make it last for years 비공개 콘텐츠(프리미엄 유저에게만) : 수년 간 지속되게 할 수도 있다.

URL과 쿠키의 차이점

Signed URL = access to individual files (one signed URL per file) 서명된 URL은 개별 파일에 대한 액세스를 준다. 1파일 = 1 URL

Signed Cookies = access to multiple files (one signed cookie for many files) 서명된 쿠키는 다수의 파일에 하나의 서명된 쿠키


CloudFront Signed URL vs S3 Pre-Signed URL 의 차이점

CloudFront Signed URL:

-Allow access to a path, no matter the origin

-Account wide key-pair, only the root can manage it

-Can filter by IP, path, date, expiration

-Can leverage caching features

CloudFront 서명된 URL:

-오리진에 관계없이 경로에 대한 액세스 허용 (모든 HTTP 백엔드 오리진에 작동)

- 어카운트 와이드 키쌍, 루트만 관리 가능

-IP, 경로, 날짜, 만료 등 필터링 가능

-클라우드 프론트에 있는 캐싱 기능 활용 가능

S3 Pre-Signed URL:

-Issue a request as the person who pre-signed the URL

-Uses the IAM key of the signing IAM principal

-Limited lifetime

- URL 사전 서명자로 요청 발행

- 서명 IAM 측의 IAM 키를 사용합니다. (IAM원칙으로 URL에 서명하고, 서명을 위해 자신의 IAM키를 사용하게 되면 해당 URL을 가진 사람은 같은 권한을 가지게 됨)

-제한된 수명

AWS CloudFront

Content Delivery Network (CDN)

Improves read performance, content is cached at the edge

읽기 퍼포먼스를 향상시킨다. (콘텐츠가 엣지 로케이션에서 분배 및 캐시 되기 때문)

216 Point of Presence globally (edge locations)

216개의 글로벌 엣지 로케이션이 존재하며 지속적으로 생기고 있다.

DDoS protection, integration with Shield, AWS Web Application Firewall

DDoS 보호, Shield와의 통합, AWS 웹 애플리케이션 방화벽 제공

Can expose external HTTPS and can talk to internal HTTPS backends

외부 HTTPS를 노출하고 내부 HTTPS 백엔드와 통신할 수 있음


CloudFront - Origins

S3 bucket

-For distributing files and caching them at the edge

엣지 로케이션 위치에서 파일을 배포하고 캐싱하는 데 사용됨

-Enhanced security with CloudFront Origin Access Identity (OAI)

OAI으로 클라우드 프론트와 S3 버킷 사이의 보안을 강화해줌

-CloudFront can be used as an ingress (to upload files to S3)

CloudFront를 S3에 파일 업로드 할 입구로 사용할 수 있습니다.

Custom Origin (HTTP)

-Application Load Balancer

-EC2 instance

-S3 website (must first enable the bucket as a static S3 website)

-Any HTTP backend you want

HTTP 엔드포인트가 있어야 함.

ALB, EC2 인스턴스, S3 웹사이트 (정적 웹사이트로 버킷을 활성화 해야함), 원하는 모든 HTTP 백엔드 가능


CloudFront Geo Restriction 지리적 제한

You can restrict who can access your distribution

-Whilelist : Allow your users to access your content only if they're in one of the countries on a list of approved countries.

화이트리스트에 있는 허용된 국가의 사용자들만 클라우드 프론트에 액세스 할 수 있도록 함

-Blakclist : Prevent your users from accessing your content if they're in one of the countries on a blacklist of banned countries.

블랙리스트에 있는 특정 국가의 사용자들이 액세스 할수 없도록 함.

The 'Country' is determined using a 3rd party Geo-IP database

제 3자 회사의 지리적 IP 데이터베이스를 사용하여 국가의 허용 여부가 결정됨.

Use case : Copyright Laws to control access to content

특정 콘텐츠에 액세스를 제한하는 저작권법이 있을 때 사용하거나, 미국의 컨텐츠에 프랑스의 액세스를 제한하고 있음을 증명할 때 사용할 수 있다.


CloudFront vs S3 Cross Region Replication 차이점

CloudFront:

-Global Edge Network 글로벌 엣지 네트워크를 사용함.

-Files are cached for a TTL (maybe a day) TTL에 맞춰 파일이 캐시됨

-Great for static content that must be available everywhere 전 세계 이용 가능한 정적인 콘텐츠에 적합함

S3 Cross Region Replication:

-Must be setup for each region you want replication to happen 복제가 일어나도록 할 각 리전에 설정되어짐

-Files are updated in near real-time 파일이 실시간으로 업데이트 됨

-Read only 읽기 전용임

-Great for dynamic content that needs to be available at low-latency in few regions 적은 수의 리전에서 낮은 지연 시간으로 사용이 가능해야 하는 동적인 콘텐츠에 적합함

Amazon Athena

Serverless query service to perform analytics against S3 objects

Uses Standard SQL language to query the files

Supports CSV, JSON, ORC, Avro and Parquet (built on Presto)

Pricing : $5.00 per TB of data scanned

Use compressed or columnar data for cost-savings(less scan)

Use cases: Business intelligence / analytics / reporting, analyze & query VPC Flow Logs, ELB Logs, CloudTrail trails, etc . . .

Exam Tip : analyze data in S3 using serverless SQL, use Athena

Athena는 S3 객체에 대해 분석을 수행하는 서버리스 쿼리 서비스이다.

표준 SQL 언어를 사용하여 파일을 쿼리한다.

CSV, JSON, ORC, Avro, Parquet을 지원하고 있다. (Athena는 Presto 엔진 기반이다.)

가격은 스캔되는 TB 데이터 당 5달러이다.

압축됐거나 컬럼형으로 저장된 데이터를 사용할 경우 비용 절감이 가능하다.(데이터 스캔하는 양이 적어짐)

사용 사례 : 비즈니스 인텔리전스 분석, 보고 & VPC, ELB 로그의 Flow logs 분석, CloudTrail 로그, 플랫폼 로그 등 AWS 로그를 사용할 경우

Athena가 매우 유용함.

+ Recent posts