끊임없는 학습

클라우드 보안 거버넌스는 조직이 클라우드 서비스의 안전한 사용을 보장하기 위해 시행하는 정책, 절차 및 표준을 말합니다.

​

여기에는 데이터 보호, 컴플라이언스, 인시던트 관리 및 리스크 관리를 위한 제어 기능이 포함됩니다. 클라우드 보안 거버넌스는 조직이 클라우드 내 데이터 저장 및 처리와 관련된 보안 위험을 관리하는 데 도움이 되기 때문에 전체 IT 거버넌스의 중요한 구성 요소입니다.

​

클라우드 보안 거버넌스의 주요 목표는 중요한 정보가 보호되고 조직이 관련 규정 및 업계 표준을 준수하도록 보장하는 것입니다. 여기에는 데이터가 적절하게 암호화되어 있는지, 액세스 제어가 설정되어 있는지, 보안 사고를 모니터링하고 대응하는 절차가 있는지 등이 포함됩니다.

​

또한 클라우드 보안 거버넌스에는 잠재적인 취약성을 식별하고 해결하기 위한 클라우드 환경의 정기적인 모니터링과 함께 보안 제어가 지속적으로 효과적으로 유지되도록 하는 지속적인 평가가 포함됩니다. 또한 다양한 시나리오에서 클라우드 보안을 유지하기 위해 다양한 팀과 직원의 역할과 책임을 설정해야 합니다.

​

또한 조직은 클라우드 서비스를 사용할 때 CSP(클라우드 서비스 공급자)와 조직 자체의 책임을 포함하여 자신의 책임을 명확히 이해해야 합니다. 서비스 수준 계약(SLA) 및 CSP와의 기타 계약을 검토하여 조직의 보안 요구사항을 충족하는지 확인하는 것이 중요합니다.

​

전반적으로 클라우드 보안 거버넌스는 조직의 데이터와 시스템을 클라우드에서 안전하게 유지하기 위해 적극적인 관리와 모니터링이 필요한 지속적인 프로세스입니다.

​

​

클라우드 사용자는 자사가 보유한 정보의 관리와 처리를 클라우드 사업자에게 맡기게 된다. 보안 등의 리스크를 직접 통제할 수 없다는 뜻이다.

​

클라우드 보안 거버넌스의 관점에서 바라보면, 클라우드 서비스의 인시던트(사고로 이어질 수 있는 사건)와 서비스의 복구와 같은 사항들은 제어가 어렵다.

​

따라서 사용자(혹은 기업)은 이에 입각한 대책을 세우고 있어야 한다.

Kinesis Overview

​

Makes it easy to collect, process, and analyze streaming data in real-time

Ingest real-time such as: Application logs, Metrics, Website clickstreams, IoT telemetry data. . .

실시간으로 스트리밍 데이터를 쉽게 수집, 처리 및 분석할 수 있습니다.

애플리케이션 로그, 메트릭, 웹 사이트 클릭 스트림, IoT 원격 측정 데이터 등의 실시간 수집

​

Kinesis Data Streams: capture, process, and store data streams

데이터 스트림 캡처, 처리 및 저장

​

Kinesis Data Firehose: load data streams into AWS data stores

데이터 스트림을 AWS 데이터 저장소에 로드

​

Kinesis Data Analytics: analyze data streams with SQL or Apache Flink

SQL 또는 Apache Flink를 사용하여 데이터 스트림 분석

​

Kinesis Video Streams: capture, process, and store video streams

비디오 스트림 캡처, 처리 및 저장

​

Kinesis Data Streams

​

Retention between 1 day to 365 days

Ability to reprocess (replay) data

Once data is inserted in Kinesis, it can't be deleted (immutability)

Data that shares the same partition goes to the same shard (ordering)

Producers: AWS SDK, Kinesis Producer Library(KPL), Kinesis Agent

1일에서 365일 사이의 보존 기간

데이터 재처리(재생) 기능

일단 Kinesis에 데이터가 삽입되면 삭제할 수 없습니다(불변성)

동일한 파티션을 공유하는 데이터가 동일한 샤드로 이동(순서 지정)

생산자: AWS SDK, Kinesis Producer Library(KPL), Kinesis Agent 사용할 수 있음

​

Consumers:

-Write your own: Kinesis Client Library(KCL), AWS SDK

-Managed: AWS Lambda, Kinesis Data Firehose, Kinesis Data Analytics

-소비지가 원하는 대로 직접 작성: Kinesis Client Library(KCL), AWS SDK

-Managed 되는 서비스: AWS 람다, Kinesis Data Firehose, Kinesis Data Analytics

​

Kinesis Data Streams - Capacity Modes

​

Provisioned mode:

-You choose the number of shards provisioned, scale manually or using API

-Each shard gets 1MB/s in (or 1000 records per second)

-Each shard gets 2MB/s out (classic or enhanced fan-out consumer)

-You pay per shard provisioned per hour

-프로비저닝된 샤드 수, 수동 확장 또는 API 사용 수를 선택할 수 있습니다.

-각 샤드는 1MB/s(또는 초당 1000개의 레코드)를 받습니다.

- 각 샤드는 2MB/s(기존 또는 향상된 팬아웃 소모 장치)를 출력합니다.

- 시간당 제공된 샤드당 비용 지불

​

On-demand mode:

-No need to provision or manage the capacity

-Default capacity provisioned (4 MB/s in or 4000 records per second)

-Scales automatically based on observed throughput peak during the last 30 days

-Pay per stream per hour & data in/out per GB

- 용량을 프로비저닝하거나 관리할 필요 없음

- 프로비저닝된 기본 용량(4MB/s 또는 초당 4000개 레코드)

-지난 30일 동안 관찰된 처리량 피크를 기준으로 자동 확장

- 스트림당 시간당 비용 지불 및 GB당 데이터 입출력

Kinesis Data Firehose

​

Fully Managed Service, no administration, automatic scaling, serverless

완벽한 관리 서비스, 관리 기능 없음, 자동 확장, 서버리스

-(중요)AWS: Redshift / S3 / ElastiSearch

-3rd party partner : Splunk / MongoDB / DataDog / NewRelic / . . . (계속 추가됨)

-Custome: send to any HTTP endpoint

​

Pay for data going through Firehose

Firehose를 통과하는 데이터 비용만 지불

​

Near Real Time 거의 실시간에 가까움

-60 seconds latency minimim for non full batches

-Or minimum 32 MB of data at a time

-전체 배치가 아닌 경우 지연 시간 최소 60초

-또는 한 번에 최소 32MB의 데이터

​

Supports many data formats, conversions, transformations, compression

Supports custom data transformation using AWS Lambda

Can send failed or all data to a backup S3 bukcet

다양한 데이터 형식, 변환, 압축을 지원

AWS 람다를 사용한 사용자 지정 데이터 변환 지원

실패한 데이터 또는 모든 데이터를 백업 S3 버킷으로 보낼 수 있습니다.

Kinesis Data Streams / Firehose 차이점

​

Kinesis Data Streams

-Streaming service for ingest at scale

-Write custom code (producer/consumer)

-Real-time (~200ms)

-Manage scaling (shard splitting / merging)

-Data storage for 1 to 365 days)

-Supports replay capability

-규모에 맞는 수집을 위한 스트리밍 서비스

- 커스텀 코드 작성(생산자/소비자)

- 실시간(~200ms) 속도로 처리

- 확장 관리(샤드 분할/병합)

-1~365일간 데이터 저장

-재생 기능 지원

​

Kinesis Data Firehose

-Load streaming data into S3 / Redshift / ES / 3rd party / custom HTTP

-Fully managed

-Near real-time(buffer time min. 60sec)

-Automatic scaling

-No data storage

-Doesn't support replay capability

-스트리밍 데이터를 S3 / Redshift / ES / 타사 / 사용자 지정 HTTP로 로드

-완전 관리형 서비스

-실시간에 가까움(버퍼 시간 최소값. 60초)

-자동 스케일링

-데이터 저장소 없음

-재생 지원하지 않음

Kinesis Data Analytics (SQL application)

​

Perform real-time analytics on Kinesis Streams using SQL

Fully managed, no servers to provision

Automatic scaling

Real-time analytics

Pay for acutal consumption rate

Can create streams out ot the real-time queries

Use cases:

-Time-series analytics

-Real-time dashboards

-Real-time metrics

SQL을 사용하여 Kinesis 스트림에 대한 실시간 분석 수행

완전한 관리, 프로비저닝할 서버 없음

자동 스케일링

실시간 분석

실제 소비율에 대한 지불

실시간 쿼리에서 스트림을 생성할 수 있습니다.

사용 사례:

- 시계열 분석

- 실시간 대시보드

- 실시간 지표 기준

Amazon SNS

​

직접 통합은 수신 서비스를 새로 추가할 때마다 통합을 생성하고 작성해야 해서 번거롭다.

​

하지만 Pub/Sub 게시/구독 패턴을 사용하면 SNS Topic을 사용하여 메시지를 전송할 수 있다.

각 구독자들이 SNS Topic을 구독하고 해당 메시지를 수신하는 방식이다.

Amazon SNS

​

The 'event producer' only sends messages to one SNS topic

AS many 'event receivers' (subscriptions) as we want to listen to the SNS topic notifications

Each subscriber to the topic will get all the messages (note: new ffeature to filter messages)

Up to 12,500,000 subscriptions per topic

-100,000 topics limit

'이벤트 제작자'는 하나의 SNS 주제에만 메시지를 보냅니다.

'이벤트 수신자'(구독자)는 관련된 SNS 주제 알림을 들음

항목의 각 구독자는 모든 메시지를 받습니다(참고: 메시지를 필터링하는 새로운 기능).

주제당 최대 12,500,000개의 구독 수

-100,000개 주제 제한

​

SNS integrates with a lot of AWS services

-Many AWS services can send data directly to SNS for notifications

AWS SNS - How to publish

​

Topic Publish (using the SDK)

-Create a topic

-Create a subscription (or many)

-Publish to the topic

-주제 만들기

-구독(또는 여러 개) 만들기

-주제에 게시

​

Direct Publish (for mobile apps SDK)

-Create a platform application

-Create a platform endpoint

-Publish to the platform endpoint

-Works with Google GCM, Apple APNS, Amazon ADM . . .

-플랫폼 응용프로그램 만들기

-플랫폼 엔드포인트 생성

-플랫폼 엔드포인트에 게시

-Google GCM, Apple APNS, Amazon ADM과 함께 작동합니다.

​

Amazon SNS - Security

​

Encryption:

-In-flight encryption using HTTPS API

-At-rest encryption using KMS keys

-Client-side encryption if the client wants to perform encryption/decryption itself

-HTTPS API를 이용한 전송 중 암호화

-KMS 키를 사용한 미사용 암호화

-클라이언트가 자체적으로 암호화/복호화를 수행하려는 경우 클라이언트 측 암호화 사용 가능

​

Access Controls: IAM policies to regulate access to the SNS API

액세스 제어: SNS API에 대한 액세스를 규제하는 IAM 정책

​

SNS Access Policies (similar to S3 bucket policies)

-Useful for cross-account access to SNS topics

-Useful for allowing other services (S3 . . .) to write to an SNS topic

-SNS 주제에 교차 계정 액세스 권한을 갖을 때 유용함

-다른 서비스(S3. . .)가 SNS 주제에 글을 쓸 수 있도록 하는 데 유용합니다.

What is a queue?

SQS 대기열에 메시지를 보내는 것을 생산자라고 한다.

-여러 생산자가 여러 개의 메시지를 SQS 대기열에 보낼 수 있다.

-메시지는 무엇이든 상관없다.

-생성한 모든 메시지는 대기열에 들어간다.

​

수신하는 대상을 Consumer라고 한다.

-Consumer는 대기열에서 메시지를 Polling 한다. 이는 대기열에게 내 앞으로 온 메시지가 있는지 물어보는 것이다.

만약 있다면, 그 메시지를 폴링해서 정보를 얻는다.

-메시지를 받아서 처리하고, 대기열에서 그 메시지를 삭제한다.

-여러 Consumer가 메시지를 Polling 할 수 있다.

​

대기열 서비스는 생산자와 소비자 사이를 분리하는 버퍼 역할을 한다.

​

Amazon SQS - Standard Queue

​

Oldest offering (over 10 years old)

AWS에서 제공하는 가장 오래된 서비스, AWS의 첫 번째 서비스 중 하나였다. (10년이 넘었음)

​

Fully managed service, used to decouple applications

완전 관리형 서비스이며 애플리케이션을 분리하는데 사용된다. 시험에서 애플리케이션 분리에 대한 문제가 보이면 SQS를 생각하자

​

Attributes:

-Unlimited throughput, umlimited number of messages in queue

-무제한 처리량, 대기열에 있는 메시지 수 제한 없다.

-Default retention of messages: 4 days, maximum of 14days

메시지는 기본 값으로 4일 동안 보유할 수 있다. 대기열에 있을 수 있는 최대 시간은 14일이다.

-Low latency (<10ms on publish and receive)

-짧은 지연시간을 가지고 있다. (게시 및 수신 시 10밀리초 이내로 응답한다.)

-Limitation of 256KB per messages sent

전송되는 메세지 당 256KB 미만이어야 한다.

​

Can have duplicate messages (at least once delivery, occasionally)

Can have out of order messages (best effort ordering)

중복된 메시지를 가질 수 있음(최소 한 번 이상, 때때로)

주문 오류 메시지가 있을 수 있음(최상의 노력으로 주문)

​

​

​

SQS - Producing Messages

​

Produced to SQS using the SDK (SendMessages API)

생산자는 SDK를 사용해 SQS에 메시지를 보낸다. (API는 SendMessages라고 함)

The messages is persisted in SQS until a consumer deletes it

메시지는 소비자가 삭제할 때까지 SQS에 유지됩니다. (메시지가 삭제됐다는 것은 메시지가 처리된 것임)

Messages retention: default 4 days, up to 14days

메시지 유효기간은 기본 4일이고 최대 14일까지 보관할 수 있다.

​

Example: send an order to be processed

-Order id

-Customer id

-Any attributes you want

원하는 속성을 SQS 대기열로 보낼 수 있다.

​

SQS standard: unlimited throughput

SQS 표준은 무제한 처리량을 갖고 있다.

​

​

SQS - Consuming Messages

​

Consumers (running on EC2 instances, servers, or AWS Lambda) . . .

소비자는 애플리케이션이고, 이러한 애플리케이션은 EC2 인스턴스, 자체 온프레미스 서버, Lambda 등에서 실행할 수 있다.

​

Poll SQS for messages (receive up to 10 messages at a time)

소비자는 SQS메시지를 폴링한다. (한 번에 최대 10개의 메시지를 받을 수 있다)

Process the messages (example: insert the messages into an RDS database)

이후 메시지를 처리한다. (예시: 메시지를 RDS 데이터베이스에 삽입)

Delete the messages using the DeleteMessages API

소비자가 메시지들을 DeleteMessages API로 대기열에서 삭제한다.

​

​

SQS - Multiple EC2 instances Consumers

​

Consumers receive and process messages in parallel

At least once delivery

Best-effort message ordering

-소비자가 메시지를 병렬로 수신하고 처리합니다.

세 개의 EC2 인스턴스가 있다고 했을 때 각 소비자들이 poll 함수를 호출하여 다른 메시지 세트를 수신하게 된다.

만일 메시지가 소비자에 의해 충분히 빠르게 처리되지 않으면 다른 소비자가(EC2 인스턴스, 애플리케이션)수신하게 된다.

그래서 적어도 한 번은 전송이 된다고 하는 것이다.

즉 최선의 방법으로 메시지를 정렬하는 이유이기도 하다.

Consumers delete messages after processing them

소비자가 메시지를 처리하면, 메시지를 삭제한다. (그렇지 않으면 다른 소비자가 메시지를 보내게 됨)

We can scale consumers horizontally to improve throughput of processing

SQS 대기열에 많은 메시지가 있어 처리량을 늘려야 한다면 소비자를 추가해 수평확장을 통해 처리량을 개선할 수 있다.

​

SQS with Auto scaling Group (ASG)

​

소비자가 ASG의 내부에서 EC2 인스턴스를 실행하고 SQS 대기열에서 메시지를 폴링할 것이다.

ASG는 일종의 지표에 따라 확장된다.

사용할 수 있는 지표는 대기열의 길이로, ApproximateNumberOfMessages라고 한다.

이는 모든 SQS 대기열에서 쓸 수 있는 CloudWatch 지표이다.

​

알람을 설정할 수도 있다. 대기열의 길이가 특정수준을 넘어가면 CloudWatch Alarm을 설정 가능하다.

​

​

SQS to decouple between application tiers

​

SQS는 애플리케이션 계층 간에 분리를 위해 사용된다.

예시로 비디오를 처리하는 애플리케이션이라고 가정했을 때,

​

애플리케이션을 분리하여 파일 처리 요청과 실제 파일 처리가 다른 애플리케이션에서 발생할 수 있도록 할 수 있다.

Amazon SQS Security

​

Encryption:

-In-flight encryption using HTTPS API

HTTPS API를 사용하여 전송 중 암호화

-At-rest encryption using KMS Keys

KMS키를 사용한 미사용 암호화

-Client-side encryption if the client wants to perform encryption/decryption itself

클라이언트 측 암호화 가능함. 클라이언트가 자체적으로 암호화 및 복호화 수행해야한다. SQS에서 기본적으로 지원하지 않음.

​

Access Controls: IAM policies to regulate access to the SQS API

액세스 제어: SQL API에 대한 액세스를 규제하는 IAM 정책

​

SQS Access Policies (similar to S3 bucket policies)

-Useful for cross-account access to SQS queues

-Useful for allowing other services (SNS, S3. . .) to write to an SQS queue

SQS 액세스 정책(S3 버킷 정책과 유사)

-SQS 대기열에 대한 교차 계정 액세스에 유용함

-다른 서비스(SNS, S3. . .)가 SQS 대기열에 쓸 수 있도록 하는 데 유용함

Hybrid Cloud for Storage

​

AWS is pushing for 'hybrid cloud'

-part of your infrastructure is on the cloud

-part of your infrastructure is on-premises

AWS가 하이브리드 클라우드를 추진하고 있다.

하이브리드 클라우드는 인프라의 일부를 클라우드에, 일부를 온프레미스 환경에 두는 것이다.

​

This can be due to

-Long clound migrations

-Security requirements

-Compliance requirements

-IT strategy

원인은 다음과 같습니다.

-오래 걸리는 클라우드 마이그레이션 이동

-보안 요구사항

-준수 요구사항

-IT 전략

​

S3 is a proprietary storage technology (unlike EFS / NFS), so how do you expose the S3 data on-premises?

S3는 AWS 독점 스토리지 기술입니다(EFS/NFS와 달리). 그렇다면 S3 데이터를 온프레미스에 노출하는 방법은 무엇일까?

​

S3와 온프레미스 인프라 사이의 가교 역할을 하는 것이 AWS Storage Gateway이다.

​

AWS Storage Cloud Native Options

​

Block 스토리지 : Amazon EBS, EC2 Instance Store

File 시스템 : Amazon EFS, Amazon FSx

객체 레벨 스토리지 : Amazon S3, Amazon Glacier

​

AWS Storage Gateway

​

Bridge between on-premises data and cloud data in S3

온프레미스 데이터와 S3 클라우드의 다리 역할을 해준다.

Use cases: disaster recovery, backup & restore, tiered storage

사용 사례: 재해 복구, 백업 및 복원 & 계층화된 스토리지에 쓰임

​

3 types of Storage Gateway(세 가지 유형이 시험에 나올 수 있다)

-File Gateway

-Volume Gateway

-Tape Gateway

​

세 가지 게이트웨이의 차이점을 잘 알아야 한다!!

​

File Gateway

​

Configured S3 buckets are accessible using the NFS and SMB protocol

NFS 및 SMB 프로토콜을 사용하여 구성된 S3 버킷에 액세스할 수 있습니다.

Supports S3 standard, S3 IA, S3 One Zone IA

S3 표준 , S3 IA, S3 One Zone IA를 지원한다.

Bucket access using IAM roles for each File Gateway

각 파일 게이트웨이에 대해 IAM 역할을 사용한 버킷 액세스(버킷 액세스가 보호됨)

Most recently used data is cached in the file gateway

가장 최근에 사용된 데이터는 파일 게이트웨이에 캐시된다. (파일 액세스 지연 시간을 낮추도록 도와줌)

Can be mounted on mayn servers 온프레미스의 여러 서버에 장착 가능하다.

Integrated with Active Directory (AD) for user authentication

사용자 인증이 필요할 경우, 온프레미스의 AD와 통합되어 사용자 인증을 실행할 수 있다.

​

Volume Gateway

​

Block storage using iSCSI protocol backed by S3

S3의 iSCSI 프로토콜을 사용하는 블록 스토리지이다.

Backed by EBS snapshots which can help restore on-premises volumes

내부 볼륨을 복원하는 데 도움이 되는 EBS 스냅샷 지원함

​

볼륨 게이트웨이는 두 종류가 있다.

Cached volumes: low latency access to most recent data

Stored volumes: entire dataset is on premise, scheduled backups to S3

캐시된 볼륨: 최신 데이터에 대한 짧은 지연 시간 액세스

저장된 볼륨: 전체 데이터셋이 내부에 있으며, S3에 예약된 백업

Tape Gateway

​

Some companies have backup processes using physical tapes

일부 기업에서는 물리적 테이프를 사용한 백업 프로세스를 사용해야 한다.

With Tape Gateway, companies use the same processes but, in the cloud

테이프 게이트웨이를 사용하는 기업은 클라우드에서 동일한 프로세스를 사용합니다.

Virtual Tape Library (VTL) backed by Amazon S3 and Glacier

Amazon S3 및 Glacier가 지원하는 VTL(Virtual Tape Library)

Back up data using existing tape-based processes (and iSCSI interface)

기존 테이프 기반 프로세스(및 iSCSI 인터페이스)를 사용하여 데이터 백업

Works with leading backup software vendors

주요 백업 소프트웨어 공급업체와 협력 가능

​

때때로 게이트웨이를 실행할 가성 서버가 없을 경우에는 옵션으로 AWS의 하드웨어를 이용한다.

그것이 Storage Gateway - Hardware appliance 라고 한다.

​

Storage Gateway - Hardware appliance

​

Using Storage Gateway means you need on-premises virtualization

Otherwise, you can use a Storage Gateway Hardware Appliance

You can buy it on amazon.com

스토리지 게이트웨이를 사용한다는 뜻은 온프레미스 가상화가 필요하다는 것이다.

온프레미스 가상화가 없으면 스토리지 게이트웨이 하드웨어 어플라이언스를 사용할 수 있다.

amazon.com에서 살 수 있다.

​

Works with File Gateway, Volume Gateway, Tape Gateway

3개 타입의 게이트웨이에서 사용 가능하다. (설정할 수 있다)

Has the required CPU, memory, network, SSD cache resources

물리적인 설치 필요하며 올바르게 작동하기 위해서 CPU, 메모리 , 네트워크, SSD 캐시 리소스가 필요하다.

Helpful for daily NFS backups in small data centers

소규모 데이터 센터에서 매일 NFS 백업을 수행하지만 가상화가 불가능한 경우에 유용하다.

​

AWS Storage Gateway Summary

​

시험에서는 문제를 자세히 읽어야 어떤 게이트웨이를 사용할지 알 수 있다.

​

On-premises data to the cloud -> Storage Gateway

온프레미스 데이터와 클라우드 사이에 브리지 필요한 것은 스토리지 게이트웨이

​

File access / NFS - user auth with AD => File Gateway

네트워크 파일 시스템과 함께 AD를 사용하는 선택적 사용자 인증이 필요할 경우는 File Gateway

​

Volumes / Block Storage / iSCSI => Volume Gateway (backed by S3 with EBS snapshots)

볼륨, 블록 스토리지, iSCSI 백업이 필요한 경우는 Volume Gateway. (EBS 스냅샷이 생성되어 S3의 지원을 받을 수 있다)

​

VTL Tape Solution / Backup with iSCSI => Tape Gateway (backed by S3 and Glacier)

백업에 테이프 솔루션이 필요하면 Tape Gateway

​

No on-premises virtualization => Hardware Appliance

온프레미스 가상화 시스템이 없는 경우, 하드웨어 어플라이언스를 주문하고 데이터 센터에 설치.

Amazon FSx - Overview​

​

Launch 3rd party high-performance file system on AWS

타사 제품의 고성능 파일 시스템을 FSx에서 사용가능하다

Fully managed service AWS의 완전관리형 서비스이다.

​

FSx for Lustre / FSx for Windows File server / FSx for NetApp ONTAP(이건 시험에 나오지 않음)

​

Amazon FSx for Windows

​

EFS is a shared POSIX system for Linux systems. EFS는 리눅스 시스템을 위한 POSIX 시스템.

​

FSx for Windows is a fully managed Windows file ststem share drive

Windows용 FSx도 비슷하다. Windows와 Linux 컴퓨터에서 액세스 할 수 있는 완전 관리형 Windows 파일 시스템 공유 드라이브를 제공한다.

​

Supports SMB protocol & Windows NTFS SMB 프로토콜 및 Windows NTFS를 지원한다.

​

Microsoft Active Directory integration, ACLs, user quotas Microsoft Active Directory

통합 기능과 ACL, 사용자 할당 기능이 있다.

​

Can be mounted on Linux EC2 instances 리눅스 EC2 인스턴스에 마운트 할 수도 있다.

​

Scale up to 10s of GB/s, millions of IOPS, 100s PB of data

대규모 처리 용량 갖추고 있다.

​

Storage Options:

-SSD : latency sensitive workloads (databases, media processing, data analytics . . .)

-HDD : broad spectrum of workloads (home directory, CMS . . .)

SSD는 지연시간에 민감한 워크로드에 적합하다.(데이터베이스, 미디어 처리, 데이터 분석 등)

HDD는 광범위한 워크로드에 적합하다 (홈 디렉토리, CMS 등)

​

Can be accessed from your on-premises infrastructure (VPN or Direct Connect)

Can be configured to be Multi-AZ (high availability)

Data is backed-up daily to S3

온프레미스 인프라(VPN 또는 Direct Connect)에서 액세스 가능

Multi-AZ(고가용성)로 구성 가능

데이터를 S3에 매일 백업할 수 있음

​

​

Amazon FSx for Lustre

​

Lustre is a type of parallel distributed file system, for large-scale computing

Lustre는대규모 컴퓨팅을 위한 병렬 분산 파일 시스템의 일종이다.

​

The name Lustre is derived from "Liniux" and "cluster"

Lustre의 이름은 리눅스와 클러스터의 파생된 단어다.

​

Machine Learning, High Performance Computing (HPC)

머신러닝, 고성능 컴퓨팅에 사용된다.

​

Video Processing, Financial Modeling, Electronic Design Automation

비디오 처리, 재무 모델링, 전자 설계 자동화와 같은 애플리케이션에 사용됨

​

Scales up to 100s GB/s, millions of IOPS, sub-ms latencies

초당 100GB 처리량, 수백만 IOPS, 밀리 초 이하의 지연시간 제공

​

Storage Options:

-SSD: low-latency, IOPS intensive workloads, small & random file operations

-HDD: throughput-intensive workloads, large & sequential file operations

-SSD: 지연 시간이 짧고 IOPS가 높은 워크로드, 소규모 및 랜덤 파일 작업

-HDD: 처리량이 많은 워크로드, 대용량 및 순차적 파일 작업

​

Seamless integration with S3

-Can 'read S3' as a file system (through FSx)

-Can write the output of the computations back to S3 (through FSx)

S3와의 원활한 통합

- 파일 시스템으로 'S3 읽기' 가능(FSx를 통해)

- 계산 결과를 S3에 다시 쓸 수 있습니다(FSx를 통해).

​

Can be used from on-premises servers (VPN or Direct Connect)

온프레미스 서버(VPN 또는 Direct Connect)에서 사용 가능

​

​

FSx File System Deployment Options

​

Scratch File System

-Temporary storage

-Data is not replicated (doesn't persist if file server fails)

-High burst (6X faster, 200MBps per TiB)

-Usage: short-term processing, optimize costs

-임시보관

-데이터가 복제되지 않음(파일 서버에 장애가 발생해도 지속되지 않음. 서버 실패하면 저장한 파일을 잃게 됨)

-높은 버스트(6배 더 빠른 속도, TiB당 200MBps)

-용도: 단기 처리, 비용 최적화

​

Persistent FIle System

-Long term storage

-Data is replicated within same AZ

-Replace failed files within minutes

-Usage: long-term processing, sensitive data

-장기 보관

-데이터가 동일한 AZ 내에서 복제됩니다.

-몇 분 안에 실패한 파일 교체 가능

-용도: 장기 처리, 민감한 데이터

​

시험에서는 스크래치와 영구 파일 시스템 중 어떤 것을 선택해야 하는지 물어보는 시나리오가 출제됨.

AWS Snow Family

​

Highly-secure, portable devices to collect and process data at the edge, and migrate data into and out of AWS

엣지에서 데이터를 수집 및 처리하고 AWS로 데이터를 마이그레이션하는 매우 안전한 휴대용 장치

​

Data migration : Snowcone, Snowball Edge, Snowmobile

Edge computing : Snowcone, Snowball Edge

​

​

일반적으로 데이터 마이그레이션 할 때의 문제점

-Limited connectivity 제한적인 연결

-Limited bandwidth 제한적인 대역폭

-High network cost 높은 네트워크 전송 비용

-Shared bandwidth (can't maximize the line) 공유하는 대역폭 문제

-Connection stability 불안정한 연결

​

이러한 이유로 Snow 제품군을 사용한다.

​

AWS Snow Family: offline devices to perform data migrations

It it takes more than a week to transfer over the network, use Snowball devices

스노우 제품군은 오프라인에서 데이터 마이그레이션을 실행하는 장치이다.

데이터 전송 시 네트워크를 사용하여 일주일이 넘는 시간이 걸린다면 스노우 볼 장치를 사용하자

​

S3에 직접 업로드 할 시:

Client ---> 10Gbit/s 으로 Amazon S3 bucket 으로 전송

​

스노우 패밀리 사용할 경우:

Client가 AWS로부터 Snowball 물리적 장치를 받아서 로컬에서 데이터를 직접 장치로 전송 -> 장치를 AWS에게 주면 AWS가 자체적인 인프라에 연결함.

*네트워크가 아닌 물리적인 경로를 이용하는 것이다.

​

​

Snowball Edge (for data transfer)

​

Physical data transport solution: move TBs or PBs of data in or out of AWS

물리적 데이터 전송 솔루션: TB 또는 PB의 데이터를 AWS 안팎으로 이동

​

Alternative to moving data over the network (and paying network fees)

네트워크를 통해 데이터를 이동하는 것(및 네트워크 요금 지불)에 대한 대안

​

Pay per data transfer job

데이터 전송 건마다 비용 청구

​

Provide block storage and Amazon S3-compatible object storage

블록 스토리지 및 Amazon S3 호환 개체 스토리지 제공

​

Snowball Edge Storage Optimized

-80TB of HDD capacity for block volume and S3 compatible object storage

​

Snowball Edge Compute Optimized

-42TB of HDD capacity for block volume and S3 compatible object storage

​

Use cases: large data cloud migrations, DC decommission, disaster recovery

사용 사례: 대규모 데이터 클라우드 마이그레이션, 데이터 센터 폐쇄, 재해 복구

​

AWS Snow cone

​

Small, portable computing, anywhere, rugged & secure, withstands harsh environments

소형 휴대용 컴퓨팅, 어디서나 견고하고 안전하며 가혹한 환경에도 견딜 수 있습니다.

​

Light (4.5 pounds, 2.1kg)

​

Device used for edge computing, storage, and data transfer

엣지 컴퓨팅, 스토리지 및 데이터 전송에 사용되는 장치

​

8 TBs of usable storage 8TB의 저장공간

​

Use Snowcone where Snowball does not fit (space-constrained environment)

스노우볼에 적합하지 않을 때는 스노우콘 사용(공간 제한 환경)

​

Must provide your own battery / cables 자신의 배터리와 케이블을 사용하여야 한다.

​

Can be sent back to AWS offline, or connect it to internet and use AWS DataSync to send data.

오프라인으로 AWS로 다시 전송하거나 인터넷에 연결하여 AWS DataSync를 사용하여 데이터를 전송할 수 있습니다.

​

AWS Snowmobile

​

Transfer exabytes of data ( 1EB = 1천 PB = 1만 TB) 엑사바이트를 전송할 수 있다.

Each Snowmobile has 100 PB of capacity (use multiple in parallel) 각 스노우모빌은 100PB의 용량을 가지고 있다.

High security: temperature controlled, GPS, 24/7 video surveillance 보안이 뛰어나다. 온도 조절 가능, GPS 추적, 24시간 비디오 감시

Better than Snowball if you transfer more than 10 PB 10 PB 이상 전송할 경우 스노우볼 보다 적합하다.

​

​

Snow Family - Usage Process

​

1. Request Snowball devices from the AWS console for delivery 배송을 위해 콘솔에서 장치를 요청

2. Install the snowball client / AWS OpsHub on your servers 스노우볼 클라이언트나 AWS OpsHub를 서버에 설치

3. Connect the snowball to your servers and copy files using the client Snowball 서버를 연결, 클라이언트를 스노우 볼을 사용해서 파일을 복사함

4. Ship back the device when you're done (goes to the right AWS facility) 장치를 다시 돌려보냄

5. Data will be loaded into an S3 bucket S3 버킷에 해당 데이터를 불러들인다.

6. Snowball is completely wiped 스노우 볼은 보안 조치에 따라 전부 지워진다.

​

​

Snow 제품군의 두 번째 사용사례 : Edge Computing

​

엣지 컴퓨팅이란

Process data while it's being created on an edge location

데이터가 엣지 로케이션에서 생성될 때 실시간으로 처리하는 방식을 뜻함.

A truck on the road, a ship on the sea, a mining station underground . . .

ex)인터넷이 없는 곳, 도로 위 트럭, 바다 위의 배, 지하의 광산 등이 모두가 엣지 로케이션이 될 수 있다.

​

These locations may have

-Limited / no internet access

-Limited / no easy access to computing power

이곳에서 데이터를 만들기는 하지만 인터넷은 연결되지 않을 수도 있기 때문이다.

즉, 연결이 제한되어 있거나 인터넷 액세스가 없거나 컴퓨팅을 할 수 없는 곳이다. 이런 장소에서 컴퓨팅이나 데이터 처리를 해야 할 경우 엣지 컴퓨팅이 필요하다.

​

We setup a Snowball Edge / Snowcone device to do edge computing

엣지 컴퓨팅을 하기 위해 스노우볼 엣지/스노우콘에 장치를 설정할 수 있다.

​

Use cases of Edge Computing:

-Preprocess data 데이터 전처리

-Machine learning at the edge 엣지에서 머신 러닝하는 경우

-Transcoding media streams 미디어 스트림 트랜스 코딩 등

​

Eventually (if need be) we can ship back the device to AWS (for transferring data for example)

궁극적으로, 데이터를 AWS 재전송 해야 하는 경우 Snowcone이나 Snowball Edge 장치를 보내면 된다.

(데이터가 생성되는 곳에서, 그 데이터를 처리하고 AWS로 보내는 것임)

​

Snow Family - Edge Computing

​

Snowcone (smaller)

-2 CPUs, 4 GB of memory, wired or wireless access (wifi 가지고 있음)

-USB-C power using a cord or the optional battery

​

Snowball Edge - Compute Optimized

-52 vCPUs, 208 GiB of RAM

-Optional GPU (useful for video processing or machinel learning) 영상처리나 머신 러닝할 때 유용함.

-42 TB usable storage

​

Snowball Edge - Storage Optimized

-Up to 40 vCPUs, 80GiB of RAM

-object storage clustering available

​

All: Can run EC2 instances & AWS Lambda functions (using AWS IoT Greengrass)

Long-term deployment options: 1 and 3 years discounted pricing 장기 배포 옵션으로 1년 or 3년 빌리면 할인된 가격으로 가능

​

​

AWS OpsHub

​

Historically, to use Snow Family devices, you needed a CLI

이전에는 Snow Family 장치를 사용하려면 CLI가 필요했습니다.

​

Today, you can use AWS OpsHub (a software you install on your computer / laptop) to manage your Snow Family Device

이제 AWS OpsHub(컴퓨터/노트북에 설치하는 소프트웨어)을 사용하여 Snow Family 장치를 관리할 수 있습니다.

-Unlocking and configuring single or clustered devices

-Transferring files

-Launching and managing instances runnung on Snow Family Devices

-Monitor device metrics (storage capacity, active instances on your device)

-Launch compatible AWS services on your devices (ex: EC2 instances, AWS DataSync, Network File System)

-단일 또는 클러스터된 장치 잠금 해제 및 구성

-파일 전송

- Snow Family 장치에서 실행되는 인스턴스 실행 및 관리

-장치 메트릭 모니터링(스토리지 용량, 장치의 활성 인스턴스)

- 장치에서 호환되는 AWS 서비스 시작(예: EC2 인스턴스, AWS DataSync, 네트워크 파일 시스템)