Amazon Kinesis Overview

Kinesis Overview

​

Makes it easy to collect, process, and analyze streaming data in real-time

Ingest real-time such as: Application logs, Metrics, Website clickstreams, IoT telemetry data. . .

실시간으로 스트리밍 데이터를 쉽게 수집, 처리 및 분석할 수 있습니다.

애플리케이션 로그, 메트릭, 웹 사이트 클릭 스트림, IoT 원격 측정 데이터 등의 실시간 수집

​

Kinesis Data Streams: capture, process, and store data streams

데이터 스트림 캡처, 처리 및 저장

​

Kinesis Data Firehose: load data streams into AWS data stores

데이터 스트림을 AWS 데이터 저장소에 로드

​

Kinesis Data Analytics: analyze data streams with SQL or Apache Flink

SQL 또는 Apache Flink를 사용하여 데이터 스트림 분석

​

Kinesis Video Streams: capture, process, and store video streams

비디오 스트림 캡처, 처리 및 저장

---

​

Kinesis Data Streams

​

Retention between 1 day to 365 days

Ability to reprocess (replay) data

Once data is inserted in Kinesis, it can't be deleted (immutability)

Data that shares the same partition goes to the same shard (ordering)

Producers: AWS SDK, Kinesis Producer Library(KPL), Kinesis Agent

1일에서 365일 사이의 보존 기간

데이터 재처리(재생) 기능

일단 Kinesis에 데이터가 삽입되면 삭제할 수 없습니다(불변성)

동일한 파티션을 공유하는 데이터가 동일한 샤드로 이동(순서 지정)

생산자: AWS SDK, Kinesis Producer Library(KPL), Kinesis Agent 사용할 수 있음

​

Consumers:

-Write your own: Kinesis Client Library(KCL), AWS SDK

-Managed: AWS Lambda, Kinesis Data Firehose, Kinesis Data Analytics

-소비지가 원하는 대로 직접 작성: Kinesis Client Library(KCL), AWS SDK

-Managed 되는 서비스: AWS 람다, Kinesis Data Firehose, Kinesis Data Analytics

---

​

Kinesis Data Streams - Capacity Modes

​

Provisioned mode:

-You choose the number of shards provisioned, scale manually or using API

-Each shard gets 1MB/s in (or 1000 records per second)

-Each shard gets 2MB/s out (classic or enhanced fan-out consumer)

-You pay per shard provisioned per hour

-프로비저닝된 샤드 수, 수동 확장 또는 API 사용 수를 선택할 수 있습니다.

-각 샤드는 1MB/s(또는 초당 1000개의 레코드)를 받습니다.

- 각 샤드는 2MB/s(기존 또는 향상된 팬아웃 소모 장치)를 출력합니다.

- 시간당 제공된 샤드당 비용 지불

​

On-demand mode:

-No need to provision or manage the capacity

-Default capacity provisioned (4 MB/s in or 4000 records per second)

-Scales automatically based on observed throughput peak during the last 30 days

-Pay per stream per hour & data in/out per GB

- 용량을 프로비저닝하거나 관리할 필요 없음

- 프로비저닝된 기본 용량(4MB/s 또는 초당 4000개 레코드)

-지난 30일 동안 관찰된 처리량 피크를 기준으로 자동 확장

- 스트림당 시간당 비용 지불 및 GB당 데이터 입출력

---

Kinesis Data Firehose

​

Fully Managed Service, no administration, automatic scaling, serverless

완벽한 관리 서비스, 관리 기능 없음, 자동 확장, 서버리스

-(중요)AWS: Redshift / S3 / ElastiSearch

-3rd party partner : Splunk / MongoDB / DataDog / NewRelic / . . . (계속 추가됨)

-Custome: send to any HTTP endpoint

​

Pay for data going through Firehose

Firehose를 통과하는 데이터 비용만 지불

​

Near Real Time 거의 실시간에 가까움

-60 seconds latency minimim for non full batches

-Or minimum 32 MB of data at a time

-전체 배치가 아닌 경우 지연 시간 최소 60초

-또는 한 번에 최소 32MB의 데이터

​

Supports many data formats, conversions, transformations, compression

Supports custom data transformation using AWS Lambda

Can send failed or all data to a backup S3 bukcet

다양한 데이터 형식, 변환, 압축을 지원

AWS 람다를 사용한 사용자 지정 데이터 변환 지원

실패한 데이터 또는 모든 데이터를 백업 S3 버킷으로 보낼 수 있습니다.

---

Kinesis Data Streams / Firehose 차이점

​

Kinesis Data Streams

-Streaming service for ingest at scale

-Write custom code (producer/consumer)

-Real-time (~200ms)

-Manage scaling (shard splitting / merging)

-Data storage for 1 to 365 days)

-Supports replay capability

-규모에 맞는 수집을 위한 스트리밍 서비스

- 커스텀 코드 작성(생산자/소비자)

- 실시간(~200ms) 속도로 처리

- 확장 관리(샤드 분할/병합)

-1~365일간 데이터 저장

-재생 기능 지원

​

Kinesis Data Firehose

-Load streaming data into S3 / Redshift / ES / 3rd party / custom HTTP

-Fully managed

-Near real-time(buffer time min. 60sec)

-Automatic scaling

-No data storage

-Doesn't support replay capability

-스트리밍 데이터를 S3 / Redshift / ES / 타사 / 사용자 지정 HTTP로 로드

-완전 관리형 서비스

-실시간에 가까움(버퍼 시간 최소값. 60초)

-자동 스케일링

-데이터 저장소 없음

-재생 지원하지 않음

---

Kinesis Data Analytics (SQL application)

​

Perform real-time analytics on Kinesis Streams using SQL

Fully managed, no servers to provision

Automatic scaling

Real-time analytics

Pay for acutal consumption rate

Can create streams out ot the real-time queries

Use cases:

-Time-series analytics

-Real-time dashboards

-Real-time metrics

SQL을 사용하여 Kinesis 스트림에 대한 실시간 분석 수행

완전한 관리, 프로비저닝할 서버 없음

자동 스케일링

실시간 분석

실제 소비율에 대한 지불

실시간 쿼리에서 스트림을 생성할 수 있습니다.

사용 사례:

- 시계열 분석

- 실시간 대시보드

- 실시간 지표 기준