[데이터베이스] 01. 데이터베이스 기초

# 학습 목표

• RDBMS와 NoSQL의 차이와 각각의 장단점을 이해할 수 있다.
• 충분한 가용성이 확보되지 않은 다양한 문제 상황을 이해하고, 상황에 따른 솔루션이 무엇인지 이해할 수 있다.
  • 다음 용어에 대한 간단한 정의를 내릴 수 있다: 인덱싱, 레플리카, 파티셔닝, 캐싱, 배치 작업, 스트림 처리
• 이벤트 기반 아키텍처를 설명할 수 있다.
• RDBMS에서 테이블을 만들 때 스키마(필드) 디자인을 할 수 있다.
• 데이터 파이프라인의 필요성을 이해할 수 있다.
  • OLTP와 OLAP의 차이를 이해할 수 있다.
  • ETL 과정을 설명할 수 있다.
  • MLOps와 DevOps의 차이를 이해할 수 있다.
• 리눅스 명령과 프로그래밍 언어를 이용해 간단한 데이터 파이프라인을 구현할 수 있다.
  • 간단한 수준의 SQL문을 사용할 수 있다.

---

# 학습 내용

1.  데이터베이스의 필요성

데이터베이스의 필요성

메모리에 임시 저장 (In-Memory)

메모리에 데이터가 저장될 경우 프로그램이 종료되면 함꼐 소멸

데이터의 수명이 프로그램의 수명에 의존

파일 입/출력 (I/O)

파일을 읽는 방식으로 작동하는 형태

데이터가 필요할 때마다 전체 파일을 매번 읽으므로 파일 크기가 클수록 부하가 크고 비효율적

파일이 손상되거나 여러 파일을 동시에 다뤄야하는 등 복잡하고 데이터량이 많아질수록 데이터 불러들이는 작업이 힘들어짐

∴ 데이터베이스로 해결

 

2.  RDBMS vs. NoSQL

SQL(구조화 쿼리 언어) vs. NoSQL(비구조화 쿼리 언어)

구분	관계형 데이터베이스	비관계형 데이터베이스
특징	SQL 기반, 스키마가 뚜렷	NoSQL, Schema-on-read
만들어진 방식	테이블, 행, 열로 구성	데이터가 고정되어있지 않은 데이터 베이스
저장하는 정보 종류	열: 속성 행 : 각 열의 데이터 형식에 맞는 데이터	데이터의 입력 방식이 다양
저장하는 방법	특정한 데이터 형식으로 저장	입력 방식에 따라 데이터 읽어올 때 영향
대표적인 모델	MySQL, Oracle, SQLite, PostgreSQL, MariaDB	MongoDB, Casandra

NoSQL

NoSQL 기반 비관계형 데이터베이스 특징

Key-Value 타입
- 속성을 Key-Value의 쌍으로 나타내는 데이터를 배열의 형태로 저장
- Key: 속성 이름,  Value: 속성에 연결된 데이터 값을 의미
- Redis, Dynamo 등이 대표적인 Key-Value 형식의 데이터베이스

문서형(Document) 데이터베이스
- 데이터를 테이블이 아닌 문서처럼 저장하는 데이터베이스를 의미
- 많은 문서형 데이터베이스에서 JSON과 유사한 형식의 데이터를 문서화하여 저장
- 각각의 문서는 하나의 속성에 대한 데이터를 가지고 있고, 컬렉션이라고 하는 그룹으로 묶어서 관리
- MongoDB가 대표적인 문서형 데이터베이스

Wide-Column 데이터베이스
- 데이터베이스의 열(column)에 대한 데이터를 집중적으로 관리하는 데이터베이스
- 각 열에는 key-value 형식으로 데이터가 저장되고, 컬럼 패밀리(column families)라고 하는 열의 집합체 단위로 데이터를 처리
- 하나의 행에 많은 열을 포함할 수 있어서 유연성이 높음
- 데이터 처리에 필요한 열을 유연하게 선택할 수 있다는 점에서 규모가 큰 데이터 분석에 주로 사용되는 데이터베이스 형식
- 대표적인 wide-column 데이터베이스에는 Cassandra, HBase

그래프(Graph) 데이터베이스
- 자료구조의 그래프와 비슷한 형식으로 데이터 간의 관계를 구성하는 데이터베이스
- 노드(nodes)에 속성별(entities)로 데이터를 저장
- 각 노드 간 관계는 선(edge)으로 표현
- 대표적인 그래프 데이터베이스에는 Neo4J, InfiniteGraph 

 

SQL 기반의 데이터베이스와 NoSQL 데이터베이스의 차이점

데이터 저장(Storage)

NoSQL

key-value, document, wide-column, graph 등의 방식으로 데이터를 저장

관계형 데이터베이스

SQL을 이용해서 데이터를 테이블에 저장
미리 작성된 스키마를 기반으로 정해진 형식에 맞게 데이터를 저장해야 함

 

스키마(Schema)

NoSQL

관계형 데이터베이스보다 동적으로 스키마의 형태를 관리
행을 추가할 때 즉시 새로운 열을 추가할 수 있고, 개별 속성에 대해서 모든 열에 대한 데이터를 반드시 입력하지 않아도 됨

관계형 데이터베이스

SQL을 사용하려면, 고정된 형식의 스키마가 필요
처리하려는 데이터 속성별로 열(column)에 대한 정보를 미리 정해두어야 함
스키마는 나중에 변경할 수 있지만, 이 경우 데이터베이스 전체를 수정하거나 오프라인(down-time)으로 전환할 필요

 

쿼리(Querying) : DB에 대한 정보를 요청하는 질의문

NoSQL

비관계형 데이터베이스의 쿼리는 데이터 그룹 자체를 조회하는 것에 초점
구조화되지 않은 쿼리 언어로도 데이터 요청이 가능
UnQL(UnStructured Query Language)

관계형 데이터베이스

테이블의 형식과 테이블 간의 관계에 맞춰 데이터를 요청
정보를 요청할 때, SQL과 같이 구조화된 쿼리 언어를 사용

 

확장성(Scalability)

NoSQL

수평적 확장
보다 값싼 서버 증설, 또는 클라우드 서비스 이용하는 확장
NoSQL 데이터베이스를 위한 서버를 추가적으로 구축하면, 많은 트래픽을 보다 편리하게 처리
저렴한 범용 하드웨어나 클라우드 기반의 인스턴스에 NoSQL 데이터베이스를 호스팅할 수 있어서, 수직적 확장보다 상대적으로 비용이 저렴

관계형 데이터베이스

수직적 확장
높은 메모리, CPU를 사용하는 확장
데이터베이스가 구축된 하드웨어의 성능을 많이 이용하기 때문에 비용이 많이 듦
여러 서버에 걸쳐서 데이터베이스의 관계를 정의할 수 있지만, 매우 복잡하고 시간이 많이 소모

 

SQL과 NoSQL 중에서 어떤 것을 사용해야 하나요?

SQL 기반의 관계형 데이터베이스를 사용하는 케이스

1. 데이터베이스의 ACID 성질을 준수해야 하는 경우

ACID는 Atomicity(원자성), Consistency(일관성), Isolation(격리성), Durability(지속성) 를 의미
 > 데이터베이스에서 실행되는 하나의 트랜잭션(Transaction)에 의한 상태의 변화를 수행하는 과정에서, 안전성을 보장하기 위해 필요한 성질
SQL을 사용하면 데이터베이스와 상호 작용하는 방식을 정확하게 규정할 수 있기 때문에, 데이터베이스에서 데이터를 처리할 때 발생할 수 있는 예외적인 상황을 줄이고, 데이터베이스의 무결성을 보호 가능
전자 상거래를 비롯한 모든 금융 서비스를 위한 소프트웨어 개발 에서는 반드시 데이터베이스의 ACID 성질을 준수해야 하므로 이런 경우에는 일반적으로 SQL을 이용한 관계형 데이터베이스를 사용

2. 소프트웨어에 사용되는 데이터가 구조적이고 일관적인 경우

소프트웨어(프로젝트)의 규모가 많은 서버를 필요로 하지 않고 일관된 데이터를 사용하는 경우, 관계형 데이터베이스를 사용하는 경우가 많음
다양한 데이터 유형과 높은 트래픽을 지원하도록 설계된 NoSQL 데이터베이스를 사용해야만 하는 이유가 없기 때문

 

NoSQL 기반의 비관계형 데이터베이스를 사용하는 케이스

1. 데이터의 구조가 거의 또는 전혀 없는 대용량의 데이터를 저장하는 경우

대부분의 NoSQL 데이터베이스는 저장할 수 있는 데이터의 유형에 제한이 없음
필요에 따라, 언제든지 데이터의 새 유형을 추가 가능
소프트웨어 개발에 정형화되지 않은 많은 양의 데이터가 필요한 경우, NoSQL을 적용하는 것이 더 효율적

2. 클라우드 컴퓨팅 및 저장공간을 최대한 활용하는 경우

클라우드 기반으로 데이터베이스 저장소를 구축하면, 저렴한 비용의 솔루션을 제공받을 수 있음
소프트웨어에 데이터베이스의 확장성이 중요하다면, 별다른 번거로움 없이 확장할 수 있는 NoSQL 데이터베이스를 사용하는 것이 좋음

3. 빠르게 서비스를 구축하는 과정에서 데이터 구조를 자주 업데이트 하는 경우

NoSQL 데이터베이스의 경우 스키마를 미리 준비할 필요가 없기 때문에 빠르게 개발하는 과정에 매우 유리(시장에 빠르게 프로토타입을 출시해야 하는 경우)
또한 소프트웨어 버전별로 많은 다운타임(데이터베이스 서버를 오프라인으로 전환하여 데이터 처리를 진행하는 작업 시간) 없이 데이터 구조를 자주 업데이트 해야 하는 경우, 스키마를 매번 수정해야 하는 관계형 데이터베이스 보다 NoSQL 기반의 비관계형 데이터베이스를 사용하는 게 더 적합

 

3. 관계형 데이터베이스의 표준 언어 SQL

SQL 소개

Structured Query Language로 주로 RDB에서 사용

데이터베이스용 프로그래밍 언어로 데이터베이스에 쿼리를 보내 원하는 데이터를 가져오거나 삽입 가능

데이터가 구조화(structured)된 테이블을 사용하는 데이터베이스에서 활용

vs. NoSQL은 데이터 구조가 고정되어있지 않아 테이블을 사용하지 않고 다른 형태로 저장하는 문서 지향 데이터베이스

 

쿼리란?

질의문

검색을 할 때, 기존에 존재하는 데이터를 검색어로 필터링

저장되어 있는 데이터를 필터하기 위한 질의문

 

SQL 학습

SQL Tutorial을 활용해보기

---

# References

- SQL Tutorial

SQL Tutorial