IT STUDY LOG

#최소 요구 사항 (Bare minimum requirements) 스프린트 안내 - nginx 웹 서버의 로그로부터 접속 기록을 추출하여, PostgreSQL에 적재 스프린트를 진행하기 전에 먼저 연습할 내용 - PostgreSQL 데이터베이스를 생성하고, SQL문을 이용해 데이터를 넣고, 넣은 결과를 확인합니다. 1. PostgreSQL 다운로드 PostgreSQL: Downloads www.postgresql.org # os에 설치된 패키지 최신화(업데이트 및 업그레이드) sudo apt update # 파일 리포지토리 구성 sudo sh -c 'echo "deb http://apt.postgresql.org/pub/repos/apt $(lsb_release -cs)-pgdg main" > /etc..

# 학습 목표 데이터 파이프라인의 필요성을 이해할 수 있다. OLTP와 OLAP의 차이를 이해할 수 있다. ETL 과정을 설명할 수 있다. MLOps와 DevOps의 차이를 이해할 수 있다. 리눅스 명령과 프로그래밍 언어를 이용해 간단한 데이터 파이프라인을 구현할 수 있다. 간단한 수준의 SQL문을 사용할 수 있다. # 학습 내용 목차 1. 데이터 파이프라인과 OLTP vs. OLAP 2. 정형 데이터와 비정형 데이터 3. ETL과 ELT 4. MLOps 1. 데이터 파이프라인과 OLTP vs. OLAP 데이터 파이프라인 개념 - 다양한 데이터 소스로부터 원시 데이터를 수집해 분석을 위해 데이터 웨어하우스와 같은 별도데이터 저장소로 이전하는 과정 목적 1) 다양한 경로로 수집되는 데이터를 DW(Data ..