Data Lab

Game Data Project #5 - FastAPI 구현

오늘 한 일지난 글에서는 REST API를 어떻게 설계할지 정리했다.이번에는 그때 문서로 설계했던 API를 실제 FastAPI 코드로 구현했다.기존 프로젝트는 Steam API에서 데이터를 가져와 PostgreSQL에 저장하는 흐름까지 만들어둔 상태였다.Steam API ↓Python 수집 코드 ↓PostgreSQL이번 작업을 통해 반대 방향의 흐름도 추가했다.PostgreSQL ↓FastAPI ↓Client즉, 지금까지는 데이터를 수집해서 저장하는 것에 집중했다면 이번에는 저장된 데이터를 외부에서 조회할 수 있도록 API로 제공하는 단계까지 확장했다.FastAPI와 Uvicorn 설치먼저 FastAPI와 Uvicorn을 프로젝트 의존성으로 추가했다.uv add fastapi "uv..

Game Data Project #4 - REST API 설계

오늘 한 일오늘은 실제 API를 구현하기 전에, 먼저 REST API를 어떤 구조로 설계할지 정리했다.Day 1~3까지는 Steam API에서 데이터를 가져와 PostgreSQL에 저장하는 흐름을 만드는 데 집중했다면, 오늘부터는 저장된 데이터를 다른 프로그램이나 사용자가 조회할 수 있도록 API를 설계하는 단계로 넘어갔다.지금까지의 흐름은 대략 다음과 같다.Steam API ↓Python 수집 코드 ↓예외처리 / logging ↓PostgreSQL이제 여기에 API 계층을 추가하면 다음과 같은 구조가 된다.Client ↓REST API ↓PostgreSQL오늘은 FastAPI를 바로 작성하지 않고, 그 전에 어떤 endpoint가 필요한지 먼저 정의했다.REST API 기본 개념 정리..

Day 2까지는 Steam API에서 가져온 동접자 데이터를 JSONL 파일에 저장했다.JSONL은 간단한 수집 결과를 확인하거나 로그 형태로 데이터를 쌓기에는 편했지만, 앞으로 게임별 시계열 조회, 패치 전후 비교, 가격 데이터와의 JOIN 같은 분석을 하려면 관계형 데이터베이스가 필요했다.그래서 이번에는 PostgreSQL을 설치하고, 기존 수집 데이터를 PostgreSQL에 저장하도록 구조를 변경했다.1. PostgreSQL 설치와 기본 구조 이해WSL Ubuntu 환경에 PostgreSQL을 설치하고 먼저 서버 상태를 확인했다.PostgreSQL을 처음 사용할 때 가장 헷갈렸던 부분은 psql과 PostgreSQL 서버의 차이였다.PostgreSQL Server→ 실제 데이터베이스가 실행되는 서버..

오늘 한 것Day 1에서는 Steam API를 호출해 여러 게임의 현재 동접자 수를 출력하는 것까지 진행했다.Day 2에서는 단순한 API 호출 코드를 조금 더 실제 데이터 수집 프로그램에 가까운 형태로 개선했다.오늘 진행한 내용은 다음과 같다.HTTP 요청/응답 구조 정리HTTP Status Code와 raise_for_status() 이해try / except를 이용한 예외처리Python logging 적용로그 파일 저장Linux에서 tail, grep을 이용한 로그 확인JSONL 형식으로 실제 수집 데이터 저장jq 설치 및 JSON 데이터 확인VSCode와 WSL 연동Git rebase와 conflict 경험conflict marker가 남은 코드 수정불필요하게 생성된 빈 .py 파일 삭제작업 브랜..

오늘 목표개인 게임 데이터 프로젝트를 시작하면서 첫 번째 목표를 단순하게 잡았다.Steam API를 이용해 여러 게임의 현재 동접자 데이터를 직접 가져오는 것.처음부터 데이터베이스나 Docker, Airflow 같은 도구를 붙이기보다 개발 환경을 만들고 실제 데이터를 받아오는 것까지 진행하기로 했다.개발 환경 구성Windows에서 WSL2와 Ubuntu를 설치하고 Linux 기반 개발 환경을 구성했다.프로젝트에서는 시스템 Python과 별도로 uv를 이용해 Python 3.12 환경을 사용하도록 설정했다.현재 개발 환경은 다음과 같다.Windows└─ WSL2 └─ Ubuntu ├─ Python 3.12 ├─ uv └─ Git프로젝트는 game-data-platform이라는..

문제 설명ANIMAL_INS 테이블은 동물 보호소에 들어온 동물의 정보를 담은 테이블입니다. ANIMAL_INS 테이블 구조는 다음과 같으며, ANIMAL_ID, ANIMAL_TYPE, DATETIME, INTAKE_CONDITION, NAME, SEX_UPON_INTAKE는 각각 동물의 아이디, 생물 종, 보호 시작일, 보호 시작 시 상태, 이름, 성별 및 중성화 여부를 나타냅니다. 동물 보호소에 들어온 동물의 이름은 몇 개인지 조회하는 SQL 문을 작성해주세요. 이때 이름이 NULL인 경우는 집계하지 않으며 중복되는 이름은 하나로 칩니다. 보호소에 들어온 동물의 이름은 NULL(없음), *Sam, *Sam, *Sweetie입니다. 이 중 NULL과 중복되는 이름을 고려하면, 보호소에 들어온 동물 이름..

문제 설명정수 num1과 num2가 매개변수로 주어질 때, num1을 num2로 나눈 값에 1,000을 곱한 후 정수 부분을 return 하도록 solution 함수를 완성해주세요.풀이def solution(num1, num2): answer = int(num1 / num2 * 1000) return answer

문제 설명다음은 어느 의류 쇼핑몰에서 판매 중인 상품들의 정보를 담은 PRODUCT 테이블입니다. PRODUCT 테이블은 아래와 같은 구조로 되어있으며, PRODUCT_ID, PRODUCT_CODE, PRICE는 각각 상품 ID, 상품코드, 판매가를 나타냅니다.Column nameTypeNullablePRODUCT_IDINTEGERFALSEPRODUCT_CODEVARCHAR(8)FALSEPRICEINTEGERFALSE문제PRODUCT 테이블에서 판매 중인 상품 중 가장 높은 판매가를 출력하는 SQL문을 작성해주세요. 이때 컬럼명은 MAX_PRICE로 지정해주세요.SELECT MAX(PRICE) FROM PRODUCT; 가장 높은 판매가는 가격 칼럼인 PRICE에서 MAX를 해주면 가장 큰 수를 찾을 수 ..

문제 설명머쓱이는 선생님이 몇 년도에 태어났는지 궁금해졌습니다. 2022년 기준 선생님의 나이 age가 주어질 때, 선생님의 출생 연도를 return 하는 solution 함수를 완성해주세요.문제 풀이def solution(age): answer = 2022 - age + 1 return answer나이는 태어난 연도에 1살이며 매년 1월 1일마다 1살씩 증가합니다. 이 규칙으로 기준년도인 2022년에서 현재 나이를 빼고 1살부터 시작이므로 1을 더해준다.

문제 설명동물 보호소에 동물이 몇 마리 들어왔는지 조회하는 SQL 문을 작성해주세요. 풀이SELECT COUNT(ANIMAL_ID) FROM ANIMAL_INS;# 단순히 테이블 칼럼의 수를 계산하는 문제.SELECT COUNT(*) FROM ANIMAL_INS;