본문 바로가기

구름고동이네 데이터분석

[Python 학습일지] 프로젝트형 학습 – 자동화 · 크롤링 · 데이터 분석





 1. 오늘의 학습 목표  
- 작은 자동화 프로젝트: 웹페이지 데이터를 가져와 정리하기  
- 간단한 크롤러: 뉴스 제목 모으기  
- 데이터 분석 맛보기: pandas로 표 데이터 다루기  

2. 작은 자동화 프로젝트  
**목표**: 매일 특정 웹페이지에서 데이터를 가져와 정리하기  

**코드 요약**  
- requests로 웹페이지 호출  
- JSON 응답을 Pandas로 정리  
- CSV 파일로 저장  

**실행 결과**  
- `daily_data.csv` 파일 생성  
- “데이터 저장 완료: daily_data.csv” 출력  

 



 3. 간단한 크롤러 (뉴스 제목 모으기)  
**목표**: 뉴스 사이트에서 최신 기사 제목 수집  

**코드 요약**  
- requests로 뉴스 페이지 가져오기  
- BeautifulSoup으로 `<a>` 태그 추출  
- 리스트로 저장 후 출력  

**실행 결과**  
- “오늘의 뉴스 제목 리스트” 출력  



 4. 데이터 분석 맛보기 (pandas)  
**목표**: 표 데이터를 불러와 간단한 분석 수행  

**코드 요약**  
- CSV 파일 불러오기 (`pd.read_csv`)  
- 특정 열 평균/최댓값 계산  
- 그룹별 집계 (`groupby`)  

**실행 결과**  
- ID 평균: 3.0  
- ID 최댓값: 5  
- userId별 게시물 수: 1번 사용자 → 5개  

 


 5. 오늘의 학습 정리  
- 자동화: 웹 데이터를 매일 정리하는 작은 프로젝트 가능  
- 크롤링: 뉴스 제목을 수집해 리스트화 가능  
- 데이터 분석: pandas로 데이터 요약 및 집계 가능  

👉 오늘은 단순 문법 학습을 넘어서 **실제 프로젝트형 학습**을 통해 파이썬 활용 가능성을 체험했습니다.  

 6. 결론  
오늘 학습을 통해 **데이터 자동화 → 크롤링 → 분석**까지 이어지는 흐름을 경험했습니다.