본문 바로가기
Data/Data Engineering

[Spark] Spark를 활용한 데이터 엔지니어링 이론 + 실습 강의 소개

by Coding_WONI 2024. 12. 18.

선발 신청은 끝났습니다.

 

안녕하세요! 이번 글에서는 제가 장학생으로 선발되어 참여하게 된 메타코드M 강의를 소개하고자 합니다. 이 강의는 Apache Spark를 활용한 데이터 엔지니어링의 이론과 실습을 결합한 프로그램으로, 실무에서 바로 적용할 수 있는 기술을 학습할 수 있는 귀중한 기회입니다.

 

저는 다양한 AI 교육을 이수했지만, Spark에 대한 강의는 접할 기회가 없었습니다. 메타코드 오픈 톡방에서 해당 강의의 장학생 모집글을 보고 "이건 꼭 해야 해"라는 마음가짐으로 지원했습니다. 다행히도 장학생으로 선발되어 이번 기회를 얻게 되었습니다.

 

이 강의는 현직 전문가가 진행하며, 실무 중심의 커리큘럼을 통해 학습자들이 실제 업무에 바로 활용할 수 있는 역량을 기를 수 있도록 설계되어 있습니다. 저는 이번 강의를 통해 Apache Spark의 기본부터 심화까지 체계적으로 배우고, 배운 내용을 실제 프로젝트에 적용하며 실력을 쌓고자 합니다.

강의는 다음과 같이 구성되어 있습니다:

1강

  • 강좌 목표와 학습 내용 소개
  • 빅데이터를 소개하고 Spark 언어 알아보기

2강

  • Databricks에서 Spark 개발 환경 설정
  • Application 직접 배포 방법 학습

3강

  • RDD, Dataframe, Dataset 학습
  • Groupby, Join 실습
  • Spark SQL 학습
  • Partition과 Shuffle 활용법

4강

  • Spark 최적화 방법론
  • MLLib, GraphX 라이브러리 학습
  • Spark Streaming 실시간 처리

5강

  • Github 활용한 Capstone Project
  • 데이터 전처리, 분석, 인사이트 도출 프로젝트 수행

 

이번에 장학생으로 선정되면서 제가 배운 내용을 기반으로 더 성장할 수 있는 계기를 마련하게 되었습니다. 앞으로도 꾸준히 학습하며, 이를 바탕으로 실무에서 큰 성과를 낼 수 있도록 최선을 다하겠습니다. 관심 있으신 분들은 아래 링크를 통해 강의를 확인해 보세요!

 

http://https://www.metacodes.co.kr/edu/read2.nx?M2_IDX=31635&page=1&sc_is_discount=&sc_is_new=&EP_IDX=15478&EM_IDX=15302