Staff Data Engineer (Data Platform)

직무 소개

Data Platform팀의 데이터 엔지니어는 쿠팡이 데이터 기반 의사결정을 할 수 있도록 하는 데이터 마트 설계, 데이터 파이프라인 개발, 관리를 담당합니다. 이 포지션은 빠르게 변화하는 쿠팡의 비즈니스를 담아낼 수 있는 전사의 다양한 비즈니스 도메인별 마트 설계 및 관리를 수행하고, 매우 다양한 소스 시스템에서 데이터를 수집하기 위한 시스템을 구축, 저장소 최적화, 안정적이고 신뢰할 수 있는 데이터 파이프라인과 데이터를 지원하는 일을 담당합니다.

자격요건

• Database System, Data Warehousing 개념 및 언어 (SQL, NoSQL, HiveQL) 에 대한 탄탄한 지식이 있으신 분
• 데이터 마트 모델링에 대한 탄탄한 지식이 있으신 분
• EMR, Spark, Hive, 또는 기타 빅데이터 프레임워크와 분산처리 기술로 대용량 데이터 처리 및 파이프라인 구축 경험을 해 보신 분
• 주도적으로 내/외부 부서와 원활한 커뮤니케이션이 가능하고 적극적이고 문제 해결 능력이 있으신 분
• Java, Scala, Python 등의 프로그래밍 언어 중 최소 1개의 언어를 능숙하게 사용 가능하신 분

우대사항

• AWS, Azure, GCP 등 클라우드 기반 서비스 환경에서 개발 경험이 있으신 분
• Kafka, Storm, Spark-Streaming 등의 스트림 프로세싱 시스템에 대한 경험이 있으신 분
• Airflow를 통한 파이프라인 구축 경험이 있으신 분

Job Description

As a Staff Data Engineer in the Data Platform team, you are responsible for data mart design, data pipeline development and management that enable Coupang to make data-driven decisions. This position designs and manages data marts by various business domains across the company that can accommodate the fast-changing business of Coupang, builds a system to collect data from a wide variety of source systems, optimizes storage, and provides stable and reliable storage. Responsible for supporting the data pipeline and data.

Basic Qualifications

• Solid knowledge of Database systems, Data Warehousing concepts, and languages (SQL, NoSQL, HiveQL)
• Solid knowledge in Data Mart modeling
• Experienced in processing large amounts of data and building pipelines with EMR, Spark, Hive, or other big data frameworks and distributed processing technologies
• Able to proactively communicate with internal/external departments and proactive attitude and problem-solving skills
• Proficient in using at least one programming language such as Java, Scala, or Python

Preferred Qualifications

• Experience with Cloud-based service environments such as AWS, Azure, and GCP
• Experience with Stream-processing systems such as Kafka, Storm, Spark-Streaming, or equivalent
• Experience in building pipelines through Airflow