Staff Data Engineer (Data Platform)

쿠팡은 고객이 쿠팡앱을 열어보는 순간부터 상품을 문 앞으로 배송받는 순간까지, 고객 한 분 한 분에게 감동을 줄 수 있도록 쇼핑의 경험을 새롭게 창조하고 있습니다. 뛰어난 엔드투엔드(end-to-end) 이커머스와 물류 네트워크, 그리고 고집스러울 정도로 고객만을 생각하는 문화를 바탕으로 쿠팡은 속도, 상품 선정, 그리고 가격 중 그 무엇도 포기하지 않았습니다. 

지금 쿠팡은 신선식품을 포함한 수백만 개의 상품을 단 몇 시간 내에 전국 단위로 1년 365일 배송하는 혁신을 실현하였습니다. 

직무 소개 

Data Platform팀의 데이터 엔지니어는 쿠팡이 데이터 기반 의사결정을 할 수 있도록 하는 데이터 레이크, 데이터 수집, 데이터 인프라, 데이터 파이프라인의 디자인, 개발, 관리를 담당합니다. 이 포지션은 매우 다양한 소스 시스템에서 데이터를 수집하기 위한 백엔드 서비스를 구축, 저장소 최적화, 매일 테라바이트 단위의 데이터를 처리하는 데이터 파이프라인을 지원하고 고객이 빠른 의사결정을 내릴 수 있도록 이용가능하게 만드는 일을 담당합니다. 이 규모에서 적시에 정확한 결과를 내기 위해서는 고장감내성과 견고함을 보장해야 할 것입니다. 

주요 업무 

• Technical Lead로서 여러 팀에 기술적 영향을 미치고 깊은 지식과 경험을 공유하여 생산성과 효율성을 개선. 
• 쿠팡의 차세대 Data Warehouse 플랫폼을 디자인 및 구축. 
• 전사적인 사용을 위한 셀프서비스 데이터 수집 프레임워크를 디자인 및 구축. 

• Spark, Hive와 같은 모던한 분산처리기술을 사용해 초대형 데이터로 확장할 수 있는 능력을 가진 신뢰할만한 데이터 파이프라인을 디자인 및 구축. 
• 데이터 아키텍처 디자인, 디자인 패턴, 코딩 표준에 있어서의 업계 베스트 프랙티스를 발전, 멘토링, 시행. 

자격요건 

• 컴퓨터 과학 또는 관련 기술분야의 학사학위 이상 소지자. 

• 알고리즘, 데이터 구조 및 설계 패턴에 대한 깊은 이해를 바탕으로 한 소프트웨어 개발 경력 8년 이상의 경험 
• Java, Scala, Python, Go, Kotlin과 같은 프로그래밍 언어 1개 이상에 대한 경험. 
• EMR, Spark, Hive, 또는 기타 빅데이터 프레임워크를 사용하는 분산처리에 대한 경험. 
• Database System, Data Warehousing 개념 및 언어 (SQL, NoSQL) 에 대한 탄탄한 지식  
  사전에 비즈니스를 이해하고 평가하여 개발을 주도할 수 있는 능력 
• 적극적으로 문제를 진단할 수 있는 능력과 혁신적으로 문제를 해결하는 능력 보유 

• 동료 엔지니어 교육 및 멘토링 하실 수 있는 지식과 능력 

우대사항 

• 클라우드 컴퓨팅 플랫폼에 대한 경험과 확장성/신뢰성 문제에 대한 이해. 
• (Kafka, Storm, Spark-Streaming 또는 그에 상응하는) 스트림 프로세싱 시스템에 대한 경험 우대. 

 
As a Staff, Data Engineer for the Data Platform team, you will be responsible for the design, development, and maintenance of the data lake, data ingestion, data infrastructure, and data pipelines that enables data-driven decision-making for Coupang. In this role, you will build back-end services to ingest data from vast variety of source systems, optimize the storage, support data pipelines which process terabytes of data each day and make it available for customer to make fast business decision.  At this scale, you will need to ensure fault tolerance and robustness to deliver accurate results on time. 

Job Description 

What You Will Do  

• Serve as a technical lead and exert technical influence over multiple teams, increasing their productivity and effectiveness by sharing your deep knowledge and experience. 

• Design and build Coupang's next generation Data Warehouse platform.  
• Design and build self-serve data ingestion framework for companywide usage.  
• Design and build reliable data pipelines using modern distributed processing technologies such as Spark, Hive with the ability to scale with very large data volumes.  
• Foster, mentor, and enforce industry best practices in data architecture design, design patterns and coding standard.  

Basic Qualifications  

• BS or advanced degree in Computer Science, or related technical field. 
• 8+ years of software development experience with deep understanding of algorithms, data structures and design patterns. 
• Experience in one or more programming languages such as Java, Scala, Python, Go or Kotlin.  
• Experience in distributed processing using EMR, Spark, Hive, or other big data frameworks.  

• Solid knowledge of Database System, Data Warehousing concepts and languages (SQL, NoSQL). 
•  Ability to proactively diagnose problems and solve problems innovatively. 
•  Knowledge and ability to train and mentor fellow engineers. 

Preferred Qualifications  

• Experience with Cloud Computing platforms and understanding of scaling and reliability issues.  
• Experience in Stream-processing systems (Kafka, Storm, Spark-Streaming or equivalent) is a plus.