Data Engineer

Seoul

Applications have closed
[한국어 ver.]Hyperconnect Data Engineering TeamData Engineering팀은 안정적 이고 다양한 데이터 공급을 통하여 데이터 기반 비즈니스 회사를 만드는데 목표로 하고 있습니다. Data Engineering 팀은  public cloud AWS, GCP등의 데이터 인프라를 구축, 운영, 모니터링 하여 데이터 생산자와 소비자를  데이터로 연결하며, multi product cross country 기반 RAW 데이터 기준 하루 25억건 이상의 데이터를 관리 합니다. Data Engineering팀은 데이터 및 데이터 사용자 관점의 여러 활동 및 연구 합니다. 데이터 생성/스키마 정의 부터 ad-hoc 분석/전사 대시보드 지원, data-life-cycle 정책을 통한 삭제 혹은 archive까지 데이터 life-cycle에 대한 전체 과정에서 안정성과 효율성을 위해 모든 활동을 수행 합니다.
- Data Engineering Team 인터뷰 확인하고, 팀에 대해 자세히 알아보기
Data Engineering Team 업무 소개Data Preparation다양한 데이터 소스의 데이터를 추출하고, RAW데이터를 가공하여 전사 data warehouse를 운영합니다. 안정적인 데이터 처리를 위해 다양한 데이터 퀄리티 작업을 수행합니다. Code Review파이프라인의 모든 부분을 코드로 구성하고 관리합니다. Production 파이프라인에 적용하기 전에 Peer 리뷰를 합니다. Improvement & Troubleshooting파이프라인을 이루는 각 작업들은 필요한 시점 이전에 성공해야 합니다. 서로 의존성이 있는 경우에는 실행 순서를 관리해야 합니다. 모니터링 프로세스를 자동화하고 문제가 있다면 확인하는 즉시 해결합니다. 정기적으로 파이프라인의 상태를 점검하고 병목이 되는 작업들을 재배치하거나 효율적으로 제 시간 안에 처리될 수 있도록 개선합니다. Data Accessibility Management수요자가 안정적으로 데이터에 접근하고 활용할 수 있도록 지원합니다.

[ENG ver.]Hyperconnect Data Engineering TeamThe Data Engineering team is responsible for creating a data-driven business company by supplying reliable and diverse data. The team is in charge of building, operating, and monitoring data infrastructure, such as public cloud AWS and GCP, in order to connect producers and consumers through data. More than 2.5 billion bytes of multi-product cross country-based RAW data are managed per day. The Data Engineering team also conducts several activities and studies from the perspective of both data and data users. From data creation/schema definition to ad-hoc analysis/company wide dashboard support, deletion or archive via data-life-cycle policy, all englobed activities are performed for stability and efficiency in the entirety of the data life-cycle process.
- Data Engineering Team Interview (Link)
Data Engineering Team SummaryData PreparationOperate a company-wide data warehouse by processing the RAW data extracted from various sources. Perform several quality tasks in order to assure that data processing is stable. Code ReviewOrganize and manage all parts of the pipeline as code. Perform peer review of production before applying it to the pipeline. Improvement & TroubleshootingSuccessfully complete each task in the pipeline before they are needed. If tasks are mutually dependent on each other, the order of execution must be managed appropriately. Automate the monitoring process and resolve issues as soon as they are identified. Regularly check the health of pipelines and relocate/improve bottleneck tasks so they can be processed efficiently and effectively. Data Accessibility ManagementSupport consumers to access and utilize data in a reliable manner.


Responsibilities1) 빅데이터 인프라 구축 및 운영 (Build and operate big data infrastructure) - 데이터 인프라 운영 및 모니터링 (Monitor and operate data infrastructure) (EMR, Kafka, airflow, bigquery, redash, Tableau, kubernetes, S3, dataflow, dataproc, hbase, prometheus, grafana…)
2)데이터 파이프라인 개발 및 운영 (Develop and operate data pipelines) - 입수된 데이터와 파생 데이터 처리 및 운영 (Process and manage all acquired and derived data) - 배치, 근 실시간, 실시간 데이터 제공 (Provide batch, near real-time and real-time data processing) - Global Multi Product에 대한 데이터 모델 구축 및 관리 (Create and manage a data model for Global Multi Products)
3) 데이터 APP 개발 및 운영 (Build and manage data-driven Applications) - 데이터 처리를 위한 다양한 APP 개발 (Develop several Applications to process data)
4) 데이터 셀프 서비스 (Data self-service) - 메타데이터 & 카탈로그 운영 (Operate metadata & catalog) - 데이터 리니지 운영 (Manage data lineage system) - 셀프 서비스 플랫폼 제공 (Provide self-service platform)
5) 데이터 활용 가이드 (Make a data usage guide) - 데이터 사용자들이 효율적으로 데이터 플랫폼 & APP을 사용할 수 있도록 가이드와 주기적인 싱크업 (Make a guide and periodically sync-up with data users on ways to use both the applications & data platform in an efficient manner)

Minimum Qualifications

  • 대용량 처리를 위한 데이터 파이프라인 개발 경험 (Experience in developing data pipelines for big data processing)
  • 데이터 어플리케이션 개발을 위한 소프트웨어 개발 경험 (SQL, Python, Scala, Java 등) (Experience with software development for data application development)


Preferred Qualifications

  • 다양한 문제 해결 능력과 적극적이고 효율적인 커뮤니케이션 역량 (Problem-solving skills, coupled with active and effective communication ability)
  • 새로운 기술에 관심을 가지고 실제 서비스에 적용하여 개선한 경험 (Interest in new technologies, as well as experience in implementing them to production services)
  • 중급 이상의 프로그래밍 개발 역량 (Competency in programming and development (intermediate or higher))
  • 주도적으로 DW/DM를 설계 및 구축하고 운영한 경험 (Ability to proactively design, build, and operate DW/DM)
  • 복잡한 데이터를 단순하게 정리하여 자동화한 경험 (Experience in simplifying and automating complex data)
  • 숙련된 SQL 능력 및 프로그래밍 능력 (Proficiency in SQL and programming skills)
  • 클라우드 플랫폼기반 데이터 엔지니어링 경험 (Cloud platform data engineering experience)
  • workflow management platform (Airflow, Oozie..) 운영 경험 (Operational ability of workflow management platforms)
  • Adjust/Appannie/Admanager 등 광고 3rd Party API 활용 경험 (Experience using third-party advertising APIs, such as Adjust/Appannie/Admanager)
  • Proficiency in English (Visa support is available for foreign candidates living in Korea)


고용형태/채용절차/근무시간

  • 고용 형태: 정규직
  • 채용 절차: 서류전형 > 코딩테스트/사전과제 > 1차 면접 > 2차 면접 > 최종합격
  • 근무 시간: 근무시간을 자율적으로 선택하는DIY(Do It Yourself) 근무제 (단, 병무청 복무규정에 따라 산업기능요원, 전문연구요원은 시차출근제 적용 - 오전 8시 ~ 11시 사이 출근)
  • 지원 서류: 자유 양식의 상세 경력기반 국문 또는 영문이력서(PDF)

Others

  • 하이퍼커넥트는 증명사진, 주민등록번호, 가족관계, 혼인여부 등 채용과 관계없는 개인정보를 요구하지 않습니다.
  • 수습기간 중 급여 등 처우에 차등이 없습니다.
  • 제출해 주신 내용 중 허위 사실이 있을 경우 채용이 취소될 수 있습니다.
  • 해당 포지션은 상시 채용 중으로 진행 중 모집 완료 시 포지션이 종료될 수 있습니다.


하이퍼커넥트는개인의 삶이 만족 스러워야 회사에서도 만족감을 찾을 수 있다고 믿습니다.기업문화, 그리고 복리후생을 통해 개인의 생활에 걸림돌이 될 수 있는 문제들을 해결하고자 합니다.당신의 건강과 삶, 그리고 행복한 회사생활을 위해 노력합니다.
WorkDIY(Do It Yourself) 근무제 근무시간을 자율적으로 선택하고 신뢰 속에서 협업하는 근무제도 (단, 병무청 복무규정에 따라 산업기능요원, 전문연구요원은 시차출근제 적용 - 8am ~ 11am 사이 출근)최고의 접근성과 근무환경 삼성동 아셈타워에 위치, 2호선 삼성역 및 9호선 봉은사역과 연결된 더블역세권에 다양한 버스노선, 도심공항터미널이 더해진 교통의 요충지장비 및 소프트웨어 최고 수준의 업무용 장비 제공, 최신 기술 활용에 적극 투자집중과 효율 업무 시간에 집중해서 일하고, 불필요한 야근과 주말근무를 지양하는 기업 문화뛰어난 동료 전세계 18개국이상에서 모인 뛰어난 역량을 갖춘 훌륭한 동료들과 함께하며 배울 수 있는 기회글로벌 서비스의 경험 글로벌 서비스 기반 대규모 데이터를 경험하고 분석 하여 실제 제품에 적용하는 기회커리어 성장 개개인의 커리어 성장이 곧 회사의 성장으로도 이어진다는 믿음, 업무를 잘하기 위해 욕심내는 사람에게는 지원을 아끼지 않는 문화
Life사내 카페(Hypresso) 바리스타가 직접 만들어주는 아메리카노, 카푸치노에서 그린티라떼, 얼그레이까지! 모든 메뉴는 무료로 이용식사 및 무료 스낵바 제공 아침(과일, 김밥, 빵 등 간편식)/점심(식대 12,000원 지원 및 사내에서 도시락/샐러드 제공)/저녁(야근시) 삼시세끼 제공 및 편의점 급 스낵바 보유단체보험 가입 및 매년 건강검진 지원 직원 단체보험 및 건강검진 제공 (전액 회사 부담)기숙사 지원 회사 기숙사 제공 (근속기간 충족 시)사내 대출 제도 생활 안정 위한 저금리 대출 지원 (근속기간 충족 시)휴식 공간 8천 권이 넘는 만화책과 당구대 등이 갖춰진 편안한 휴식공간헬스키퍼 힐링존에서 사내 전문 안마사의 마사지를 통한 피로회복 서비스 제공경조금/경조휴가 지급 경조휴가, 경조금 및 화환 지원사내 동호회 지원 각종 동호회 운영 지원명절 선물 설/추석 가족과 풍요로운 명절을 보내실 수 있도록 30만원 상당의 선물 제공
Growth & Refresh사내 외국어 교육 지원 영어, 한국어, 일본어 사내 강의 제공사외 교육 지원 직무 관련 사외교육 및 외국어 학습 비용 지원세미나/컨퍼런스 지원 직무관련 역량 강화를 위한 최신 세미나/컨퍼런스 참가 비용 전액 지원도서 지원 역사, 인문, 인물, 자기계발, 자연과학, 경제경영, IT모바일 관련 도서 무제한 신청 가능장기근속자 휴가 및 휴가비 매 3년 근속시 휴가(10일) 및 휴가비(200만원) 제공생일 축하 본인 생일 선물(상품권 20만원) 지급 + 생일 반차 제공, 가족 생일 반반차 제공(부모/배우자/자녀)

* Salary range is an estimate based on our AI, ML, Data Science Salary Index 💰

Tags: Airflow APIs AWS Big Data BigQuery Dataflow Data pipelines Dataproc Engineering GCP Grafana HBase Kafka Kubernetes Oozie Pipelines Python Scala SQL Tableau

Perks/benefits: Team events

Region: Asia/Pacific
Country: South Korea
Job stats:  23  2  0
Category: Engineering Jobs

More jobs like this

Explore more AI, ML, Data Science career opportunities

Find even more open roles in Artificial Intelligence (AI), Machine Learning (ML), Natural Language Processing (NLP), Computer Vision (CV), Data Engineering, Data Analytics, Big Data, and Data Science in general - ordered by popularity of job title or skills, toolset and products used - below.