• 프로젝트 : 롯데쇼핑 e커머스 데이터레이크 1단계 구축

 

  • 구축 범위
    1. e커머스 통합 데이터 허브 역할을 담당할 클라우드 기반의 데이터레이크 인프라 및 DW 구축
    2. 통합 데이터 품질 개선과 유지 관리를 위한 데이터 거버넌스 체계 구현
    3. 7개社 및 멤버스 온∙오프라인 통합된 데이터 기반의 분석계대시보드 제공

 

  • 구축 내용
    1. 인프라
      – AWS 클라우드 기반의 데이터레이크 아키텍처 설계
      – S3를 통한 데이터 수집 및 외부 제공용 인터페이스 구현
      – CloudWatch 등을 통한 인프라 리소스와 작업 모니터링 서비스 연동
    2. DW
      – 계열사 온∙오프라인 거래 데이터 및 GA 로그 분석결과 수집
      – 통합 데이터 논리모델 설계 및 물리DB 구축
      – 데이터 매핑 정의 및 ETL 프로그램 설계, 개발
    3. 거버넌스
      – 데이터레이크 수집/활용 데이터의 관리체계 정립
      – 데이터서비스 관리포털 구축
      – 리니지 구성을 통한 수집에서 활용까지의 데이터 흐름 시각화
    4. 분석계 대시보드
      – 분석 활용성 및 성능을 고려한 데이터 마트 구성
      – 통합/개별 분석 보고서 (정형/비정형) 개발
      – 사용 편의성을 고려한 분석계대시보드 LOAD(Lotte-On Analytics Dashboard) 구축

 

  • 전체 시스템 구성도

 

  • 성과
    • 클라우드 기반 데이터 레이크 구축
      – 각 社별 데이터 수집 / 제공을 위한 인프라 환경 구성
      – 안정적인 서비스를 위한 인프라 성능 점검 수행
      – 통합EC(롯데ON) DB 등 확장성을 고려한 시스템 구축

    • 다양한 원천 데이터에 대한 수집 인터페이스 구현
      – 롯데닷컴 초기데이터(Oracle), 각社 거래데이터(CSV/Text), 닷컴(Log), GA(BigQuery)등 다양한 원천 데이터 수집
      – 데이터 특성별 수집 기술 적용 (SFTP, GLUE, Kinesis, Informatica)