‘19년~’20년 계열사 통합 입점과 eMP 사업영역 확대 등의 환경 변화로 인해 롯데 통합 EC 플랫폼이 급격히 성장하고 있어 BI 시스템의 업그레이드가 필요합니다.

신규 구축되는 통합 BI 플랫폼은 계열사 통합 관리 지표와 계열사별 개별 지표의 제공, 셀러 회원 지원, 웹과 모바일 채널의 동시 활용 등을 통해 데이터 기반의 e커머스 사업 운영 환경을 제공하고 있습니다.

 

  • 구축 배경
    • 통합된 데이터 기반의 의사결정 환경 제공과 데이터 활용 환경의 개선

 

 

 

 

  • 데이터 수집/집계/연계 구현 방안
    • 통합 EC 에서 배치 및 준 실시간으로 다양한 형식의 데이터를 ON DB 영역을 통해 제공해주며, 통합 BI 에서 ETL 툴을 활용하여 ODS 영역으로 수집합니다.

 

    • 성능 확보 방안
      – 상용 ETL 솔루션 으로 일 배치와 준 실시간 구현
      – ETL 서버의 가변적인 워크로드 대응을 위한 자동 또는 수동 확장
      – 통합 BI 영역내 ODS -> DW -> DM 간 데이터 처리도 ETL 툴을 활용
      – ETL은 주로 AWS의 kinesis, firehose, Lambda, Glue 를 활용하여 작업
      – ETL 안정화 확보를 위한 이중화 구성은 선택사항으로 함
    • 준 실시간 처리/분석 환경 방안
      – 통합EC 에서 ON DB 로 제공해주는 Data 유형 및 시간을 감안하여 준 실시간 환경 구성
      – AWS 인프라 및 ETL 솔루션 성능 및 비용을 감안하여 환경 구성
    • 배치 스케쥴링 및 작업 모니터링
      – ETL 툴을 통하여 수집, S3에 적재 및 Redshift 기초데이터 영역에 Load 하는 단계를 스케줄링 통해 수행
      – ETL 툴을 통하여 수행 되는 과정 및 결과를 Meta 정보를 통해 모니터링