추천 시스템 프로젝트 진행 과정, 필요 역량에 대하여 [RecSys]

 

Chapter 2 추천 시스템 프로젝트

 

2.1 추천 시스템 개발에 필요한 3가지 스킬

 

비즈니스 문제 해결 능력

• 비즈니스 관점에서 추천 시스템을 도입함으로써 무엇을 기대할 수 있는지 정의하는 것이 중요하다.
• 추천 시스템을 도입함으로써 사용자의 어떤 행동 변화를 기대하는가에 관한 Key Goal Indicator(KGI) 또는 Key Performance Indicator(KPI) 책정이 매우 중요
• 어떤 사용자의 어떤 행동을 최대화 할 것인가? 에 따라 추천 시스템 구현이 달라진다.
  • ex) 유튜브의 KPI - 전체 시청 시간

 

데이터 사이언스 능력

• 비즈니스 목표를 달성하기 위한 이상적인 추천 시스템을 실제로 구현 가능한 추천 시스템으로 만들어내는 과정에서 중요하다.
• 한번에 이상적인 추천 시스템을 만드는 것이 아니라 우선 전통적인 방법을 사용해 정확도를 확인하고 데이터의 성질이나 각 추천 알고리즘의 장단점을 파악한다.
• 파이썬이나 SQL 등을 사용해 데이터를 가공하고 알고리즘을 구축한다.
  • 인기 상품이나 신규 상품을 추천하는 단순한 추천 시스템의 경우는 SQL만으로도 구축 가능하다.
  • 협조 필터링이나 콘텐츠 기반의 추천 알고리즘은 오픈 소스 소프트웨어도 있다.
• 독자적인 추천 알고리즘을 만들 수도 있어야 한다.

 

데이터 엔지니어링 능력

• 추천 시스템을 실제 서비스에 조합할 때 시스템을 안정적으로 가동시켜야 한다. 이때 데이터 엔지니어링 능력이 필요하다.
• 병렬화, 데이터베이스 설계, 튜닝, 추천시스템의 데이터를 가공, 추천 목록 작성 연산을 수행하고 추천 목록을 데이터베이스에 저장하는 일련의 처리 (파이프라인)를 조정한다.

 

2.2 추천 시스템 프로젝트 진행 방법

 

2.2.1 과제 정의

• 비즈니스 상의 목적을 명확히 한다.
• ex) 매출을 늘릴까? 사용자 수를 늘릴까?
• KPI를 달성하기 위한 분석을 수행한다.
  • 정량적 분석 : 데이터를 이용해 분석
  • 정성적 분석 : 직접 사용자한테 물어본다.
• 현재 상태의 과제 정확도를 높이고, 비즈니스 목표를 달성하기 위한 과제의 중요도를 결정한다.

 

2.2.2 가설 수립

• 각 과제를 해결하는 방법과 그것을 실현하기 위한 비용을 검토하고 비용 대비 효과(Return On Investment (ROI)가 높은 이니셔티브부터 실행한다.

• 구현 비용이 낮으면서 중요도가 높은 과제를 해결한다.
• 추천 시스템 도입보다 검색 시스템을 개선하는 편이 훨씬 좋거나 디자인을 변경하는 편이 나은 경우도 많다.
• 유사도라고 해도 아이템에 따라 여러 관점이 있. 그래서 사용자가 가장 원하는 유사도가 무엇인지 파악한 후 구현하는 것이 중요하다.

 

2.2.3 데이터 설계/수집/가공

• 자사 서비스가 추천 시스템 개발에 필요한 사용자와 아이템의 콘텐츠 정보, 사용자와 아이템의 인터렉션 정보를 가지고 있는지 정리한다.
• 그 데이터로 추천 시스템을 구축할 수 있는지 검토한다.
• 데이터가 적절하게 존재한다면 추천시스템에 사용할 수 있도록 전처리한다.

 

2.2.4 알고리즘 선정

• 알고리즘 계산시간, 필요 데이터, 요구되는 예측 정확도 등에 따라 어떤 추천 알고리즘을 사용할지 결정한다.

 

2.2.5 학습/파라미터 튜닝

• 추천 시스템의 학습과 튜닝을 수행하고 실제 서비스로 출시하기 전에 과거 데이터를 사용하여 온라인으로 추천 시스템의 좋고 나쁨을 검증한다.
• 편향을 제거하여 추천 시스템을 만든다.

 

2.2.6 시스템 구현

• 실제 시스템에 알고리즘을 조합하여 추천 알고리즘의 학습이나 예측 변경 빈도, 신규 아이템이나 사용자에 대한 추천을 어떻게 할지, 추천에 연관된 데이터 파이프라인 설계를 어떻게 할지 등을 고려한다.

 

배치 추천

• 1일 1회 또는 1주 1회 등 정해진 시점에 해당 시점의 정보를 기반으로 추천 목록을 업데이트하여 사용자에게 제공한다.
• 추천 목록은 (1) 추천 모델 학습, (2) 추천 모델에 의한 예측의 2단계 처리를 통해 작성된다.
• (1) 적당한 학습 시기를 결정
• (2) 사용자가 얼마나 되는지에 따라 계산 시간이 다르므로 고속화하기 위한 노력이 필요하다.

 

실시간 추천

• 사용자의 직전 행동 이력을 즉시 반영해 추천 목록을 만드는 것이다.
• 엔지니어링 기술이 필요하다.

 

2.2.7 평가 및 개선

• 추천 기능을 출시하고 그것이 실제로 효과가 있는지 검증한다.
• 가능하면 A/B 테스트를 수행