추천 알고리즘의 종류(내용 기반 필터링 vs 협조 필터링, 모델 기반 vs 메모리 기반) [RecSys]

Ch04 추천 알고리즘 개요

'여러 후보 가운데 가치 있는 것을 선정'하는 것을 구현하는 추천 시스템 알고리즘에 대해 설명

1장에서 설명한 추천 시스템의 구서 요소 중 ‘프로세스(추천 설계)’에 해당

 

4.1 추천 알고리즘 분류

내용 기반 필터링(content-based-filtering)과 협조필터링(collaborative filtering)

• 내용 기반 필터링: 의 제목이나 저자, 장르 등과 같이 아이템의 내용을 나타내는 정보를 사용. 사용자가 선호하는 정보를 기반으로 내용이 비슷한 아이템을 계산함으로써 추천을 수행하는 알고리즘
• 협조 필터링: 다른 사용자의 과거 행동 등을 통해 얻어진 기호 경향을 활용하여 추천하는 알고리즘

메모리 기반 방법(memory-based method)과 모델 기반 방법(model-based method)

• 협조 필터링은 예측을 실행하는 방법에 따라 두 가지로 나뉜다.
• 메모리 기반 방법: 추천 시스템이 사용될 때까지 시스템에 사용자의 데이터를 축적하기만 하고 예측을 위한 계산은 수행하지 않는다. 예측을 수행하는 시점에 축적된 데이터 중 필요한 데이터를 모두 사용해 예측 계산을 수행
• 모델 기반 방법: 추천 시스템을 사용하기 전에 미리 시스템 내 축적된 데이터의 규칙성을 학습한 모델을 만들어두고 예측 시 미리 만들어진 모델과 추천을 제공 하는 대상 사용자의 데이터만 사용해 계산을 수행

 

4.2 내용 기반 필터링

4.2.1 개요

• 사용자 프로필과 아이템 특징과의 일치도, 즉 유사도를 계산해서 사용자에게 아이템을 추천

• 이 경우에는 아이템 A를 추천.

 

4.2.2 아이템 특징 획득

• 아이템의 성질에 따라 다양하다.
• ex) 음성 데이터라면 작곡자, 작곡연도 등 혹은 음성 분석을 통해 음높이, 음색, 음량 등의 정보를 파악

 

4.2.3 사용자 프로필 획득

• 간접 지정형: 사용자의 과거 행동 이력에 기반해 사용자 프로필을 작성
• 직접 지정형: 사용자에게 자신이 선호하는 아이템의 특징을 명시적으로 지정하도록 하는 방법
  • 서비스 가입 직후 온보딩이나 마이페이지 등에서 수행

 

4.3 협조필터링

• 메모리 기반 방법
  • 사용자-사용자 메모리 기반 방법(user-user memory-based method) : 추천받을 사용자와 선호도가 비슷한 사용자에 착안하여 추천을 수행
  • 아이템-아이템 메모리 기반 방법(item-item memory-based method) : 추천받을 사용자가 선호하는 아이템과 비슷한 아이템에 착안하여 추천
• 이 책에서는 사용자-사용자 메모리 기반 방법에 초점을 맞춰 설명한다.

 

4.3.1 메모리 기반 방법 알고리즘 개요

• 추천받을 사용자와 아이템 선호도가 비슷한 다른 사용자를 찾고, 그 사용자가 선호하는 아이템을 추천한다.
• 그렇다면 추천받을 사용자와 선호도가 비슷한 사용자를 어떻게 찾아내는?
  • 사용자의 구매 이력에서 아이템 선호도를 추측해 선호도 경향이 비슷한 사용자를 찾아낸다.
  • 아이템의 구체적인 속성 정보를 사용하지 않는 것이 협조 필터링의 큰 특징이다.

 

4.3.2 기호 데이터 획득과 평갓값 행렬

• 기호 데이터(preference data): 사용자로부터 얻은 아이템에 대한 선호도 정보
• 기호 데이터를 획득하는 방법
  • 명시적 피드백(explicit feedback): 사용자에게 아이템의 좋고 싫음이나 관심 여부에 관해 질문하고 답변을 받아 기호 데이터를 획득하는 방법
    • ex ) 아이템 리뷰, 선호하는 아이템을 물어서 사용자가 직접 대답
  • 암묵적 피드백(implicit feedback) : 사용자가 아이템을 구입하거나 찜으로 등록하고 열람하는 등 서비스 내 사용자의 행동 이력으로부터 아이템에 대한 관심을 추정해 기호 데이터로 간주하는 방법
• 평갓값(rating): 수집한 기호 데이터 등에 기반해 사용자가 해당 아이템의 선호도 정도를 정량적으로 나타낸 것
• 평갓값 행렬(rating matrix): 그 평갓값을 성분으로 하는 사용자X 아이템의 행렬
• 평갓값 행렬이 주어진 상태에서 대상 사용자의 특정 아이템에 대한 미지의 평갓값을 예측해 계산

 

4.3.3 모델 기반 방법 알고리즘 개요

• 이미 알고 있는 데이터의 규칙성을 학습한 모델을 미리 만들어둠으로써 모르는 아이템의 평갓값을 예측하여 추천하는 방법
• 모델 종류
  • 클러스터링 사용
  • 회귀, 분류 문제로 평갓값을 직접 예측
  • 토픽 모델을 사용 - LDA(Latent Dirichlet Allocation) 등의 방법을 적용해서 평갓값 행렬을 차원 압축
  • 행렬 분해를 사용 - 평갓값 행렬을 그 곱이 원래의 행렬을 최대한 재현하는 형태로 하但 사용자 행렬과 아이템 행렬로 분해 → 분해된 행렬에서 얻은 사용자 벡터와 아이템 벡터의 유사도 계산을 통해 임의의 아이템에 대한 예측 평갓값을 계산

 

4.3.4 메모리 기반 방법과 모델 기반 방법의 협조 필터링 비교

 

'추천에 걸리는 시간’ 관점

• 메모리 기반 방법: 추천 시 매번 모든 데이터에서 비슷한 사용자나 아이템을 찾은 뒤 예측하므로 시간 소요
• 모델 기반 방법: 데이터의 규칙성을 바탕으로 모델을 미리 만들어두고 만들어진 모델만 사용하여 예측하므로 곧바로 추천을 수행할 수 있어 시간 소요 적음

'운용성' 관점

• 메모리 기반 방법: 사용자나 아이템 데이터가 변경돼도 추천할 때마다 모든 데이터를 사용하므로 항상 최신 데이터를 반영해 추천할 수 있다.
• 모델 기반 방법: 사용자나 아이템 데이터가 변경되고 그 변경을 반영해 추천하려면 모델을 새로 만들어야 하므로 모델 업데이트 시점이나 재학습에 걸리는 계산 비용 등을 고려해야 하기 때문에 운용이 비교적 어렵다.

 

4.4 내용기반 필터링 vs 협조필터링

4.4.1 다양성 향상

• 다양성: 추천 결과에 포함된 아이템이 서로 비슷하지 않은 것
• 내용기반 필터링 << 협조 필터링
• 내용기반 필터링은 해당 사용자가 모르는 작가나 장르 정보를 반영할 수 없지만, 협조 필터링에서는 서비스 내 다른 사용자가 안는 다른 책을 추천할 수 있다.

 

4.4.2 도메인 지식 취급 비용

• 내용기반 필터링 << 협조 필터링
• 협조 필터링은 아이템 자체에 관한 정보나 사용자 자체의 속성 정보 등은 기본적으로 필요하지 않다.
• 한편 내용 기반 필터링은 아이템 특징이나 사용자 프로필 작성 시 도메인 지식을 적절하게 사용해야 한다. 도메인 지식을 관리하기 위해 데이터베이스를 유지 및 관리하는 데 비용이 많이 든다.

 

4.4.3 콜드 스타트 문제에 대한 대응

• 콜드 스타트 : 서비스에 사용자나 아이템에 관한 정보가 적은 경우 특히 신규 사용자나 신규 아이템에 관해 적절한 것을 추천하기 어려운 문제
• 내용기반 필터링 >> 협조 필터링
• 협조 필터링은 사용자의 과거 기호 데이터가 없으면 추천할 수 없으나 내용 기반 필터링에서는 아이템 특징이나 사용자 프로필을 얻을 수 있다면 추천이 가능하다.

 

4.4.4 사용자 수가 적은 서비스에서의 추천

• 내용기반 필터링 >> 협조 필터링
• 협조 필터링에서는 시용자 수가 적을 경우 비슷한 사용자의 행동 이력으로부터 추천 하기가 어렵다.
• 내용 기반 필터링에서는 아이템의 특징이나 사용자 프로필만 획득하면 추천할 수 있으므로 사용자 수가 얼마나 되는지는 추천에 큰 영향을 주지 않는다.

 

4.4.5 커버리지 향상

• 커버리지: 서비스에 있는 모든 아이템 중 추천 시스템으로 사용자에게 추천할 수 있는 아이템의 비율
  • 커버리지가 낮다=일부 아이템에 치우쳐 추천되는 것
• 내용기반 필터링 >> 협조 필터링
• 협조 필터링에서는 비슷한 사용자가 평가하지 않은 아이템은 추천할 수 없다. 따라서 추천할 수 있는 아이템이 제한된다.

 

4.4.6 아이템 특징 활용

• 내용기반 필터링 >> 협조 필터링
• 도메인 지식을 사용하지 않고 사용자의 과거 기호 데이터에만 기초해 추천하는 협조 필터링에서는 아이템 속성 정보를 고려할 수 없다.
• 내용 기반 필터링에서는 아이템의 다양한 특징을 명시적으로 고려해 추천하므로 색만 다른 같은 옷은 동시에 추천하지 않으며 사용자가 선호하는 색상을 알게 되면 맞춤으로 추천할 수 있다.

 

4.4.7 예측 정확도

• 규모가 있는 서비스에서 일반적인 선호를 가진 사용자: 내용기반 필터링 << 협조 필터링
  • 협조 필터링 쪽이 복잡한 사용자의 기호를 고려할 수 있다고 생각되기 때문
  • 사용자가 서비스를 계속 사용할수록 활용할 수 있는 데이터가 늘어나 예측 정확도 향상

정리

다양성 향상과 도메인 지식을 다루는 비용 및 일반적인 예측 정확도 관점에서는 협조 필터링 쪽이 적절합

콜드 스타트 문제에 대한 대응과 사용 수가 적은 서비스에서의 추천 및 커버리지 향상과 아이템 특징 활용 관점에서는 내용 기반 필터링 쪽이 바람직 알고리즘을 선택할 때는 2가지를 조합해서 장점만 취할 수도 있다.

 

4.5 추천 알고리즘 선택

• 서비스 내의 데이터 양이 적은 신규 서비스, 신규 사용자) 내용 기반
• 사용자 및 아이템별 데이터 축적) 협조 필터링
• 개요 추천) 내용 기반 필터링
• 연관 아이템 추천) 아이템-아이템 메모리 기반 협조 필터링
• 알림 서비스, 개인화) 사용자-사용자 메모리 기반 협조 필터링, 간접 지정형 내용 기반 필터링

 

4.6 기호 데이터의 특징

 

4.6.1 명시적 획득과 암묵적 획득 비교

4.6.2 기호 데이터를 다룰 때의 주의점

• 데이터의 희박함: 서비스의 성질을 고려해 적절한 기호 데이터 획득 방법을 설계해야 함.
• 평갓값의 변동이나 편향: 사용자의 기호성은 시간이 지나면서 달라진다. 편향에는 인기 편향, 사용자가 좋아하는 것에만 평가를 남기는 편향등이 있을 수 있다.

 

4.7 정리

• 천 시스템으로 달성하고자 하는 목적이나 서비 스 속성, 상황 등 다양한 요소를 가미해 가설을 세우고 과거 데이터를 사용해 오프라인에서 검 증 실험을 하거나 실제로 온라인에서 일부 사용자에게 알고리즘을 적용해 실험함으로써 검증 을 반복한 뒤 적절한 것을 선택합니다.