think deeply

추천시스템 구현을 고민하다 멜론 플레이리스트 크롤러를 만들어보게 되었습니다. 만들어진 크롤러가 아닌, 제가 원하는대로 크롤러를 만들어본 건 처음인 듯한데요! 이를 기록하기 위해 포스팅합니다 :) 해볼 건! 멜론 사이트에서 원하는 플레이리스트에 수록된 곡과 해당 곡 가사, 가수명을 긁어와보려합니다. 멜론에 들어가 원하는 플레이리스트 페이지에 들어가 링크만 아래 코드에서 수정해주면 크롤러 구현이 가능합니다. pip install selenium from selenium import webdriver import time from time import sleep from selenium.webdriver.common.by import By from selenium.webdriver.support.ui impo..

오류 발생 코드 # 데이터프레임 생성 lyrics_df = pd.DataFrame(columns=['Song', 'Singer', 'Lyrics']) song = [] singer = [] lyrics = [] #-------------------------------------------------------------------------------------------------- # 플레이리스트 내 수록곡 Length song_list = driver.find_elements(By.XPATH,'//*[@id="frm"]/div/table/tbody') song_list_li = [] for element in song_list: tr_elements = element.find_elements(By..

0. intro 1. abstract 2. introduction 3. recommender system overview 4. wide & deep learning 5. system implementation 6. conclution 0. intro wide and deep은 2016년 구글이 발표한 추천랭킹 알고리즘이다. 딥러닝 기반 추천시스템의 입문용 논문으로 많이 읽힌다. 구글 플레이 스토어 앱의 user의 검색 기록(query)를 바탕으로 생성된 추천할 앱(candidate)을 rank하는데 적용된다. 1. abstract sparse한 inputs인 큰 scale의 회귀, 분류 문제에 nonlinear feature를 변환한 Generalized linear model이 보편적으로 활용된다. (..

정리한 논문: https://www.sciencedirect.com/science/article/abs/pii/S0957417420309519 지난 번 작성한 논문의 주제가 흥미로워서 이용수도 많이 나오니 뿌듯하다. 학회에 제출한 연구는 LDA topic modeling으로 각 리뷰를 토픽 기준으로 나누고 Logistic regression을 통해 (감성 사전을 활용해 회귀계수 값을 바탕으로) 긍부정으로 분류하였다. 나는 리뷰 하나를 한 document로 활용했는데, LDA가 짧은 텍스트에서는 두 가지 문제가 존재한다. 리뷰들을 토픽으로 묶기 위해서는 동시발생 빈도가 높은 단어들끼지 묶어주어야하는데, 문서 길이가 비교적 짧은 '리뷰' 특성 상 동시 발생 패턴(co-occurence)이 부족하고 data ..

1. introduction 2. Preiminaries 3. Previous work 4. Our model 5. Explaining recommendations 6. Exerimenal study 7. Discussion 1. introduction 상품이 많아짐에 따라 고객이 원하는 상품을 나열해서 보여주기 위한 과제가 발생하게 되었다. 그 과제를 해결하기 위한 방법으로 추천시스템이 있는데, 추천시스템은 유저와 상품을 프로파일링하고 둘 간의 관계를 찾아내는 기술에 기반한다. 추천시스템의 두 가지 접근법 추천시스템의 접근법에는 크게 두 가지가 있다. 콘텐츠 기반 접근법 각각의 유저 혹은 상품, 그 자체의 특성을 프로파일링하고, 프로파일링 결과물로 상품 매칭된 유저들 간의 관계를 파악 예시) 유저의 특..

1. LINER는 콜드 스타트 문제를 어떻게 해결했을까? 📌 포인트 사용자 선호 정보 입력 유도 선호 정보 기반 추천 어느 서비스를 처음 사용할 때 가입 과정에서 사용자가 어떤 주제에 관심을 가지는 지 선택한 경험이 있을 거에요. 신규 가입 사용자에게 가입 과정 중 ‘관심사’ 등 사용자 선호 정보 입력하도록 유도하여 선호 정보를 추천 시드로 활용하는 방법이에요. 2. 트렌드에 사용자의 관심사 반영 📌 포인트 트렌딩 스코어 정의 트렌드 기반 추천 실시간으로 적재되는 하이라이트 데이터를 활용해 현재 라이너를 사용하는 다른 사용자들은 어떤 글에 하이라이트하고 있는지 등의 인사이트가 녹아든 추천 경험을 제공하고자 했습니다. 이를 라이너는 ‘하이라이트 인터랙션 기반 트렌딩 콘텐츠 추천’라고 정의했어요. 단순 최신..

📌 포인트: 연관 스타일끼리 K-means 클러스터링 1. 트렌드 기반 콘텐츠만 제공해도 될까 아래를 보시면, 스타일쉐어의 홈 화면에서 제공되는 컨텐츠 대부분이 유저 대상 타켓딩이 되지 않고, 트렌드에 초점을 맞춘 컨텐츠임을 알 수 있어요. 사용자를 위해서는 개인의 취향 또한 기업이 잡아야할 토끼라고 생각합니다. 앞선 사례에서 다룬 연관스타일에서 새로운 아이디어를 착안했어요. 2. 유저들의 관심사 별로 묶인 스타일 그룹을 만들자! 앞서 유저의 관심사를 가장 주요한 지표로 보고 스타일을 추천해준 사례를 소개해드렸어요. 관심사의 묶음이 스타일을 탐색하는 새로운 경험이 될 것이라 생각했기에, 다음과 과정을 진행했습니다. 유저들의 관심사 별로 묶인 스타일 그룹 연관 스타일에서 스타일을 추천하기 위해 만든 모델에..

📌 포인트 : 가장 주요한 지표를 ‘관심사’로 봄! 관심사는 행동기록 데이터를 활용 스타일쉐어는 패션 정보에 특화된 인스타그램이라고 할 수 있는데요. 인스타그램처럼 마음에 드는 코디에 좋아요를 누르거나, 마음에 드는 사용자를 팔로우하거나 마음에 드는 코디를 자기 페이지에 스크랩하는 기능 등을 가지고 있어요. 2021년 무신사에 통합되어 2022년 서비스 중단했지만요. 1. 사용자가 좋아할 스타일을 어떻게 정의할까 스타일쉐어의 고민은 여기 있었습니다. 저희가 현재 쓰고 있는 인스타그램처럼 사용자가 좋아할 컨텐츠(패션 스타일)를 업로드해주어야 했어요. 그럼 사용자에게 스타일사용자가 좋아할 스타일을 어떻게 정의할 것인가 고민하는 과정이 존재했습니다. 그럼 어떤 스타일을 연관있는 스타일로 사용자에게 제공해야할까..