think deeply

추천시스템 구현을 고민하다 멜론 플레이리스트 크롤러를 만들어보게 되었습니다. 만들어진 크롤러가 아닌, 제가 원하는대로 크롤러를 만들어본 건 처음인 듯한데요! 이를 기록하기 위해 포스팅합니다 :) 해볼 건! 멜론 사이트에서 원하는 플레이리스트에 수록된 곡과 해당 곡 가사, 가수명을 긁어와보려합니다. 멜론에 들어가 원하는 플레이리스트 페이지에 들어가 링크만 아래 코드에서 수정해주면 크롤러 구현이 가능합니다. pip install selenium from selenium import webdriver import time from time import sleep from selenium.webdriver.common.by import By from selenium.webdriver.support.ui impo..

0. intro 1. abstract 2. introduction 3. recommender system overview 4. wide & deep learning 5. system implementation 6. conclution 0. intro wide and deep은 2016년 구글이 발표한 추천랭킹 알고리즘이다. 딥러닝 기반 추천시스템의 입문용 논문으로 많이 읽힌다. 구글 플레이 스토어 앱의 user의 검색 기록(query)를 바탕으로 생성된 추천할 앱(candidate)을 rank하는데 적용된다. 1. abstract sparse한 inputs인 큰 scale의 회귀, 분류 문제에 nonlinear feature를 변환한 Generalized linear model이 보편적으로 활용된다. (..

새 맥북에 vscode를 다운받고 github과 연동을 했다. ipynb파일 실행이 안되는데, 오류는 ' 커널 소스를 선택해주세요. Type to choose a kernel source vscode'라고 뜬다. 하지만 선택할 커널 소스가 보이지 않는다. 이유는 우선 새노트북에 anaconda 설치가 자체가 되어있지 않던 것, 그리고 conda 가상 환경을 생성하고 가상환경의 커널을 추가해줘야한다. 방법은 아래와 같다. conda 가상 환경 생성 anaconda를 설치하고, 맥북 런치패드에서 '터미널'을 검색해서 켠다. 그리고 다음과 같이 conda 가상 환경을 만들 수 있다. conda create -n [가상환경 이름] python=[원하는 파이썬 버전] 나는 다음과 같이 입력했다. 'pyenv39'..

정리한 논문: https://www.sciencedirect.com/science/article/abs/pii/S0957417420309519 지난 번 작성한 논문의 주제가 흥미로워서 이용수도 많이 나오니 뿌듯하다. 학회에 제출한 연구는 LDA topic modeling으로 각 리뷰를 토픽 기준으로 나누고 Logistic regression을 통해 (감성 사전을 활용해 회귀계수 값을 바탕으로) 긍부정으로 분류하였다. 나는 리뷰 하나를 한 document로 활용했는데, LDA가 짧은 텍스트에서는 두 가지 문제가 존재한다. 리뷰들을 토픽으로 묶기 위해서는 동시발생 빈도가 높은 단어들끼지 묶어주어야하는데, 문서 길이가 비교적 짧은 '리뷰' 특성 상 동시 발생 패턴(co-occurence)이 부족하고 data ..

1. LINER는 콜드 스타트 문제를 어떻게 해결했을까? 📌 포인트 사용자 선호 정보 입력 유도 선호 정보 기반 추천 어느 서비스를 처음 사용할 때 가입 과정에서 사용자가 어떤 주제에 관심을 가지는 지 선택한 경험이 있을 거에요. 신규 가입 사용자에게 가입 과정 중 ‘관심사’ 등 사용자 선호 정보 입력하도록 유도하여 선호 정보를 추천 시드로 활용하는 방법이에요. 2. 트렌드에 사용자의 관심사 반영 📌 포인트 트렌딩 스코어 정의 트렌드 기반 추천 실시간으로 적재되는 하이라이트 데이터를 활용해 현재 라이너를 사용하는 다른 사용자들은 어떤 글에 하이라이트하고 있는지 등의 인사이트가 녹아든 추천 경험을 제공하고자 했습니다. 이를 라이너는 ‘하이라이트 인터랙션 기반 트렌딩 콘텐츠 추천’라고 정의했어요. 단순 최신..

📌 포인트: 연관 스타일끼리 K-means 클러스터링 1. 트렌드 기반 콘텐츠만 제공해도 될까 아래를 보시면, 스타일쉐어의 홈 화면에서 제공되는 컨텐츠 대부분이 유저 대상 타켓딩이 되지 않고, 트렌드에 초점을 맞춘 컨텐츠임을 알 수 있어요. 사용자를 위해서는 개인의 취향 또한 기업이 잡아야할 토끼라고 생각합니다. 앞선 사례에서 다룬 연관스타일에서 새로운 아이디어를 착안했어요. 2. 유저들의 관심사 별로 묶인 스타일 그룹을 만들자! 앞서 유저의 관심사를 가장 주요한 지표로 보고 스타일을 추천해준 사례를 소개해드렸어요. 관심사의 묶음이 스타일을 탐색하는 새로운 경험이 될 것이라 생각했기에, 다음과 과정을 진행했습니다. 유저들의 관심사 별로 묶인 스타일 그룹 연관 스타일에서 스타일을 추천하기 위해 만든 모델에..

📌 포인트 : 가장 주요한 지표를 ‘관심사’로 봄! 관심사는 행동기록 데이터를 활용 스타일쉐어는 패션 정보에 특화된 인스타그램이라고 할 수 있는데요. 인스타그램처럼 마음에 드는 코디에 좋아요를 누르거나, 마음에 드는 사용자를 팔로우하거나 마음에 드는 코디를 자기 페이지에 스크랩하는 기능 등을 가지고 있어요. 2021년 무신사에 통합되어 2022년 서비스 중단했지만요. 1. 사용자가 좋아할 스타일을 어떻게 정의할까 스타일쉐어의 고민은 여기 있었습니다. 저희가 현재 쓰고 있는 인스타그램처럼 사용자가 좋아할 컨텐츠(패션 스타일)를 업로드해주어야 했어요. 그럼 사용자에게 스타일사용자가 좋아할 스타일을 어떻게 정의할 것인가 고민하는 과정이 존재했습니다. 그럼 어떤 스타일을 연관있는 스타일로 사용자에게 제공해야할까..

개념 특정 태스크를 학습한 모델을 다른 태스크 수행에 재사용 하는 기법. 쉽게, 한 분야의 문제를 해결하기 위해서 얻은 지식과 정보를 다른 문제를 푸는데 사용하는 방식을 의미한다. 아무 지식없이 처음부터 학습하는 것보다 익힌 것을 활용한다면 학습 속도가 더 빠른 것과 같다. 예시 자연어에서 예로 들기엔 설명이 복잡하여 하나의 포스팅으로 빼고 링크를 걸어두겠다. https://brunch.co.kr/@geumjaelee/4 자연어의 피처와 전처리 Feature and Preprocessing for NLP | 1. 오늘의 주제 * 왜 한국어의 자연어처리가 어려운가? * 왜 자연어처리의 개념을 잡기가 어려운가? * Feature와 Label, Data는 무슨 관계인가? * Feature란 무엇인가? * 자 ..