목록rainbow/자연어처리 (10)
think deeply
*데이터 분석에서 통계, 선형대수학 개념이 많이 활용되기에 학부과정이라면, 잘 숙지해두는 것이 용이하다. ▶ 조건부 확률 : 어떤 사건 A가 일어났다고 가정한 상태에서 사건 B가 일어날 확률 - 전체 표본공간을 다루던 확률을 사건A로 축소해줄 수 있어 이 개념이 많이 활용된다 - 조건부 확률에서 'l' (조건부확률 기본식 예시에서 A)의 의미는 B의 확률을 계산하기 위해서 주어진 문맥, 히스토리, 지식으로 해석할 수 있다 * ex. 주사위를 던져 2가 나올 확률은 1/6, 주사위를 던져 나온 짝수값 중에서 2가 나올 확률은 1/3 - 만약 A와 B가 독립이라면 확률 계산에 영향을 미치지 않는다 - 지금까지 예시는 두 사건을 가지고 가정을 하는 중이었다. 이는 아래와 같이 확장도 가능하다 ▶ 베이즈 정리 ..
자연어 처리란? ▶ 자연어: 사람들의 사회생활에서 자연스럽게 발생하여 쓰이는 언어 - 흔히 대비되는 개념으로 인공언어가 있다. 컴퓨터에서 명령을 하기 위해 제약을 더하여 프로그래밍 언어와 같은 것을 의미한다. ▶자연어처리: 사람들이 사용하는 자연어를 컴퓨터를 이용하여 이해하고 생성하도록 하는 제반의 연구 - 자연어처리의 과정은 크게 NLU, NLG로 나뉜다. · NLU(자연어 이해): 컴퓨터로 들어온 언어의 의미를 파악하여 의미 표현 형태로 변화시키는 과정 → 단어, 구,문장과 같이 언어구조에 대한 이해를 다루는 데 더 초점을 맞추며, 구문 뿐만 아니라 의미에도 중점 을 둠. 인간의 이해를 위해 기계의 해석이 들어간 것이라 보면 쉬움. · NLG(자연어 생성): 주어진 의미를 표현하기 위하여 컴퓨터에서 ..