Note

불용어란 큰 의미가 없는 단어 토큰을 의미하며, 제거하기 위한 작업을 불용어 제거라고 한다. 영어권 언어에서는 i, me, my 같은 단어들이 있다. NLTK 패키지에서 영어권 언어에 대한 불용어들을 간단히 확인해보면 i, me, my, myself, we, you 등이 있다. 한국어에서 불용어는 불용어 사전을 구축해서 사용하는 것이 좋다. 주로 조사, 접속사가 해당되지만 때에 따라 명사나 형용사가 되기도 한다. 출력된 결과를 보면 위에 문장에서 불용어가 제거된 문장이 아래 문장이다. 아래 문장에서는 he, is, an 이 불용어 처리된 것을 볼 수 있다.

1. 연관분석 연관분석이란 말 그대로 데이터 안에서 어떠한 연관을 가지고 있는지 찾아내는 것이다. 크게 두 가지로 정의할 수 있습니다. 첫 번째, 얼마나 같이 구매되는가? 두 번째, 한 아이템을 구매하는 사람이 특정 아이템을 구매하는가? 이와 같은 규칙을 찾아내는 것이 연관분석이며, 장바구니 분석이라고도 한다. 2. 연관분석 평가 지표 support (지지도) 항목 A의 전체 거래 건수 중에 모두를 포함하는 거래 건수의 비율. = 항목 A를 모두 포함하는 거래 수 / 전체 거래수 confidence (신뢰도) 항목 A를 포함하는 거래 중에서 B도 포함하는 거래 비율. = A와 B를 모두 포함하는 거래 수 / A가 포함된 거래 수 (조건부 확률) 신뢰도가 높을수록 유용한 규칙일 가능성이 높다. lift (..

정제 (Cleaning) : 자연어 처리에서 정제는 가지고 있는 말뭉치로부터 노이즈 데이터를 제거하는 것을 말한다. 정규화 (Normalization) : 자연어 처리에서 하나의 뜻을 가진 단어도 여러 개의 표현 방법이 존재하는데 이를 통합시켜 같은 단어로 만들어주는 작업을 말한다. 1. 표기가 다른 단어의 통합 US나 USA 같은 단어들은 같은 뜻이지만 표기가 다르다. 이를 하나로 통합해주는 과정이다. 2. 대문자와 소문자 영어는 문장 시작이 대문자로 시작하나 대문자는 큰 의미가 없는 대문자일 확률이 크다. 또는 특정 상황에서만 쓰이기 때문에 대부분 소문자로 변화시켜 통합한다. 하지만 국가명이나 회사 혹은 사람 이름과 같은 대문자를 구분해야 하는 경우는 구분을 해주어야 한다. 3. 등장 빈도가 적은 단..

1. Bag of Words(BOW) 문서가 가지는 모든 단어를 문맥이나 순서를 무시하고 단어에 대한 빈도 값을 부여한 후 피쳐 값으로 추출하는 방식. 2. Bag of Words(BOW) 구조 문장 1 : My wife likes to watch baseball games and my daughter likes to watch baseball games too 문장 2 : My wife likes to play baseball 문장 1과 문장 2에 대해서 중복을 제거하고 고유한 인덱스를 부여한다. and, baseball, daughter, games, likes, my, play, to, too, watch, wife 위의 순서대로 0번부터 10번의 번호를 부여하는 방법. 3. Bag of Words..

1. 텍스트 분석이란? 머신러닝, 언어 이해, 통계 등을 활용해 모델을 수립하고 정보를 추출해 비즈니스 인텔리전스(Business Intelligence)나 예측 분석 등의 분석 작업을 주로 수행한다. 2. 텍스트 분석 주요 영역 텍스트 분류 - 특정 분류 / 카테고리에 속하는 것을 예측하는 기법 감성 분석 - 텍스트에 표현되는 감정, 판단, 믿음, 의견, 기분 등의 주관적인 요소를 분석하는 기법 텍스트 요약 - 텍스트 내에서 중요한 주제나 중심 사상을 추출하는 기법 텍스트 군집화와 유사도 측정 - 비슷한 유형의 문서에 대해 군집화를 수행하는 기법 3. 텍스트 전처리(텍스트 정규화) Cleansing - 텍스트에서 분석에 방해가 되는 불필요한 문자, 기호 등을 사전에 제거 Tokenization - 문장..