Note

토큰(Token)이라고 불리는 단위로 나누는 작업을 토큰화(Tokenization)라고 한다. 자연어 처리에서 토큰화는 단어 토큰화와 문장 토큰화가 있다. 토큰화를 통한 전처리 단계에서 생각해야 할 것들이 있다. 첫째, 특수 문자나 기호를 단순히 다 제거할 것인가?에 대한 고민이다. 특수 문자 자체가 의미를 가지는 경우에는 제거하지 말아야 한다. 예를 들어 화폐를 나타내는 단위나 숫자 표현 등이 있다. 둘째, 줄임말과 단어 내 띄어쓰기가 있는 경우에 대한 고민이다. 대체로 자연어처리 패키지 관련해서 영어가 잘 되어있는데 영어는 줄임말이 많고 띄어쓰기를 포함한 한 단어가 있기 때문에 전처리 과정에서 고려를 해야 한다. 이러한 토큰화는 한국어에서 많은 어려움이 있다. 한국어는 띄어쓰기가 되어 있지 않아도 글..

1. Bag of Words(BOW) 문서가 가지는 모든 단어를 문맥이나 순서를 무시하고 단어에 대한 빈도 값을 부여한 후 피쳐 값으로 추출하는 방식. 2. Bag of Words(BOW) 구조 문장 1 : My wife likes to watch baseball games and my daughter likes to watch baseball games too 문장 2 : My wife likes to play baseball 문장 1과 문장 2에 대해서 중복을 제거하고 고유한 인덱스를 부여한다. and, baseball, daughter, games, likes, my, play, to, too, watch, wife 위의 순서대로 0번부터 10번의 번호를 부여하는 방법. 3. Bag of Words..

1. 텍스트 분석이란? 머신러닝, 언어 이해, 통계 등을 활용해 모델을 수립하고 정보를 추출해 비즈니스 인텔리전스(Business Intelligence)나 예측 분석 등의 분석 작업을 주로 수행한다. 2. 텍스트 분석 주요 영역 텍스트 분류 - 특정 분류 / 카테고리에 속하는 것을 예측하는 기법 감성 분석 - 텍스트에 표현되는 감정, 판단, 믿음, 의견, 기분 등의 주관적인 요소를 분석하는 기법 텍스트 요약 - 텍스트 내에서 중요한 주제나 중심 사상을 추출하는 기법 텍스트 군집화와 유사도 측정 - 비슷한 유형의 문서에 대해 군집화를 수행하는 기법 3. 텍스트 전처리(텍스트 정규화) Cleansing - 텍스트에서 분석에 방해가 되는 불필요한 문자, 기호 등을 사전에 제거 Tokenization - 문장..

모든 데이터가 단순 선형 회귀의 형태이면 좋겠지만, 실제는 그렇지 않다. 다항 회귀를 사용할 일이 많은데 이때, 과대 적합 문제가 많이 발생한다. 이를 해결하기 위해 선형 회귀에 규제를 적용하는 것이다. 일반 선형 회귀 모형은 비용 함수를 최소화 하는 것인데 회귀 계수가 커지면서 과대 적합 문제가 나타난다. 규제 선형 회귀 모델은 릿지 회귀, 라쏘 회귀, 엘라스틱넷 회귀 3가지가 있다. 위 코딩 식처럼 세 가지 회귀 모두 alpha 값을 정해줘야 한다. alpha 값의 역할 alpha가 0이면 기존 비용함수와 같다. alpha 값을 크게하면 비용 함수 회귀 계수 값을 작게 해 과적합을 개선할 수 있다. alpha 값을 작게하면 회귀 계수 값이 커져도 어느 정도 상쇄가 가능해서 학습 데이터 적합 개선이 가..

최적의 모델은 낮은 분산과 낮은 편향을 가진 것이다. 모델을 학습하다 보면 과대 적합이나 과소 적합을 쉽게 만날 수 있다. 하지만, 둘의 관계가 상충관계(Trade-off)가 존재한다. 즉, 어느 한쪽이 높아지면 다른 한쪽은 낮아진다는 뜻이다. 실제 데이터들은 이를 모두 만족할 수 없기 때문에 어느정도 선을 정하는 것이 필요하다. 편향이 높고 분산이 낮으면 과소적합이며, 분산이 높고 편향이 낮으면 과대 적합이다. 위 그림처럼 어느 지점을 지나면 테스트 셋의 에러도 증가하기 때문에 최적의 점을 찾아야 한다. 이것은 분석하는 사람의 과제이다. 위 그림이 과소 적합과 과대 적합, 적절한 모델을 나타낸 그림을 잘 설명해 주었다.