Note

1. 잠재 의미 분석 ( Latent Semantic Analysis, LSA ) 토픽 모델링을 위해 최적화된 알고리즘은 아니지만, 아이디어를 제공하여 밑바탕이 된 알고리즘이다. BoW에 기반한 알고리즘은 기본적으로 단어 빈도수에 기반한 수치화 방법이기 때문에 의미를 고려하지 못한다는 단점이 있는데, 의미를 고려하지 못하는 것을 보완하기 위해 잠재적인 의미를 끌어내는 방법으로 사용한다. 특이값 분해를 통해 차원을 축소하고 축소된 차원에서 근접 단어들을 토픽으로 묶는다. 2. 잠재 디리클레 할당 ( Latent Dirichlet Allocation, LDA ) LDA는 문서 집합으로부터 어떤 토픽이 존재하는지 알아내기 위한 알고리즘이며, 단어의 수는 신경 쓰지 않는다. 즉, 단어가 특정 토픽에 존재할 확률..

Word2Vec은 추론 기반 방법이다. 여기서 사용하는 추론이란 주변 단어나 맥락이 주어졌을 때, 무슨 단어가 들어가는지를 추측하는 것이다. 통계기반 방법의 단점 대규모 말뭉치를 다룰 때 메모리상의 문제가 발생한다. 한 번에 학습 데이터 전체를 진행한다. 학습을 통해서 개선하기가 어렵다. Word2Vec은 위 단점을 보완하기 위한 방법이다. 정의 - 단어간 유사도를 반영하여 단어를 벡터로 바꿔주는 임베딩 방법론이다. 원-핫 벡터 형태의 sparse matrix가 가지는 단점을 보완하기 위해 저 차원의 공간에 벡터로 매핑하는 것이 특징이다. - Word2Vec은 비슷한 위치에 등장하는 단어들은 비슷한 의미를 가진다라는 가정을 기반으로 학습을 진행한다. 1) CBOW 주변에 있는 단어들을 가지고 중간에 있는..

최적의 모델은 낮은 분산과 낮은 편향을 가진 것이다. 모델을 학습하다 보면 과대 적합이나 과소 적합을 쉽게 만날 수 있다. 하지만, 둘의 관계가 상충관계(Trade-off)가 존재한다. 즉, 어느 한쪽이 높아지면 다른 한쪽은 낮아진다는 뜻이다. 실제 데이터들은 이를 모두 만족할 수 없기 때문에 어느정도 선을 정하는 것이 필요하다. 편향이 높고 분산이 낮으면 과소적합이며, 분산이 높고 편향이 낮으면 과대 적합이다. 위 그림처럼 어느 지점을 지나면 테스트 셋의 에러도 증가하기 때문에 최적의 점을 찾아야 한다. 이것은 분석하는 사람의 과제이다. 위 그림이 과소 적합과 과대 적합, 적절한 모델을 나타낸 그림을 잘 설명해 주었다.

회귀란 여러 개의 독립변수와 한 개의 종속변수 간의 상관관계를 모델링하는 기법을 통칭한다. 머신러닝 회귀 예측 핵심은 주어진 피처와 결정 값 데이터 기반에서 학습을 통해 최적의 회귀 계수를 찾아내는 것이다. 1. 회귀의 유형 (1) 회귀 계수 결합에 의한 유형 선형 회귀와 비선형 회귀 (2) 독립변수 개수에 따라 1개 : 단순 선형 회귀, n개 : 다중 선형회귀 2. 선형 회귀의 종류 (1) 일반 선형 회귀 : RSS (Residual Sum of Squares)를 최소화하는 회귀 계수를 찾아 최적화하고, 규제를 적용하지 않은 모델. (2) 릿지(Ridge) : 선형 회귀에 L2 규제를 적용한 회귀 모델 (3) 라쏘(Lasso) : 선형 회귀에 L1 규제를 적용한 회귀 모델 (4) 엘라스틱넷(Elasti..

필요한 라이브러리를 임포트하고 앞에서 저장한 엑셀 파일을 불러온다. 데이터를 불러온 모습이다. 정규표현식을 통해서 알파벳을 제외하고 모든 문자를 제거한 모습이다. 워드 클라우드를 위해 필요 없는 칼럼을 제거하고 문자열 데이터로 변환한 모습이다. 워드 클라우드를 설치해준다. 원하는 이미지를 array의 형태로 불러온다. 불러온 이미지의 형태. 이미지는 원하는 것으로 바꿀 수 있다. 의미 없는 용어 stopword를 설정해준다. 즉, 워드 클라우드에서 제거하고 싶은 단어. 워드 클라우드를 실행하면 이러한 형태로 나오고 윈도우에 맞는 폰트를 설정해야 한다. 검색을 통해서 다른 폰트로 설정 가능하다. 이미지를 실행시키면 위에 있던 사진에 단어들이 나열된 모습을 볼 수 있다.