Note
유튜브 댓글 크롤링 본문
728x90
유튜브 영상 중 조회수가 가장 많은 영상 댓글을 크롤링
필요한 라이브러리를 임포트 한다.
유튜브 크롤링을 위한 크롬을 열어준다.
유튜브는 검색을 위해 검색창을 클릭해 줘야 하기 때문에 검색을 위한 클릭 버튼을 설정해주고 검색하고 싶은 검색어를 입력해준다.
위 과정을 통해 입력된 검색어를 검색하기 위해 검색 버튼을 클릭한다.
유튜브에서 검색을 하고 조회수 순으로 정렬하기 위한 필터 설정을 하고 가끔 필터를 클릭하면 광고가 나오는 경우가 있는데 그걸 스킵하는 코드이다.
조회수를 찾아서 클릭하고 젤 위에 있는 첫번째 영상을 클릭한다.
영상을 클릭하면 자동 재생되는 영상을 멈추는 코드이다. 필요한 것은 댓글이기 때문에 영상을 멈춘다.
스크롤 다운을 통해 유튜브 댓글을 불러온다. 타임 슬립을 너무 적은 시간 걸어두면 댓글 로딩이 안 되는 경우가 있다. 또한, 화면을 띄워놓고 있지 않으니 댓글 개수가 달라지는데 그 이유는 아직 정확히 모르겠다.
빈 리스트를 만들고 댓글을 가져오는 모습이다.
가져온 리스트를 데이터 프레임 형태로 만들고 엑셀로 저장하면 크롤링 과정은 끝이 난다.
'etc > Crawling' 카테고리의 다른 글
유튜브 채널 검색에 따른 채널 이름, 구독자 수, 영상 수 가져오기 (0) | 2022.05.02 |
---|---|
유튜브 api 활용 채널 정보 가져오기 (0) | 2022.04.11 |
video url을 통한 비디오 정보 수집 (0) | 2022.04.08 |
bs4와 selenium을 활용한 video url 수집 (0) | 2022.04.07 |
웹 크롤링 - 네이버 뉴스 (0) | 2021.05.03 |
Comments