경희대학교 BK21

## 작성자: 염창훈(경희대학교 경영학과, CAITECH)

## 게시일: 2019년 10월 2일

## http://caitech.khu.ac.kr

 

library(RSelenium)
library(rvest)
library(httr)
library(stringr)

###크롤링에 필요한 library설치 

 

remDr <- remoteDriver(remoteServerAddr = "localhost" ,
                      port = 4445L,
                      browserName = "chrome")

###Rselenium 작동을 위한 크롬 포트 고정

remDr$open()

### 크롬창 오픈

hhd<-c("가상화폐","비트코인", "이더리움","리브라", "ICO")

### 뉴스기사 검색에 필요한 키워드 지정

a<-as.Date("2019-09-18")
b<-as.Date("2019-09-24")

c <- seq(a, b, 1)

 

ff<-1
fff<-4001
ffd<-seq(ff,fff,10)

### 검색어 마다 해당하는 페이지 지정

tototal<-data.frame()

### 크롤링 결과 파일을 위한 데이터프레임 생성

for (q in 1:length(hhd)) {
 
for (i in 1:length(c) )
{
 
  for (j in 1:length(ffd))
    {
     
      aa<-str_replace_all(c[i],"-",".")
      remDr$navigate(paste0("https://search.naver.com/search.naver?where=news&query=",hhd[q],"&sm=tab_opt&sort=0&photo=0&field=1&reporter_article=&pd=3","&ds=",aa,"&de=",aa,"&start=",ffd[j]))  
      ### 뉴스기사 위치 URL
      source = remDr$getPageSource()[[1]]
      html = source %>% read_html()
  ###해당페이지 정보 불러오기

      none = html %>% html_nodes("div#wrap") %>% html_nodes("div#container") %>% html_nodes("div#content") %>% html_nodes("div#main_pack")%>% html_nodes("div#notfound") %>% html_nodes("p") %>%html_text()
     
      if(length(none) != 0)
      {
        break
      }
      ###검색페이지에 아무것도 없을 경우를 대비한 IF문
     
      titles = html %>% html_node("ul.type01") %>% html_nodes("li") %>% html_nodes("dt") %>% html_nodes("a") %>% html_text()
     
      pub = html %>% html_node("ul.type01") %>% html_nodes("li") %>% html_nodes("dl > dd > span._sp_each_source") %>% html_text()
     
      dates = html %>% html_node("ul.type01") %>% html_nodes("li") %>% html_nodes("dl > dd.txt_inline") %>% html_text() %>% str_extract_all("\\d+\\.\\d+\\.\\d+\\.") %>% unlist()
### 기사제목, 신문사, 날짜 정보 불러오기      

      if ((length(titles)==length(dates))==FALSE) {
        wwx<-str_replace_all(c[i],"-",".")
        dates<-rep(wwx, length(titles))
      }
     
     
      page=html %>% html_nodes("div.paging > a.next") %>% html_text()
     
      total<-data.frame(titles,pub,dates)
      tototal<-rbind(tototal,total)
      ### 뉴스기가 정보 쌓기
      if (length(page) == 0)
      {
        break
      }
    }
}
  save(tototal,file =paste0(hhd[q],".Rdata"))
  write.csv(tototal,paste0(hhd[q],".csv"),row.names = F)
  rm(tototal)

###데이터 자동저장 및 제거
}