(프로젝트 진행)스팀 게임데이터 크롤링(2)

프로젝트 진행을 하다가 게임 리뷰 div태그를 계속 불러 오지를 못했다.

불러 오는 페이지

계속 이 페이지까지만 크롤링을 해서 div태그를 확인 해본 결과 스크롤을 해서 한계치만큼 스크롤이 되면

리뷰글을 불러오는 스크립트가 있었다. 

 

해결방안

	#웹페이지 끝까지 스크롤 이벤트
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    
    #생년월일 페이지 넘어 같는지 확인
    driver.find_element(By.CLASS_NAME, 'apphub_AppName')

    # 2초간 wait
    time.sleep(2)

webdriver로 스크롤을 웹페이지끝 까지 스크롤 해주는 스크립트를 추가. 그리고 리뷰 데이터가 나올때까지 sleep()걸어 준다.