github의 크롤링

데이터 시각화를 위한 크롤링을 연습하던 중

 

github에 하루에 커밋한 날짜를 가져와 데이터를 뽑아내었지만

 

 

분명 잘 html에서는 잘 나왔지만

 

막상 크롤링을 시도해 보면

 

 

값이 비어있는 모습이 자꾸 보였다.

 

도대체 왜 이럴까 하며 selenium과 BeautifulSoup를 모두 써보았지만 결과는 똑같았다..

 

하지만 오늘 어이없는 결과가 나왔다.

 

 

그건 바로 내가 로그인하여 보았을 때와 일반 url 경로로 들어왔을 때와 다르단 점..

 

Private으로 만든건 외부 사용자는 안 보인다 ;ㅎ;

 

왜 짝이 안맞나 계속 고민하며 selenium을 익혀 보았지만

 

결국 시도했단 모든 행동이 정답이었고 

 

내 눈에만 안보였던것 같다