끄적끄적 63

github의 크롤링

데이터 시각화를 위한 크롤링을 연습하던 중 github에 하루에 커밋한 날짜를 가져와 데이터를 뽑아내었지만 분명 잘 html에서는 잘 나왔지만 막상 크롤링을 시도해 보면 값이 비어있는 모습이 자꾸 보였다. 도대체 왜 이럴까 하며 selenium과 BeautifulSoup를 모두 써보았지만 결과는 똑같았다.. 하지만 오늘 어이없는 결과가 나왔다. 그건 바로 내가 로그인하여 보았을 때와 일반 url 경로로 들어왔을 때와 다르단 점.. Private으로 만든건 외부 사용자는 안 보인다 ;ㅎ; 왜 짝이 안맞나 계속 고민하며 selenium을 익혀 보았지만 결국 시도했단 모든 행동이 정답이었고 내 눈에만 안보였던것 같다

끄적끄적 2020.09.30

크롤링이 가능한지 확인하는 방법

integer-ji.tistory.com/316 python으로 크롤링(crawling) 하기 python으로 크롤링(crawling) 하기 크롤링이란 HTML에서 원하는 정보를 원하는 형식으로 가공하여 가져오는 것을 말합니다. python으로 크롤링을 하는 이유는 python의 라이브러리를 통하여 쉽고 간단하� integer-ji.tistory.com 해당 글을 작성하며 크롤링에 대해 연습해 보았다. 하지만 큰 문제는 크롤링은 불법이란 사실이었다. 아무리 학습 목적으로 크롤링을 하여도 불법이란 사실은 찝찝하다. 확인하기 크롤링을 하려는 사이트 뒤에 /robots.txt를 붙여줍니다. 여기서 봐야 할 부분은 Disallow이며 네이버 같은 경우에는 / 가 있으므로 모든 접근을 막고 있다는 뜻입니다. (반..

끄적끄적 2020.09.22

1일 1커밋 241일의 기록

9월 16일 1일 1커밋을 목표로 했던 커밋이 끝났다. 원인은 commit만 하고 push를 안했기 때문이다. 어이없게 하루를 날리고 나니 포기하고싶어졌다. 하지만 하루 시간을 가지며 생각해 보았다. 나는 지금까지 1일 1커밋을 하기 위하여 무의미한 수정사항을 커밋한 적도 있으며 오로지 색을 칠하기 위해 커밋을 하였다. 하지만 1일 1커밋을 하며 중요한건 양이아니라 질이란걸 알았다. 뒤죽박죽인 Repositories의 네이밍 알기 어려운 commit comment 오히려 나에게 있어 1일 1커밋을 놓친건 좋은 기회가 되었다. 나의 문제점을 다시 돌이켜 볼 수 있었으며 한발짝 더 나아가게 해주었다.

끄적끄적 2020.09.19

heroku fatal: unable to access '*.git/': The requested URL returned error: 403

fatal: unable to access 'https://git.heroku.com/covid-19-scared.git/': The requested URL returned error: 403 heroku를 배포하며 생긴 오류 해당 오류는 계정이 안맞아서 생긴 오류입니다. 저는 heroku 계정을 gmail과 likelion계정 두개를 사용해서 gmail계정으로 likelion에 있는 git에 push를 해서 생긴 오류이며 이럴땐 맞는 계정으로 로그인 한 뒤 push 하면 됩니다.

끄적끄적 2020.08.08

ajax에서 for문을 돌릴때 주의할점

기존 소스입니다. 24 ~ 40 line를 실행시킨 뒤 positions 배열에 데이터를 넣습니다. 하지만 ajax안에서만 배열이 추가 되고 막상 선언된 positions에는 추가되지 않습니다. 그럴땐 ajax가 끝나기 전에 async: false 처리를 하여 비동기화 해주어야 선언된 배열에 값을 넣을 수 있게됩니다. 참고 및 출처 https://blog.naver.com/1334012/221445076108 for문 안에서 Ajax 쓸 때 추가해줘야 하는 속성 / Javascript에서 배열 선언,초기화 for문 안에서 Ajax돌릴 때는 비동기화 처리 해줘야 한다.​[]이렇게 해주면 아예 안들어간 상태에서 배열 ... blog.naver.com

끄적끄적 2020.08.05

oracle 실행중인 쿼리 확인하기

api로 update문을 호출하는 과정에서 아무리 기다려도 응답이 오지 않기에 원인을 찾아보다 발견하였습니다. 오라클이 쿼리문을 계속 실행중에 있어 세션이 물려있나? 하고 http://itkeol.blogspot.com/2013/10/oracle-query.html oracle 현재 실행 중인 쿼리 확인 query SELECT a.osuser ,a.SID ,a.serial# ,a.status ,b.sql_text FROM v$session a ... itkeol.blogspot.com 해당 사이트에서 알려준 실행 중인 쿼리 확인을 이용해 돌려보니.. SELECT a.osuser ,a.SID ,a.serial# ,a.status ,b.sql_text FROM v$session a ,v$sqlarea b W..

끄적끄적 2020.07.28

javascript / jquery 실시간 img src, text 바꾸기

00:00:00 피자한판 맛있는 피자를 구울 만큼의 시간이군요! 현재 저는 해당 이미지를 html에서 사용하고 있으며 특정 값으로 바뀌게 된다면 이미지를 바꾸는 작업을 하고 있습니다. if (document.getElementById("time").innerHTML=='00:00:02'){ document.getElementById('timeImg').src="{% static 'img/timeImg/popkon.png' %}" $("#mainTitle").text("안녕하세요!"); } else if (document.getElementById("time").innerHTML=='00:00:04') { document.getElementById('timeImg').src="{% static 'img/t..

끄적끄적 2020.07.24

html 모바일, pc 접속환경 구분하기

bootstrap에서 소스를 가져다 쓰다보니 모바일 환경에서 반응은 하지만 각 div class마다 다 따로놀아 모바일에서 접속을 막으려 합니다. 이미 jQuery에서 소스를 제공해주고 있으며 jQuery.browser를 사용 var filter = "win16|win32|win64|mac|macintel"; if ( navigator.platform ) { if ( filter.indexOf( navigator.platform.toLowerCase() ) < 0 ) { //mobile console.log('mobile 접속'); } else { //pc console.log('pc 접속'); } } 필터를 걸어 윈도우와 맥 환경을 걸러줍니다. 콘솔 혹은 alert으로 모바일과 PC의 접속환경을 구분지..

끄적끄적 2020.07.23