네이버 기사 프로젝트를 Fork 해서 작업 전부터 네이버 기사를 크롤링해서 데이터베이스에 저장하는 웹 크롤러를 만들어야겠다 생각하고 미루다가 이번에 만들어 보았습니다. 네이버 Open API에 뉴스 검색 api도 있지만 앞으로 개발을 계속해서 하면서 github를 사용할 일이 많아질 거 같아서 github를 많이 이용해보려고 github에 있는 원하는 기능과 유사한 네이버 뉴스&댓글 크롤링 프로젝트가 있어서 해당 소스코드로 작업했습니다. 아직 다른 사람의 프로젝트에 바로 push 할 능력이 안되기 때문에 저장소를 제 저장소로 fork 해서 작업했습니다. api를 활용하거나 파이썬 scrapy를 활용하면 더 빠르고 간편하게 작업할 수 있을 거 같다. 참고자료) https://github.com/lovit/..

파이썬으로 사람인 크롤링해보기 취업준비를 시작하면서 처음으로 이력서 작성과 포트폴리오 작성을 하게 되었습니다. ㅠㅠ 많이 안 해본 서류 작업에 머리가 지끈지끈 아파서 쉬어가는 겸 옛날에 해킹 공부를 열심히 할 때 자주 사용했던 파이썬을 이용해서 구인공고 크롤링을 해봤습니다. 사실 만들고 나서도 그냥 사이트 들어가서 봅니다. ㅎ 실행 화면 해당 공고를 클릭하면 해당 url 링크로 이동합니다. 코드 import sys from PyQt5.QtWidgets import * from PyQt5 import uic import threading from bs4 import BeautifulSoup import urllib.request import urllib.parse import webbrowser uiFil..

크롤링해보기 전에 먼저 robots.txt를 확인해 보았는데 모든 경로가 다 허용이 되어있어서 크롤링하고 올려봅니다. 문제가 생길 시에 삭제하겠습니다. 평소 자주 보는 힙합엘이의 국외 뉴스를 크롤링해보았습니다. 노드 js에 cheerio-httpcli모듈과 오라클 db에 저장해 보기 위해서 oracledb모듈을 사용했습니다. 결과물 사진 크롤링 소스코드 var client = require('cheerio-httpcli'); var oracledb = require('oracledb'); oracledb.autoCommit= true; for(var j = 1; j