Program language/NodeJS (6) 썸네일형 리스트형 [puppeteer] 강력한 $$eval 사용법. 요즘 한창 크롤링을 연습하면서 어떻게 크롤링을 쉽게 할 수 있을지 여러 예제를 보고 있습니다. 그 중 puppeteer에서 좋은 기능이 있어서 간단 사용법을 공유 합니다 ! const data = await page.$$eval('#diet > tbody > tr > td > div', e=>e.map((a)=>a.textContent)); array[0] = data; console.log(array); 항상 이런식으로 사용합니다. 원하는 태그를 Copy selector 를 통해서 넣고 $$eval을 사용하면 손쉽게 array에 저장이 가능합니다 ~ [nodeJS] 브라우저로 서버 일 시키기. 개발 환경. - Mac. - nodeJS. - Express. - PostgreSQL. - IntelliJ IDEA. - puppeteer - pg 기본적으로 express 서버를 세팅하고 켜는 것에 대해서는 이전에 올린 글을 참고하시기 바라며.. 과연 내가 브라우저로 localhost:3000에 접속하면 어떻게 흘러가는지에 대해 알아보고자 합니다. 브라우저 주소창에 localhost:3000 을 입력한다는 것. - localhost는 127.0.0.1로 결국 자기 자신을 나타내는 것입니다. - 그 중에서 express 서버에 세팅된 3000번 포트로 접속을 하는 것 입니다. (서버 코드에서 수정가능.) - express 서버를 실행 (bin 폴더 안의 www 파일을 node로 실행)하면 3000번 포트.. 웹에서 버튼을 누르면 크롤링이 되도록 하기. 목표 : 웹에서 버튼을 누르면 크롤링이 되도록 구현. 단계별 목표 1. html로 버튼 생성 및 결과 출력 공간 만들기 2. 어제 만든 크롤링 파일 서버에 연결. 3. 별도의 .js 파일에 버튼 이벤트를 처리할 function 생성. 4. function에서 axios 이용하여 2번 url 호출하여 데이터 받기. 개발 환경 : MacBook pro / IntelliJ IDEA / NodeJS / Express 사용할 라이브러리 : pupeteer, axios 참고 사이트 url. # 1번 목표. 위와 같은 양식이 나오도록 html 파일을 생성한다. 추후엔 ID PW도 입력받아서 코드에 넣을까 한다. 지금은 아무 입력 없이 크롤링 시작 버튼을 누르면 크롤링이 진행되고 버튼 아래에 결과 값이 나오도록 하려고.. pupeteer 활용한 네이버 메일 크롤링 하기. 목표 : 네이버 로그인 후 메일 목록 크롤링 해오기 단계별 목표 1. 네이버 로그인 성공 2. 메일 첫 페이지의 내용 크롤링 3. 메일 하단 페이지 넘기며 메일 전체 크롤링 개발 환경 : MacBook pro / IntelliJ IDEA / NodeJS / Express 사용할 라이브러리 : pupeteer 참고 사이트 url. pupeteer : http://magic.wickedmiso.com/138 특정 영역 클릭 : http://magic.wickedmiso.com/144 네이버 로그인 : https://ncube.net/14128 pupeteer 사용법 : https://velog.io/@jeffyoun/Puppeteer%EB%A1%9C-%ED%95%99%EA%B5%90-%EA%B3%B5%EC%.. NodeJS 로 크롤링한 데이터 .txt 저장 지난 포스팅에 이어 NodeJS로 크롤링한 데이터를 컴퓨터에 텍스트 파일로 저장하는 방법에 대해 알려드리겠습니다. fs 라는 라이브러리를 사용하여 간단하게 저장 기능을 추가해보겠습니다. var file = 'temp_text.txt'; fs.open(file, 'w', function(err, fd){ if(err) throw err; console.log('file open complete'); }); 'temp_text.txt'라는 파일명을 지정하였습니다. 사실 여기에는 파일명 외에도 앞부분에 경로를 넣어야 합니다. 저는 크롤링하는 프로젝트 폴더내에 생성되게 하기 위해 아무 경로도 지정하지 않았습니다. r : 읽기 전용. 파일이 없다면 에러 발생. r+ : 읽기/쓰기 전용. 파일이 없다면 에러 발생... NodeJS 로 okky.kr 메인의 Q&A 크롤링하기 NodeJS 로 okky.kr 의 메인 홈페이지를 크롤링하는 법을 알아볼까 합니다. 처음이니 만큼 이미지나 로그인은 다음에 하겠습니다. 이 글에서는 원하는 웹 사이트의 원하는 부분의 텍스트를 가지고 오는 방법에 대해 알아보겠습니다. 개발 환경은 Node v12.16.1 / IntelliJ IDEA 로 하였습니다. 그리고 axios / cheerio 를 사용하였습니다. var axios = require("axios"); var cheerio = require("cheerio"); var log = console.log; var url = ("https://okky.kr"); 설치는 터미널 창에서 npm install [라이브러리명] 으로 입력해주시면 설치 됩니다. 에러가 날 경우 구글링 해주시거나 권한 .. 이전 1 다음
