Entah kenapa saya malas sekali dalam menggunakan database dalam membuat sebuah aplikasi. Bukannya tidak bisa, cuma males. Dalam kasus ini saya ingin membuat aplikasi GSMarena versi aplikasi android, semua data-datanya juga berasal dari GSMarena, cara mendapatkan datanya dengan scraping. Untuk menyimpan datanya dibutuhkan database.
Nah gimana kalau saya males bikin database nya? kenapa nggak langsung ditampilin aja datnya ke user setelah scraping?
Nah untuk masalah tersebut dibutuhkan dua hal, alat untuk scraping dan rest api untuk menampilkan data yang telah di scraping. Karena server yang saya gunakan adalah nodejs maka disini saya menggunakan x-ray untuk scraping datanya, untuk rest apinya saya menggunakan framework yang mudah yaitu restify
x-ray
Jika di python ada beautifulshop dan scrapy untuk web scraping. Di nodejs juga punya framework scraping yang bernama x-ray. Xray mensuport crawler, limit,delay dan driver seperti request dan phantomjs. ada juga pipe untuk memfilter data sesuai yang kita inginkan. Pokoknya bagus lah.
restify
dari namanya aja udah keliatan “rest” brati buat bikin restful api. dengan restify kita buat restful api jadi gampang dan gak ribet.
code
buat folder projek, terserah mau namain apa, pindah ke folder projek, dan buka folder di terminal.
npm init
touch index.js
npm i --save restify x-ray
code . #buka folder di vscode
var baseUrl = "https://www.gsmarena.com/";
var restify = require('restify');
var Xray = require('x-ray');
var x = Xray({
filters: {
trim: function (value) {
return typeof value === 'string' ? value.trim() : value
}
}
});
const server = restify.createServer({
name: 'gsmarena-api',
version: '1.0.0'
});
server.use(restify.plugins.acceptParser(server.acceptable));
server.use(restify.plugins.queryParser());
server.use(restify.plugins.bodyParser());
server.get('/phones/list/:url', function (req, res, next) {
x(baseUrl+req.params.url , "#main", {
phones:x('div.makers > ul > li',[{
title:"a",
img:"a img@src",
url:"a@href",
}]),
page:x('.pages-next-prev',{
next:"a.pages-next@href"
})
}).then(
(result) => {
res.send(result);
return next();
}
).catch(
(error) => {
res.send({
error: error
});
return next();
}
)
});
server.listen(8080, function () {
console.log('%s listening at %s', server.name, server.url);
});
kemudian jalankan kode diatas dengan nodemon/node/pm2/forever. buka browser atau postman di alamat http://0.0.0.0:8080/phones/list/:url ganti url dengan url phone contoh http://0.0.0.0:8080/phones/list/at&t-phones-57.php dan hasilnya akan seperti file dibawah ini:
{"phones":[{"title":"Quickfire","img":"https://cdn2.gsmarena.com/vv/bigpic/quickfire.jpg","url":"at&t_quickfire-2598.php"},{"title":"SMT5700","img":"https://cdn2.gsmarena.com/vv/bigpic/att-5700.jpg","url":"at&t_smt5700-2603.php"},{"title":"Mustang","img":"https://cdn2.gsmarena.com/vv/bigpic/att-mustang.jpg","url":"at&t_mustang-2602.php"},{"title":"8525","img":"https://cdn2.gsmarena.com/vv/bigpic/att-8525.jpg","url":"at&t_8525-2601.php"}],"page":{}}
Diatas adalah kode simple contohnya silahkan diuthek uthek dan baca dokumentasinya di https://github.com/matthewmueller/x-ray dan http://restify.com