Blog Yudi Wibisono

Google App Engine – Java (GAE/J) dan Twitter Search

Dulu mencari hosting gratis berbasis Java (JSP+servlet) merupakan tantangan tersendiri. Untungnya  saat ini Google melalui Googgle App Engine (GAE) menyediakan hosting gratis untuk applikasi Java.  Walaupun ada beberapa batasan (contoh batasannya lihat tabel di bawah), tapi menurut saya sudah sangat layak.  Batasannya lumayan berbeda dan lebih rumit dibandingkan hosting pada umumnya, karena GAE ini menggunakan prinsip cloud computing. GAE versi gratis juga tidak mendukung relational database, walaupun data masih bisa disimpan dalam bentuk lain yang disebut datastore.

Untuk memulai menggunakan GAE/J,  baca dokumentasinya kemudian  tutorial ini dan lanjutannya jika menggunakan Netbeans.  Kalau mampu dan ada waktu,  bagus juga memulai dari dasar dengan hanya mengunakan text editor + ant.

Selanjutnya saya akan mencoba membuat aplikasi di GAE yang mengambil tweet mengenai sesuatu hal.  Nantinya dapat diolah lebih lanjut, tapi untuk sekarang saya batasi hanya mengambil dan menampilkan saja.

Twitter sudah menyediakan fasilitas ini dengan mudah.  Misalkan untuk mengambil tweet mengenai  Bandung,  gunakan URL:  http://search.twitter.com/search.atom?q=bandung dan hasilnya sudah dalam bentuk XML.   Info lebih detil mengenai search twitter ini  dapat dilihat di http://search.twitter.com/api/

Untuk mengambil hasil search twitter,  digunakan url.openstream  sedangkan untuk memprosesnya XML-nya saya menggunakan SAX  (lihat tutorial SAX bagi yang belum mengenal XML dan parsernya). Berikut kode lengkapnya:

package twmining;

import java.io.IOException;

import java.util.logging.Logger;
import javax.servlet.http.*;
import java.net.URL;
import java.net.MalformedURLException;
import java.io.BufferedReader;
import java.io.InputStreamReader;
import javax.xml.parsers.ParserConfigurationException;
import javax.xml.parsers.SAXParser;
import javax.xml.parsers.SAXParserFactory;
import org.xml.sax.*;

public class GetTweet extends HttpServlet {
    private static final Logger log = Logger.getLogger(TweetXMLHandler.class.getName());
    @Override
    public void doGet(HttpServletRequest req, HttpServletResponse resp)
           throws IOException {
           resp.setContentType("text/plain");
           resp.getWriter().println("Test Search Tweet:");
           try {
                    URL url = new URL("http://search.twitter.com/search.atom?q=bandung");
                    BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()));
                    SAXParserFactory factory = SAXParserFactory.newInstance();
                    SAXParser parser;
                    parser = null;
                    parser = factory.newSAXParser();
                    TweetXMLHandler txh = new TweetXMLHandler();
                    txh.resp = resp;
                    InputSource inS = new InputSource(reader);
                    parser.parse(inS, txh);
                    reader.close();
            } catch (ParserConfigurationException ex) {
                    log.severe(ex.getMessage());
            } catch (SAXException ex) {
                    log.severe(ex.getMessage());
            } catch ( MalformedURLException  e) {
                    log.severe(e.getMessage());
            }
    }
}

Dengan menggunakan SAX,  kita tinggal membuat handler yang  akan dipanggil saat event tertentu.   Fokus saya hanya mengambil isi tweet dan waktunya.   Berikut kode untuk handler:

package twmining;

import java.io.IOException;
import org.xml.sax.SAXException;
import org.xml.sax.helpers.DefaultHandler;
import java.util.logging.Level;
import java.util.logging.Logger;
import javax.servlet.http.HttpServletResponse;
import org.xml.sax.Attributes;

public class TweetXMLHandler extends DefaultHandler {
  public HttpServletResponse resp;  //hanya untuk debugging
  private static final Logger log = Logger.getLogger(TweetXMLHandler.class.getName());
  private String tempVal;

  private void println(String val) {
      try {
            resp.getWriter().println(val);
        } catch (IOException ex) {
            Logger.getLogger(TweetXMLHandler.class.getName()).log(Level.SEVERE, null, ex);
        }
  }

  @Override
  public void endDocument() throws org.xml.sax.SAXException {
        println("Selesai parsing dokumen");
  }

  @Override
  public void startDocument() throws org.xml.sax.SAXException {
        println("Mulai parsing dokumen");
  }

  @Override
  public void startElement(String namespaceURI,
        String sName, // simple name
        String qName, // qualified name
        Attributes attrs)
   throws SAXException
  {
  }

  @Override
  public void characters(char[] ch, int start, int length) throws SAXException {
		tempVal = new String(ch,start,length);
  }

  @Override
  public void endElement(String uri, String localName,
		String qName) throws SAXException {
		if(qName.equalsIgnoreCase("published")) {
		    println("waktu:"+tempVal);
		}else if (qName.equalsIgnoreCase("title")) {
		    println("isi:"+tempVal);
		}
  }

Saya menggunakan void println diatas (dengan mengirimkan variabel resp bertipe HttpServletResponse)  karena saya gagal menggunakan log, entah kenapa hasil log-nya tidak keluar. Lagipula sepertinya lebih praktis dengan menampilkannya langsung. Berikut adalah contoh keluarannya (klik untuk memperbesar):

Data tweet ini selanjutnya perlu disimpan dalam datastore sebelum diolah lebih lanjut.

Geolokasi dengan Google Latitude

Update Feb 2010: Twitter mengubah cara auth-nya bekerja, gunakan library  ini untuk mengupdate tweet secara otomatis: http://github.com/abraham/twitteroauth Setelah download, upload saja seluruh direktorynya, ganti config.php-nya, langsung bisa dicoba dan diutak-atik.

Salah satu aplikasi geolokasi mobilephone yang menarik adalah Google Latitude.  Google latititude (melalui GoogleMap) ini selalu ON dan secara terus menerus mengupdate posisi.  Jika dijalankan, aplikasi ini akan menggunakan GPS dengan akurasi sampai 50m, tetapi jika aplikasinya di-hide maka akan menggunakan triangulasi BTS (?)  dengan akurasi sekitar 1000m.  Kelebihan lainnya adalah aplikasi ini dapat berjalan di OS Symbian (Nokia).  Kebanyakan aplikasi  geolocation tersedia untuk Blackberry dan iPhone, mungkin karena Symbian tidak populer di US.

Dengan Latitude,  saya dan istri dapat mengetahui posisi masing-masing (bermanfaat saat harus bertemu di suatu tempat).  Selain itu terdapat fasilitas melihat sejarah pergerakan lokasi (berguna misalnya untuk melihat rute jalan pagi kemarin ) dan alert jika ada teman yang posisinya dekat tapi di tempat-dan-waktu yang tidak biasa (misal istri datang ke kampus saya).  Jika kita aktifkan public location badge maka orang lain (selain friend) juga dapat melihat lokasi kita.  Saya mengaktifkan fitur ini agar mahasiswa dapat mencari saya dengan mudah (yuliadi.com/lokasi.htm). Tidak ada lagi sms atau telepon “Bapak ada dimana?” (kalaupun ada yang bertanya saya berikan saja link tersebut).

Dengan data lokasi yang selalu terupdate,  data ini dapat dimanfaatkan sebagai input aplikasi lain untuk diolah lebih lanjut. Salah satu hal yang ingin saya coba adalah mengisi daftar hadir di kampus secara otomatis.  Jadi setiap saya masuk kampus, otomatis langsung tercatat, demikian  juga saat saya pulang. Dan itu dilakukan tanpa harus melakukan apapun,  hanya cukup membawa mobilephone saja.  Data tersebut kemudian dikirim secara otomatis ke Twitter.

Untuk  membuat sistem itu tadinya saya akan menggunakan  Google Latitude API.   Tapi gagal terus.   Dari pencarian di internet ternyata jika user memiliki public location badge maka posisi dapat diambil dengan mudah.  Berikut kode php untuk mengakses data dari badge:

 $c=file_get_contents('http://www.google.com/latitude/apps/badge/api?user=xxx&type=kml'); //ganti xxx dengan userid
 $xml = new SimpleXMLElement($c);
 $k = $xml->Document->Placemark->Point->coordinates;
 $koordinat = explode(",", $k);
 $long = $koordinat[0];
 $lat = $koordinat[1];

Langkah berikutnya adalah menentukan koordinat UPI.  Saya mencari koordinat kiri-atas dan kanan-bawah  yang jika saya berada di dalamnya artinya saya berada di UPI.  Googlemap dapat digunakan untuk mencari koordinat. Cari titik yang kita inginkan, klik kanan dan pilih “Center Map Here”  lalu  ketik dibagian address kode berikut: javascript:void(prompt('',gApplication.getMap().getCenter())); (tips dari tech-recipes.com).

Selanjutnya tinggal dilakukan pengecekan posisi saya dibandingkan dengan koordinat UPI tersebut dan ditambahkan waktu masuk atau keluar. Berikut kodenya:

 $longKiri = 107.58928298950195;
 $latAtas = -6.853955057941853;
 $longKanan = 107.60078430175781;
 $latBawah = -6.86852699425029;

 if ($long>=$longKiri && $long<=$longKanan && $lat>=$latBawah && $lat<=$latAtas) {
	$status = "Masuk ke UPI:".date("d-m-y : H:i:s", time());
 }  else {
	$status = "Keluar dari UPI:".date("d-m-y : H:i:s", time());
 }

Kode diatas kemudian harus ditambahkan kode untuk mengambil dan menyimpan status terakhir dari dan ke database.  Gunanya untuk mendeteksi perubahan status (masuk->keluar->masuk) sehingga hanya saat status berubah twitter diupdate.  Tutorial ini berisi cara untuk mengirimkan status ke Twitter.

Terakhir, kode diatas perlu dipanggil secara reguler untuk mengecek posisi, misanya setiap 10 menit (gunakan cron). Tapi saat melakukan testing harap berhati-hati karena jika terlalu sering mengupdate status, Twitter akan mencurigai ini sebagai aktivitas spam sehingga diblok.  Set cron hanya aktif dari jam 7 pagi sampai jam 8 malam, Senin sd Jumat.

Kelemahan dari Google Latitude ini adalah akurasi dan masalah frekuensi update.  Dari history, pernah saya tercatat berada di London, Inggris (dan beberapa menit kemudian sudah kembali ke Bandung ). Pernah juga saya lihat istri saya ada di Rusia.   Di Bandung sendiri terkadang lokasinya loncat cukup jauh. Durasi antar update juga dapat mencapai  30 menitan,  sehingga waktu masuk ke kampus dan keluar kampus tidak akurat.

Masih banyak hal yang bisa dilakukan dengan fitur Latitude ini,   misalnya penggabungan dengan foursquare sampai ke location mining