Stop words untuk Bahasa Indonesia

23 July 2008 at 11:27 | Posted in bahasa indonesia, penelitian, text processing | 53 Comments

Stop words adalah kata umum (common words) yang biasanya muncul dalam jumlah besar dan dianggap tidak memiliki makna.  Stop words umumnya dimanfaatkan dalam task information retrieval, termasuk oleh Google (penjelasannya di sini).  Contoh stop words untuk bahasa Inggris diantaranya “of”, “the”.  Sedangkan untuk bahasa Indonesia diantaranya “yang”, “di”, “ke”.

Saya pernah membuat daftar stop words  bahasa Indonesia untuk tugas salah satu matakuliah. Tujuannya waktu itu bukan untuk information retrieval, tapi untuk klasifikasi.  Saya gunakan stop words untuk mengurangi jumlah kata yang harus diproses.

Saya membuat daftar stop words dengan cara mengumpulkan kata paling banyak muncul pada corpus (saya menggunakan beberapa ratus berita Kompas),  setelah diurutkan kemudian diperiksa secara manual satu persatu.  Hasil lengkapnya dapat didonwload di:  http://web.archive.org/web/20100104090147/http://fpmipa.upi.edu/staff/yudi/stop_words_list.txt

Karena daftar itu dibuat secara manual dan untuk task klasifikasi, ada beberapa kata yang mungkin dapat diperdebatkan apakah stop word atau bukan, misalnya  “utara”, “senin”, “gedung” dan sebagainya.  Jadi silahkan diedit sesuai kebutuhan.  Seingat saya sih daftar tersebut sudah diurutkan dari kata yang frekuensinya paling tinggi.

Daftar stop words untuk bahasa lain (23 bahasa) dapat dilihat di: http://www.semantikoz.com/2008/04/02/free-stop-word-lists-in-23-languages/

53 Comments »

RSS feed for comments on this post. TrackBack URI

  1. numpang mengunduh pak..
    makasih…
    wasalam.

  2. Silahkan🙂

  3. pak, saya minta daftar stop wordnya ya,
    untuk skripsi saya tentang IR..
    Terima kasih sebelumnya…

  4. lho, kan sudah ada URL-nya. Tinggal download kok, coba baca lagi deh.

  5. pak minta daftar stop wordnya untuk tugas semester membuat program menghitung kata. saya dah coba download tetapi filenya rusak. bila bapak berkenan membantu saya mohon dikirim ke email saya terima ksih banyak pak.

  6. ^ rusak apanya ya? Bentuknya memang file teks yang berisi kumplan kata, bukan program.

  7. numpang nanya dg…gmn si cara melihat suatu kata itu termasuk stopword apa bukan ?

    kalo kata “mengetahui”,”mempunyai” (dan kata2 berimbuhan lainnya) bukannya bisa di stemming (merubah kata menjadi kata dasar) lagi ya ?

  8. ^ menurut saya 2 hal: jumlahnya banyak, dan dianggap tidak memiliki makna.

    Untuk kasus saya, yaitu klasifikasi dokumen dengan model bag of words (struktur kalimat tidak diperhatikan), “mengetahui” dan “mempunyai” bisa dianggap tidak bermakna. Idealnya ditest dulu sih, apakah mempengaruhi kinerja sistem jika dua kata dimasukkan ke dalam stopwords.

  9. ^
    ok deh..makasih ya yudiwbs..

  10. terimakasih…

  11. terimakasih banyak mas… saya telah download dan langsung saya pakai🙂

  12. diriku dah coba download lewat link yang diatas, tapi kok gak bisa ya??
    dibilang “connection has been close by server”, masalahnya dimana ya???

  13. pak kok alamat stpwordnya mati yah?
    sy butuh jg soalnya daftar stopword tsb..

  14. pak saya minta ijin ngunduh juga…

  15. Sudah bisa diriku Download,
    Terima Kasih banyak…

  16. terima kasih mas
    berguna banget buat skripsi saya tentang text mining
    (^^)v

  17. luarbiasa mas, kbetulan sy lagi butuh, trenxkyuw

  18. […] setahun yang lalu. Waktu itu saya mendapat  email dari seseorang di Amerika yang meminta daftar stopwords bahasa Indonesia (waktu itu memang belum saya publish).  Emailnya menggunakan bahasa Indonesia yang cukup fasih, […]

  19. thanks,,, sya membutuhkan ini untuk mengerjakan penelitian thesis saya…

  20. thanks untuk daftar stopword nya. sangat membantu saya

  21. link stop wordnya sudah mati ya pak..?

    • Sedang maintenance servernya😦

  22. wah.. makasi banget bang… emang lagi butuh,.. udah setiap hari saya cek, dan akhirnya hari ini saya bisa donwload…

  23. pak, saya ijin ngunduh stopwordny y..
    Mkasi sblumnya🙂

  24. pak maaf kok link downloadnya mati y….
    saya butuh buat skripsi saya pak….
    makasih y sebelumnya🙂

  25. pak,kok saya download stop word nya
    tidak bisa ya pak?

    • biasanya karena sedang down (sementara)

  26. maaf pak
    itu daftar stopword secara keseluruhan pak??
    tapi kenapa masih ada kata berimbuhan di daftar stopwordnya??
    bukannya menurut definisi stopword itu kata yg tidak bermakna kalau berdiri sendiri??

    mohon bantuannya pak..buat skripsi saya tentang deteksi plagiat…:)

  27. pakk..stpwordsnya gak bisa didownload…

    pak gimana sebenarnya perbedaan antar naives bayes dengan tf-idf..

  28. numpang ngunduh pak, matur suwun….

  29. izin mengunduh stopwordsnya pak. terimakasih.

  30. Pak, ijin donlot..
    tp kok linknya gbz dbuka yak..?😦

  31. makasih banyak atas subernya. Minta izin untuk Tugas Akhir saya.
    Nanti pasiti saya quote si penulisnya..
    ^_^

  32. Maaf pak kok saya buka linknya tidak bisa ya? Saya mau ijin ngunduh untuk tugas akhir saya pak.

    • Biasanya sedang down, nanti dicoba lagi saja.

  33. linknya : page not found pak😦

    upload lagi donk pak. plisss

  34. Assalamualaikum, pak, saya izin mendownload daftar stopword nya dari link
    http://fpmipa.upi.edu/staff/yudi/stop_words_list.txt

    tapi saat dibuka link-nya,file itu tdk ada,
    yg terload hanya homepage FMIPA UPI,

    mohon bantuannya untuk sekiranya menyediakan sumber yg bisa di share,
    atau mengirimkan sumber ke email saya di ask4com(at)ymail.com
    saya mencari referensi stopword untuk penelitian saya

    terimakasih

  35. sudah download, dan mencoba memakai, kok “kamu” atau “kau” tidak masuk ya pak? “sini” “sana” “situ” juga. Mungkin ada alasan kenapa tidak dimasukan?

    sebagai perbandingan, blog http://wangpidong.blogspot.com/2011/06/indonesian-stop-words-list.html juga memberi daftar yang lebih panjang *saya malah takut semua dianggap stop words

    • Tergantung domain yang digunakan. Untuk stopwords yang saya upload ini, domainnya adalah berita (bahasanya formal). Kalau domainnya tweet atau email pasti akan berbeda lagi.

  36. pak, ijin mendownload buat referensi TA.😀
    sekalian mau tanya pak, dataset saya menggunakan artikel2 tentang review suatu hal (misal: hape, komputer, film, dll),
    kira2 dengan stopwords yang bapak susun ini, bisa meng-cover dataset saya nggak ya pak?

    terimakasih sebelumnya pak.🙂

    • Kalau bahasanya formal, saya pikir bisa.

  37. terima kasih pak. ijin download untuk pengerjaan TA🙂

  38. terimakasih pak, izin download untuk TA ya pak.
    oh iya pak, saya ingin bertanya, bapak membuat daftar stopword acuannya apa ya pak?misalnya apakah harus memiliki kemunculan dalam bilangan tertentu atau misalnya yang jadi stopword adalah kata2 bilangan, penghubung dsb.
    terima kasih pak, mohon tanggapannya..

    • Dari berita-berita kompas. Frekuensi kata dihitung, diurutkan dari yang terbanyak. Lalu ditentukan secara manual kata mana yang stopwords mana yang bukan.

  39. kriteria masuk sebagai stopword harus memiliki frekuensi berapa ya pak?

  40. Pak mau tanya ni, udah pernah pake librarynya lucene u tokenisasi, stop word and stemming? kl udah pernah bagaimana y pak algorimanya u memanggil fungsi2 nya di java?

  41. pak, link di atas sedang maintenance ya? saya ingin download stopword list bahasa indonesia untuk keperluan TA saya. Data set yang saya gunakan adalah abstrak paper/karya ilmiah. apakah sesuai jika menggunkan stopword list dari bapak? terima kasih. mohon tanggapannya🙂

  42. terimakasih pak, sangat membantu buat TA saya🙂

  43. pak ada makalahnya gak pak saya mau pakai stopword nya buat TA tapi harus ada referensi resmimnya . -_- kalau ada tolong dikirim email pak

  44. saya donlot stop wordnya nggih pak,untuk tugas akhir,
    matur nuwun..

  45. ijin download ya pak untuk pengerjaan tugas akhir🙂

  46. kok gak bisa di download ya pak??

    • jalan kok, memang bentuknya hanya kumpulan kata saja. Buka di browser, lalu copy paste ke file teks.


Leave a Reply

Fill in your details below or click an icon to log in:

WordPress.com Logo

You are commenting using your WordPress.com account. Log Out / Change )

Twitter picture

You are commenting using your Twitter account. Log Out / Change )

Facebook photo

You are commenting using your Facebook account. Log Out / Change )

Google+ photo

You are commenting using your Google+ account. Log Out / Change )

Connecting to %s

Blog at WordPress.com.
Entries and comments feeds.

%d bloggers like this: