Integrasi Data Open Source dengan Karma

Integrasi Data Open Source dengan Karma

Karma merupakan perangkat gratis, alat sumber data integrasi terbuka yang membuatnya mudah untuk mengkonversi data dari berbagai format menjadi data terkait.

Saat lokakarya setengah hari di Karma tampil Pedro Szekely sebagai instruktur. Dia mulai dengan memperingatkan bahwa tahu sedikit tentang library, tapi satu ton tentang data. File-file yang kami butuhkan untuk lokakarya berada di GitHub, jika Anda tertarik untuk memeriksanya. Anda dapat mengikuti langkah-langkah tutorial di Wiki, dan, tentu saja, Anda dapat menemukan Karma sendiri pada GitHub.

Dasarnya

Karma adalah alat berbasis web yang berjalan baik pada server dan browser yang tepat pada komputer Anda, sehingga kami memiliki komputer dengan alat yang diinstal pada mereka untuk bermain dengannya.

Pengguna memuat ontologi untuk aplikasi dan data sampel mereka dari masing-masing file data yang akan diubah menjadi Karma. Karma membuat proses konversi mudah karena menyediakan antarmuka pengguna grafis intuitif untuk memvisualisasikan dan mengedit pemetaan file data ke ontologi.

Karma bersifat fleksibel karena dapat mengimpor data dari berbagai macam format data (SQL, XML, JSON, CSV, Excel, AVRO, Web-Services). Karma untuk skala dataset yang sangat besar (40 juta dokumen, 1 miliar tiga kali lipat) dan dapat menyegarkan secara periodik (misalnya setiap jam).

Hands On

Setelah kami muat beberapa data sampel ke Karma, kita petakan ke beberapa ontologi. Ketika mengklik bidang judul misalnya, Karma bahkan memberi empat saran untuk judul yang mungkin perlu dipetakan. Hal ini memberitahukan bagaimana membuat saran ini karena alat mempelajari (bahkan jika Anda membuat kesalahan pemetaan di masa lalu). Hal ini dapat menghemat waktu besar jika Anda sering bekerja dengan tipe data yang sama. Pedro mengingatkan bahwa Karma tidak tahu pemetaan yang tepat, pengguna mendapatkan untuk memilih apa yang mereka inginkan, bahkan jika itu “salah”.

Setelah di data Anda, Anda dapat menggunakan script Python untuk membersihkannya jika Anda ingin. Setiap kolom memiliki ‘PyTransform’ pilihan dalam menu. Saya belum pernah menulis Python, tapi kelihatannya cukup sederhana dan Pedro meyakinkan bahwa sebelum ia menggunakan Karma ia juga tidak tahu Python, tetapi menemukan bahwa setiap pertanyaan yang sudah pernah ditanyakan dan dijawab di StackOverflow.

Setelah Anda selesai bekerja dengan data, Anda kemudian dapat menghasilkan RDF, MySQL, JSON, atau format lainnya untuk digunakan dengan aplikasi web.

Apa yang saya pelajari setelah workshop ini adalah bahwa Karma amat mengagumkan! Kami memiliki begitu banyak data berantakan di luar sana, alat seperti ini bisa sangat berguna dan tentu saja itu open source yang membuat jauh lebih menarik. Saya juga belajar bahwa mungkin tidak benar-benar cocok untuk bekerja dengan alat seperti Karma setiap hari. (Sani Zulviah, @sanyzulvi, Blog: sanyzulviah.wordpress.com)

Sumber : http://nurulfikri.ac.id/index.php/artikel/item/896-integrasi-data-open-source-dengan-karma

Tinggalkan komentar