Machine Learning Talk

PengantarHubungan Machine Learning dengan Statistik

Pendekatan AlgoritmikContoh Persoalan Regresi

Aplikasi Moderen Machine Learning

Machine LearningPendekatan Baru Mempelajari Data

Anthony Khong

Books for Indonesia

10 Juni 2015

Anthony Khong Machine Learning




Hubungan Machine Learning dengan StatistikMembandingkan Machine Learning dengan StatistikSejarah Singkat Machine Learning

Pendekatan AlgoritmikMempelajari Data dengan AlgoritmaImplikasi Pendekatan Algoritma

Contoh Persoalan RegresiPendekatan StatistikPendekatan Machine Learning

Aplikasi Moderen Machine LearningPenglihatan KomputerPemrosesan Bahasa AlamiSistem Rekomendasi





Membandingkan Machine Learning dengan StatistikSejarah Singkat Machine Learning

Membandingkan Machine Learning dengan Statistik

Persamaan:

I Ilmu untuk mempelajari data.

I Memakai matematika sebagai bahasa untuk memahami data.

Perbedaan:

I Metodologi: model dan algoritma.

I Tujuan: deskripsi dan predikisi.





Membandingkan Machine Learning dengan StatistikSejarah Singkat Machine Learning

Sejarah Singkat Machine Learning

I Komunitas Machine Learning berakar dari ilmu komputer,teknik dan fisika sekitar 1980.

I Pada awalnya, data diproses tanpa mempelajari keacakan.Algoritma diciptakan berdasarkan heuristis dan didorong olehpersoalan di lapangan.

I Dewasa ini, jarak di antara bidang Machine Learning danStatistik mulai mengecil.





Mempelajari Data dengan AlgoritmaImplikasi Pendekatan Algoritma

Pendekatan Tradisional - Statistik

I Dimulai dengan membuat asumsi mengenai sumber keacakandata.

I Estimasi parameter-parameter dari model.

I Analisis goodness-of-fit.

I Diagnosa model dengan tes statistik.






Mempelajari Data dengan Algoritma

I Algoritma tidak diharuskan untuk mempertimbangkan teoriprobabilitas.

I Aplikasi menjadi prioritas utama perancangan algoritma.

I Persoalan yang berhubungan dengan komputasi mendapatkanlebih banyak perhatian.






Implikasi Pendekatan Algoritma

Plus:

I Peneliti lebih fokus dalam pemecahan persoalan.

I Membuka pintu terhadap persoalan-persoalan yang tidakdapat didasarkan oleh model probabilitik.

I Tidak beranggapan bahwa mekanisme data diketahui.

Minus:

I Hasil algoritma belum tentu dapat dijelaskan.

I Terkadang algoritma tidak memiliki jaminan teoritis.





Pendekatan StatistikPendekatan Machine Learning

Harga Properti di Boston

I Harga-harga rumah di Boston berdasarkan U.S. CensusService.

I Terdiri dari 506 rumah dan 14 variabel.

I Dalam contoh ini, kita hanya akan memakai satu variabelyaitu rata-rata jumlah kamar.

I Tujuannya adalah mempredikisi harga rumah hanyaberdasarkan jumlah kamar.






Harga Rumah dan Jumlah Kamar






Contoh Pendekatan Statistik - Analisis Regresi

I y adalah harga rumah dan x adalah jumlah kamar.

I Analisis regresi menggunakan:

yi = ↵+ �xi + "i , "i ⇠ i .i .d(0,�2), i = 1, . . . , 506

I Estimasi menggunakan Ordinary Least Squares (OLS)sehingga:

� =

Pi (yi � y)(xi � x)P

i (yi � y)2, ↵ = y � �x






Contoh Pendekatan Statistik - Analisis Regresi






Contoh Machine Learning - Ensemble Methods

I Metodologi tidak diperlu dibenarkan secara teori.

I Ensemble methods menggabungkan algoritma dalam jumlahyang besar.

I Biasanya model yang dipakai lebih sederhana.






Contoh Machine Learning - Decision Tree






Contoh Machine Learning - Bagged Decision Tree

1. Pilih B rumah secara acak.

2. Estimasi dengan decision tree untuk B baris tersebut.

3. Ulang sebanyak N kali dan gabungkan predikisi menggunakanrata-rata.

Contoh: B = 40, N = 1000






Contoh Machine Learning - Bagged Decision Tree






OLS dan Bagged Decision Tree





Penglihatan KomputerPemrosesan Bahasa AlamiSistem Rekomendasi


1. Penglihatan Komputer

2. Pembaca dan Penulis Otomatis

3. Pemrosesan Bahasa Alami

4. Sistem Rekomendasi






Mempelajari Pola-Pola Obyek

Figure : Mempelajari pola pokok kursi dan menciptakan sampel hipotetis






Interpolasi Kursi

Figure : Menggabungkan fitur-fitur dua kursi yang berbeda






Pembaca dan Penulis Otomatis

Demo Video






Word Embedding

Figure : Kata-kata dapat diterjemahkan ke vektor bilangan riil.






Word Clustering

Figure : Menggunakan word embedding, kata-kata dapat dikelompokkan.






Sistem Rekomendasi - Online Shopping

Figure : Amazon dapat memberikan saran belanja secara otomatis.






References

I Breiman, L. (2001), ”Statistical Modelling: The TwoCultures,” Statistical Science, Vol.16, No.3, 199-231.

I Dosovitskiy, A., J.T. Springenberg and T. Brox (2014),”Learning to Generate Chairs with Convolutional NeuralNetworks,” arXiv:1411.5928v1.

I Graves, A. (2014), ”Generating Sequences with RecurrentNeural Networks,” arXiv:1308.0850v5.

I Manning, C., ”Deep Learning for Natural LanguageProcessing,” AI Talks, Stanford University.






References

I Ng, A. (2013), ”Machine Learning,” Coursera.

I Socher, R., Y. Bengio and C. Manning (2012), ”DeepLearning for NLP (without Magic),” ACL.

I Teh, Y.W. (2014), ”Statistical Machine Learning and DataMining,” Lecture Notes for MSc in Applied Statistics,University of Oxford.

I Titsias, M.K. and M. Lazaro-Gredilla (2011), ”Spike and SlabVariational Inference for Multi-Task and Multiple KernelLearning,” Advances in Neural Information ProcessingSystems 24.


Machine Learning Talk

Documents

Transcript of Machine Learning Talk