Z00870000120154029Pertemuan 17 revisi 2013

Learning from Examples ISession 17

Subject : T0264 – Artificial Intelligence Year : April 2013

Learning OutcomesLearning Outcomes

Pada akhirPada akhir sesi sesi ini ini mahasiswamahasiswa akanakan dapatdapat::» LO5: MengaLO5: Mengaplplikasikanikasikan berbagaiberbagai te tekkninikk keke agen agen

ketikaketika berberaaksksi i dibawahdibawah ketidak-pastianketidak-pastian » LO6: MengaLO6: Mengaplplikasikanikasikan bagaimanabagaimana memmemproprosseses

bahasabahasa natural natural ddan an tandatanda per persseptual eptual lainnyalainnya bagaimanabagaimana agen agen beriberinteranterakasi secarakasi secara inteli intelijjen en dengandengan dunia nyatadunia nyata

22/04/23 3T0264 - Artificial Intelligence

OutlineOutline

1.1. BentukBentuk Learning Learning2.2. InduIndukktitiff Learning Learning3.3. Learning Decision TreeLearning Decision Tree4.4. Teori KTeori Komputaomputassi Learning i Learning 5.5. RRingkasaningkasan


Bentuk Bentuk LearningLearning (Pembelajaran)(Pembelajaran)

• Learning Learning adalahadalah perlu untukperlu untuk lingkungan yang lingkungan yang tidak diketahuitidak diketahui,,– yaituyaitu, , ketikaketika perancangperancang ketiadaanketiadaan ilmu serba tahuilmu serba tahu

• Learning Learning sangat bergunasangat berguna sebagai metodasebagai metoda kkonstruonstruksksi si siistem,stem,– yaituyaitu, , menyingkapmenyingkap agen agen keke realit realitasas daridari padapada

mencobamencoba menuliskannyamenuliskannya

• Learning Learning mememodifimodifikasikasi me mekkanismanisme keputusane keputusan agen agen untuk meningkatkanuntuk meningkatkan performan performansisi


AAgen Learninggen Learning


Bentuk Bentuk LearningLearning (Pembelajaran)(Pembelajaran)

Supevised Supevised LearningLearning• RancanganRancangan elemen learning elemen learning dipengaruhi olehdipengaruhi oleh

– KKomponenomponen mana mana daridari elemen performan elemen performansisi yang akanyang akan dipelajaridipelajari

– FFeedbackeedback apakah apakah yang tersediayang tersedia untukuntuk mempelajarimempelajari kkomponenomponen tstsbb

– RRepresentaepresentassii apa apa yang digunakanyang digunakan kkomponenomponen

• TTiipe feedback:pe feedback:– Supervised learningSupervised learning: : jawaban benar untuk setiap jawaban benar untuk setiap

contohcontoh ((exampleexample))– Unsupervised learningUnsupervised learning: : jawaban benar tidakjawaban benar tidak diberikandiberikan– Reinforcement learningReinforcement learning: : kadang-kadangkadang-kadang

menguntungkanmenguntungkan


Induktif learning• Bentuk paling sederhanaBentuk paling sederhana: : mempelajarimempelajari fu fungsngsi i dari dari

contohcontoh ((exampleexample))

ff adalahadalah fun fungsgsii targettarget

Contoh (eContoh (examplexample)) adadaalahlah pa pasangansangan ( (xx, , f(x)f(x)))

MasalahMasalah: : mendapatkanmendapatkan hypothesishypothesis hhsedemikian rupasedemikian rupa h ≈ fh ≈ fdiberikandiberikan training set training set dari contohdari contoh ((exampleexample))

((IniIni adalah modeladalah model sangatsangat disederhanakandisederhanakan daridari learning learning riil riil::– MengabaikanMengabaikan penpengegetahuan sebelumnyatahuan sebelumnya– AsumsAsumsikanikan example example diberikandiberikan))


Supevised Supevised LearningLearning

Metoda Induktif learning• KonstruksikanKonstruksikan/a/attuurr h h agagaarr cocok cocok dngdng ff padapada training set training set• ((hh adalahadalah kkonsistenonsisten jikajika cocokcocok dngdng ff utkutk semuasemua example) example)• MisMis.,., mecocokkan mecocokkan kkurvurvaa::



• Ockham’s razor: Ockham’s razor: Lebih baikLebih baik hypothesis hypothesis paling paling sederhanasederhana kkonsisten onsisten dengandengan data data




Learning decision trees (pohon keputusan)

MasalahMasalah: : menentukanmenentukan apakahapakah menunggumenunggu mejameja pada suatupada suatu restauran, restauran, berberbasbasisis atribut atribut berikut berikut::1.1. PenggantiPengganti: : apakah adaapakah ada alternati alternatiff restauran restauran di dekatnyadi dekatnya??2.2. Bar: Bar: apakahapakah a adada areaarea bar bar yang nyamanyang nyaman untuk menungguuntuk menunggu??3.3. JumatJumat/Sa/Sabbttuu: : apakah hari iniapakah hari ini JumatJumat atauatau Sa Sabbtu?tu?4.4. LaparLapar: a: apakah sudahpakah sudah laparlapar??5.5. LanggananLangganan: : jumlahjumlah orangorang dalamdalam restaurant ( restaurant (KosongKosong, , BeberapaBeberapa, ,

PenuhPenuh))6.6. HargaHarga: : jjangangkauan hargakauan harga ($, $$, $$$) ($, $$, $$$)7.7. HujanHujan: : apakah hujanapakah hujan di luardi luar??8.8. PemesananPemesanan: : apakah sudahapakah sudah me membumbuaatt pesanan (reservasi)pesanan (reservasi)??9.9. TTiipe: pe: macammacam restauran ( restauran (PerancisPerancis, Italia, Thai, Burger), Italia, Thai, Burger)10.10. EstimaEstimasiTunggusiTunggu: estima: estimasisi wa wakkttuu t tungguunggu (0-10, 10-30, 30-60, >60) (0-10, 10-30, 30-60, >60)


Learning Decision tree (pohon keputusan)

• Salah satuSalah satu kemungkinankemungkinan representa representassii utk utk hypothes hypothesiiss• MisMis., ., disini pohondisini pohon “true” “true” ((treetree)) untukuntuk menentukan menentukan

apakahapakah menunggumenunggu::


Induksi decision tree dari contoh

• Examples Examples dididdiisskkribribsikansikan dngdng nilai nilai atribut atribut (Boolean, dis(Boolean, diskkrrrrt, t, kkontinontinyyu)u)• MisMis., situa., situassi i dimanadimana maumau menunggumenunggu//tidaktidak untukuntuk mejameja::

• KKlasifilasifikkaassii daridari example example adalahadalah positipositiff (T) (T) atauatau negatinegatiff (F)(F)


Representasi berbasis-atribut


Sifat Sifat EEkskspresipresiff• Pohon keputusanPohon keputusan dapatdapat mengmengeeksksprespresikan banyakikan banyak fun fungsgsi i dari atributdari atribut input. input.• MisMis., ., untuk fungsiuntuk fungsi Boolean, Boolean, baris baris tab tabeell kebenaran kebenaran → path → path keke leaf leaf (daun) (daun)::

• Secara sedehanaSecara sedehana, , adadaa pohon keputusan pohon keputusan kkonsisten onsisten untuk banyakuntuk banyak training set training set dengandengan satusatu path path keke leaf leaf untukuntuk setiapsetiap example ( example (kecualikecuali ff nondeterministi nondeterministikk dalamdalam xx) ) tetapi ini mungkintetapi ini mungkin tidak akantidak akan mengmenggeneraligeneralisasikan sasikan exampleexample baru baru

• Lebih baikLebih baik mendapatkan pohon keputusan yangmendapatkan pohon keputusan yang lebihlebih rapi (krapi (kompaompak)k)22/04/23 18T0264 - Artificial Intelligence



SSpaspasi hii hipotesispotesisBerapa banyak pohon keputusan dengan n Boolean atribut?= jumlah dari fungsi Boolean= jumlah dari tabel kebenaran yang berbeda dng 2n baris = 22n

• Mis., dengan 6 atribut Boolean, akan ada 18,446,744,073,709,551,616 pohon

BerapaBerapa banbanyyakak kkonjunonjunggtitiff h hiipotespotesiiss murni murni ( (mismis., ., LaparLapar HujanHujan)?)?• SetiapSetiap atribut atribut bisabisa (positi (positiff), (negati), (negatiff), ), atauatau out out

33nn kkonjunonjunggtitiff h hiipotespotesiiss berbeda berbeda• LebihLebih e ekskspresipresif spasif spasi h hiipotesispotesis

−menambahmenambah kemungkinan fungsikemungkinan fungsi target target dapatdapat didieeksksprespresikanikan−menambahmenambah jumlahjumlah h hiipotespotesiis s kkonsisten onsisten dengandengan training set training set

bisabisa mendapatkanmendapatkan predi prediksksii lebih jelek lebih jelek


Learning dng Decision tree • SasaranSasaran: : mendapatkanmendapatkan tree tree kecil yang kecil yang kkonsisten onsisten ddeenganngan training training

exampleexample• Ide: (Ide: (secara secara rerekkursiursiff) ) pilihpilih "most significant" atribut "most significant" atribut sebagaisebagai root root

(sub)tree(sub)tree



Test pemilihanTest pemilihan atribut atribut• Ide: atributIde: atribut yang bagus yang bagus memisahkanmemisahkan example example kedalamkedalam

subset subset yangyang (ideal (idealnnyyaa) “) “semuasemua positi positiff" " atauatau “ “semuasemua negatinegatiff""

• PatronsPatrons (langganan) (langganan)?? adalahadalah pilihanpilihan lleebih baikbih baik•



Test pemilihan atribut• MengMengimplementimplementasikanasikan Choose-AttributeChoose-Attribute

kkee dalam dalam algoritm algoritmaa DTL DTL• IIsi isi informanformassi (Entropy):i (Entropy):

I(P(vI(P(v11), … , P(v), … , P(vnn)) = )) = ΣΣi=1i=1 -P(v -P(vii) log) log22 P(v P(vii))• UntukUntuk training set training set berisiberisi pp example positi example positiff

ddan an nn example negati example negatiff::

npn

npn

npp

npp

npn

nppI

22 loglog),(



Information gainInformation gain (Penguatan informasi) (Penguatan informasi)• AtributAtribut pilihan pilihan AA membagimembagi training set training set EE menjadimenjadi

subset subset EE11, … , , … , EEvv sesuaisesuai nilainyanilainya untukuntuk AA, , dimanadimana AA memilikimemiliki vv nilai berbedanilai berbeda..

• Information Gain (IG) Information Gain (IG) atauatau redu reduksksi i dalamdalam entropy entropy daridari atribut test: atribut test:

• PilihPilih atribut atribut dengandengan IG IG terbesar terbesar

v

i ii

i

ii

iii

npn

nppI

npnpAremainder

1

),()(

)(),()( Aremaindernpn

nppIAIG



Information gainInformation gainUntukUntuk training set, training set, p = n = 6, I(6/12, 6/12) = 1p = n = 6, I(6/12, 6/12) = 1 bit bit

PerhatikanPerhatikan atribut atribut PatronsPatrons (langganan) (langganan) ddan an TTiipepe ( (juga yang lainjuga yang lain):):

PatronsPatrons memilikimemiliki IG IG terbesar terbesar dari semuadari semua atribut atribut sehinggasehingga dipiihdipiih oleholeh algoritmalgoritmaa DTL DTL sebagaisebagai root root

bits 0)]42,

42(

124)

42,

42(

124)

21,

21(

122)

21,

21(

122[1)(

bits 0541.)]64,

62(

126)0,1(

124)1,0(

122[1)(

IIIITypeIG

IIIPatronsIG



ContohContoh lalannjjt.t.• Pohon keputusanPohon keputusan belajarbelajar daridari 12 example: 12 example:

• SSecara secara substantial ubstantial lebih sederhanalebih sederhana dari padadari pada “true” tree--- “true” tree--- hhiipotesispotesis lebih lebih kkompleompleksks tidaktidak dibenarkandibenarkan oleholeh sejumlah sejumlah kecilkecil data data



Pengukuran performansi Teori Komputasi Learning• Bagaimana diketahui bahwaBagaimana diketahui bahwa h ≈ f h ≈ f ??

1.1. GunakanGunakan teorem teoremaa kkomputaomputassional/statistiional/statistik darik dari teor teorii learning learning2.2. CobaCoba hh padapada test settest set baru baru daridari example example

((gunakangunakan distribudistribussii ya yanngg samsamaa dengan spasidengan spasi example example sebagaisebagai training set) training set)KKurvurvaa Learning Learning = % = % benarbenar padapada test set test set sebagisebagi fun fungsgsi i dari ukurandari ukuran

training set training set



• AAsumsumssi i stationerstationer: : bahwabahwa adaada distribu distribussi probabiliti probabilitasas padapada example example yangyang dibiarkandibiarkan station stationeer r seluruh waktuseluruh waktu..

• Setiap titikSetiap titik example data example data adalahadalah variab variabeell acak acak EEjj dimana dimana nilainilai observ observasiasi eejj = = (x(xjj, y, yjj) adalah) adalah sample distribu sample distribussi, i, ddan an independen independen daridari example example ssebelumnyaebelumnya: :

• DaDan n setiapsetiap example example memiliki distribusimemiliki distribusi probabilit probabilitasas prior prior yang yang identiidentikk::

T0264 - Artificial Intelligence 27

EvaluaEvaluassi i ddan an MemilihMemilihHHiipotesispotesis Terbaik Terbaik

Kompleksitas vs Kebaikan Fit

x

y

x

y

x

y

x

y

Terlalu sederhana?

Terlalu rumit? Mendekati benar ?

Training data

28T0264 - Artificial Intelligence


Kompleksitas dan Generalisasi

Strain(q)

Stest(q)

KKompleompleksksititasas = de = derajadrajadkebebasan kebebasan modelmodel ((mismis, , jumlahjumlah variab variabeel)l)

Fungsi penilaianmis, pangkat dua error

KKompleompleksksititasasmodelmodel ooptimalptimal



Strain(q)

Stest(q)

BBiasias tinggi tinggivvarianceariance rendah rendah

BBiasias rendah rendahVVarianceariance tinggi tinggi


Kompleksitas dan Generalisasi


Fungsi penilaianmis, pangkat dua error

RingkasanRingkasan• Learning Learning dibutuhkandibutuhkan untuk lingkungan yang untuk lingkungan yang

tidaktidak diketahuidiketahui, , perancang malasperancang malas• Agen Agen Learning =Learning = elemen elemen performan performansisi + + elemen elemen

learninglearning• UntukUntuk learning learning dng dng supervis supervisii, , sasaranyasasaranya

mendapatkanmendapatkan h hiipotesispotesis sederhana yang kira- sederhana yang kira-kirakira kkonsisten onsisten dengandengan training example training example

• Decision tree learning Decision tree learning menggunakanmenggunakan information gain information gain

• PPerformanerformansisi Learning Learning = predi= prediksksi i ketelitianketelitian diukurdiukur padapada test set test set


T0264 - Artificial Intelligence

• Stuart Russell, Peter Norvig,. 2010. Artificial intelligence : Stuart Russell, Peter Norvig,. 2010. Artificial intelligence : a modern approach. PE. New Jersey. ISBN:9780132071482, a modern approach. PE. New Jersey. ISBN:9780132071482, Chapter Chapter 1818

• Elaine Rich, Kevin Knight, Shivashankar B. Nair. 2010. Elaine Rich, Kevin Knight, Shivashankar B. Nair. 2010. Artificial Intelligence. MHE. New York. , Chapter Artificial Intelligence. MHE. New York. , Chapter 1717

• Learning System: Learning System: http://www.myreaders.info/06_Learning_Systems.pdf

• Machine Learning:Machine Learning:http://www.langbein.org/publish/ai/V/AI-18-V_1.pdf

32

ReferensReferensii

http://www.myreaders.info/06_Learning_Systems.pdf

http://www.langbein.org/publish/ai/V/AI-18-V_1.pdf

<< CLOSSING >><< CLOSSING >>

End of Session End of Session 1717

Good Luck Good Luck


Z00870000120154029Pertemuan 17 revisi 2013

Documents

Transcript of Z00870000120154029Pertemuan 17 revisi 2013