PENGEMBANGAN FRAMEWORK DAN EVALUASI USABILITY … · Every website includes government ... pengguna...
Transcript of PENGEMBANGAN FRAMEWORK DAN EVALUASI USABILITY … · Every website includes government ... pengguna...
PENGEMBANGAN FRAMEWORK DAN EVALUASI
USABILITY PADA SITUS-SITUS WEB E-GOVERNMENT
PROVINSI DI INDONESIA
Abstract
Every website includes government websites (province, city/county) should be
user friendly or easy to use by their users. Therefore, ease of use factor on website
for common user (known as usability) is important related to the purpose of
government websites development, which is to improve public services quality
effectively and efficiently. This paper conducted usability evaluation to 31
Indonesian provinces active websites. The usability evaluation method of
provinces websites is direct user observation method with 31 respondents and
uses several parameters such as total time in seconds, total steps, success level,
respond time, and type of responder. The final score is obtained from the
processing of score from five parameters, including total time in seconds, total
steps, task success, completeness of content, and respondent’s satisfaction. The
result showed that in term of usability, Jambi Province has the highest rank and
Nusa Tenggara Barat Province has the lowest rank. In term of think out loud
result, all provinces websites have negative respond dominantly.
Key Words: usability, usability severity level, respondent, video, think out loud
Pendahuluan
Definisi usability menurut Tullis dan Albert (2008) adalah kemampuan
pengguna untuk menggunakan sesuatu agar melaksanakan tugas dengan sukses.
Suatu sistem atau situs web memerlukan proses pengujian usability karena
terdapat penelitian yang melaporkan bahwa suatu sistem yang dirancang dengan
mengikutsertakan pengujian usability, dapat mengurangi waktu yang dibutuhkan
pengguna untuk melakukan pembelajaran menjadi sekitar 25% (Landauer 1995).
Dari beberapa metode pengujian atau evaluasi usability, menurut Mayhew
(1999), metode observasi langsung terhadap beberapa orang responden dianggap
lebih objektif dan efektif daripada hanya melakukan suatu demonstrasi situs web
atau sistem dan meminta umpan balik dari pengguna secara subjektif. Tujuan
26
diadakannya penelitian ini ialah untuk melakukan analisis hasil evaluasi usability
dengan metode observasi terhadap responden secara langsung pada situs web
pemerintah provinsi di Indonesia.
Metode Penelitian
Pengembangan Framework Evaluasi Usability
Pada tahap ini, dilakukan pengembangan framework evaluasi usability
yang digunakan pada penelitian selanjutnya, yaitu evaluasi usability situs web e-
Government provinsi di Indonesia menggunakan metode observasi responden
secara langsung. Pelaksanaan evaluasi usability terhadap situs web belum
memiliki kerangka kerja (framework) yang baku terlebih lagi apabila
menggunakan metode observasi responden secara langsung. Hal tersebut
dikarenakan penggunaan perangkat perekam seperti video dan audio. Kerangka
kerja usability yang telah dikembangkan ialah yang dikemukakan oleh ISO 9241 -
11 mengenai panduan usability, dimana terdapat dua kerangka utama yang
memiliki beberapa faktor penyusun, yaitu pengukuran usability (usability
measure) dan konteks penggunaan (context of use) (Gambar 4).
Beberapa faktor yang mempengaruhi pengukuran usability, yaitu
efektifitas, efisiensi, dan kepuasan pengguna. Ketiga faktor tersebut dijadikan
acuan pada pengembangan framework pada paper ini. Adapun faktor-faktor yang
mempengaruhi konteks penggunaan adalah pengguna, tugas, perlengkapan dan
lingkungan.
Gambar 4 Kerangka kerja (framework) usability berdasarkan ISO 9241-11.
27
Terdapat tiga cara potensial untuk mengukur usability suatu produk, antara
lain (Bevan 1998):
1. Dengan menganalisis produk dalam konteks penggunaan: Usability dapat
diukur dengan menilai fitur-fitur produk yang dibutuhkan untuk usability
dalam konteks tertentu.
2. Dengan menganalisis proses interaksi: Usability dapat diukur dengan
memodelkan interaksi antara seorang pengguna yang melaksanakan tugas
dengan suatu produk.
3. Dengan menganalisis efektivitas dan efisiensi yang dihasilkan dari
penggunaan produk dalam konteks tertentu dan mengukur kepuasan
pengguna produk. Dikarenakan ini adalah pengukuran langsung terhadap
usability, hal tersebut merupakan ujian akhir dari usability. Jika suatu
produk lebih usable dalam suatu konteks tertentu, maka pengukuran
usability akan lebih baik.
Diagram alir yang memaparkan proses pengembangan framework untuk evaluasi
usability situs web provinsi secara umum disajikan pada Gambar 5.
Mulai
Perancangan skenario
penyelesaian tugas
Perancangan instrumen
evaluasi
Pelaksanaan Pilot Test
Selesai
TIDAK
Instrumen Sesuai
Harapan?
YA
Gambar 5 Diagram alir pengembangan framework evaluasi usability.
28
Tahapan awal pelaksanaan evaluasi usability dijelaskan di bawah ini:
1. Penentuan jenis dan jumlah pengguna yang bertindak sebagai responden
evaluasi usability.
Responden yang diobservasi pada penelitian ini terdiri atas para
mahasiswa yang tergolong mahir dalam mengoperasikan Internet dan
mencari informasi dalam situs web, serta memiliki alamat e-mail dan
menggunakan e-mail sebagai alat komunikasi di dunia maya. Responden
yang diobservasi 31 orang, dimana seorang responden diminta
mengevaluasi 2 (dua) dari 31 situs web pemerintah provinsi yang berstatus
aktif dan situs-situs web tersebut selanjutnya juga dievaluasi oleh peneliti,
sehingga masing-masing situs web memiliki 3 (tiga) data hasil evaluasi
atau rekaman responden.
2. Perancangan skenario penyelesaian tugas.
Skenario yang digunakan pada evaluasi usability berjumlah 9 (sembilan)
skenario, dimana enam di antaranya didasarkan atas konten minimal yang
harus ada pada setiap situs web pemerintah daerah, yang diterbitkan oleh
Kementerian Komunikasi dan Informatika (2003) dalam Panduan
Penyelenggaraan Situs Web Pemerintah Daerah, yaitu Selayang Pandang,
Pemerintahan Daerah, Geografi, Peta Wilayah dan Sumberdaya,
Peraturan/Kebijakan Daerah, dan Buku Tamu. Keenam konten tersebut
digunakan dalam perancangan skenario pada penelitian ini agar
mempermudah pelaksanaan evaluasi usability bersama dengan tiga konten
lainnya yaitu APBD, alamat e-mail dan berita atau artikel. Tugas
dikatakan sukses jika seluruh informasi tersebut telah berhasil ditampilkan
di layar atau responden memberikan tanda cek pada kuesioner.
a. Skenario 1: Responden diminta untuk mencari informasi sejarah
provinsi (Skenario 1A), motto provinsi (Skenario 1B), visi dan misi
(Skenario 1C), lambang daerah dan artinya (Skenario 1D), serta peta
provinsi (Skenario 1E) yang seluruhnya termasuk ke dalam informasi
selayang pandang atau profil provinsi. Skenario 1A dimulai dari
halaman mesin pencari (Google) untuk menemukan situs web resmi
provinsi, kemudian mulai untuk mencari informasi sejarah provinsi.
29
Informasi Sejarah provinsi merupakan informasi mengenai latar
belakang berdirinya suatu provinsi. Motto provinsi atau yang biasa
disebut slogan atau semboyan daerah merupakan frase atau kalimat
dalam bahasa Indonesia, bahasa daerah ataupun bahasa Inggris, yang
mencerminkan motivasi dan semangat provinsi dalam bentuk singkat.
Visi merupakan pandangan ke depan yang akan diwujudkan oleh
setiap provinsi, sedangkan misi adalah langkah dan upaya untuk
mewujudkan visi provinsi. Lambang daerah dan artinya merupakan
logo khas dari setiap provinsi yang disertai dengan penjelasan
mengenai logo tersebut. Peta provinsi merupakan gambar wilayah
provinsi, baik berupa peta administratif, peta potensi, atau peta wisata.
b. Skenario 2: Responden diminta untuk mencari struktur organisasi
pemerintah provinsi yang mewakili informasi pemerintahan daerah,
dimulai dari halaman utama situs web. Struktur organisasi yang dicari
oleh responden dapat berupa gambar, tabel atau tulisan yang memuat
susunan pengelola pemerintahan provinsi.
c. Skenario 3: Responden diminta untuk mencari informasi demografi
atau kependudukan yang mewakili konten geografi, dimulai dari
halaman utama situs web. Informasi demografi yang dicari dapat
berupa statistik jumlah penduduk atau keadaan penduduk (jenis
kelamin, pekerjaan, dan lain-lain) di suatu provinsi pada tahun tertentu.
d. Skenario 4: Responden diminta untuk mencari informasi potensi
sumberdaya alam provinsi yang mewakili konten peta wilayah dan
sumberdaya, dimulai dari halaman utama situs web.
e. Skenario 5: Menurut Dephumham dan UNDP (2008), Perda
mempunyai fungsi yang salah satunya adalah sebagai penampung
kekhususan dan keragaman daerah serta penyalur aspirasi masyarakat
di daerah. Oleh karena itu, keberadaan Perda pada situs web provinsi
adalah penting karena dapat digunakan sebagai acuan bagi masyarakat
untuk mengetahui apakah aspirasi mereka telah disalurkan melalui
keberadaan Perda yang seyogyanya diperbarui secara konsisten pada
situs web provinsi. Responden melaksanakan skenario yang diberikan
30
dimulai dari halaman utama untuk mengakses Peraturan Daerah
(Perda) Provinsi yang terakhir dipublikasikan oleh pemerintah provinsi
di situs webnya. Tugas dikatakan sukses jika Perda terbaru tersebut
berhasil ditampilkan di layar baik dalam bentuk tulisan ataupun tautan
untuk mengunduh file berbentuk PDF.
f. Skenario 6: Responden diminta untuk mencari informasi mengenai
Anggaran Pendapatan dan Belanja Daerah (APBD). Tugas dikatakan
selesai jika APBD provinsi berhasil ditampilkan di layar monitor, baik
dalam bentuk tabel langsung ataupun dalam bentuk tautan yang dapat
diunduh dan disimpan. Penyusunan arah dan kebijakan umum APBD
bersumber dari Rencana dan Strategi Daerah (Renstrada), laporan
performa historis, pokok-pokok pikiran DPRD, kebijakan keuangan
pemerintah, dan yang tidak kalah pentingnya adalah hasil penjaringan
aspirasi masyarakat. Arah dan kebijakan umum tersebut selanjutnya
dapat menjadi dasar untuk penilaian performa keuangan daerah selama
satu tahun anggaran (Kartiwa 2004). Konten APBD tergolong penting
karena salah satu komponen penyusunannya adalah hasil dari
penjaringan aspirasi masyarakat, sehingga masyarakat juga memiliki
kepentingan untuk mengkonfirmasi aspirasi yang telah disalurkannya.
g. Skenario 7: Responden diminta untuk mencari alamat e-mail
pemerintah provinsi, selanjutnya responden diminta untuk
mengirimkan pesan berupa pertanyaan ke alamat e-mail tersebut
dengan cara mengirimkan pesan lewat akun e-mail pribadi responden
atau mengakses tautan Microsoft Outlook yang telah disediakan oleh
situs web pemerintah provinsi. Adapun pertanyaan yang dikirimkan
telah disediakan oleh peneliti sebagai contoh: Selamat
Pagi/Siang/Sore. Saya mau bertanya siapa yang bisa dihubungi untuk
meminta izin melaksanakan penelitian di kantor pemprov? Terima
kasih (secara lengkap ditampilkan pada Lampiran 2). Setelah itu
respon balik yang diberikan oleh pemerintah provinsi dievaluasi,
apakah maksimal dalam jangka waktu 14 hari terdapat balasan e-mail
berupa jawaban dari pemerintah provinsi atau tidak ada balasan sama
31
sekali. Respon balik tersebut dianalisa dalam hal lamanya pengiriman
tanggapan segera setelah pesan terkirim (responden dihubungi pada
dalam jangka waktu beberapa hari setelah kegiatan evaluasi oleh
peneliti untuk mengetahui apakah pemerintah provinsi telah
mengirimkan respon ke alamat e-mail pribadi responden), siapa pihak
yang mengirimkan tanggapan (sistem otomatis, web master,
administrator web atau kepala seksi bidang komunikasi dan informasi).
Skenario tersebut dirancang dengan tujuan untuk mengevaluasi media
komunikasi pemerintah dan warga negaranya menggunakan pesan
tertutup melalui e-mail. Keberadaan e-mail dinilai cukup penting
karena selain dapat menyampaikan aspirasi warga negara yang bersifat
umum ataupun rahasia, e-mail juga dapat digunakan untuk melakukan
pertukaran dokumen seperti formulir pendaftaran kepada pemerintah
provinsi.
h. Skenario 8: Responden diminta untuk menuliskan pertanyaan yang
disediakan oleh peneliti pada Buku Tamu situs web provinsi yang
dimulai dari halaman utama situs web. Adapun pertanyaan yang
dikirimkan telah disediakan oleh peneliti seperti pada Skenario 7.
Buku Tamu yang dimiliki oleh situs web pemerintah daerah biasanya
memiliki beberapa nama lain yang berfungsi serupa, yaitu
mengirimkan pesan kepada pemerintah daerah tanpa melalui akun e-
mail pengunjung, seperti Hubungi Kami, Kontak, Suara Masyarakat,
Pesan Anda, Kritik dan Saran, dan lain-lain.
Respon balik yang diberikan oleh pemerintah provinsi dievaluasi,
yakni apakah dalam jangka waktu 14 hari pesan tersebut ditampilkan
dalam situs web provinsi dan terdapat tanggapan dari pemerintah
provinsi atau tidak ditampilkan pada situs web provinsi dan tidak ada
tanggapan sama sekali. Skenario ini dirancang dengan tujuan untuk
mengevaluasi media komunikasi pemerintah dan warga negaranya,
baik dengan menggunakan pesan terbuka melalui Buku Tamu.
Keberadaan Buku Tamu tergolong penting karena dapat menjadi
media penyaluran aspirasi singkat dari warga negara kepada
32
pemerintah yang isinya dapat dipantau dan ditanggapi oleh pengunjung
lain atau pemerintah provinsi yang bersangkutan.
i. Skenario 9: Pada skenario ini responden diminta untuk mencari berita
atau artikel terakhir yang dipulikasikan pada situs web. Responden
juga diminta untuk menuliskan tanggal berita atau artikel tersebut guna
dianalisis tingkat ke-uptodate-an beritanya.
3. Perancangan kuesioner evaluasi
Kuesioner evaluasi usability yang dikembangkan adalah seperangkat
kuesioner yang terdiri dari kata pengantar (prakata), formulir kesediaan
responden untuk direkam pada saat evaluasi berlangsung, formulir data
diri responden, skenario dan kuesioner evaluasi usability, serta formulir
pendapat responden mengenai situs web yang dievaluasi yang didasarkan
pada penilaian Questionnaire for User Interface Satisfaction (QUIS) yang
diterbitkan oleh University of Maryland dan berisi 30 pertanyaan, namun
pada penelitian ini digunakan hanya sebanyak 16 pertanyaan yang
dianggap relevan dan tidak membingungkan bagi responden.
4. Pelaksanaan pilot test
Pilot test merupakan evaluasi permulaan yang menguji apakah skenario,
kuesioner, dan peralatan pendukung berjalan dengan baik dan
menghasilkan data yang diharapkan. Responden yang diminta untuk
melaksanakan pilot test berjumlah 5 (lima) orang dengan karakteristik
sesuai dengan responden evaluasi utama. Hasil pengujian pada pilot test
berguna untuk meminimalisir kesalahan pada saat evaluasi utama
dilaksanakan.
5. Revisi prosedur dan materi evaluasi
Tahap ini dilaksanakan jika terdapat prosedur atau materi evaluasi yang
perlu diperbaiki berdasarkan hasil yang diperoleh dari pilot test. Apabila
telah dihasilkan perbaikan dari pilot test pertama, maka dilakukan pilot test
berikutnya untuk memperoleh hasil perbaikan yang optimal. Seperangkat
kuesioner final yang digunakan pada penelitian ini ditampilkan pada
Lampiran 3 sampai 7.
33
6. Persiapan ruangan dan peralatan observasi
Penelitian ini mengambil lokasi di ruang laboratorium SEIns dan
perpustakaan Departemen Ilmu Komputer, Institut Pertanian Bogor
dengan menggunakan seperangkat komputer jinjing yang terhubung pada
modem Internet dengan kecepatan download hingga 512 kbps. Proses
observasi terhadap responden direkam web camera dan mikrofon pada
headset dengan sepengetahuan responden dan dibantu oleh screen capture
software (Camtasia versi 7.1 for Windows) yang menghasilkan video
pergerakan pointer dan kegiatan yang dilakukan oleh responden pada saat
menjalankan evaluasi usability.
7. Perekrutan responden dan penjadwalan evaluasi usability utama.
Responden yang diperlukan untuk mengevaluasi situs web provinsi adalah
sebanyak 31 orang responden yang direkrut secara bertahap. Selanjutnya
disusun jadwal evaluasi usability utama untuk pengambilan data 31 situs
web provinsi yang berstatus aktif.
Pelaksanaan Evaluasi Usability
Proses evaluasi usability yang dilaksanakan didasarkan pada metode yang
dikemukakan oleh Mayhew (1999), yaitu observasi responden. Observasi yang
dilakukan mencakup tiga hal, yaitu menghitung jumlah langkah yang diperlukan
untuk menyelesaikan tugas, menghitung jumlah waktu yang dibutuhkan untuk
menyelesaikan tugas, dan mengukur sukses atau tidaknya tugas dilaksanakan.
Tahapan pelaksanaan evaluasi usability terhadap situs web provinsi di
Indonesia antara lain:
a. Pengujian usability situs web provinsi dan pengambilan data.
a) Responden ditempatkan pada suatu tempat observasi yang dilengkapi
dengan komputer jinjing yang tersambung dengan jaringan Internet
menggunakan modem dengan kapasitas download maksimal 512 KB dan
telah diinstal perangkat lunak screen capture, disertai dengan web camera,
headset dan seperangkat kuesioner. Web camera yang terpasang pada
komputer jinjing digunakan untuk menangkap reaksi wajah dan kegiatan
yang dilakukan responden. Responden diminta untuk menggunakan
34
headset dan diminta mengucapkan tindakan yang sedang dikerjakan,
pikiran yang terlintas, perasaan yang dialami pada saat evaluasi secara
terus menerus agar dapat direkam oleh mikrofon pada headset, kemudian
transkrip pembicaraan yang dihasilkan dianalisis apakah dominan reaksi
positif atau reaksi negatif. Metode ini disebut sebagai Think Out Loud
(Mayhew 1999). Adapun lingkungan pelaksanaan evaluasi usability
ditampilkan pada Gambar 6 di bawah ini.
Gambar 6 Lingkungan pelaksanaan evaluasi usability.
b) Responden diminta untuk menandatangani formulir kesediaan direkam
selama observasi berlangsung dan mengisi formulir data diri yang tertera
pada Lampiran 4 dan 5. Hal ini diperlukan responden merasa yakin bahwa
hasil rekaman tersebut hanya digunakan untuk kepentingan penelitian.
c) Skenario dan prosedur penilaian evaluasi usability yang disajikan pada
Lampiran 6 dibaca oleh responden dengan disertai penjelasan singkat dari
peneliti, dan dipersilahkan untuk mengajukan pertanyaan jika diperlukan.
d) Pelaksanaan Skenario 1 - 9. Pada Skenario 1A, yaitu pencarian informasi
Sejarah Provinsi dilaksanakan oleh responden dimulai dari halaman Mesin
Pencari (Search Engine) Google sampai responden menemukan informasi
Sejarah Provinsi. Untuk Skenario 2 - 9 dimulai dari halaman utama situs
web sampai tugas-tugas yang diberikan selesai dilaksanakan.
35
Kegiatan evaluasi diobservasi oleh peneliti yang berada di luar area
penglihatan responden, tanpa banyak berinteraksi dengan responden.
Dengan demikian, responden tidak terlalu merasa terbebani atau terganggu
dengan kehadiran peneliti di sekelilingnya agar dapat menjalankan
skenario sesuai dengan kondisi sebenarnya, yaitu pada saat mencari
informasi di luar kegiatan evaluasi.
e) Responden mengisi formulir data diri dan pendapat subjektif mereka
mengenai evaluasi yang telah dijalankan terhadap situs web pemerintah
provinsi menggunakan formulir QUIS atau Questionnaire for User
Interface Satisfaction (Lampiran 7).
2. Perangkuman data hasil evaluasi berdasarkan beberapa parameter penilaian.
Seluruh situs web provinsi yang berjumlah 31, dievaluasi oleh tiga orang
sehingga menghasilkan 93 rekaman responden. Seluruh rekaman responden
dianalisis menggunakan beberapa parameter, yaitu jumlah langkah, jumlah
waktu, kesuksesan tugas, waktu respon, pihak pemberi respon balik dan
kepuasan responden. Adapun penjelasannya adalah sebagai berikut:
a. Parameter 1: Jumlah langkah yang diperlukan untuk menyelesaikan tugas.
Parameter ini diukur dalam satuan langkah yang dianalisis dari video rekaman
hasil screen capture menggunakan perangkat lunak Camtasia versi 7.1.
Adapun kategori langkah yang digunakan dalam penelitian ini antara lain:
a) Menyorot menu atau submenu untuk mencari informasi
b) Mengklik menu atau submenu untuk membuka halaman baru
c) Menggulung (scroll) layar monitor ke atas atau ke bawah untuk
mencari informasi
d) Melakukan klik kanan untuk menyalin (copy) informasi atau
melekatkan informasi (paste)
e) Mengetik karakter, kata atau kalimat dalam satu formulir pengisian
f) Membuka dan menutup tab atau window baru
g) Menekan tombol Enter
h) Klik tombol kembali (back)
i) Melakukan reload halaman web
36
Tahapan-tahapan yang dilaksanakan dalam menghitung parameter jumlah
langkah, antara lain:
a) Video rekaman dijalankan pada perangkat lunak Camtasia versi 7.1.
b) Dilakukan pemeriksaan apakah terdapat waktu loading dalam
rekaman tersebut. Jika ada, maka dilakukan pemotongan waktu
loading dengan cara menggeser tab yang ada pada bagian bawah
tampilan perangkat lunak untuk menentukan durasi video yang akan
dipotong. Selanjutnya ditekan tombol cut sampai durasi waktu
tersebut terpotong.
c) Dilakukan penghitungan langkah responden dalam mengakses situs
web dimulai dari responden menatap halaman utama untuk pertama
kali dan mencari informasi pada masing-masing skenario.
d) Hasil penghitungan langkah dimasukkan ke dalam Microsoft Excel.
e) Dilakukan rekapitulasi dan pengambilan rata-rata jumlah langkah
untuk setiap situs web provinsi.
b. Parameter 2: Jumlah waktu yang dibutuhkan untuk menyelesaikan tugas.
Parameter ini diukur dalam satuan detik. Video dan hasil rekaman screen
capture dianalisis mengenai jumlah detik yang dibutuhkan responden dalam
menyelesaikan tugas, dimulai dari responden menatap layar monitor dan atau
menggerakkan mouse untuk mencari informasi, sampai responden tidak
menatap layar dan atau mouse tidak bergerak untuk mencari informasi.
Tahapan-tahapan yang dilaksanakan dalam menghitung parameter jumlah
waktu, antara lain:
a) Video rekaman dijalankan pada perangkat lunak Camtasia versi 7.1.
b) Dilakukan pemeriksaan apakah terdapat waktu loading dalam
rekaman tersebut. Jika ada, maka dilakukan pemotongan waktu
loading dengan cara menggeser tab yang ada pada bagian bawah
tampilan perangkat lunak untuk menentukan durasi video yang akan
dipotong. Selanjutnya ditekan tombol cut sampai durasi waktu
tersebut terpotong.
c) Dilakukan penghitungan waktu responden dalam mengakses situs
web dimulai dari responden menatap layar monitor dan pointer pada
37
mouse bergerak mencari informasi pada masing-masing skenario.
Waktu yang dihitung adalah waktu yang tertera pada perangkat lunak
Camtasia versi 7.1.
d) Penghitungan waktu responden dihentikan pada saat responden tidak
menatap ke arah layar monitor dan mouse berhenti mencari informasi.
e) Hasil penghitungan waktu dimasukkan ke dalam Microsoft Excel.
f) Dilakukan rekapitulasi dan pengambilan rata-rata jumlah waktu untuk
setiap situs web provinsi.
c. Parameter 3: Kesuksesan penyelesaian tugas yang diberikan.
Sebuah tugas dikatakan sukses apabila informasi yang dicari telah berhasil
ditampilkan di layar atau responden memberikan tanda cek pada kuesioner.
Peneliti kemudian memeriksa video rekaman untuk memastikan bahwa
responden yang memberikan tanda cek benar-benar menyelesaikan tugas yang
diberikan. Dari setiap skenario yang dilaksanakan, terdapat tiga rekaman
responden, sehingga persentase kesuksesan tugas ditentukan oleh
perbandingan kesuksesan penemuan konten dengan ketidaksuksesan
penemuan konten.
d. Parameter 4: Waktu respon balik oleh pihak pemerintah daerah provinsi.
Parameter waktu respon balik diukur dalam satuan hari. Parameter ini hanya
diberlakukan pada Skenario 7 dan 8. Pada Skenario 7, respon balik dikirimkan
dalam bentuk e-mail balasan ke alamat e-mail pengirim, sedangkan pada
Skenario 8 respon balik ditunjukkan dalam bentuk jawaban yang ditampilkan
dalam Buku Tamu ataupun pesan ke alamat e-mail responden.
e. Parameter 5: Pihak yang mengirim respon balik.
Seperti pada parameter waktu respon balik, parameter ini juga hanya
diberlakukan pada Skenario 7 dan 8. Pihak yang mengirimkan respon
dianalisis apakah berasal dari kepala seksi bidang komunikasi dan informasi,
administrator situs web (staf dinas komunikasi dan informasi), web master,
atau sistem penjawab otomatis (autoresponder).
f. Parameter 6: Kepuasan Responden
Parameter ini dirangkum dan diinterpretasikan pendapat responden mengenai
situs web provinsi yang dievaluasi menggunakan kuesioner yang didasarkan
38
pada Questionnaire for User Interface Satisfaction (QUIS) versi 5.0 yang
pertama kali dikembangkan oleh University of Maryland pada tahun 1988.
3. Menetapkan skor evaluasi usability untuk setiap situs web provinsi berdasarkan
akumulasi dari parameter jumlah langkah, jumlah waktu, kesuksesan tugas,
kelengkapan tugas, dan kepuasan responden. Setiap parameter dihitung skor
normalisasinya dengan rumus berikut (Al Shahabi, Shaaban & Kasasbeh
2006):
v’= (v – mina) * (new_maxa – new_mina) + new_mina
(maxa – mina)
Dimana:
v’ = Data hasil normalisasi
v = Data sebelum dinormalisasi
maxa = Nilai maksimum
mina = Nilai minimum
new_maxa = Nilai batas atas yang baru, dalam penelitian ini batas
atasnya adalah 10
new_mina = Nilai batas bawah yang baru, dalam penelitian ini batas
bawahnya adalah 1
Batas bawah baru bernilai 1 dan batas atas baru bernilai 10 ditetapkan
berdasarkan perbandingan yang telah dilaksanakan sebelumnya menggunakan
batas bawah 0 dan batas atas 1 seperti yang telah diterapkan pada
penghitungan normalisasi data pada umumnya. Penggunaan batas bawah 0
dan batas atas 1 dengan menggunakan rumus di atas menghasilkan angka
bernilai negatif, dimana hal tersebut tidak sesuai dengan penetapan batas
bawah bernilai 0 dan batas atas bernilai 1.
4. Perangkuman data hasil evaluasi menggunakan metode Think Out Loud.
Data yang diperoleh melalui metode Think Out Loud ialah berupa komentar
dan perilaku responden yang dapat dievaluasi dari rekaman audio dan video
mengenai hal-hal yang mereka rasakan dan temui pada saat mengevaluasi
situs web provinsi. Komentar dan perilaku tersebut berupa tanggapan positif
atau negatif yang mencerminkan kepuasan responden terhadap situs web yang
dievaluasinya (Tabel 2). Tanggapan positif berisi kata, frase, kalimat, atau
sikap dan ekspresi tubuh yang mengungkapkan perasaan puas, kagum, senang
dan sebagainya pada saat mengakses situs web. Adapun tanggapan negatif
39
merupakan kata atau kalimat yang mengungkapkan perasaan kecewa, tidak
sedang, menyerah dan sebagainya.
Menurut Preece et al. (2002), tanggapan responden yang termasuk ke dalam
insiden kritis (critical incidents) adalah pada saat responden mengalami
kebuntuan atau stuck yang biasanya ditandai dengan komentar, sikap diam,
pandangan kebingungan, dan lain-lain. Seluruh tanggapan tersebut dievaluasi
untuk mengetahui tingkat kepuasan responden terhadap situs web yang
mereka evaluasi, apakah termasuk ke dalam kategori dominan respon positif
atau kategori dominan respon negatif.
Tabel 2 Contoh jenis tanggapan responden evaluasi usability untuk metode
think out loud
No. Jenis
Tanggapan
Contoh Tanggapan
Positif Contoh Tanggapan Negatif
1. Kata atau Frase 1. Wow
2. Wah Keren
3. Cepat juga
4. Keren banget
5. Gampang banget
6. Bagus juga
7. Lengkap
1. Kok begini?
2. Kok aneh?
3. Susah amat
4. Ribet amat
5. Ngebingungin deh
6. Standar banget
7. Biasa aja
8. Lumayan deh
9. Apaan nih?
2. Kalimat 1. Saya suka situs ini
2. Saya puas
memakai situs ini
3. Situs ini mudah
digunakan
1. Saya bingung dengan
situs ini
2. Saya nggak suka situs
ini
3. Situs ini susah
digunakan
3. Sikap Tubuh 1. Tersenyum senang
2. Bersenandung
kecil
3. Sikap rileks
1. Menghela nafas panjang
2. Mendengus kesal
3. Diam
4. Mengerutkan dahi
5. Pandangan bingung
6. Cemberut
Rekaman responden yang direkam dalam evaluasi usability biasanya diberikan
keterangan pada saat observasi berlangsung. Responden diamati oleh peneliti
atau evaluator, namun tanpa sepengetahuan peneliti. Apabila terdapat
kesalahan atau tindakan yang tidak biasa, maka video tersebut ditandai oleh
peneliti. Pada saat evaluasi selesai dilaksanakan, peneliti dapat menggunakan
40
rekaman yang ditandai tersebut untuk menghitung waktu performa, sehingga
dapat dibandingkan performa penggunanya dengan situs-situs web lainnya.
Aliran data dari log atau catatan interaksi digunakan dengan cara yang serupa
untuk menghitung waktu performa (Preece et al. 2002).
5. Menampilkan hasil data karakteristik responden yang melakukan evaluasi,
seperti jenis kelamin, usia, asal daerah, pekerjaan, pendidikan terakhir,
penggunaan kacamata atau lensa kontak, kondisi buta warna atau normal, dan
keahlian komputer yang dimiliki, penggunaan Internet, fasilitas komputer di
rumah dan di tempat kerja, dan lain-lain.
Tempat dan Waktu Penelitian
Keseluruhan penelitian ini dilaksanakan pada bulan Februari 2012 sampai
dengan bulan Juni 2012. Penelitian mengambil lokasi di Laboratorium SEIns dan
Ruang Perpustakaan Departemen Ilmu Komputer, Institut Pertanian Bogor.
Bahan dan Alat
Perangkat lunak dan tool yang digunakan pada penelitian ini ialah
Camtasia versi 7.1 for Windows sebagai perangkat lunak screen capture, Google
Chrome sebagai Internet Browser, SPSS 18 for Windows sebagai alat penguji
korelasi dan Microsoft Office 2007 untuk mengolah data dan mempresentasikan
hasil. Adapun perangkat keras yang digunakan antara lain komputer jinjing yang
dilengkapi modem sebagai penyedia jaringan Internet, web camera, headset, dan
formulir kuesioner untuk pengumpulan data.
Hasil dan Pembahasan
Pada saat penelitian dilaksanakan di bulan Februari – Juni 2012,
Pemerintah Republik Indonesia memiliki 33 provinsi dari Nanggroe Aceh
Darussalam hingga Papua Barat. Namun demikian, dari 33 provinsi tersebut
hanya 31 provinsi yang memiliki situs web dan berstatus aktif. Provinsi tidak
memiliki situs web adalah Sulawesi Utara dan Sulawesi Tenggara. Penentuan
situs web provinsi aktif dan tidak aktif didasarkan atas penelusuran situs web
41
resmi menggunakan mesin pencari (search engine) Google dengan mengetikkan
query berupa nama provinsi.
Pelaksanaan Pilot Test
Pilot test merupakan suatu pengujian yang dilaksanakan untuk
memperbaiki framework, metode dan kuesioner agar menghasilkan data yang
sesuai dengan harapan. Pilot test telah dilaksanakan sebanyak dua kali dengan
melibatkan masing-masing lima dan enam responden untuk menguji coba
skenario evaluasi usability dan kuesioner QUIS (Questionnaire for User Interface
Satisfaction). Pilot test 1 dilaksanakan menggunakan dua skenario dan setiap
responden diminta mengevaluasi 31 situs web, sedangkan pilot test 2
dilaksanakan menggunakan delapan skenario dan responden diminta
mengevaluasi lima situs web provinsi. Hasil dari pelaksanaan Pilot Test ialah
perbaikan skenario dan kuesioner agar lebih dimengerti oleh responden, serta
perbaikan metode agar kegiatan evaluasi usability berjalan efektif dan efisien.
Karakteristik Responden
Responden yang telah menjalankan evaluasi usability adalah mahasiswa
jenjang perkuliahan sarjana dan pascasarjana pada Institut Pertanian Bogor yang
berjumlah 31 orang. Berikut ini adalah Tabel 3 yang berisi karakteristik responden
yang dihimpun dari formulir data diri yang telah diisi oleh para responden. Daftar
karakteristik responden secara lengkap disajikan pada Lampiran 8 dan 9.
Tabel 3 Hasil rekapitulasi karakteristik responden
No. Profil Uraian Jumlah Persentase
(%)
1. Jenis Kelamin Perempuan 23 74
Laki-laki 8 26
Total 31 100
2. Usia < 17 tahun 0 0
17 – 25 tahun 24 77
26 – 35 tahun 7 23
> 35 tahun 0 0
Total 31 100
3. Jenjang Perkuliahan SMA 0 0
D3 0 0
S1 12 39
S2 19 61
42
No. Profil Uraian Jumlah Persentase
(%)
Total 31 100
4. Jurusan Ilmu komputer 22 71
Selain ilmu
komputer 9 29
Total 31 100
5. Penggunaan Kacamata Ya 5 39
Tidak 26 61
Total 31 100
6. Mengalami Buta Warna Ya 0 0
Tidak 31 100
Total 31 100
7. Frekuensi Penggunaan
Internet
Setiap Hari 28 81
3 kali per minggu 2 6
1 kali per minggu 1 3
1 kali per bulan 0 0
Total 31 100
Evaluasi Usability
Evaluasi usability merupakan salah satu kegiatan yang dilaksanakan untuk
mengetahui performa situs web. Pengambilan data pada penelitian ini dilakukan
sejak tanggal 23 Mei 2012 hingga 25 Juni 2012. Data yang telah dihasilkan pada
evaluasi usability adalah sebagai berikut.
Parameter Jumlah Waktu dan Jumlah Langkah
Parameter ini diukur berdasarkan jumlah detik yang diperlukan oleh
responden untuk melaksanakan tugas pada setiap skenario dimulai dari halaman
mesin pencari untuk Skenario 1 dan halaman utama untuk Skenario 2 sampai 9.
Untuk pertanyaan yang telah disediakan peneliti agar dikirimkan ke alamat e-mail
atau buku tamu, telah dilakukan usaha penyeragaman banyaknya kata yakni
kurang lebih 2 – 3 baris untuk setiap pertanyaan. Untuk kecepatan waktu memuat
informasi, telah dilakukan pemotongan loading time agar penghitungan jumlah
waktu tidak menjadi bias. Oleh karena itu, jumlah waktu yang dihitung adalah
waktu responden membuka halaman-halaman situs web, waktu responden
membaca informasi dan waktu responden berpikir serta memutuskan apakah
informasi yang dicari telah ditemukan atau tidak.
Setiap pengunjung situs web memiliki tujuan untuk mencari informasi
yang mereka butuhkan atau hanya sekedar melihat-lihat. Apabila pengunjung
43
memerlukan suatu informasi, maka mereka memerlukan petunjuk yang jelas agar
dapat menemukan informasi tersebut dengan efisien dan efektif. Petunjuk yang
diperlukan dapat berupa judul yang jelas pada menu, submenu, tautan dan lain-
lain. Faktor lainnya adalah letak informasi yang mudah atau sulit untuk ditemukan
oleh pengunjung. Namun, pada penelitian ini faktor efisiensi yang dibahas
ditentukan oleh faktor seberapa banyak langkah yang harus dilaksanakan oleh
pengunjung untuk memperoleh informasi yang dibutuhkan. Tindakan responden
pada layar monitor yang dihitung sebagai langkah pada penelitian ini antara lain:
a. Menyorot menu atau submenu untuk mencari informasi,
b. Mengklik menu atau submenu untuk membuka halaman baru,
c. Menggulung (scroll) layar monitor ke atas atau ke bawah untuk mencari
informasi,
d. Melakukan klik kanan untuk menyalin (copy) informasi atau melekatkan
informasi (paste),
e. Mengetik karakter, kata atau kalimat dalam satu formulir pengisian,
f. Membuka dan menutup tab atau window baru,
g. Menekan tombol Enter,
h. Mengklik tombol kembali/back, dan
i. Melakukan reload halaman web.
Berikut ini adalah hasil perbandingan antara parameter jumlah waktu dan
jumlah langkah untuk setiap skenario pada seluruh situs web provinsi.
a. Skenario 1A (Sejarah Provinsi)
Pada skenario 1A, responden diminta untuk mencari informasi sejarah
berdirinya provinsi, baik yang terletak pada submenu khusus atau tercantum di
dalam submenu lainnya. Informasi ini umumnya termasuk ke dalam bagian dari
profil provinsi. Informasi sejarah berdirinya provinsi pada situs web tidak selalu
diberi judul Sejarah, namun ada pula yang diberi judul dengan kata Tentang
Provinsi, Sekilas Provinsi, Profil Provinsi, Gambaran Umum, bahkan diletakan
pada ucapan Selamat Datang seperti yang tercantum pada situs web Provinsi
Maluku Utara.
Dari 31 situs web yang diteliti, terdapat 29 situs web yang memiliki
informasi Sejarah Provinsi, sedangkan dua situs web (Kepulauan Riau dan
44
Sulawesi Selatan) tidak memiliki informasi tersebut. Sebanyak 87 rekaman
responden dihasilkan dari tiga orang respoden untuk setiap situs web. Adapun dari
data tersebut, sebanyak 85 rekaman responden berhasil menemukan informasi
Sejarah Provinsi dan dua rekaman responden pada Provinsi Maluku Utara tidak
berhasil menemukan informasi tersebut.
Pada Gambar 7 dan 8 dapat dilihat bahwa Provinsi Maluku Utara memiliki
rata-rata jumlah langkah dan jumlah waktu yang paling tinggi, yaitu 11 langkah
dan 154 detik. Adapun nama provinsi pada grafik-grafik tersebut diurutkan
berdasarkan nomor identitas provinsi dari wilayah Indonesia bagian barat, tengah
dan timur. Informasi mengenai sejarah berdirinya Provinsi Maluku Utara
ditemukan pada ucapan Selamat Datang yang dapat dibaca pada tautan di halaman
utama, bukan disimpan pada menu Profil.
Pada saat mencari informasi sejarah pada situs web Provinsi Maluku
Utara, responden lebih cenderung mengakses halaman menu Profil yang memuat
beberapa informasi mengenai Maluku Utara dan memerlukan waktu cukup lama
untuk membacanya. Panjangnya waktu yang diperlukan untuk membaca informasi
menu Profil diduga menjadi penyebab lamanya waktu melaksanakan Skenario 1A
pada Provinsi Maluku Utara. Berdasarkan hasil pengamatan, rata-rata jumlah
langkah pada skenario pencarian informasi sejarah provinsi untuk seluruh provinsi
adalah 5 langkah, sedangkan untuk jumlah waktu rata-ratanya adalah 58 detik.
Gambar 7 Rata-rata jumlah langkah pencarian sejarah provinsi.
5
2
8
3 2
3 2
5 4
10
6
4 4 4
6 5 5 5
3 3 4
3 4
6
3
10 11
8
3
0
2
4
6
8
10
12
AC
EH
SUM
UT
SUM
BA
R
RIA
U
JAM
BI
SUM
SEL
LAM
PU
NG
BEN
GK
ULU
KEP
BA
BEL
BA
NTE
N
JAK
AR
TA
JAB
AR
JATE
NG
YOG
YA
JATI
M
BA
LI
NTB
NTT
KA
LBA
R
KA
LTIM
KA
LTEN
G
KA
LSEL
SULT
ENG
SULB
AR
GO
RO
NTA
LO
MA
LUK
U
MA
LUT
PA
PU
A
PA
PU
A B
AR
AT
Jum
lah
Lan
gkah
Nama Provinsi
45
Gambar 8 Rata-rata jumlah waktu pencarian sejarah provinsi.
b. Skenario 1B (Motto Provinsi)
Pada skenario 1B, responden diminta untuk mencari informasi motto,
slogan atau semboyan provinsi. Informasi ini umumnya termasuk ke dalam bagian
dari profil provinsi. Motto atau yang juga biasa disebut sebagai semboyan atau
slogan dapat berbentuk kalimat atau frase yang mencerminkan visi dan misi
provinsi setempat dalam bentuk singkat. Motto yang dicantumkan pada situs web
dapat menggunakan Bahasa Indonesia, Bahasa Daerah, maupun Bahasa Inggris
(seperti pada Provinsi Bali). Motto Provinsi sebagian besar terletak pada banner
utama, sehingga tidak terlalu disadari oleh sebagian responden. Adapun letak
motto pada provinsi yang lainnya dicantumkan pada lambang daerah dan dibahas
maknanya pada submenu lambang daerah dan artinya. Sedangkan ada pula
provinsi yang secara khusus menampilkan motto yang diletakkan pada submenu
lambang daerah dan artinya, submenu visi dan misi, serta submenu motto seperti
yang dimiliki oleh situs web Provinsi Jawa Timur.
Dari 31 situs web yang telah diteliti, hanya 17 situs web yang
mencantumkan mottonya, sedangkan 14 situs web tidak memiliki atau
mencantumkan motto provinsi. Sebanyak 51 rekaman responden dihasilkan dari
tiga orang respoden untuk masing-masing situs web. Adapun dari data tersebut,
sebanyak 29 rekaman responden berhasil menemukan informasi Motto Provinsi
dan 22 rekaman responden tidak berhasil menemukan informasi tersebut. Kendala
65
27
110
24 20
53
11
82
60 76
84
61 44
36
80
57 56 61
16 31
100
65
39
61
34
67
154
44
21
0
20
40
60
80
100
120
140
160
180
AC
EH
SUM
UT
SUM
BA
R
RIA
U
JAM
BI
SUM
SEL
LAM
PU
NG
BEN
GK
ULU
KEP
BA
BEL
BA
NTE
N
JAK
AR
TA
JAB
AR
JATE
NG
YOG
YA
JATI
M
BA
LI
NTB
NTT
KA
LBA
R
KA
LTIM
KA
LTEN
G
KA
LSEL
SULT
ENG
SULB
AR
GO
RO
NTA
LO
MA
LUK
U
MA
LUT
PA
PU
A
PA
PU
A B
AR
AT
Jum
lah
Wak
tu
Nama Provinsi
46
responden dalam menemukan letak motto provinsi diduga karena sembilan motto
dari 16 situs web dicantumkan pada banner utama, sehingga tidak terlalu disadari
dan menarik perhatian responden.
Pada Gambar 9 dan 10 di bawah ini dapat dilihat bahwa Provinsi DKI
Jakarta memiliki rata-rata jumlah langkah dan waktu yang paling tinggi, yaitu 10
langkah dan 151 detik. Provinsi DKI Jakarta memiliki motto atau slogan yang
berbeda-beda dan dipublikasikan setiap masa kepemimpinan Gubernur. Untuk
menemukan motto tersebut, responden harus menggunakan fasilitas mesin pencari
yang tersedia dikarenakan motto Provinsi DKI Jakarta berada pada fasilitas
Ensiklopedi Jakarta, dimana jika menggunakan langkah pencarian biasa, diduga
kecil kemungkinan untuk menemukan motto tersebut. Berdasarkan hasil
pengamatan, rata-rata jumlah langkah pada skenario pencarian motto provinsi
untuk seluruh provinsi adalah 6 langkah, sedangkan untuk jumlah waktu rata-
ratanya adalah 61 detik.
Gambar 9 Rata-rata jumlah langkah pencarian motto provinsi.
6
4
2 2
6
10
2 3
5 4
9 8
9 10
8
5 5
0
2
4
6
8
10
12
Jum
lah
Lan
gkah
Nama Provinsi
47
Gambar 10 Rata-rata jumlah waktu pencarian motto provinsi.
c. Skenario 1C (Visi dan Misi)
Informasi mengenai visi dan misi dimiliki oleh hampir seluruh situs web,
dengan penempatan yang strategis seperti di menu Profil atau Tentang Provinsi
dengan submenu tersendiri. Namun pada situs web Provinsi Jawa Timur, visi dan
misi tidak memiliki submenu tersendiri melainkan berada pada submenu Rencana
Pembangunan Jangka Panjang Daerah (RPJPD) Provinsi Jawa Timur, sehingga
responden kesulitan untuk menemukan informasi tersebut.
Dari 31 situs web yang diteliti, terdapat 27 situs web yang mencantumkan
informasi visi dan misinya, sedangkan empat situs web tidak memiliki atau
mencantumkan visi dan misi provinsi. Sebanyak 81 rekaman responden dihasilkan
dari tiga orang respoden untuk masing-masing situs web. Adapun dari data
tersebut, sebanyak 76 rekaman responden berhasil menemukan informasi visi dan
misi dan lima rekaman responden tidak berhasil menemukan informasi tersebut.
Pada Gambar 11 dan 12 di bawah ini dapat dilihat bahwa Provinsi Jawa
Timur memiliki rata-rata jumlah langkah tertinggi, yaitu 12 langkah, sedangkan
Provinsi Sumatera Barat memiliki rata-rata jumlah waktu tertinggi, yaitu 155
detik. Pada situs web Provinsi Jawa Timur, konten visi dan misi tidak memiliki
submenu tersendiri melainkan berada pada submenu Rencana Pembangunan
Jangka Panjang Daerah (RPJPD) Provinsi Jawa Timur, sehingga responden
kesulitan untuk menemukan informasi tersebut. Penamaan konten visi dan misi
59
85
25 16
38
151
14
70
39
56 50
84 92
130
73
41 25
0
20
40
60
80
100
120
140
160
Jum
lah
Wak
tu (
De
tik)
Nama Provinsi
48
yang kurang sesuai juga terdapat pada situs web Provinsi DKI Jakarta, dimana
konten visi dan misi berada pada submenu Pesan Gubernur yang terletak dalam
menu Pemerintahan Provinsi.
Pada Provinsi Sumatera Barat, konten visi dan misi berada pada menu
Profile Daerah, submenu Visi dan Misi, namun submenu tersebut digabungkan
visi dan misi dari Satuan Kerja Perangkat Daerah (SKPD) seperti badan dan dinas
Provinsi Sumatera Barat, sehingga memiliki 38 tautan (link) yang terdiri atas dua
halaman. Untuk visi dan misi Provinsi Sumatera Barat dapat ditemukan pada
halaman kedua submenu Visi dan Misi. Untuk rata-rata jumlah langkah dengan
waktu tercepat dimiliki oleh situs web Provinsi Jambi (2 langkah dan 11 detik)
yang memiliki menu tersendiri untuk Visi dan Misi, yaitu pada bagian atas situs
web sehingga mudah untuk ditemukan oleh responden dengan relatif cepat.
Berdasarkan hasil pengamatan, rata-rata jumlah langkah pada skenario pencarian
visi dan misi provinsi untuk seluruh provinsi adalah 4 langkah, sedangkan untuk
jumlah waktu rata-ratanya adalah 40 detik.
Gambar 11 Rata-rata jumlah langkah pencarian visi dan misi provinsi.
2
10
2 2 2 2 2
7
4
6
3 3 3
12
3 4
3 2
8
3 4 4
3 3 3 3 3
0
2
4
6
8
10
12
14
SUM
UT
SUM
BA
R
RIA
U
JAM
BI
SUM
SEL
LAM
PU
NG
KEP
RI
KEP
BA
BEL
BA
NTE
N
JAK
AR
TA
JAB
AR
JATE
NG
YOG
YA
JATI
M
BA
LI
NTT
KA
LBA
R
KA
LTIM
KA
LTEN
G
KA
LSEL
SULS
EL
SULT
ENG
GO
RO
NTA
LO
MA
LUK
U
MA
LUT
PA
PU
A
PA
PU
A B
AR
AT
Jum
lah
Lan
gkah
Nama Provinsi
49
Gambar 12 Rata-rata jumlah waktu pencarian visi dan misi provinsi.
d. Skenario 1D (Lambang Daerah dan Artinya)
Setiap provinsi memiliki lambang atau logo daerahnya masing-masing
yang memuat ciri khas dari daerah tersebut. Pemilihan bentuk dasar, warna,
tulisan, dan lain-lain memiliki filosofi tersendiri, sehingga perlu disebutkan arti
lambang tersebut agar dapat mensosialisasikan ciri khas masing-masing provinsi.
Dari 31 situs web provinsi yang diteliti, terdapat 25 situs web yang
mencantumkan informasi lambang daerah dan artinya, sedangkan enam situs web
tidak memiliki atau mencantumkan lambang daerah dan artinya. Sebanyak 75 data
rekaman responden dihasilkan dari tiga orang respoden untuk masing-masing
situs web. Dari data tersebut, seluruh rekaman responden berhasil menemukan
informasi lambang daerah dan artinya.
Pada Gambar 13 dan 14 di bawah ini dapat dilihat bahwa Provinsi
Kalimantan Tengah memiliki rata-rata jumlah waktu yang paling tinggi, yaitu 66
detik. Untuk rata-rata jumlah langkah dengan waktu tercepat dimiliki oleh
Provinsi Jambi (1 langkah dan 8 detik) yang meletakkan informasi lambang
daerah dan artinya pada submenu Sejarah yang ditampilkan di bagian kiri situs
web, sehingga apabila pada Skenario 1A responden telah menemukan informasi
Sejarah Provinsi pada submenu yang sama, maka untuk menemukan informasi
lambang daerah dan artinya akan mudah bagi responden. Berdasarkan hasil
pengamatan, rata-rata jumlah langkah pada skenario pencarian informasi lambang
28
155
15 11
32 13 20
47 34
72
16
52
32
70
16 33
13 11
86
22 27 33 21
46
11 16 15
0
20
40
60
80
100
120
140
160
180
SUM
UT
SUM
BA
R
RIA
U
JAM
BI
SUM
SEL
LAM
PU
NG
K
EPR
I K
EP B
AB
EL
BA
NTE
N
JAK
AR
TA
JAB
AR
JA
TEN
G
YOG
YA
JATI
M
BA
LI
NTT
K
ALB
AR
K
ALT
IM
KA
LTEN
G
KA
LSEL
SU
LSEL
SU
LTEN
G
GO
RO
NTA
LO
MA
LUK
U
MA
LUT
PA
PU
A
PA
PU
A B
AR
AT
Jum
lah
Wak
tu (
De
tik)
Nama Provinsi
50
daerah dan artinya untuk seluruh provinsi adalah 4 langkah, sedangkan jumlah
waktu rata-ratanya adalah 32 detik.
Gambar 13 Rata-rata jumlah langkah pencarian lambang daerah dan
artinya.
Gambar 14 Rata-rata jumlah waktu pencarian lambang daerah dan
artinya.
e. Skenario 1E (Peta Provinsi)
Peta provinsi dapat diletakan pada menu atau submenu tersendiri,
diberikan tautan, atau dicantumkan pada menu atau submenu Letak atau Kondisi
3
4
2
1
2
3 3
2
5
4
3
4
3
4
3
2
4
3
5
3
2
4 4
3
0
1
2
3
4
5
6 SU
MU
T
SUM
BA
R
RIA
U
JAM
BI
SUM
SEL
LAM
PU
NG
KEP
RI
KEP
BA
BEL
BA
NTE
N
JAK
AR
TA
JAB
AR
YOG
YA
JATI
M
NTB
NTT
KA
LTIM
KA
LTEN
G
KA
LSEL
SULS
EL
SULT
ENG
GO
RO
NTA
LO
MA
LUK
U
PA
PU
A
PA
PU
A B
AR
AT
Jum
lah
Lan
gkah
Nama Provinsi
21
57
20
8
21 20 18
28 32
53
23 15
24 23
13 16
66
34 26
32
23 29 26
12
0
10
20
30
40
50
60
70
SUM
UT
SUM
BA
R
RIA
U
JAM
BI
SUM
SEL
LAM
PU
NG
KEP
RI
KEP
BA
BEL
BA
NTE
N
JAK
AR
TA
JAB
AR
YOG
YA
JATI
M
NTB
NTT
KA
LTIM
KA
LTEN
G
KA
LSEL
SULS
EL
SULT
ENG
GO
RO
NTA
LO
MA
LUK
U
PA
PU
A
PA
PU
A B
AR
AT
Jum
lah
Wak
tu (
De
tik)
Nama Provinsi
51
Geografis, Wilayah, Letak Administratif, dan lain-lain. Peta provinsi yang
ditemukan pada situs web bervariasi dari mulai Peta Kontur, Peta Administratif,
Peta Pariwisata, Peta Potensi Daerah, dan lain-lain.
Dari 31 situs web yang dievaluasi, terdapat 22 situs web yang
mencantumkan informasi peta provinsi. Sebanyak 66 rekaman responden
dihasilkan dari tiga orang respoden untuk masing-masing situs web. Dari data
tersebut, 63 rekaman responden berhasil menemukan informasi peta provinsi,
sedangkan tiga rekaman responden tidak berhasil menemukan informasi tersebut.
Pada Gambar 15 dan 16 di bawah ini dapat dilihat bahwa Provinsi
Sumatera Utara memiliki rata-rata jumlah langkah tertinggi, yaitu 10 langkah,
sedangkan Provinsi Riau memiliki rata-rata jumlah waktu tertinggi, yaitu 88 detik.
Pada Provinsi Riau, peta wilayahnya memiliki submenu tersendiri yang dapat
ditemukan pada menu Profil. Namun pada saat mengakses submenu tersebut, dua
orang responden melihat pesan yang menyatakan bahwa peta sedang dimuat
(loading) sebanyak 33%, sedangkan seorang responden pada saat mengakses
submenu tersebut, berhasil menemukan gambar peta secara keseluruhan.
Peta Provinsi Riau dinyatakan ada dan dapat diakses dikarenakan terdapat
minimal satu orang responden yang dapat mengaksesnya. Berdasarkan hasil
pengamatan, rata-rata jumlah langkah pada skenario pencarian peta provinsi untuk
seluruh provinsi adalah 6 langkah, sedangkan untuk jumlah waktu rata-ratanya
adalah 54 detik.
Gambar 15 Rata-rata jumlah langkah pencarian peta provinsi.
10
4
2
6
4 3
8
3 2
3
5 5
3 4 4
3 2
4
2 3
5
3
0
2
4
6
8
10
12
SUM
UT
RIA
U
JAM
BI
SUM
SEL
BEN
GK
ULU
KEP
RI
KEP
BA
BEL
JAK
AR
TA
JAB
AR
JATI
M
NTT
KA
LBA
R
KA
LTIM
KA
LTEN
G
KA
LSEL
SULS
EL
SULT
ENG
GO
RO
NTA
LO
MA
LUK
U
MA
LUT
PA
PU
A
PA
PU
A B
AR
AT
Jum
lah
Lan
gkah
Nama Provinsi
52
Gambar 16 Rata-rata jumlah waktu pencarian peta provinsi.
f. Skenario 2 (Struktur Organisasi Provinsi)
Tugas yang diberikan kepada responden pada Skenario 2 ialah mencari
struktur organisasi pemerintah provinsi yang terdiri dari Gubernur beserta
jajarannya. Struktur organisasi yang ideal adalah berbentuk gambar dengan
struktur hirarki dan aliran tanggung jawab yang jelas. Namun, struktur organisasi
provinsi yang diakui pada penelitian ini dapat berupa gambar hirarkis, tabel, atau
berbentuk poin-poin dimulai dari tingkat tertinggi, yaitu Gubernur, hingga dinas,
biro atau badan di bawahnya.
Dari 31 situs web provinsi yang dievaluasi, terdapat 17 situs web yang
mencantumkan informasi struktur organisasi, sedangkan 14 situs web tidak
memiliki atau mencantumkan struktur organisasi. Sebanyak 51 rekaman
responden dihasilkan dari tiga orang respoden untuk masing-masing situs web.
Dari data tersebut, sebanyak 47 rekaman responden berhasil menemukan
informasi struktur organisasi, sedangkan empat rekaman responden tidak berhasil
menemukan struktur organisasi.
Pada Gambar 17 dan 18 di bawah ini dapat dilihat bahwa Provinsi
Sumatera Barat memiliki rata-rata jumlah langkah dan jumlah waktu tertinggi,
yaitu 11 langkah dan 154 detik. Provinsi Sumatera Barat memiliki struktur
organisasi di situs webnya. Namun dikarenakan penempatan informasinya yang
48
88
17
42 35
60 57 53
11 17
36 42
26
73
40 39
27 33
20
69
46
11
0 10 20 30 40 50 60 70 80 90
100
SUM
UT
RIA
U
JAM
BI
SUM
SEL
BEN
GK
ULU
KEP
RI
KEP
BA
BEL
JAK
AR
TA
JAB
AR
JATI
M
NTT
KA
LBA
R
KA
LTIM
KA
LTEN
G
KA
LSEL
SULS
EL
SULT
ENG
GO
RO
NTA
LO
MA
LUK
U
MA
LUT
PA
PU
A
PA
PU
A B
AR
AT
Jum
lah
Wak
tu (
De
tik)
Nama Provinsi
53
berada pada menu “Struktur Organisasi” dan dalamnya terdapat 33 submenu
dengan terdiri dari dua halaman, serta tidak berfungsinya mesin pencari, maka hal
tersebut diduga mengakibatkan responden membutuhkan waktu yang cukup lama
untuk memastikan bahwa peta tersebut tidak dapat ditemukan.
Struktur organisasi yang dimiliki oleh Provinsi Sumatera Barat berupa
tabel dengan judul SOTK Pemerintah Provinsi Sumatera Barat yang berada di
halaman kedua dari menu “Struktur Organisasi”, namun nama Gubernur yang
tertera bukanlah Gubernur yang tengah menjabat saat ini. Nama Gubernur dan
Wakil Gubernur yang tertera adalah Gubernur yang menjabat sebelumnya.
Berdasarkan hasil pengamatan, rata-rata jumlah langkah pada skenario pencarian
struktur organisasi provinsi untuk seluruh provinsi adalah 6 langkah, sedangkan
untuk jumlah waktu rata-ratanya adalah 67 detik.
Gambar 17 Rata-rata jumlah langkah pencarian struktur organisasi.
3
11
3 2 2
6
9
3
6 6
4
7
3 3
5 5 4
0
2
4
6
8
10
12
Jum
lah
Lan
gkah
Nama Provinsi
54
Gambar 18 Rata-rata jumlah waktu pencarian struktur organisasi.
g. Skenario 3 (Informasi Demografi atau Kependudukan)
Informasi demografi merupakan salah satu bagian dari informasi geografi
yang khusus membahas tentang kependudukan. Keberadaan informasi ini
mencerminkan bahwa pemerintah provinsi memiliki kepedulian terhadap para
penduduknya, dimana informasi tersebut dapat digunakan guna menanggulangi
masalah seperti kemiskinan atau kurangnya pendidikan. Tugas yang diberikan
kepada responden pada Skenario 3 adalah mencari informasi demografi atau data
kependudukan yang termasuk ke dalam kategori konten Geografi sesuai dengan
panduan dari Kemkominfo (2003). Informasi demografi meliputi informasi
keberagaman penduduk yang mendiami provinsi setempat, seperi data penduduk
berdasarkan kategori jenis kelamin, usia, agama, pendidikan, pekerjaan, dan lain-
lain. Pada penelitian ini, data minimal yang dapat disebut sebagai informasi
demografi adalah data jumlah penduduk dalam suatu waktu.
Dari 31 situs web yang dievaluasi, terdapat 22 situs web yang
mencantumkan informasi demografi, sedangkan sembilan situs web tidak
memiliki atau mencantumkan informasi demografi. Sebanyak 66 rekaman
responden dihasilkan dari tiga orang respoden untuk masing-masing situs web.
Dari data tersebut, sebanyak 59 rekaman responden berhasil menemukan
informasi demografi, sedangkan 10 rekaman responden tidak berhasil menemukan
informasi demografi.
25
154
34
16 12
39
129
20
40 47 31
39
18 21
53
35 39
0
20
40
60
80
100
120
140
160
180 Ju
mla
h W
aktu
(D
eti
k)
Nama Provinsi
55
Pada Gambar 19 dan 20 dapat dilihat bahwa Provinsi Sumatera Selatan
memiliki rata-rata jumlah langkah tertinggi, yaitu 9 langkah, sedangkan Provinsi
Kalimantan Tengah memiliki rata-rata jumlah waktu tertinggi, yaitu 77 detik.
Berdasarkan hasil pengamatan, situs web Provinsi Kalimantan Tengah memiliki
mesin pencari yang berada di setiap halaman situs web, namun mesin pencari
tersebut hanya akan berfungsi pada halaman yang dibuka saja. Dengan kata lain,
apabila responden ingin mencari suatu informasi pada keseluruhan isi situs web,
maka responden harus kembali ke halaman utama agar mesin pencari bekerja pada
keseluruhan isi situs web. Berdasarkan hasil pengamatan, rata-rata jumlah langkah
pada skenario pencarian informasi demografi untuk seluruh provinsi adalah 6
langkah, sedangkan untuk jumlah waktu rata-ratanya adalah 50 detik.
Gambar 19 Rata-rata jumlah langkah pencarian informasi demografi.
4
6 5
7
9
4 3
4 5
3 3 4
6 5
4 4 3
2 2
4
8
3
0 1 2 3 4 5 6 7 8 9
10
AC
EH
SUM
BA
R
RIA
U
JAM
BI
SUM
SEL
LAM
PU
NG
BEN
GK
ULU
KEP
BA
BEL
BA
NTE
N
JAK
AR
TA
JAB
AR
YOG
YA
JATI
M
NTT
KA
LBA
R
KA
LTEN
G
SULT
ENG
SULB
AR
GO
RO
NTA
LO
MA
LUK
U
MA
LUT
PA
PU
A B
AR
AT
Jum
lah
Lan
gkah
Nama Provinsi
56
Gambar 20 Rata-rata jumlah waktu pencarian informasi demografi.
h. Skenario 4 (Potensi Sumberdaya Alam)
Kekayaan alam di setiap daerah sangat beragam dan belum tentu diketahui
oleh masyarakat domestik ataupun mancanegara. Salah satu cara untuk dapat
menarik investor untuk mengelola kekayaan alam tersebut adalah dengan
mempromosikannya di situs web provinsi dalam bentuk menu Potensi
Sumberdaya Alam.
Selain menu Potensi Sumberdaya Alam, menu lain yang juga digunakan
adalah menu Investasi atau Perekonomian. Pada Skenario 4 responden diminta
untuk mencari informasi potensi sumberdaya alam (SDA) di provinsi setempat.
Informasi ini termasuk ke dalam kategori konten Peta Wilayah dan Sumberdaya
yang termasuk konten minimal pada situs web pemerintah daerah.
Dari 31 situs web provinsi yang diteliti, terdapat 25 situs web yang
mencantumkan informasi potensi sumberdaya alam, sedangkan enam situs web
tidak memiliki atau mencantumkan informasi potensi sumberdaya alam. Sebanyak
75 rekaman responden dihasilkan dari tiga orang respoden untuk masing-masing
situs web. Dari data tersebut, sebanyak 66 rekaman responden berhasil
menemukan informasi potensi sumberdaya alam, sedangkan sembilan rekaman
responden tidak berhasil menemukan informasi potensi sumberdaya alam.
Pada Gambar 21 dan 22 di bawah ini dapat dilihat bahwa Provinsi
Nanggroe Aceh Darussalam memiliki rata-rata jumlah langkah tertinggi, yaitu 12
60 54
49
70
52
23 23 31 30 31
20 28
70
45
23
77
17 22
28
56 64
19
0 10 20 30 40 50 60 70 80 90
AC
EH
SUM
BA
R
RIA
U
JAM
BI
SUM
SEL
LAM
PU
NG
BEN
GK
ULU
KEP
BA
BEL
BA
NTE
N
JAK
AR
TA
JAB
AR
YOG
YA
JATI
M
NTT
KA
LBA
R
KA
LTEN
G
SULT
ENG
SULB
AR
GO
RO
NTA
LO
MA
LUK
U
MA
LUT
PA
PU
A B
AR
AT
Jum
lah
Wak
tu (
De
tik)
Nama Provinsi
57
langkah, sedangkan Provinsi Sumatera Barat memiliki rata-rata jumlah waktu
tertinggi, yaitu 112 detik. Informasi potensi sumberdaya alam Provinsi Sumatera
Barat dapat ditemukan pada menu Peluang Investasi dan Produk Unggulan.
Namun, terdapat informasi potensi sumberdaya alam, seperti potensi kehutanan
yang menggunakan bentuk gambar dan tidak dapat ditampilkan atau corrupt.
Selanjutnya responden perlu mencari potensi sumberdaya lain yang tidak corrupt.
Berdasarkan hasil pengamatan, rata-rata jumlah langkah pada skenario pencarian
informasi potensi sumberdaya alam untuk seluruh provinsi adalah 6 langkah,
sedangkan untuk jumlah waktu rata-ratanya adalah 60 detik.
Gambar 21 Rata-rata jumlah langkah pencarian informasi potensi sumberdaya
alam.
Gambar 22 Rata-rata jumlah waktu pencarian informasi potensi sumberdaya
alam.
12
7 6
4 5 5
4 3
11
5 5
8
3 4
5
2
6 7
3 2
5
9
3 2
4
0
2
4
6
8
10
12
14
AC
EH
SUM
BA
R
JAM
BI
LAM
PU
NG
BEN
GK
ULU
KEP
BA
BEL
BA
NTE
N
JAK
AR
TA
JAB
AR
JATE
NG
JATI
M
BA
LI
NTB
NTT
KA
LBA
R
KA
LTIM
KA
LTEN
G
KA
LSEL
SULT
ENG
SULB
AR
GO
RO
NTA
LO
MA
LUK
U
MA
LUT
PA
PU
A
PA
PU
A B
AR
AT
Jum
lah
Lan
gkah
Nama Provinsi
103 112
80
19
72
27
44
20
89 72
40
71
17 32
23 20
53 57
19 20
55
84
32 31
67
0
20
40
60
80
100
120
AC
EH
SUM
BA
R
JAM
BI
LAM
PU
NG
BEN
GK
ULU
KEP
BA
BEL
BA
NTE
N
JAK
AR
TA
JAB
AR
JATE
NG
JATI
M
BA
LI
NTB
NTT
KA
LBA
R
KA
LTIM
KA
LTEN
G
KA
LSEL
SULT
ENG
SULB
AR
GO
RO
NTA
LO
MA
LUK
U
MA
LUT
PA
PU
A
PA
PU
A B
AR
AT
Jum
lah
Wak
tu (
De
tik)
Nama Provinsi
58
i. Skenario 5 (Peraturan Daerah)
Keberadaan peraturan daerah di situs web provinsi penting bagi
masyarakat untuk mengetahui performa pemerintahnya dalam mengambil
kebijakan. Peraturan daerah juga dapat menjadi sarana bagi pemerintah provinsi
untuk mensosialisasikan proses-proses perizinan yang menjadi tanggung jawab
pemerintah provinsi. Letak penempatan peraturan daerah, ada yang diserahkan
kepada situs web biro atau badan hukum yang ada di bawah provinsi, bukan pada
situs web provinsi. Sebagian besar peraturan daerah yang dicantumkan dapat
diunduh dalam format PDF, Doc atau Winrar.
Dari 31 situs web yang telah diteliti, hanya 16 situs web yang
mencantumkan peraturan daerah, sedangkan enam situs web tidak memiliki atau
mencantumkan peraturan daerah. Sebanyak 48 rekaman responden dihasilkan dari
tiga orang respoden untuk masing-masing situs web. Dari data tersebut, sebanyak
42 rekaman responden berhasil menemukan peraturan daerah, sedangkan enam
rekaman responden tidak berhasil menemukan peraturan daerah.
Pada Gambar 23 dan 24 di bawah ini dapat dilihat bahwa Provinsi
Nanggroe Aceh Darussalam memiliki rata-rata jumlah langkah tertinggi, yaitu 12
langkah, sedangkan Provinsi Sulawesi Selatan memiliki rata-rata jumlah waktu
tertinggi, yaitu 119 detik. Pada Provinsi Nanggroe Aceh Darussalam, peraturan
daerah dapat disebut dengan Qanun. Peneliti telah memberi informasi kepada para
responden mengenai hal tersebut di awal evaluasi. Namun dikarenakan
penggunaan kata “Qanun” tidak umum dan situs web Provinsi Nanggroe Aceh
Darussalam juga memiliki submenu Peraturan Daerah, maka responden tidak
terlalu mengingat hal tersebut, sehingga cenderung mengabaikannya dan
mengakses submenu Peraturan Daerah.
Hal-hal tersebut diduga menjadi penyebab Provinsi Nanggroe Aceh
Darussalam memiliki rata-rata jumlah langkah tertinggi. Untuk Provinsi Sulawesi
Selatan, peraturan daerah dapat ditemukan pada menu Mengunduh dimana hal
tersebut diduga menjadi penyebab Provinsi Sulawesi Selatan memiliki rata-rata
jumlah waktu tertinggi, karena nama menu yang kurang mencerminkan isinya,
tidak seperti situs web lain yang memberikan nama menu Produk Hukum,
Kebijakan, Peraturan, Regulasi, dan lain-lain. Berdasarkan hasil pengamatan, rata-
59
rata jumlah langkah pada skenario pencarian peraturan daerah untuk seluruh
provinsi adalah 9 langkah, sedangkan untuk jumlah waktu rata-ratanya adalah 90
detik.
Gambar 23 Rata-rata jumlah langkah pencarian peraturan daerah.
Gambar 24 Rata-rata jumlah waktu pencarian peraturan daerah.
Pada Skenario 5 responden diminta untuk mencari Peraturan Daerah
(Perda) yang dipublikasikan oleh pemerintah provinsi. Pencantuman Perda dalam
situs web resmi provinsi termasuk ke dalam menu Produk Hukum, Kebijakan,
Regulasi atau Dokumentasi. Lampiran 10 memuat daftar peraturan daerah yang
12
7 6
4
3
11
5 5
8
4 5
2
7
11
3 2
0
2
4
6
8
10
12
14
Jum
lah
Lan
gkah
Nama Provinsi
103 112
80
19 20
89
72
40
71
32 23 20
57
119
32 31
0
20
40
60
80
100
120
140
Jum
lah
Wak
tu (
De
tik)
Nama Provinsi
60
ditemukan oleh setiap responden. Terdapat perbedaan perda yang ditemukan
antara masing-masing rekaman responden, hal ini diduga karena situs web tidak
mencantumkan nomor perda secara berurutan, sehingga responden tidak berhasil
menemukan perda dengan nomor terakhir yang dipublikasikan.
j. Skenario 6 (APBD)
Skenario ini berisi tugas responden untuk mencari informasi tentang
Anggaran Pendapatan dan Belanja Daerah (APBD) yang terakhir dipublikasikan
oleh pemerintah provinsi di dalam situs webnya. Melalui pengamatan ini
diperoleh informasi mengenai keaktifan dan transparansi provinsi dalam
menginformasikan APBD kepada masyarakat.
Pencantuman APBD juga berfungsi sebagai indikator transparansi
pemerintah provinsi dalam mempublikasikan performanya pada saat mengelola
pendapatan dan belanja daerah yang sebagian juga bersumber dari pajak yang
dibayarkan oleh masyarakat. APBD yang dicantumkan sebagian besar dapat
diunduh dalam format PDF dan Doc, yakni dapat berupa peraturan daerah yang
menetapkan mengenai APBD atau memang khusus file yang memuat APBD
dalam bentuk Winrar.
Dari 31 situs web yang telah dievaluasi, hanya 14 situs web yang
mencantumkan informasi APBD, sedangkan enam situs web tidak memiliki atau
mencantumkan informasi APBD. Sebanyak 42 rekaman responden dihasilkan dari
tiga orang respoden untuk masing-masing situs web. Dari data tersebut, sebanyak
30 rekaman responden berhasil menemukan informasi potensi APBD, sedangkan
12 rekaman responden tidak berhasil menemukan informasi APBD.
Pada Gambar 25 dan 26 di bawah ini dapat dilihat bahwa Provinsi
Sumatera Barat memiliki rata-rata jumlah langkah dan waktu tertinggi, yaitu 16
langkah dan 202 detik. Pada skenario ini, Provinsi Sumatera Barat memiliki
jumlah langkah dan waktu terbanyak untuk menemukan APBD diduga karena
informasi APBD Provinsi Sumatera Barat tidak terletak menu tersendiri atau
diletakkan pada submenu Keuangan Daerah yang ada pada menu Profile Daerah,
melainkan terletak pada Peraturan Daerah dalam submenu “Produk Hukum” yang
nomornya tidak berurutan sehingga harus dibaca satu per satu. Berdasarkan hasil
61
pengamatan, rata-rata jumlah langkah pada skenario pencarian APBD provinsi
untuk seluruh provinsi adalah 8 langkah, sedangkan untuk jumlah waktu rata-
ratanya adalah 74 detik.
Gambar 25 Rata-rata jumlah langkah pencarian APBD.
Gambar 26 Rata-rata jumlah waktu pencarian APBD.
Tabel 4 memuat daftar tahun anggaran APBD yang terakhir dipublikasikan
di situs web provinsi. Tahun anggaran yang paling lama diunggah adalah tahun
2006 (situs web Provinsi Kalimantan Barat), sedangkan yang paling baru adalah
tahun 2012 (situs web Provinsi DKI Jakarta, Bali dan Gorontalo).
8
14
16
4
2
11
6 6 6
10
8 9
5 5
0
2
4
6
8
10
12
14
16
18
Jum
lah
Lan
gkah
Nama Provinsi
50
91
202
19 14
89 65
51 53
79
117
146
60 50
0
50
100
150
200
250
Jum
lah
Wak
tu (
De
tik)
Nama Provinsi
62
Tabel 4 Informasi tahun anggaran APBD yang dipublikasikan sampai periode
Juni 2012
No Nama Provinsi Tahun Anggaran
1. Kalimantan Barat 2006
2. Kalimantan Tengah 2007
3. Kalimantan Selatan 2008
4. Kalimantan Timur 2008
5. Nanggroe Aceh Darussalam 2009
6. Riau 2009
7. Sumatera Utara 2010
8. Jawa Barat 2010
9. Sulawesi Barat 2010
10. Sumatera Barat 2011
11. Jambi 2011
12. DKI Jakarta 2112
13. Bali 2012
14. Gorontalo 2012
Keterangan: Diakses bulan Mei – Juni 2012
k. Skenario 7 (Pengiriman pesan ke Alamat E-mail)
Alamat e-mail merupakan salah satu item minimal yang harus ada pada
halaman utama (homepage) menurut Panduan Penyelenggaraan Situs Web
Pemerintah Daerah yang diterbitkan oleh Kemkominfo (2003). Untuk kontak e-
mail, hanya alamat e-mail yang mempunyai domain “.go.id” yang bisa digunakan
sebagai alamat e-mail resmi. Pemakaian alamat generik (seperti ‘manajer situs’,
‘sekda’) lebih diutamakan daripada alamat atau nama pribadi, hal tersebut
dikaitkan dengan kemungkinan terjadinya perubahan personil pada manajemen
situs web pemerintah daerah. Penanggung jawab situs web harus memastikan
bahwa semua e-mail ke alamat-alamat yang dituju dijawab dengan segera, seperti
halnya komunikasi fisik atau komunikasi elektronik lainnya dengan instansi
Pemerintah Daerah setempat (Kemkominfo 2003).
Skenario 7 berisi tugas kepada responden untuk mencari alamat e-mail dan
mengirimkan pesan berupa pertanyaan yang disediakan peneliti kepada alamat
tersebut melalui akun e-mail pribadi responden atau Microsoft Outlook.
Kemungkinan yang dapat muncul sebagai hasil evaluasi pada skenario ini, antara
lain:
63
a. Responden berhasil menemukan alamat e-mail provinsi dan berhasil
mengirimkan pertanyaan menggunakan akun alamat e-mail pribadi
responden.
b. Responden berhasil menemukan alamat e-mail provinsi, tetapi tidak
berhasil mengirimkan pesan dikarenakan setelah responden mengirimkan
e-mail muncul pernyataan gagal terkirim seperti Mailer Daemon Failure
Notice seperti pada akun Yahoo. Jika hal tersebut terjadi, maka alamat e-
mail yang tercantum tidak dapat digunakan oleh pengunjung untuk
berinteraksi dengan pemerintah provinsi.
c. Responden tidak berhasil mengirimkan pesan karena alamat e-mail tidak
berhasil ditemukan.
Dari 31 situs web provinsi yang telah diteliti, terdapat 19 situs web yang
mencantumkan alamat e-mail, sedangkan 12 situs web tidak memiliki atau
mencantumkan alamat e-mail. Sebanyak 57 rekaman responden dihasilkan dari
tiga orang respoden untuk masing-masing situs web. Dari data tersebut, sebanyak
47 rekaman responden berhasil menemukan alamat e-mail, sedangkan sepuluh
rekaman responden tidak berhasil menemukan alamat e-mail.
Terdapat 19 alamat e-mail berhasil ditemukan pada situs web provinsi
yang memiliki ID akun beragam dari mulai Info, Dishubkominfo, Kantor
Pengelolaan Data Elektronik (PDE), Biro Humas, hingga menggunakan akun e-
mail pribadi stafnya (Contoh: Provinsi Kalimantan Tengah dan Provinsi
Lampung). Posisi pencantuman alamat e-mail bervariasi dari diletakkan pada
menu Kontak, Kontak Kami, Hubungi Kami, hingga yang paling banyak ialah di
posisi paling bawah situs web. Penempatan alamat e-mail pada posisi paling
bawah situs web diduga tidak terlalu disadari oleh responden, sehingga mereka
beranggapan bahwa situs web provinsi tidak memiliki alamat e-mail.
Selain masalah letak pencantuman alamat e-mail, responden juga
melaksanakan langkah yang seharusnya tidak perlu dilakukan, yaitu meng-klik
menu yang bernama Mail, E-Mail, Webmail atau bahkan gambar amplop, seperti
yang terdapat pada situs web Provinsi Sumatera Utara, Riau, Sumatera Selatan,
DKI Jakarta, Jawa Barat, Jawa Timur, DI Yogyakarta, Kalimantan Barat,
Kalimantan Timur, Kalimantan Selatan, dan Papua. Menu tersebut merupakan
64
menu yang mengharuskan pengunjung untuk mengetik username dan password
agar dapat masuk ke dalam suatu sistem atau aplikasi. Adapun username dan
password tersebut tentunya hanya dimiliki oleh para pengelola pemerintah
provinsi atau orang-orang yang berhubungan dengan pemerintah provinsi.
Pengelola situs web seharusnya dapat memberikan keterangan lebih banyak
mengenai fasilitas tersebut agar tidak membingungkan bagi para pengunjung situs
web.
Pada Gambar 28 di bawah ini dapat dilihat bahwa Provinsi Sumatera Barat
memiliki rata-rata jumlah waktu tertinggi, yaitu 407 detik. Namun demikian, rata-
rata jumlah langkah Provinsi Sumatera Barat adalah 15 (Gambar 27). Hal ini
diduga karena terdapat responden yang salah menduga Login ID pada fasilitas e-
mail Login sebagai alamat e-mail dan mencoba mengirimkan pesan ke Login ID
tersebut sebanyak dua kali namun keduanya gagal karena Login ID memang
bukan alamat e-mail yang dimaksud. Berdasarkan hasil pengamatan, rata-rata
jumlah langkah pada skenario pengiriman pesan ke alamat e-mail provinsi untuk
seluruh provinsi adalah 11 langkah, sedangkan untuk jumlah waktu rata-ratanya
adalah 157 detik.
Gambar 27 Rata-rata jumlah langkah pengiriman pesan ke alamat
e-mail.
Dari 19 situs web yang memiliki alamat e-mail, terdapat enam situs web
yang menggunakan fasilitas tautan ke Microsoft Outlook, yaitu Sumatera Barat,
DI Yogyakarta, Bali, Kalimantan Barat, Kalimantan Tengah dan Maluku.
15
13
7
9
12 11
14 14
9 9
17 16 16
12
17
13 12
14
12
0
2
4
6
8
10
12
14
16
18
Jum
lah
Lan
gkah
Nama Provinsi
65
Pengiriman pesan menggunakan fasilitas tautan ke Microsoft Outlook dapat
mempersingkat langkah daripada pengiriman pesan menggunakan cara biasa,
yaitu melakukan sign up ke akun e-mail responden. Dengan mengklik tautan
Microsoft Outlook, responden hanya perlu mengkoneksikan akun e-mail aktifnya,
menuliskan subjek pesan, menulis pesan dan menekan tombol send untuk
mengirimkan pertanyaan.
Gambar 28 Rata-rata jumlah waktu pengiriman pesan ke alamat
e-mail.
l. Skenario 8 (Pengiriman pesan ke Buku Tamu)
Skenario ini memuat tugas responden untuk mencari fasilitas Buku Tamu
atau fasilitas sejenis seperti Kontak, Hubungi Kami, Pesan Anda, Suara
Masyarakat dan lain-lain, dan mengirimkan pesan berupa pertanyaan yang
disediakan peneliti. Buku tamu yang dimaksud dalam penelitian ini adalah berupa
formulir yang dapat diisi oleh responden tanpa melalui proses mendaftar, login
atau sign up untuk dapat mengirimkan pesan kepada pemerintah provinsi. Isi
pesan tersebut dapat ditampilkan pada situs web dan diharapkan dapat
memperoleh tanggapan berupa jawaban terhadap pertanyaan yang sekaligus
ditampilkan pada situs web atau jawaban tersebut dikirimkan ke alamat e-mail
pengirim dikarenakan setiap mengirimkan pesan ke buku tamu, pengirim harus
mengisi kolom alamat e-mail yang dimiliki. Jawaban yang dikirimkan ke alamat
e-mail pengirim telah dilakukan oleh Provinsi Kalimantan Barat dengan
407
149 118
151 172
107
172 190
133 177
216 252
270
207 183
224 193
241 230
0
50
100
150
200
250
300
350
400
450
Jum
lah
Wak
tu (
De
tik)
Nama Provinsi
66
menggunakan alamat e-mail pribadi administrator situs web. Keberagaman
penamaan fasilitas buku tamu ditampilkan pada Lampiran 11. Adapun
kemungkinan yang dapat muncul sebagai hasil evaluasi pada skenario ini, antara
lain:
a. Responden berhasil menemukan Buku Tamu atau fasilitas sejenis dan
berhasil mengirimkan pertanyaan.
b. Responden berhasil menemukan Buku Tamu atau fasilitas sejenis, tetapi
tidak berhasil mengirimkan pertanyaan.
c. Responden tidak berhasil mengirimkan pesan karena fasilitas Buku Tamu
tidak berhasil ditemukan.
Faktor lain yang dibahas pada Skenario 8 ini adalah apakah setelah
responden mengirimkan pertanyaan kepada fasilitas Buku Tamu, pertanyaan
tersebut akan ditampilkan di situs web atau tidak. Jika ditampilkan, berapa lama
waktu yang dibutuhkan untuk memverifikasi agar pesan dapat ditampilkan, serta
apakah pertanyaan tersebut dijawab oleh administrator, pejabat atau tidak dijawab
sama sekali.
Dari 31 situs web yang dievaluasi, terdapat 21 situs web yang memiliki
fasilitas buku tamu, sedangkan sepuluh situs web tidak memiliki fasilitas buku
tamu. Sebanyak 63 rekaman responden dihasilkan dari tiga orang respoden untuk
masing-masing situs web. Dari data tersebut, sebanyak 53 rekaman responden
berhasil menemukan fasilitas buku tamu, sedangkan sepuluh rekaman responden
tidak berhasil menemukan fasilitas buku tamu. Setelah responden berhasil
menemukan buku tamu dan mengirimkan pesan berupa pertanyaan, situs web
secara otomatis akan menampilkan pesan berupa ucapan terima kasih dan pesan
bahwa tulisan pengunjung telah berhasil terkirim dan akan diverifikasi terlebih
dahulu oleh admin sebelum dapat ditampilkan atau dijawab.
Namun demikian, tidak semua buku tamu yang ditemukan dapat
digunakan untuk mengirimkan pesan. Terdapat empat dari 21 fasilitas buku tamu
yang tidak dapat digunakan untuk mengirimkan pesan. Keempat fasilitas buku
tamu tersebut antara lain pada situs web Provinsi Nusa Tenggara Barat, Sulawesi
Barat, Jambi dan Maluku Utra. Buku tamu Provinsi Nusa Tenggara Barat dan
Sulawesi Barat yang memiliki kerusakan pada gambar kode verifikasi yang dapat
67
membedakan pengunjung situs web apakah manusia atau mesin untuk
menghindari pesan tidak diinginkan (spam) yang disebut CAPTCHA (Completely
Automated Public Turing test to tell Computers and Humans Apart). Buku tamu
pada situs web Provinsi Jambi tidak memiliki pesan yang menandakan apakah
pertanyaan yang dikirimkan telah diterima atau tidak, sedangkan buku tamu pada
situs web Provinsi Maluku Utara yang memiliki kerusakan pada saat menekan
tombol submit yang terus menerus menampilkan pesan bahwa data yang
dimasukkan salah.
Pada Gambar 29 dan 30 di bawah ini, dapat dilihat bahwa Provinsi
Kepulauan Riau dan Nusa Tenggara Timur memiliki rata-rata langkah tertinggi,
yaitu 14 langkah, sedangkan Provinsi Kalimantan Selatan memiliki rata-rata
waktu tertinggi, yaitu 217 detik. Pada fasilitas buku tamu Provinsi Nusa Tenggara
Timur, sebelum pesan dikirimkan kepada pemerintah provinsi, terdapat fitur yang
melakukan preview terhadap pesan yang ditulis oleh responden. Apabila pesan
yang hendak dikirimkan sudah sesuai, responden dapat menekan tombol “Save”,
namun jika kurang sesuai dengan keinginan dan responden ingin melakukan
perubahan, maka pesan tersebut dapat dikoreksi dengan menekan tombol “Edit”.
Berdasarkan hasil pengamatan, rata-rata jumlah langkah pada skenario pengiriman
pesan ke buku tamu provinsi untuk seluruh provinsi adalah 9 langkah, sedangkan
untuk jumlah waktu rata-ratanya adalah 116 detik.
Gambar 29 Rata-rata jumlah langkah pengiriman pesan ke buku tamu.
8 8 8
10 10
7
14
8 10 9
7
14
9 10 10
13
7
0
2
4
6
8
10
12
14
16
Jum
lah
Lan
gkah
Nama Provinsi
68
Gambar 30 Rata-rata jumlah waktu pengiriman pesan ke buku tamu.
m. Skenario 9 (Berita atau Artikel yang Terakhir Dipublikasikan)
Berita seputar provinsi yang pada umumnya disajikan pada halaman utama
merupakan salah satu indikator yang menyatakan bahwa situs web yang
bersangkutan tergolong uptodate atau tidak. Penyajian berita terkini pada halaman
utama, biasanya disajikan dengan dokumentasi gambar. Sebagian situs web
mengkategorikan berita terkininya, sehingga menyulitkan responden untuk
mengetahui letak berita yang paling uptodate.
Dari 31 situs web provinsi yang diteliti, seluruhnya memiliki berita atau
artikel yang dicantumkan pada halaman utama situs web. Adapun seluruh
rekaman responden berhasil menemukan berita atau artikel yang paling akhir
dipublikasikan oleh provinsi pada saat responden mengevaluasi situs webnya atau
memiliki tingkat kesuksesan tugas sebesar 100%. Dari seluruh situs web yang
diteliti, situs web Provinsi Maluku Utara yang tergolong tidak uptodate karena
pada saat penelitian ini berlangsung, berita yang paling akhir dipublikasikan
adalah berita yang diunggah pada tanggal 5 Desember 2008.
Pada Gambar 31 dan 32, dapat dilihat bahwa Provinsi Maluku memiliki
rata-rata langkah tertinggi, yaitu 6 langkah. Provinsi Kalimantan Tengah memiliki
rata-rata waktu tertinggi, yaitu 100 detik. Jumlah waktu yang tinggi pada situs
web Provinsi Kalimantan Tengah diduga karena situs web tersebut memiliki area
latest news (berita terbaru) di bagian tengah, meskipun waktu mengunggahnya
101
147
115
172
102
130
182
133
78 93 84
194
126
189
217
150
95
0
50
100
150
200
250 Ju
mla
h W
aktu
(D
eti
k)
Nama Provinsi
69
tidak berurutan dan sulit untuk membuka tautan berita tersebut karena area
tersebut bergerak ke atas dan ke bawah menggunakan animasi. Selain itu, situs
web Provinsi Kalimantan Tengah memiliki menu Berita di bagian kiri yang berisi
berita-berita terbaru, namun karena letaknya di samping dan ukuran hurufnya
kecil, sehingga responden diduga sulit untuk menemukan berita terbaru yang
dipublikasikan. Berdasarkan hasil pengamatan, rata-rata jumlah langkah pada
skenario pencarian berita yang terakhir dipublikasikan untuk seluruh provinsi
adalah 2 langkah, sedangkan untuk jumlah waktu rata-ratanya adalah 29 detik.
Gambar 31 Rata-rata jumlah langkah pencarian berita atau artikel yang terakhir
dipublikasikan.
Gambar 32 Rata-rata jumlah waktu pencarian berita atau artikel yang terakhir
dipublikasikan.
1
2
3
1
2
4
2
1
2 2 2
3
2
1
2 2 2
1
3
2
1
5
4
2 2 2
4 4
6
3 3
0
1
2
3
4
5
6
7
AC
EH
SUM
UT
SUM
BA
R
RIA
U
JAM
BI
SUM
SEL
LAM
PU
NG
BEN
GK
ULU
K
EPR
I
KEP
BA
BEL
BA
NTE
N
JAK
AR
TA
JAB
AR
JATE
NG
YOG
YA
JATI
M
BA
LI
NTB
NTT
KA
LBA
R
KA
LTIM
K
ALT
ENG
KA
LSEL
SULS
EL
SULT
ENG
SULB
AR
GO
RO
NTA
LO
MA
LUK
U
MA
LUT
PA
PU
A
PA
PU
A B
AR
AT
Jum
lah
Lan
gkah
Nama Provinsi
10 25
55
28 16
42 35
41
21 20 13
27 23 11 16
23 17 21 29
11 16
100
36 21
32 20
52 52 49
21 16
0
20
40
60
80
100
120
AC
EH
SUM
UT
SUM
BA
R
RIA
U
JAM
BI
SUM
SEL
LAM
PU
NG
B
ENG
KU
LU
KEP
RI
KEP
BA
BEL
B
AN
TEN
JA
KA
RTA
JA
BA
R
JATE
NG
YO
GYA
JA
TIM
B
ALI
N
TB
NTT
K
ALB
AR
K
ALT
IM
KA
LTEN
G
KA
LSEL
SU
LSEL
SU
LTEN
G
SULB
AR
G
OR
ON
TALO
M
ALU
KU
M
ALU
T P
AP
UA
P
AP
UA
BA
RA
T
Jum
lah
Wak
tu (
De
tik)
Nama Provinsi
70
Pada penelitian ini, diberikan predikat kepada situs web provinsi
berdasarkan berita atau artikel yang diunggah oleh pemerintah provinsi pada saat
diakses sejak Mei – Juni 2012. Situs web yang mengunggah beritanya 1 – 3 hari
diberi predikat Sangat Uptodate, 4 – 7 hari diberi predikat Uptodate, 8 – 14 hari
diberi predikat Cukup Uptodate, 14 – 30 hari diberi predikat Kurang Uptodate
dan >30 hari diberi predikat Tidak Uptodate. Predikat situs web menurut kebaruan
berita atau artikelnya disajikan pada Tabel 5.
Tabel 5 Predikat provinsi berdasarkan kebaruan berita atau artikel
No Nama Provinsi
Predikat Berdasarkan Kebaruan Berita
Responden
1
Responden
2
Responden
3
1. Nanggroe Aceh Darussalam 4 4 4
2. Sumatera Barat 4 4 4
3. Riau 4 4 4
4. Jambi 4 4 4
5. Kepulauan Bangka Belitung 4 4 4
6. DKI Jakarta 4 4 4
7. Jawa Barat 4 4 4
8. Banten 4 4 4
9. DI Yogyakarta 4 4 4
10. Bali 4 4 4
11. Nusa Tenggara Timur 4 4 4
12. Kalimantan Barat 4 4 4
13. Sulawesi Selatan 4 4 4
14. Sulawesi Barat 4 4 4
15. Papua 4 4 4
16. Jawa Timur 4 3 4
17. Nusa Tenggara Barat 3 4 3
18. Sumatera Selatan 4 2 3
19. Jawa Tengah 1 4 4
20. Kalimantan Timur 4 1 4
21. Sumatera Utara 4 0 4
22. Kepulauan Riau 3 1 4
23. Maluku 3 1 4
24. Gorontalo 3 1 3
25. Bengkulu 1 4 1
26. Kalimantan Tengah 1 4 1
27. Kalimantan Selatan 1 1 4
28. Papua Barat 2 2 1
29. Sulawesi Tengah 1 1 1
30. Lampung 1 1 0
31. Maluku Utara 0 0 0
Keterangan:
71
0 = Tidak Uptodate (> 30 hari)
1 = Kurang Uptodate (14 – 30 hari)
2 = Cukup Uptodate (8 – 14 hari)
3 = Uptodate (4 – 7 hari)
4 = Sangat Uptodate (1 – 3 hari)
Berdasarkan Tabel 5, dapat disimpulkan hanya 15 situs web provinsi
(48.4%) yang tergolong Sangat Uptodate dan ditemukan oleh seluruh responden
yang mengevaluasi situs web tersebut. Adapun sebanyak 51.6% situs web
provinsi memiliki keragaman dalam hal predikatnya dikarenakan perbedaan hasil
dari masing-masing responden. Hal ini diduga karena situs web tidak meng-
update beritanya setiap hari atau situs web mengelompokan beritanya menjadi
beberapa kategori sehingga responden tidak dapat menemukan berita yang paling
akhir di-update.
Parameter Kesuksesan Tugas
Evaluasi usability pada penelitian ini menggunakan skenario dengan
melibatkan 13 konten yang sebagian besar ditetapkan sebagai konten minimal
oleh Kemkominfo (2003). Untuk mengetahui berapa jumlah konten yang dimiliki
oleh setiap provinsi yang diteliti, telah dilakukan proses observasi dengan mencari
setiap konten tersebut dalam situs web provinsi. Jumlah konten yang terdapat
pada masing-masing situs web beragam dari yang memiliki ketiga belas konten
seperti Provinsi Jawa Barat, hingga provinsi yang hanya memiliki enam konten
seperti Provinsi Bengkulu, Nusa Tenggara Barat, dan Sulawesi Selatan. Tabel 6
menunjukkan persentase kesuksesan tugas yang dimiliki oleh setiap situs web
beserta kelengkapan kontennya.
Tabel 6 Persentase kesuksesan tugas dan kelengkapan konten situs web (total 13
konten)
No. Nama Provinsi Persentase
Kesuksesan Tugas
Jumlah Konten
yang Dimiliki
1. Riau 100.0 9
2. Kepulauan Riau 100.0 7
3. Sulawesi Tengah 100.0 7
4. Papua 96.3 9
5. Papua Barat 95.2 8
6. Jawa Barat 94.9 13
7. Sumatera Selatan 94.4 7
8. Bengkulu 94.4 6
72
No. Nama Provinsi Persentase
Kesuksesan Tugas
Jumlah Konten
yang Dimiliki
9. Kalimantan Selatan 93.3 10
10. Sumatera Utara 91.7 8
11. Kalimantan Timur 91.7 12
12. DKI Jakarta 90.9 11
13. Kalimantan Barat 90.9 11
14. Aceh 90.5 7
15. Sumatera Barat 88.9 12
16. Jambi 88.9 12
17. Kepulauan Bangka Belitung 88.9 9
18. Banten 88.9 9
19. Sulawesi Selatan 88.9 6
20. Nusa Tenggara Timur 87.9 11
21. DI Yogyakarta 87.5 8
22. Bali 85.2 9
23. Lampung 84.8 11
24. Gorontalo 81.8 11
25. Jawa Tengah 81.0 7
26. Maluku 80.0 10
27. Sulawesi Barat 79.2 8
28. Nusa Tenggara Barat 77.8 6
29. Jawa Timur 76.7 10
30. Kalimantan Tengah 73.3 10
31. Maluku Utara 66.7 9
Keterangan: Diakses pada Bulan Mei – Juni 2012
Dalam melaksanakan tugas yang diberikan, tidak semua responden
berhasil menemukan konten yang dimiliki oleh situs web. Pada setiap situs web
provinsi yang dievaluasi, terdapat tiga, dua, atau satu rekaman responden yang
sukses. Oleh karena itu, untuk menghitung skor parameter kesuksesan tugas,
dilakukan perbandingan antara jumlah rekaman responden yang sukses
melaksanakan skenario dengan jumlah rekaman responden yang tidak sukses
kemudian dihasilkan persentase kesuksesan tugas. Provinsi-provinsi yang
memiliki persentase kesuksesan tugas tertinggi, yaitu 100%, adalah Riau,
Kepulauan Riau dan Sulawesi Tengah.
Parameter Waktu Respon
Pesan yang disampaikan kepada situs web provinsi merupakan
pertanyaan-pertanyaan yang cukup beragam dari mulai kegiatan sehari-hari
hingga tugas, pokok, dan fungsi (tupoksi) dari pemerintah provinsi. Apa saja
73
bentuk pertanyaan yang diajukan, diharapkan mendapat respon balik dari
pemerintah provinsi karena setiap pertanyaan merupakan bentuk kepedulian
masyarakat terhadap provinsi yang bersangkutan. Lamanya waktu respon
mengindikasikan seberapa besar perhatian dan keaktifan pemerintah provinsi
dalam melayani masyarakat yang memerlukan informasi.
Parameter waktu respon diukur dalam satuan hari sebagai tindak lanjut
dari pelaksanaan Skenario 7 dan 8 oleh responden. Parameter waktu respon
dibedakan menjadi 0 – 3 hari atau tergolong Sangat Responsif, 4 – 7 hari atau
tergolong Responsif, 8 – 14 hari atau tergolong Cukup Responsif dan lebih dari
14 hari atau tergolong Tidak Responsif. Melalui parameter ini, dapat diketahui
apakah pengelola situs web provinsi merespon aspirasi dalam bentuk pertanyaan,
saran atau kritik yang disampaikan oleh masyarakat, dalam hal ini diwakili oleh
para responden. Tabel 7 berikut ini menampilkan hasil rekapitulasi respon balik
Skenario 7, yaitu pengiriman pertanyaan ke alamat e-mail.
Tabel 7 Hasil respon balik skenario pengiriman pesan ke alamat e- mail
No. Nama Provinsi Responden
ke
Lama Respon
(hari) Predikat
1. DKI Jakarta 1 6 Responsif
3 19 Tidak Responsif
2. Jawa Barat 1 < 1 Sangat Responsif
2 < 1 Sangat Responsif
3 < 1 Sangat Responsif
3. DI Yogyakarta 3 < 1 Sangat Responsif
4. Bali 1 < 1 Sangat Responsif
3 7 Responsif
5. Kalimantan
Tengah
3 12 Cukup Responsif
Tabel 8 menyajikan hasil rekapitulasi respon balik pengiriman pesan ke
buku tamu. Berdasarkan tabel tersebut, dapat diketahui bahwa waktu pengiriman
respon balik berkisar antara kurang dari 1 (satu) hari yang diberi predikat sangat
responsif hingga 5 hari yang diberi predikat responsif.
Tabel 8 Hasil evaluasi respon balik skenario pengiriman pesan ke buku tamu
No. Nama
Provinsi
Responden
ke-
Jenis Respon Lama
Respon
(hari)
Predikat Ditampilkan Dijawab
1. Nanggroe
Aceh
Darussalam
1 √ √ 5 Responsif
74
No. Nama
Provinsi
Responden
ke-
Jenis Respon Lama
Respon
(hari)
Predikat Ditampilkan Dijawab
2. Kalimantan
Barat
1 √ √ < 1 Sangat
Responsif
2 √ - < 1 Sangat
Responsif
3 √ √ < 1 Sangat
Responsif
3. Kepulauan
Riau
1 √ - < 1 Sangat
Responsif
4. Kepulauan
Bangka
Belitung
1 √ - < 1 Sangat
Responsif
2 √ - < 1 Sangat
Responsif
3 √ - < 1 Sangat
Responsif
5. Jawa Barat 3 √ - < 1 Sangat
Responsif
6. Kalimantan
Selatan
1 √ - < 1 Sangat
Responsif
3 √ - < 1 Sangat
Responsif
Dari tabel di atas, dapat diketahui bahwa tidak semua pesan yang
dikirimkan oleh ketiga orang responden ditampilkan atau bahkan memperoleh
tanggapan dari pengelola situs web provinsi. Hal tersebut diduga karena
pertanyaan yang tidak ditampilkan atau tidak ditanggapi dianggap pertanyaan
yang tidak penting atau pihak pengelola situs hanya memilih pertanyaan yang
jawabannya berisi informasi yang penting untuk diketahui oleh pengunjung
lainnya, sehingga pertanyaan sejenis tidak perlu ditanyakan kembali di kemudian
hari. Adapun hal tersebut disinyalir tidak berlaku untuk Provinsi Kepulauan Riau
karena dari sekian banyak pesan ke buku tamu yang dikirimkan oleh responden
ataupun dari pengunjung lainnya, hanya 7 (tujuh) buah pesan yang ditampilkan
pada situs webnya.
Parameter Pihak Pemberi Respon
Pemberi respon balik pada suatu situs web bertugas untuk menjawab
pertanyaan yang ditujukan kepada pemerintah provinsi, baik pertanyaan yang
dapat dijawab secara langsung sesaat setelah pertanyaan tersebut diterima,
75
ataupun pertanyaan yang perlu dikonsultasikan ke bagian lain sehingga
membutuhkan sedikit waktu untuk menjawabnya. Pengelola situs web provinsi
dapat terdiri dari bagian Humas, Komunikasi, dan lain sebagainya. Apabila
pertanyaan dijawab oleh pejabat yang berhubungan dengan pertanyaan yang
diberikan atau minimal Kepala Seksi bidang Komunikasi dan Informasi, maka hal
tersebut merupakan nilai tambah karena pejabat setempat meluangkan waktunya
untuk merespon aspirasi masyarakat. Selain pejabat, pertanyaan yang diajukan
dapat dijawab oleh administrator situs web, web master, atau sistem penjawab
otomatis (autoresponder). Adapun administrator situs web dapat berasal dari staf
dinas/biro pemerintah provinsi bidang Humas atau Komunikasi.
Sistem penjawab otomatis atau autoresponder adalah suatu program
komputer yang dapat merekam nama dan alamat e-mail yang berada pada situs
web yang dipasangi dengan autoresponder. Autoresponder tersebut selanjutnya
dapat digunakan untuk melakukan kontak dengan pengunjung menggunakan
pesan e-mail balasan yang biasanya berupa ucapan terima kasih karena telah
mengirimkan e-mail kepada provinsi setempat. Berikut ini adalah Tabel 9 yang
menampilkan hasil rekapitulasi pihak pemberi respon balik untuk Skenario 7 atau
pengiriman pesan ke alamat e-mail.
Tabel 9 Pihak pemberi respon dan jenis respon pada pengiriman pesan ke alamat
e-mail (5 dari 27 situs web yang memiliki alamat e-mail)
No. Nama Provinsi Responden
ke-
Pihak Pemberi
Respon Jenis Respon
1. DKI Jakarta 1 Humas Provinsi Jawaban
pertanyaan
3 Humas Provinsi Jawaban
pertanyaan
2. Jawa Barat 1 (Tidak
Dicantumkan)
Jawaban
pertanyaan
2 Admin Jawaban
pertanyaan
3 (Tidak
Dicantumkan)
Jawaban
pertanyaan
3. Yogyakarta 3 Erin Mirnawati
(Pengelola e-mail)
Jawaban
pertanyaan
4. Bali 1 Admin Ucapan terima
kasih
3 (Tidak
Dicantumkan)
Jawaban
pertanyaan
5. Kalimantan 3 Herson Tamin Jawaban
76
No. Nama Provinsi Responden
ke-
Pihak Pemberi
Respon Jenis Respon
Tengah pertanyaan
Berdasarkan tabel di atas, dapat diketahui bahwa terdapat
ketidakkonsistenan dalam pencantuman pihak pemberi respon, seperti pada
Provinsi Jawa Barat dan Bali yang hanya satu kali mencantumkan kata Admin
sebagai pengirim e-mail balasan. Selain itu, Provinsi Bali diduga menggunakan
fasilitas autoresponder untuk memberikan balasan kepada alamat e-mail berupa
ucapan terima kasih, namun selanjutnya pertanyaan akan dibalas oleh
administrator dalam jangka waktu beberapa hari berikutnya.
Adapun alamat e-mail pada Provinsi Kalimantan Tengah yang beralamat
pada [email protected], tidak sesuai dengan ketentuan yang ditetapkan oleh
Kemkominfo (2003) dalam Panduan Penyelenggaraan Situs Web Pemerintah
Daerah, yaitu tidak boleh menggunakan nama pribadi karena dikhawatirkan
terdapat kemungkinan terjadinya perubahan personil pada manajemen situs web
pemerintah daerah. Provinsi lain yang juga menggunakan alamat pribadi sebagai
alamat e-mail-nya adalah Provinsi Lampung, yaitu [email protected]. Namun,
saat dilakukan update terbaru pada situs web Provinsi Lampung, alamat tersebut
sudah tidak lagi dicantumkan pada bagian bawah situs web, hal ini diduga karena
telah dilakukan perubahan susunan pengelola situs web pada Provinsi Lampung.
Berikut ini disajikan Tabel 10 yang berisi hasil rekapitulasi pihak pemberi respon
terhadap pesan ke buku tamu (Skenario 8).
Tabel 10 Pihak pemberi respon dan jenis respon pada pengiriman pesan ke buku
Tamu (6 dari 21 situs web yang memiliki buku tamu)
No Nama Provinsi Responden
ke-
Jenis Respon Pihak Pemberi Respon
Ditampilkan Dijawab Admin Autoresponder
1. Nanggroe
Aceh
Darussalam
1 √ √ √ -
2. Kalimantan
Barat
1 √ √ √ -
2 √ - √
3 √ √ √
3. Kepulauan
Riau
1 √ - - √
4. Kepulauan
Bangka
Belitung
1 √ - - √
2 √ - - √
3 √ - - √
5. Jawa Barat 3 √ - - √
77
6. Kalimantan
Selatan
1 √ - - √
3 √ - - √
Dari tabel di atas dapat dilihat bahwa hanya terdapat dua jenis pihak
pemberi respon yang diperoleh pada penelitian ini, yaitu administrator atau
operator situs web dan autoresponder. Berdasarkan hasil observasi, terdapat dua
jenis fasilitas untuk menyampaikan pesan kepada pemerintah provinsi yang
disediakan di situs web, yaitu buku tamu dan kotak saran. Fasilitas buku tamu
pada umumnya akan menampilkan komentar atau pesan yang disampaikan pada
situs web, baik langsung ditampilkan, ataupun setelah melalui proses verifikasi
dan diberikan tanggapan oleh administrator.
Adapun pesan yang disampaikan pada fasilitas kotak saran, umumnya
tidak menampilkan di situs web. Pencantuman pesan beserta tanggapannya
berguna bagi pengunjung untuk menilai keaktifan staf Dinas Komunikasi dalam
memberikan respon dan berguna pengelola situs web untuk menjadi bahan
pembuatan fasilitas FAQ (Frequently Asked Questions). Lampiran 12
menampilkan daftar nama dinas komunikasi untuk masing-masing provinsi yang
menangani hal-hal yang berkaitan dengan situs web.
Berdasarkan hasil pencarian informasi, Provinsi Sulawesi Utara juga
memiliki dinas bernama Dinas Komunikasi dan Informatika (Diskominfo), namun
provinsi ini tidak memiliki situs web resmi. Situs web pemerintah yang dimiliki
oleh Provinsi Sulawesi Utara adalah Badan Pendidikan dan Pelatihan (Bandiklat)
Provinsi Sulawesi Utara (www.bandiklat.sulutprov.go.id). Situs web Bandiklat
Provinsi Sulawesi Utara, instansi pusatnya adalah Pemerintah Provinsi Sulawesi
Utara dan subdomainnya adalah Bandiklat.
Analisis Kepuasan Responden
Questionnaire for User Interface Satisfaction (QUIS) digunakan untuk
mengukur tingkat kepuasan responden pada penelitian ini. QUIS diterbitkan oleh
University of Maryland pada tahun 1988 untuk mengukur kepuasan pengguna
terhadap suatu sistem atau situs web. Kuesioner ini berisi 27 pertanyaan dengan
skala jawaban dari 0 – 9, namun yang digunakan pada penelitian ini hanya
sebanyak 16 pertanyaan yang dianggap relevan dan tidak membingungkan bagi
78
responden. Pertanyaan-pertanyaan tersebut terbagi ke dalam beberapa bagian,
yaitu pertanyaan mengenai reaksi keseluruhan terhadap situs web, halaman web,
istilah dan informasi dalam situs web, serta kemampuan situs web.
Gambar 33 di bawah ini menyajikan informasi berupa rata-rata skor QUIS
yang dirangkum dari seluruh responden. Rata-rata skor diperoleh dengan cara
menjumlahkan rata-rata skor setiap pertanyaan yang dijawab oleh tiga orang
responden pada masing-masing provinsi. Selanjutnya hasil penjumlahan rata-rata
skor tersebut dibagi dengan angka 16 yang mewakili jumlah pertanyaan pada
kuesioner QUIS, sehingga pada akhirnya menghasilkan rata-rata skor.
Berdasarkan grafik di bawah ini dapat dilihat bahwa Provinsi Kalimantan Barat
memperoleh skor tertinggi, yaitu 7.5.
Gambar 33 Rata-rata skor questionnaire for user interface satisfaction (QUIS).
Nielsen (1993) telah membagi kelompok situs web menjadi lima level
berdasarkan performa usability-nya, yaitu Tidak Memiliki Masalah Usability
sama sekali (Level 0), Hanya Masalah Penampilan Luar (Level 1), Masalah
Usability Minor (Level 2), Masalah Usability Mayor (Level 3), dan Bencana
Usability (Level 4). Namun, pada penelitian ini, di akhir kuesioner QUIS
diberikan satu pertanyaan yang mengharuskan responden untuk menilai
permasalahan usability dari situs web yang telah dievaluasi dengan cara memilih
satu dari lima kondisi. Rata-rata skor kondisi permasalahan usability kemudian
dikorelasikan dengan rata-rata skor QUIS untuk mengetahui apakah keduanya
4.4 4.9 5.2 5.4
6.7
4.8 5.4
6.6 6.1
6.5 5.7 5.9 6.1 6.2
6.6
4.8
6.5 5.8
6.2
7.5
5.6 6.3
6.8 6.3
6.8
4.4
6.3 6.7
4.7
6.1 5.8
0.0
1.0
2.0
3.0
4.0
5.0
6.0
7.0
8.0
9.0
Ace
h
Sum
ut
Sum
bar
R
iau
Ja
mb
i Su
mse
l La
mp
un
g
Ben
gku
lu
Kep
. Ria
u
Kep
. Bab
el
Ban
ten
Ja
kart
a Ja
bar
Ja
ten
g Yo
gyak
arta
Ja
tim
B
ali
NTB
N
TT
Kal
bar
K
alti
m
Kal
ten
g K
alse
l Su
lsel
Su
lten
g Su
lbar
G
oro
nta
lo
Mal
uku
M
alu
t P
apu
a P
apu
a B
arat
Rat
a-ra
ta S
kor
QU
IS
Nama Provinsi
79
berhubungan atau tidak. Kelima kondisi permasalahan usability disesuaikan untuk
mempermudah pemahaman responden dengan penyesuaian sebagai berikut:
1. Kondisi 1: Tidak memiliki masalah usability sama sekali. Untuk kondisi
ini, skor yang diberikan adalah 5.
2. Kondisi 2: Memiliki masalah usability tingkat ringan atau hanya masalah
penampilan luar, sehingga masalah dapat diperbaiki hanya jika
pengembang situs web memiliki waktu luang. Untuk kondisi ini, skor yang
diberikan adalah 4.
3. Kondisi 3: Memiliki masalah usability tingkat sedang/minor/kurang
penting, sehingga perbaikan masalah hanya memerlukan prioritas yang
rendah saja. Untuk kondisi ini, skor yang diberikan adalah 3.
4. Kondisi 4: Memiliki masalah usability tingkat berat/mayor/penting,
sehingga penting untuk diperbaiki, sehingga memerlukan prioritas tinggi.
Untuk kondisi ini, skor yang diberikan adalah 2.
5. Kondisi 5: Masalah usability sangat berat, sehingga penting untuk
diperbaiki sebelum situs web diluncurkan. Untuk kondisi ini, skor yang
diberikan adalah 1.
Berikut ini adalah grafik yang menunjukkan perbandingan antara tingkat
permasalahan usability menurut responden, yang telah dirata-ratakan dari tiga
orang responden (Gambar 34). Berdasarkan grafik tersebut, dapat diketahui bahwa
menurut responden:
Situs web provinsi yang memiliki Skor 5 (Kondisi 1) atau tidak memiliki
permasalahan usability sebanyak 3.2 % (satu provinsi, yaitu Kalimantan
Barat).
Situs web provinsi yang memiliki Skor 4 (Kondisi 2) atau memiliki
permasalahan usability tingkat ringan sebanyak 41.9%.
Situs web provinsi yang memiliki Skor 3 (Kondisi 3) atau memiliki
permasalahan usability tingkat sedang sebanyak 45.2%.
Situs web provinsi yang memiliki Skor 2 (Kondisi 4) atau memiliki
permasalahan usability tingkat berat sebanyak 12.9%.
Tidak ada situs web yang memiliki Skor 1 (Kondisi 5) atau memiliki
permasalahan usability tingkat sangat berat.
80
Gambar 34 Rata-rata skor kondisi permasalahan usability situs web provinsi.
Hasil pengujian korelasi antara rata-rata skor Questionnaire for User
Interface Satisfaction dengan rata-rata skor kondisi permasalahan usability adalah
lemah, searah dan nyata (r = 0.400, p = 0.026) yang hasilnya dapat dilihat pada
Lampiran 13. Hal ini berarti apabila skor Questionnaire for User interface
Satisfaction tergolong tinggi, maka tidak dapat dipastikan bahwa skor kondisi
permasalahan usability-nya juga tergolong tinggi, dikarenakan sifat korelasinya
cenderung lemah.
Metode Think Out Loud
Metode Think Out Loud atau juga ada yang menyebutnya sebagai metode
Think Aloud merupakan metode yang didasarkan pada sikap tubuh dan ucapan
yang ditunjukkan oleh seorang responden pada saat melaksanakan evaluasi
usability. Sebelum melaksanakan evaluasi, responden diberi pengarahan untuk
dapat mengemukakan apa yang ada dalam pikirannya pada saat mengevaluasi
situs web dalam bentuk ucapan. Ucapan responden tersebut direkam
menggunakan mikrofon pada headset yang digunakan, sedangkan perilaku atau
ekspresi tubuh yang ditunjukkan oleh responden direkam menggunakan web
camera yang ada pada komputer jinjing. Seluruhnya tersimpan dan terintegrasi
dalam Camtasia versi 7.1 sebagai screen capture software, sehingga
menghasilkan video yang berisi gambar, suara dan aktivitas responden pada layar
monitor.
3
4
2
3
4
3
4 4 4 4 4 4 4
3
4
3 3 3
4
5
2
3
4
3
2
3 3
4
3 3 3
0
1
2
3
4
5
Ace
h
Sum
ut
Sum
bar
R
iau
Ja
mb
i Su
mse
l La
mp
un
g
Ben
gku
lu
Kep
. Ria
u
Kep
. Bab
el
Ban
ten
Ja
kart
a Ja
bar
Ja
ten
g Yo
gyak
arta
Ja
tim
B
ali
NTB
N
TT
Kal
bar
K
alti
m
Kal
ten
g K
alse
l Su
lsel
Su
lten
g Su
lbar
G
oro
nta
lo
Mal
uku
M
alu
t P
apu
a P
apu
a B
arat
Leve
l Pe
rmas
alah
an U
sab
ility
Nama Provinsi
81
Video rekaman setiap responden selanjutnya diobservasi untuk membagi
ucapan dan perilakunya menjadi ucapan atau ekspresi positif dan ucapan atau
ekspresi negatif. Kata atau frase yang berada di luar kurung merupakan perkataan
atau ucapan responden, sedangkan kata atau frase yang berada dalam tanda
kurung merupakan ekspresi atau sikap tubuh responden. Berdasarkan Lampiran
14, diketahui bahwa seluruh situs web provinsi di Indonesia mendapat reaksi
negatif yang lebih dominan jika dibandingkan dengan reaksi positif.
Analisis Hasil Evaluasi Usability
Skor yang diperoleh pada evaluasi usability berasal dari penjumlahan skor
parameter jumlah waktu, jumlah langkah, kesuksesan tugas, kelengkapan konten,
dan kepuasan responden (berdasarkan hasil evaluasi QUIS). Kelima parameter
tersebut sesuai dengan ISO 9241:11 yang menyatakan bahwa usability memiliki
tiga komponen yaitu efisiensi, efektifitas dan kepuasan penggunaan. Parameter
jumlah waktu dan jumlah langkah mewakili komponen efisiensi, parameter
kesuksesan tugas dan kelengkapan konten mewakili komponen efektivitas,
sedangkan parameter kepuasan responden mewakili komponen kepuasan
penggunaan.
Untuk memperoleh skor pada masing-masing parameter, dilakukan
normalisasi data dengan memberikan skor 1 – 10 untuk menghindari hasil bernilai
negatif seperti yang diperoleh jika menggunakan skor normalisasi 0 – 1. Proses
normalisasi data tersebut diperlukan karena kelima parameter yang digunakan
untuk menentukan skor evaluasi usability memiliki satuan dan rentang yang
berbeda-beda. Parameter jumlah waktu memiliki satuan detik, parameter jumlah
langkah memiliki satuan langkah, parameter kesuksesan tugas memiliki satuan
persen (%), parameter kelengkapan konten memiliki satuan konten, dan parameter
kepuasan responden memiliki satuan poin. Metode normalisasi data yang
digunakan adalah metode Min-Max Normalization.
Penetapan skor pada penelitian ini menggunakan pendekatan skor terbalik,
dimana skor terendah dimiliki oleh situs web yang terbaik menurut hasil evaluasi
usability. Pada parameter jumlah langkah dan jumlah waktu, nilainya diurutkan
dari provinsi yang memiliki nilai terkecil hingga terbesar. Selanjutnya diberikan
82
skor 0 – 1, dimana nilai terkecil diberi skor terkecil pula dikarenakan provinsi
yang memiliki efektivitas tinggi dalam mencari informasi adalah provinsi yang
memiliki jumlah langkah dan jumlah waktu terendah. Adapun untuk parameter
kesuksesan tugas, kelengkapan konten dan kepuasan responden, nilainya
diurutkan dari provinsi yang memiliki nilai terbesar hingga terkecil. Selanjutnya
diberikan skor 1 – 10, dimana nilai terbesar diberi skor terkecil dikarenakan
provinsi yang baik adalah provinsi yang memiliki persentase kesuksesan tugas
yang tinggi, konten yang lengkap, dan kepuasan responden yang tinggi.
Parameter kesuksesan tugas memiliki nilai dalam bentuk presentase yang
berasal dari tugas yang secara nyata sukses dijalankan oleh tiga orang responden
dibagi dengan jumlah maksimal tugas (berasal dari jumlah konten dikali dengan
angka tiga sebagai representasi dari tiga data rekaman). Persentase tertinggi untuk
parameter kesuksesan tugas, yaitu 100%, dimiliki oleh Provinsi Riau, Kepulauan
Riau dan Sulawesi Tengah. Skor normalisasi parameter jumlah langkah, jumlah
waktu dan kesuksesan tugas disajikan secara berturut-turut pada Lampiran 15 –
17, dimana semakin kecil skor normalisasi yang diperoleh, maka situs web
tersebut akan semakin baik.
Untuk parameter kepuasan responden, nilainya diperoleh dari penjumlahan
rata-rata skor pada kuesioner QUIS untuk setiap provinsi. Setiap provinsi yang
dievaluasi memiliki tiga nilai untuk setiap item pertanyaan. Ketiga nilai tersebut
selanjutnya dirata-ratakan dan dijumlahkan untuk memperoleh nilai akhir. Nilai
akhir tertinggi untuk parameter kepuasan responden berdasarkan QUIS dimiliki
oleh Provinsi Kalimantan Barat (skor 119.3).
Untuk parameter kelengkapan konten, situs web diberi nilai berdasarkan
jumlah informasi atau konten yang dimiliki dari 13 konten yang dicari pada
evaluasi usability, sehingga nilai tertingginya adalah 13. Nilai tertinggi dimiliki
oleh Provinsi Jawa Barat yang memiliki seluruh konten yang dijadikan sebagai
skenario evaluasi. Skor normalisasi parameter kepuasan responden, kelengkapan
konten ditampilkan pada Lampiran 18 dan 19. Hasil skor normalisasi dari seluruh
parameter diakumulasi untuk menghasilkan skor yang disajikan pada Lampiran
20. Adapun Tabel 11 menampilkan skor pada masing-masing situs web provinsi.
83
Tabel 11 Skor evaluasi usability
No. Nama Provinsi Skor
1. Jambi 10.32
2. Kalimantan Barat 13.64
3. Jawa Barat 13.74
4. Papua Barat 14.72
5. Papua 15.78
6. Riau 17.38
7. Lampung 18.27
8. Kalimantan Timur 18.68
9. Bali 19.20
10. Gorontalo 19.24
11. DI Yogyakarta 19.71
12. DKI Jakarta 20.11
13. Sulawesi Tengah 20.21
14. Kalimantan Selatan 20.65
15. Nusa Tenggara Timur 20.76
16. Banten 21.78
17. Kepulauan Bangka Belitung 21.97
18. Maluku 22.17
19. Sumatera Utara 23.88
20. Bengkulu 24.38
21. Jawa Timur 25.60
22. Sumatera Selatan 25.91
23. Sulawesi Selatan 26.40
24. Kepulauan Riau 26.59
25. Jawa Tengah 26.72
26. Kalimantan Tengah 28.74
27. Sulawesi Barat 30.13
28. Sumatera Barat 31.44
29. Nanggroe Aceh Darussalam 31.88
30. Maluku Utara 34.36
31. Nusa Tenggara Barat 34.38
Dalam penilaian evaluasi usability, skor terkecil merupakan skor terbaik
dari seluruh situs web provinsi, sedangkan skor terbesar merupakan skor terburuk.
Hal ini dikarenakan sebagaimana yang telah disebutkan sebelumnya bahwa
penelitian ini menggunakan pendekatan skor terbalik. Dari tabel di atas dapat
diketahui bahwa situs web Provinsi Jambi merupakan situs web dengan performa
usability tertinggi, sedangkan situs web Provinsi Nusa Tenggara Barat merupakan
situs web dengan performa usability terendah.
Suharko (2009) telah melakukan evaluasi usability terhadap provinsi, kota
dan kabupaten di Indonesia menggunakan tool bernama Bobby dan LIFT
84
Machine. Penelitian tersebut memberi peringkat kepada situs-situs web dalam
empat kategori, yaitu kategori nasional yang peringkat teratasnya diduduki oleh
Provinsi Jawa Tengah, kategori provinsi yang diduduki oleh Provinsi Jawa
Tengah, kategori kota yang diduduki oleh Kota Bandung, dan kategori kabupaten
yang diduduki oleh Kabupaten Gresik. Parameter yang digunakan oleh LIFT
Machine adalah efektivitas, kemudahan navigasi, kemudahan pencarian, kepuasan
dan efisiensi pengunjung.
Apabila parameter yang digunakan dalam penelitian ini dan penelitian
Suharko dibandingkan, maka dapat dilihat bahwa parameter efisiensi, efektifitas,
dan kepuasan merupakan parameter yang sama-sama digunakan. Pada penelitian
ini dimensi efisiensi diwakili oleh jumlah langkah dan jumlah waktu, dimensi
efektifitas diwakili oleh kesuksesan tugas dan kelengkapan konten, sedangkan
dimensi kepuasan diwakili oleh parameter kepuasan responden.
Rekomendasi Peningkatan Performa Usability
Untuk meningkatkan efisiensi pencarian informasi yang dapat pula
meningkatkan performa usability, direkomendasikan untuk:
Mengurangi jumlah submenu yang harus di-klik untuk mencapai informasi
tertentu: Pengurangan jumlah submenu pada suatu situs web dapat
dikurangi dengan menghilangkan tautan-tautan seperti “baca selanjutnya”,
“selengkapnya”, “read more” dan lain-lain pada saat pengunjung telah
meng-klik judul submenu yang akan dibacanya.
Menggunakan bentuk dropdown untuk membuka menu utama situs web
lebih direkomendasikan daripada menu yang harus di-klik terlebih dahulu:
Bentuk dropdown merupakan salah satu bentuk menu situs web yang
dapat menampilkan submenu-submenu di dalamnya hanya dengan
menyorot atau mengarahkan pointer di atas menu dropdown tersebut.
Bentuk tersebut lebih efisien daripada bentuk menu yang harus di-klik
terlebih dahulu dikarenakan tidak perlu menekan tombol kembali apabila
submenu yang terdapat di dalamnya bukan termasuk informasi yang dicari
oleh pengunjung situs web.
85
Fasilitas mesin pencari yang efektif dan tepat sasaran sangat diperlukan di
setiap halaman situs web: Fasilitas mesin pencari yang disediakan di setiap
halaman situs web sangat berguna agar tidak perlu kembali ke halaman
muka, untuk dapat mempercepat pencarian informasi yang dibutuhkan
oleh pengunjung.
Menyediakan peta situs (sitemap) dan fitur petunjuk lokasi pengunjung:
Peta situs berguna untuk memperlihatkan submenu-submenu apa saja yang
dimiliki oleh suatu situs web dalam satu halaman web, sehingga
pengunjung dapat langsung menuju ke submenu yang diinginkan dalam
sekali klik. Petunjuk lokasi, seperti “Anda Berada di …” atau “You are
here” bermanfaat bagi pengunjung untuk memberitahukan dimana lokasi
mereka berada, sehingga pengunjung dapat menentukan dengan mudah ke
mana selanjutnya mereka akan bergerak mencari informasi.
Memberikan penamaan menu, submenu, tautan dan lain-lain yang benar-
benar mencerminkan isi di dalamnya: Pemberian nama menu, submenu,
dan tautan yang sesuai dengan isinya akan dapat mempermudah
pengunjung untuk memperoleh informasi yang diperlukan secara efektif
dan efisien.
Simpulan dan Saran
Simpulan
Simpulan yang dapat diambil pada penelitian ini antara lain:
Framework (kerangka kerja) yang dihasilkan ialah untuk penilaian hasil
rekaman responden dapat digunakan enam parameter jumlah waktu, jumlah
langkah, kesuksesan tugas, waktu respon balik, pihak pemberi respon, dan
kepuasan responden. Selain itu, hasil evaluasi usability situs web provinsi di
Indonesia ditentukan oleh lima parameter, yaitu jumlah langkah, jumlah
waktu, kesuksesan tugas, kepuasan responden, dan kelengkapan konten.
Situs web Provinsi Jambi memiliki performa usability tertinggi dengan skor
terkecil dari seluruh situs web provinsi yang dievaluasi, yaitu 10.32,
sedangkan situs web Provinsi Nusa Tenggara Barat memiliki performa
usability terendah dengan skor terbesar, yaitu 34.38.
86
Berdasarkan metode think out loud yang telah dilaksanakan, seluruh situs web
provinsi di Indonesia memiliki hasil lebih dominan reaksi negatif daripada
reaksi positif.
Saran
Hal-hal yang dapat disarankan berdasarkan hasil penelitian ini di
antaranya:
Evaluasi usability berikutnya dapat menggunakan metode yang lebih canggih,
yaitu metode eye tracking. Metode ini merupakan evaluasi antarmuka situs
web berdasarkan data pergerakan mata responden dalam mencari informasi
yang dibutuhkan menggunakan suatu alat untuk menangkap pergerakan mata.
Evaluasi usability berikutnya dapat melibatkan jumlah responden yang lebih
banyak dan lebih heterogen, yaitu berasal dari latar belakang yang berbeda-
beda dari segi pekerjaan, pendidikan, usia, asal daerah, tingkat kemahiran
dalam menggunakan komputer atau web dan lain-lain.
Evaluasi usability berikutnya juga dapat diterapkan pada layanan perizinan
yang disediakan oleh masing-masing daerah sebagai perwujudan dari tingkat
e-Government ketiga yaitu Tingkat Pemantapan.
Pelaksanaan metode think out loud pada penelitian selanjutnya dapat
menggunakan pemeringkatan jenis reaksi responden yang terdiri atas reaksi
berbentuk ucapan atau sikap tubuh. Pemeringkatan tersebut menggunakan
metode kodifikasi dari setiap reaksi yang diterima dan dapat membedakan
antara situs web yang paling tidak memuaskan hingga paling memuaskan.
87
PENGEMBANGAN FRAMEWORK DAN EVALUASI
ACCESSIBILITY PADA SITUS-SITUS WEB E-GOVERNMENT
PROVINSI DI INDONESIA
Abstract
From 33 provinces in Indonesia, only 31 provinces have active websites,
excluding Sulawesi Utara and Sulawesi Tenggara. In this research, the
accessibility evaluation was held on 31 provinces websites by using Web Content
Accessibility Guidelines (WCAG) 2.0 standards, created by World Wide Web
Consortium (W3C) in 2008. AChecker tool used to perform the accessibility
evaluation for all websites. The results show that in term of accessibility, Jawa
Barat and DI Yogyakarta have the highest rank, Sumatera Utara and Sumatera
Barat have the lowest rank.
Key Words: accessibility, province websites, WCAG 2.0, W3C, AChecker tool
Pendahuluan
Istilah accessibility seringkali disamakan dengan usability dimana kedua
istilah tersebut sama-sama mengacu pada kinerja antarmuka perangkat lunak atau
situs web. Menurut Ma dan Zaphiris (2003), accessibility merupakan sebuah
himpunan bagian dari usability, di mana accessibility sendiri berarti merancang
suatu antarmuka yang tidak hanya efektif, efisien, dan mencapai kepuasan
pengguna, tetapi juga mencakup lebih banyak orang pada berbagai situasi. Di lain
pihak, Krug (2006) berpendapat bahwa suatu situs web tidak dapat disebut
sebagai situs web yang mudah digunakan (usable) jika tidak mudah diakses
(accessible).
Tujuan penelitian ini ialah melakukan analisis accessibility menggunakan
standar Web Content Accessibility Guidelines (WCAG) 2.0 pada situs web
pemerintah provinsi di Indonesia. Hasil dari evaluasi accessibility adalah skor
yang dikorelasikan dengan skor evaluasi usability dari penelitian sebelumnya.
Metode Penelitian
Penelitian ini menggunakan framework (kerangka kerja) yang diterapkan
pada evaluasi accessibility situs web provinsi lebih ditekankan terhadap analisis
88
laporan hasil evaluasi menggunakan alat pengukur accessibility berdasarkan
standar internasional. Proses evaluasi accessibility situs web pemerintah provinsi
di Indonesia menggunakan parameter penilaian yang dikeluarkan oleh World
Wide Web Consortium (2008), yaitu Web Content Accessibility Guidelines
(WCAG) 2.0. Standar WCAG 2.0 merupakan kumpulan panduan yang meliputi
rekomendasi-rekomendasi untuk dapat membuat konten situs web lebih mudah
diakses oleh pengguna secara luas.
Standar WCAG 2.0 memiliki 57 success criteria, berbeda dengan versi
pendahulunya yaitu WCAG 1.0 yang memiliki 65 success criteria. Standar
WCAG 2.0 juga terbagi menjadi tiga level, yaitu level A, AA dan AAA. Level A
terdiri dari 25 success criteria, level AA terdiri dari 12 success criteria, dan level
AAA terdiri dari 20 success criteria. Web Content Accessibility Guideline 2.0
memiliki 4 prinsip dan 12 panduan, yaitu:
1. Prinsip Perceivable
Prinsip ini memiliki arti bahwa setiap konten informasi dan antarmuka
pengguna harus dapat dipresentasikan kepada pengguna dengan cara-cara
yang dapat mereka kenal dan rasakan. Prinsip perceivable memiliki
panduan sebagai berikut:
1) Alternatif teks, yaitu menyediakan alternatif teks untuk konten
Non-teks,
2) Media berbasis waktu, yaitu menyediakan alternatif untuk media
berbasis waktu,
3) Mudah beradaptasi, yaitu menghasilkan konten yang dapat
disajikan dalam berbagai cara (sebagai contoh tampilan yang lebih
sederhana) tanpa menghilangkan informasi atau struktur, dan
4) Mudah dibedakan, yaitu memudahkan pengguna untuk melihat dan
mendengar konten termasuk memisahkan latar muka dari latar
belakang.
2. Prinsip Operable
Prinsip ini memiliki arti bahwa setiap komponen antarmuka pengguna dan
navigasinya harus dapat dioperasikan dengan mudah oleh pengguna.
Prinsip operable mempunyai panduan sebagai berikut:
89
1) Keyboard accessible, yaitu mengupayakan agar seluruh fungsi
tersedia melalui keyboard,
2) Waktu yang cukup, yaitu menyediakan cukup waktu bagi pengguna
untuk membaca dan menggunakan konten,
3) Seizure, yaitu tidak merancang konten menggunakan cara yang
dapat mengakibatkan seizures, dan
4) Mudah dinavigasi: Menyediakan cara yang membantu pengguna
menavigasi, menemukan konten, dan menemukan dimana mereka
berada.
3. Prinsip Understandable
Prinsip ini memiliki arti bahwa setiap antarmuka pengguna dapat
dimengerti dengan mudah oleh para pengguna. Prinsip understandable
memiliki panduan sebagai berikut:
1) Mudah dibaca, yaitu mengupayakan agar konten lebih mudah
dibaca dan dimengerti,
2) Mudah diprediksi, yaitu mengupayakan agar halaman-halaman
situs web muncul dan beroperasi dengan cara-cara yang mudah
diprediksi, dan
3) Asistensi input, yaitu membantu pengguna dalam menghindari dan
mengoreksi kesalahan.
4. Prinsip Robust
Prinsip ini memiliki arti bahwa konten situs web harus cukup tahan
sehingga dapat diinterpretasikan dengan reliable dalam suatu keragaman
yang luas kepada agen pengguna, termasuk teknologi bantuan. Prinsip
robust memiliki satu panduan, yaitu Kompatibel atau memaksimalkan
kompatibilitas dengan agen pengguna terkini dan yang akan datang,
termasuk teknologi bantuan.
Penelitian ini menggunakan suatu alat atau tool untuk mengevaluasi situs
web pemerintah provinsi dalam hal accessibility, yaitu AChecker yang dapat
digunakan secara online dengan mengakses alamat URL
http://achecker.ca/checker/index.php, yang disebut dengan Public AChecker. Tool
tersebut juga dapat diunduh aplikasinya yang tersedia secara open source dan
90
dapat digunakan untuk membuat versi AChecker sendiri sesuai kebutuhan
pengguna. Tool tersebut digunakan pada penelitian ini karena beberapa alasan
berikut:
a. Memiliki cukup banyak jenis panduan seperti Web Content Accessibility
Guidelines (WCAG) 1.0 (standar Internasional), WCAG 2.0 (standar
Internasional), BITV 1.0 (standar Jerman), Section 508 (standar Amerika
Serikat) dan Stanca Act (standar Italia). Adapun panduan WCAG 2.0
tersebut dibutuhkan dalam penelitian ini dan merupakan panduan yang
masih jarang dimiliki oleh tool sejenis lainnya.
b. Menghasilkan laporan dalam bentuk PDF, EARL, CSV, dan HTML yang
dapat dipilih sesuai kebutuhan dokumentasi. Penelitian ini memerlukan
laporan dalam bentuk PDF dikarenakan dapat disimpan dan digunakan
kapanpun jika dibutuhkan.
Hasil evaluasi accessibility menggunakan AChecker menghasilkan laporan
dalam bentuk PDF yang memaparkan baris dan kolom source code situs web
provinsi yang memiliki masalah pengaksesan. Pemberian skor yang dilakukan
ialah memberikan skor 1, 3 atau 5 untuk setiap success criteria (kriteria
kesuksesan) yang berhasil dipenuhi oleh situs web. Untuk memperoleh skor,
dilakukan penjumlahan skor terhadap success criteria pada Level AAA, AA dan
A pada masing-masing situs web provinsi.
Dalam hal pemberian skor, success criteria pada Level AAA yang
dipenuhi oleh situs web provinsi dikalikan dengan angka 5 dikarenakan
prioritasnya yang paling tinggi dan kriterianya paling sulit untuk dipenuhi,
success criteria pada Level AA dikalikan dengan angka 3 dikarenakan
prioritasnya pada tingkat menengah, sedangkan success criteria pada Level A
dikalikan dengan angka 1 dikarenakan prioritasnya yang paling rendah dan
kriterianya cukup mudah dipenuhi. Ketiga nilai tersebut selanjutnya
diakumulasikan untuk memperoleh skor evaluasi accessibility.
91
Bahan dan Alat
Perangkat lunak dan tool yang digunakan pada evaluasi accessibility ialah
AChecker Tool dan Microsoft Office 2007 untuk mengolah data dan
mempresentasikan hasil. Adapun perangkat keras yang digunakan antara lain
komputer jinjing yang dilengkapi modem sebagai penyedia jaringan Internet.
Hasil dan Pembahasan
Pengembangan Framework untuk Evaluasi Accessibility
Framework (kerangka kerja) yang diterapkan pada evaluasi accessibility
situs web provinsi lebih ditekankan terhadap analisis laporan hasil evaluasi
menggunakan alat pengukur accessibility berdasarkan standar internasional.
Sasaran dari peningkatan kinerja accessibility situs web adalah masyarakat
dengan keterbatasan fisik atau different abilities (diffable). Namun demikian,
penelitian ini mengambil objek situs web pemerintah provinsi yang setelah
dilakukan proses observasi sejak bulan Agustus 2011 hingga Februari 2012 belum
seluruhnya memiliki fasilitas untuk masyarakat dengan keterbatasan fisik. Salah
satu contoh situs web yang memiliki fasilitas accessibility adalah situs web
Provinsi Gorontalo yang memiliki fasilitas untuk memperbesar atau memperkecil
ukuran huruf pada situs web hanya dengan mengklik satu tombol yang terletak
pada pojok kanan atas (Gambar 35).
Gambar 35 Fasilitas memperbesar atau memperkecil ukuran huruf situs web
Provinsi Gorontalo.
Alat pengukur accessibility lebih dipilih daripada mengobservasi para
pengguna dengan keterbatasan fisik (misalkan penderita tuna netra, penderita
mata rabun, orang lanjut usia, dan lain-lain) dikarenakan standar internasional
yang digunakan, yaitu Web Content Accessibility Guidelines (WCAG) 2.0,
memiliki banyak kriteria kesuksesan yang perlu diujikan. Dengan
mengembangkan kuesioner yang memiliki banyak item penilaian, diduga akan
92
menyulitkan responden dengan keterbatasan fisik serta membutuhkan waktu yang
cukup lama.
Dalam menganalisis hasil laporan alat ukur accessibility, diperlukan
kerangka kerja yang dijadikan sebagai acuan. Dikarenakan standar yang
digunakan adalah standar internasional, maka diprediksi terdapat beberapa kriteria
penilaian yang tidak diaplikasikan oleh situs web provinsi yang diteliti. Oleh
karena itu, perlu ditampilkan kriteria mana saja yang diaplikasikan pada sebagian
besar situs web, baik secara sukses ataupun tidak. Kriteria yang sukses diberi skor
0 sedangkan yang tidak sukses diberikan skor berupa angka. Hal ini dikarenakan
standar WCAG 2.0 memiliki tingkat permasalahan yang berbeda-beda, sehingga
pemberian skor angka dimaksudkan untuk membedakan tingkatan tersebut. Selain
menampilkan kriteria penilaian accessibility, pada penelitian ini juga ditampilkan
jumlah permasalahan yang dialami oleh setiap situs web provinsi untuk kemudian
dibandingkan satu sama lain.
Evaluasi Accessibility
Tool yang digunakan pada penelitian ini untuk mengevaluasi accessibility
adalah AChecker. AChecker tool dapat diakses secara online dan open source,
serta menghasilkan laporan dalam bentuk PDF (Gambar 36). Laporan tersebut
berisi baris dan kolom source code situs web yang memiliki masalah pada success
criteria Level A, AA dan AAA pada Web Content Accessibility Guideline
(WCAG) 2.0. Laporan tersebut selanjutnya dianalisis untuk memperoleh skor
evaluasi accessibility.
93
Gambar 36 Antarmuka AChecker tool.
Pemberian skor untuk masing-masing provinsi didasarkan pada level
success criteria yang dipenuhi oleh situs web. Situs web yang memenuhi success
criteria level A diberi skor 1, level AA diberi skor 3, level AAA diberi skor 5.
Skor yang diperoleh dari penjumlahan skor level A – AAA, kemudian diurutkan
dengan skor terkecil berada di peringkat teratas dan skor terbesar berada di
peringkat terbawah. Berikut ini disajikan Tabel 12 yang menampilkan skor
masing-masing provinsi yang dievaluasi, diurutkan berdasarkan skor tertinggi
hingga skor terendah. Nilai minimum yang mungkin ada pada evaluasi
accessibility adalah 0, sedangkan nilai maksimumnya yang mungkin dicapai
adalah 156 dan berasal dari penjumlahan skor Level A – AAA jika 57 success
criteria terpenuhi. Berdasarkan hasil evaluasi accessibility, Provinsi Jawa Timur
dan DI Yoyakarta memiliki skor tertinggi (skor 15) dan memenuhi 9 dari 57
success criteria, sedangkan Provinsi Sumatera Utara dan Sumatera Barat memiliki
skor accessibility terendah (skor 0) dengan sama sekali tidak memenuhi seluruh
success criteria pada standar WCAG 2.0.
94
Tabel 12 Skor evaluasi accessibility
No. Nama Provinsi
Skor
Level A
(Skor x 1)
Skor
Level AA
(Skor x 3)
Skor Level
AAA
(Skor x 5)
Skor
1. Jawa Timur 7 3 5 15
2. DI Yogyakarta 7 3 5 15
3. Nusa Tenggara Timur 6 3 5 14
4. Gorontalo 3 3 5 11
5. Bali 2 3 5 10
6. Banten 3 0 5 8
7. Kalimantan Selatan 5 3 0 8
8. Maluku 3 0 5 8
9. Lampung 6 0 0 6
10. Kepulauan Bangka
Belitung 6 0 0 6
11. Kepulauan Riau 1 0 5 6
12. Jawa Barat 1 0 5 6
13. Sulawesi Selatan 1 0 5 6
14. Papua 3 3 0 6
15. Bengkulu 2 3 0 5
16. Jawa Tengah 5 0 0 5
17. Kalimantan Timur 5 0 0 5
18. Sulawesi Tengah 5 0 0 5
19. Kalimantan Barat 4 0 0 4
20. Maluku Utara 4 0 0 4
21. Riau 3 0 0 3
22. Jambi 3 0 0 3
23. DKI Jakarta 3 0 0 3
24. Nusa Tenggara Barat 3 0 0 3
25. Papua Barat 3 0 0 3
26. Sulawesi Barat 2 0 0 2
27. Nanggroe Aceh
Darussalam 1 0 0 1
28. Sumatera Selatan 1 0 0 1
29. Kalimantan Tengah 1 0 0 1
30. Sumatera Utara 0 0 0 0
31. Sumatera Barat 0 0 0 0
Keterangan:
Skor Level A = Dikalikan dengan 1
Skor Level AA = Dikalikan dengan 3
Skor Level AAA = Dikalikan dengan 5
Penilaian pada tabel di atas dilakukan dengan memperhatikan success
criteria yang dapat dipenuhi oleh masing-masing situs web pada level A, AA dan
AAA. Success criteria pada level A merupakan kriteria yang harus dipenuhi oleh
pengembang situs web. Jika tidak terpenuhi, maka satu atau beberapa kelompok
95
masyarakat tidak mungkin mengakses informasi dokumen, dan pemenuhan
kriteria tersebut merupakan persyaratan dasar bagi beberapa kelompok
masyarakat untuk dapat menggunakan situs web. Adapun kriteria pada level AA
adalah kriteria yang sebaiknya dipenuhi oleh pengembang situs web, dan
pemenuhan kriteria tersebut dapat menghilangkan rintangan signifikan untuk
mengakses situs web. Kriteria level AAA adalah kriteria yang boleh dipenuhi oleh
para pengembang situs web, di mana pemenuhan kriteria tersebut dapat
meningkatkan akses terhadap situs web. Tabel 13 menampilkan 10 success
criteria yang ditampilkan pada AChecker Tool.
Tabel 13 Success criteria situs-situs web provinsi di Indonesia yang ditampilkan
pada AChecker tool
No. Poin Success Criteria Level Prioritas
1. 1.1.1 Konten yang bukan teks memiliki
alternatif teks yang melayani
tujuan sejenis.
A Perceivable
2. 1.3.1 Informasi, struktur, dan hubungan
disampaikan melalui presentasi
yang dapat ditentukan secara
programatis atau tersedia dalam
bentuk teks.
A Perceivable
3. 1.4.4 Kecuali untuk captions dan
gambar dari teks, teks dapat
diperbesar atau diperkecil tanpa
teknologi bantuan sampai 200%
tanpa kehilangan konten atau
fungsi.
AA Perceivable
4. 1.4.6 Presentasi visual pada teks dan
gambar teks memiliki rasio
kontras minimal 7:1.
AAA Perceivable
5. 2.1.1 Seluruh fungsi pada konten dapat
dioperasikan menggunakan
antarmuka keyboard.
A Operable
6. 2.2.2 Untuk menggerakkan,
mengedipkan, menggulung, atau
meng-update informasi secara
otomatis, tersedia opsi untuk
menghentikan sementara,
menghentikan total, atau
menyembunyikan pergerakan.
A Operable
96
No. Poin Success Criteria Level Prioritas
7. 2.4.4 Tujuan dari setiap tautan dapat
ditentukan dari teks pada tautan
itu sendiri atau dari teks tautan
bersama dengan konteks tautan
yang ditentukan secara
programatis.
A Operable
8. 3.1.1 Bahasa manusia yang tersedia
(default) untuk setiap halaman
web dapat ditentukan secara
programatis.
A Understandable
9. 3.3.2 Tersedia label atau instruksi pada
saat konten membutuhkan input
pengguna.
A Understandable
10. 4.1.1 Elemen konten memiliki penanda
mulai dan akhir yang lengkap,
elemen dikelompokan menurut
spesifikasinya, elemen tidak
mengandung sifat yang
terduplikasi, dan seluruh ID-nya
unik.
A Robust
AChecker tool menghasilkan laporan dalam bentuk PDF yang memuat
baris dan kolom source code situs web provinsi yang memiliki masalah
accessibility. Jumlah masalah accessibility untuk masing-masing poin di atas pada
setiap situs web provinsi ditampilkan pada Lampiran 21. Provinsi Kalimantan
Tengah memiliki masalah accessibility terbanyak pada poin 1.1.1, 2.1.1, dan
1.4.4, masing-masing dengan 200, 84, dan 222 masalah. Provinsi Sumatera Barat
memiliki masalah terbanyak untuk poin 1.3.1, 3.3.2, dan 4.1.1, yaitu 18, 11 dan 2
masalah secara berturut-turut.
Situs web yang memiliki masalah terbanyak pada poin 1.4.6 adalah situs
web Provinsi Sumatera Selatan, yaitu sebanyak 302 masalah. Situs web yang
memiliki masalah terbanyak pada poin 2.2.2 adalah situs web Provinsi Sumatera
Utara, Jawa Barat dan Papua Barat, yaitu sebanyak 2 masalah. Provinsi Sulawesi
Selatan memiliki masalah accessibility terbanyak pada poin 2.4.4, yaitu sebanyak
4 masalah. Situs web yang memiliki masalah terbanyak pada poin 3.1.1 adalah
situs web Provinsi Sumatera Utara dan Jawa Timur, yaitu sebanyak 4 masalah.
97
Hasil evaluasi accessibility menggunakan AChecker tool menunjukkan bahwa
situs web yang memiliki masalah paling banyak adalah situs web Provinsi
Kalimantan Tengah dengan 544 masalah.
Dari seluruh poin success criteria, poin yang paling banyak dipenuhi oleh
situs web provinsi adalah poin 2.2.2 (untuk menggerakkan, mengedipkan,
menggulung, atau meng-update informasi secara otomatis, tersedia opsi untuk
menghentikan sementara, menghentikan total, atau menyembunyikan pergerakan).
Poin 2.2.2 berada pada level A dan dipenuhi oleh 19 dari 31 situs web provinsi
yang dievaluasi.
Sebagai perbandingan, dilakukan evaluasi accessibility terhadap situs web
World Wide Web Consortium (W3C) dengan alamat www.w3c.org yang dapat
digolongkan sebagai situs web dengan performa accessibility tinggi. Berdasarkan
hasil evaluasi menggunakan AChecker Tool, diperoleh hasil bahwa situs web
W3C selaku penerbit standar WCAG 2.0 hanya memiliki 1 (satu) kesalahan,
yaitu pada success criteria 1.3.1 level A (informasi, struktur, dan hubungan
disampaikan melalui presentasi yang dapat ditentukan secara programatis atau
tersedia dalam bentuk teks). Adapun skor accessibility untuk situs web W3C
adalah 155 dari total skor 156 untuk level A – AAA dengan 57 success criteria
apabila seluruhnya terpenuhi.
Apabila dilakukan perbandingan antara situs-situs web provinsi di
Indonesia yang paling tinggi skornya adalah 15 dengan 11 success criteria dengan
situs web W3C, maka terlihat perbedaan yang sangat jauh dalam hal performa
accessibility dimana situs web W3C telah memenuhi 96% success criteria level
A, 100% success criteria level AA, dan 100% success criteria level AAA.
Pemenuhan success criteria pada situs-situs web provinsi di Indonesia,
ditampilkan pada Tabel 14. Pada tabel tersebut dapat dilihat bahwa sepuluh dari
31 situs web provinsi atau hanya 32% yang memenuhi satu poin success criteria
pada level AAA dari 20 poin yang tersedia, dimana level AAA merupakan level
yang paling sulit untuk dipenuhi. Untuk level AA, terdapat delapan dari 31 situs
web provinsi atau hanya 26% yang memenuhi satu poin success criteria dari 12
poin yang tersedia, sedangkan pada level A, terdapat 29 dari 31 situs web provinsi
atau 94% yang memenuhi 1 – 7 poin success criteria dari 25 poin yang tersedia.
98
Tabel 14 Jumlah success criteria yang dipenuhi pada evaluasi accessibility
No. Nama Provinsi
Jumlah Success Criteria
(Persentase per Level)
Level AAA
(20 success
criteria)
Level AA
(12 success
criteria)
Level A
(25 success
criteria)
1. Jawa Timur 1 (5%) 1 (8.3%) 7 (28%)
2. DI Yogyakarta 1 (5%) 1 (8.3%) 7 (28%)
3. Nusa Tenggara Timur 1 (5%) 1 (8.3%) 6 (24%)
4. Gorontalo 1 (5%) 1 (8.3%) 3 (12%)
5. Bali 1 (5%) 1 (8.3%) 2 (8%)
6. Banten 1 (5%) 0 3 (12%)
7. Maluku 1 (5%) 0 3 (12%)
8. Kepulauan Riau 1 (5%) 0 1 (4%)
9. Jawa Barat 1 (5%) 0 1 (4%)
10. Sulawesi Selatan 1 (5%) 0 1 (4%)
11. Kalimantan Selatan 0 1 (8.3%) 5 (20%)
12. Papua 0 1 (8.3%) 3 (12%)
13. Bengkulu 0 1 (8.3%) 2 (8%)
14. Lampung 0 0 6 (24%)
15. Kepulauan Bangka Belitung 0 0 6 (24%)
16. Jawa Tengah 0 0 5 (20%)
17. Kalimantan Timur 0 0 5 (20%)
18. Sulawesi Tengah 0 0 5 (20%)
19. Kalimantan Barat 0 0 4 (16%)
20. Maluku Utara 0 0 4 (16%)
21. Riau 0 0 3 (12%)
22. Jambi 0 0 3 (12%)
23. DKI Jakarta 0 0 3 (12%)
24. Nusa Tenggara Barat 0 0 3 (12%)
25. Papua Barat 0 0 3 (12%)
26. Sulawesi Barat 0 0 2 (8%)
27. Nanggroe Aceh Darussalam 0 0 1 (4%)
28. Sumatera Selatan 0 0 1 (4%)
29. Kalimantan Tengah 0 0 1 (4%)
30. Sumatera Utara 0 0 0
31. Sumatera Barat 0 0 0
Berdasarkan hal-hal di atas, dapat disimpulkan bahwa seluruh situs web
provinsi di Indonesia sangat sedikit memenuhi kriteria accessibility dengan
standar internasional seperti yang telah ditetapkan oleh W3C melalui WCAG 2.0.
Oleh karena itu, pemerintah provinsi setempat perlu meningkatkan kinerja situs
webnya dalam hal accessibility, agar dapat digunakan oleh masyarakat yang lebih
banyak seperti orang-orang dengan keterbatasan fisik. Dengan demikian, situs
99
web pemerintah provinsi dapat dijadikan sebagai role model oleh situs-situs web
kota dan kabupaten di bawahnya dengan tetap memperhatikan kebutuhan dan hak
masyarakat dengan keterbatasan fisik sebagai bagian dari warga negara Republik
Indonesia.
Rekomendasi Peningkatan Performa Accessibility
Untuk meningkatkan performa accessibility situs web pemerintah provinsi,
direkomendasikan untuk menambah atau memperbaiki fasilitas pada poin-poin
success criteria berdasarkan standar WCAG 2.0 yang belum terpenuhi
berdasarkan evaluasi accessibility. Hal ini penting untuk dilakukan mengingat
situs web Provinsi Jawa Timur dan DI Yogyakarta yang memperoleh skor
accessibility tertinggi berdasarkan AChecker tool, baru sembilan dari 57 poin
success criteria atau 16% saja pada standar WCAG 2.0 yang dapat dipenuhi,
adapun totalnya hanya 19% poin yang dipenuhi seluruh situs web yang diteliti.
Rekomendasi berdasarkan poin yang belum terpenuhi secara lengkap dapat dilihat
pada Lampiran 25.
Simpulan dan Saran
Simpulan
Simpulan yang dapat diambil pada penelitian ini antara lain:
Terdapat 11 success criteria yang ditampilkan pada sebagian besar laporan
evaluasi accessibility menggunakan AChecker Tool. Success criteria yang
paling banyak terpenuhi adalah success criteria poin 2.2.2 yang dapat
dipenuhi oleh 19 dari 31 situs web provinsi.
Provinsi Jawa Timur dan DI Yogyakarta memiliki skor accessibility tertinggi
dan memenuhi 9 dari 57 success criteria, sedangkan Provinsi Sumatera Utara
dan Sumatera Barat memiliki skor accessibility terendah dengan sama sekali
tidak memenuhi seluruh success criteria pada standar WCAG 2.0.
Seluruh situs web provinsi di Indonesia sangat sedikit memenuhi kriteria
accessibility dengan standar internasional seperti yang telah ditetapkan oleh
W3C melalui WCAG 2.0.
100
Saran
Hal yang dapat disarankan berdasarkan hasil penelitian ini, yaitu evaluasi
accessibility selanjutnya dapat melibatkan responden yang benar-benar
merupakan orang-orang berketerbatasan fisik (tuna netra, rabun, atau lanjut usia)
agar evaluasi menghasilkan rekomendasi sesuai kebutuhan pengguna situs web
yang benar-benar berketerbatasan fisik.