A Framework for Psychophysiological Classification within a Cultural Heritage Context Using Interest

A Framework for Psychophysiological Classification within a Cultural Heritage Context Using Interest

ALEXANDER J. KARRAN, STEPHEN H. FAIRCLOUGH, and KIEL GILLEADE, Liverpool John Moores University

URL/DOI: http://dx.doi.org/10.1145/2687925

Abstract :

This article presents a psychophysiological construct of interest as a knowledge emotion and illustrates the importance of interest detection in a cultural heritage context. The objective of this work is to measure and classify psychophysiological reactivity in response to cultural heritage material presented as visual and audio. We present a data processing and classification framework for the classification of interest. Two studies are reported, adopting a subject-dependent approach to classify psychophysiological signals using mobile physiological sensors and the support vector machine learning algorithm. The results show that it is possible to reliably infer a state of interest from cultural heritage material using psychophysiological feature data and a machine learning approach, informing future work for the development of a real-time physiological computing system for use within an adaptive cultural heritage experience designed to adapt the provision of information to sustain the interest of the visitor.

Categories and Subject Descriptors: H.5.2 [User Interfaces]: User-Centered Design, Evaluation Methodology, Prototyping

General Terms: Theory and Methods, Human Factors

Additional Key Words and Phrases: Interaction design process and methods, empirical studies in HCI, interaction design theory, concepts, and paradigms

Pengkaji : Ilham Tri Mulyawan

Kajian :

Saat ini banyak sekali museum atau galeri seni yang mempunyai tujuan untuk memperkenalkan dan memberikan informasi tentang warisan budaya [Ott dan Pozzi 2011]. Warisan budaya di segala bentuknya mempunyai keunikan dan tak tergantikanserta seharusnya generasi sekarang memegang tanggung jawab untuk melestarikan warisan budaya yang sudah ada agar tetap ada. Namun disaat pengunjung melakukan kunjungan ke museum atau galeri seni, banyak sekali pengunjung yang kurang mendapatkan informasi dari tiap objek yang menjadi warisan budaya. Hal tersebut bukan dikarenakan tidak ada penjelasan pada warisan budaya tersebut, melainkan kurangnya interaktif informasi pada objek warisan budaya tersebut ke pengunjung.  Analisis tentang warisan budaya digambarkan oleh Pine dan Gilmore [1998] tetang 4 karakteristik pemikiran dari pengunjung yang berbeda beda :

1. Hiburan(rekreasi,narasi)

Hal yang mengacu pada kapasitas artefak pada warisan budaya sehingga pengunjung dapat meikmatinya dengan kognitif dan afektif.

2. Pendidikan(transfer pengetahuan)

Hal yang menjadi proses transfer pengetahun oleh pengunjung dari objek warisan budaya.

3. Estetika (kesenangan)

Hal yang menekankan pada tanggapan emosional terhadap warisan budaya [Leder et al.2004]

4. Escapist

Hal yang mengaitkan dengan sejauh mana pengunjung tenggelam dalam realitas dari warisan budaya.

Oleh karena itu, agar pengetahuan pengunjung dapat lebih bertambah harus ditambahkan dengan interaksi dengan bantuan teknologi digital. Teknologi ini diberi nama IBIS Framework. Teknologi ini yang nantinya merupakan sistem komputasi dengan mengandalkan fisiologi pengguna dan data yang dihasilkan sebgai input ke dalam sistem komputasi yang dibangun dengan Loop Biocybernetic[Fairclough dan Gilleade 2012]. Framework yang dikembangkan tersebut akan menggunakan psikopisological manusia yang artinya adalah berkaitan dengan mengenai aktivitas spontan dari organ tubuh. Dengan framework ini terdapat tiga dimensi yang berguna untuk operasionalisasi dalam tindakan psikopisiologikal :

1. Kognisi, yang menangkap hal-hal baru dan kompleksitas pada rangsangan

2. Aktivasi, yang menangkap hal – hal yang merangsang stimulus

3. Valence, yang menangkap tingkat emosional(positif-negatif) terhadap rangsangan

Framework IBIS ini akan diintegrasikan dengan kuantifikasi ketertarikan manusia yang menjadi real-time sistem dan nantinya akan  diimplementasikan pada konteks warisan budaya. Model framework haruslah procedural, dimana pengukuran psikopisiologikal diambil dan ketertarikan dari manusia sebagai penentu biner atau skala yang menjadi output ke proses. Framework ini kemudian menentukan  tingkat otomatisasi atau interaksi yang diperlukan berdasarkan tujuan dari objek warisan budaya atau pengguna. 

                                                      Gambar 1 Framework IBIS

Diatas merupakan aliran procedural data dengan melalui pengukuran, proses pengolahan, dan klasifikasi output dari keadaan binary menjadi skala (IBIS). Lalu setelah perubahan menjadi skala, inputan dari sensor fisiologis akan diteruskan ke komponen prosesor. Prosesor tersebut bekerja dengan fitur aktivasi, kognisi, dan valensi dari data sensor baku. Lalu sensor tersebut akan mengubah data menjadi data vector. Data vector tersebut akan dijjadikan penilaian subjektif untuk masing-masing komponen objek. Framework IBIS telah diuji oleh beberapa eksperimen  yang dilakukan oleh Valencia kitchen mosaic di Madrid. Eksperimen dilakukan dengan tujuan sebagai berikut :

• Untuk mengukur dan mengklasifikasikan reaktivitas psikopysiologikal dalam menanggapi isi warisan budaya yang disajikan sebagai rangsangan visual dan audio
• Untuk menentukan varians psikofisiologis sebagai tingkat dua kondisi ketertarikan (tinggi dan rendah) yang terdiri dari tiga dimensi: aktivasi, kognisi, dan valensi
• Untuk menentukan metode yang optimal dengan mengumpulkan data respon secara subjektif dan mengamati efeknya pada kinerja classifier
•  Untuk mengevaluasi kinerja mesin dukungan vektor / the support vector machine  (SVM) [Cortes dan Vapnik 1995; Burges 1998; Platt 1999] untuk aplikasi real-time dan ketepatan classifier bila dibandingkan dengan data respon subjektif
• Untuk mengevaluasi efek yang berbeda tingkat sampling fitur pada kinerja classifier.

Gambar 2 wearing sensor hardware

Gambar 2 merupakan seseorang yang sedang menggunakan sesor hardware dengan Framework IBIS. Dalam studi ini, 10 peserta (4 pria dan 6 wanita usia 19 hingga 75 tahun) ikut ambil bagian. Respon fisiologis dari sistem otonom diukur selama sesi eksperimen menggunakan EKG (sampel dari batang tubuh) dan tingkat SC (kedua dan keempat jari tangan). Empat-saluran data EEG direkam menggunakan Enobio (StarLab) nirkabel sensor empat channel (sampel di 250Hz) dengan kontak dasar pada cuping telinga kiri dan telinga bagian dalam. Topi EEG dipasang dan selaras untuk memastikan penempatan sensor.

Hasil yang didapat dari penggunaan hardware ini memberikan bukti bahwa kombinasi fitur psikopysiologikal ditambah dengan SVM dapat meningkatkan pengetahuan dan daya tangkap yang cepat oleh pengguna dalam menanggapi warisan budaya. Selain itu dapat disimpulkan juga bahwa Framework IBIS yang berbasis sensor hardware ini dapat digunakan real-time dan skala kepentingan yang transpose.