Nenad Gligorić

Predmet ovog istraživanja je praćenje aktivnosti studenata, odnosno prepoznavanje paterna iz okruženja i njihova prezentacija posredstvom tehnologije Interneta Inteligentnih Uređаја. Glavna hipoteza od koje se polazi i koja je dokazana u okviru ove doktorske disertacije je da se primenom tehnologije Internetа Inteligentnih Uređаjа u nаstаvi može poboljšаti efikаsnost nаstаvnog procesа kroz reаlizаciju sistemа zа prаćenje аktivnosti studenаtа koji u gotovo realnom vremenu omogućava analizu parametara iz okruženja i prezentaciju obrađenih rezultata. Kako bi se sagledao broj tehnika neophodnih za realizaciju pomenutih procesa kao i da bi se opravdala potreba date studije, urađen je pregled relevantnih istraživanja na polju računarski i društvenih nauka. Pregledom je obuhvaćeno poređenje i komparativna analiza platformi pametnih učionica koje pre svega predstavljaju platforme u kojima će zaživeti nova sveobuhvatna kompjuterska rešenja sposobna da prepoznaju sociološke kontekste u momentu pojavljivanja. Društvene nauke su vrlo bitne da bi se razumela sama pozadina procesa koji se klasifikuju i prate, tako da je pregledom društvenih nauka, pre svega socioloških signala, zaokružen pregled relevantnih bibliografskih izvora i data smernica dalje moguće realizacije sistema za praćenje aktivnosti. Pregledom utvrđeni su potencijalni parametri i algoritmi koje je moguće analizirati i upotrebiti za analizu, a potom je predstavljena metodologija koja je korišćena u istraživanju za sve faze studije. Pre definisanja algoritama koji se mogu koristiti i postavke arhitekture objašnjeni su zahtevi sistema koje je neophodno ispuniti da bi prepoznavanje paterna u učionici moglo efikasno obavljati. Prepoznavanje paterna se obavlja metodom mašinskog učenja za koji je preduslov postojanje klasifikatora baziranom na određenom setu podataka. Simulacija sistema je urađena pre implementacije korišćenjem seta podataka koja nisu korišćeni u procesu treniranja. Pri simulaciji sistem je pokazao prosečnu tačnost od 92.2%. Nakon simulacije, sistem je implementiran i perforamanse su evaluirane upoređivanjem anotatora u realnom vremenu (ocena studenata za vreme predavanja) i ocene koje je dao sistem. Prosečna tačnost sistema evaluiranog na ovaj način za tri grupe studenata bila je 81.9%. Sistem je implementiran u Matlab-u i u mogućnosti je da ekstraktuje parametre iz digitalanog signala koji se prikupljaju pomoću kamere i mikrofona. Iz slike se ekstraktuje intezitet pokreta studenata na osnovu razlika između frejmova dok se iz zvuka ekstraktuju sledeće karakteristike: glasovni segmenti, vrema govora, glasovna stopa, broj kratkih govornih segmenata, formantna frekvencija, pouzdanost formantne frekvencije, vrednost najvećeg autokorelacionog pika, lokacija najvećeg autokorelacionog pika, broj autokorelacionih pikova i govorna aktivnost. Vrednosti ovih parametara se zatim koriste kao input za klasifikator koji se sastoji od skupa podataka ekstraktovanog iz velikog broja snimljenih predavanja, za vreme kojih su studenti ocenjivali kvalitet predavanja u realnom vremenu korišćenjem aplikacije na mobilnom telefonu. Finalna evaluacija performansi sistema sprovedena nakon implementacije, gde je sistem korišćen za prepoznavanje parametara uživo na predavanjima, pokazala je da je sistem sa zadovoljavajućom tačnošću (81.9%) u mogućnosti da prepozna zainteresovanost studenata.