A depresszió egy pszichiátria betegség, amely befolyásolhatja egy személy hangulatát, gondolatait, viselkedését, érzéseit és jólétét. A depressziós emberek gyakran éreznek szomorúságot, nyugtalanságot, ürességet, reménytelenséget, tehetetlenséget, értéktelenséget vagy bűnösséget. Elveszítik érdeklődésüket olyan tevékenységek iránt, amelyek egykor kellemesek voltak, étvágytalanság vagy állandó evéskényszer gyötörheti őket, problémák adódhatnak a koncentrációval, problémát okozhat nekik visszaemlékezni a részletekre, vagy döntéseket hozni, és megnő a veszélye az öngyilkosság utáni vágynak, akár öngyilkosságot is elkövethetnek. Álmatlanság, aluszékonyság, fáradtság, fájdalom, emésztési problémák vagy csökkent energikusság is jelentkezhet esetükben. A depresszió alatt pszichiátriai tünetegyüttest értünk, mint például a klinikai depresszó esetében is, ám ezek a jellemzők lehetnek normális reakciók adott életeseményekre, például stressz, gyász, más betegségek tünetei vagy gyógyszerek és orvosi kezelések mellékhatásai. Számos pszichiátriai tünetegyüttes a depressziós hangulat fő tünete. A hangulati rendellenességek olyan rendellenességek csoportja, amelyek a hangulat elsődleges zavarai. Ezek közé tartozik a klinikai depresszó (MDD, általában depresszió vagy major depresszió), amikor az adott személy legalább két hete depressziós tüneteket mutat, vagy az érdeklődés vagy öröm elvesztése szinte minden tevékenységben. Ilyen még a dysthymia, a krónikus depressziós hangulat állapota, amelyenek tünetei nem érik el a klinikai depresszió súlyosságát. Egy másik hangulati rendellenesség, a bipoláris depresszió, amikor abnormálisan emelkedett és depressziós epizódok váltogatják egymást. Kutatásunk fő célja annak megismerése, hogy a depresszió milyen módon módosítja az emberi beszédet. Az orvosok gyakran használják a "elhalványult", "lassú", "monoton", "élettelen" és "fémes" jelzőket a depressziós beszéd jellemzésére. Célunk olyan akusztikai-fonetikai paraméterek azonosítása, külön-külön a szegmentális és a szupranszferális szinten, ami jellemezheti a depressziós emberek beszédét.

A beszédképzésben zavarok jelentkezhetnek, melyeknek szervi és funkcionális okai lehetnek. A beszédhang kutatókat és a foniátria szakorvosait a múlt század kezdetétől fogva érdekli az a kérdés, hogy a beszédhangok akusztikai paramétereiből miként lehet egyes hangképzési betegségek jeleit kiszűrni, és ezeket a releváns jeleket adatbázisba foglalni. Cél egy olyan automatikus becslési rendszer létrehozása, amely felismeri a kóros hangot, és automatikusan meghatározza a diszfónia súlyosságát, ezáltal lehetőség nyílik a hang non-invazív és objektív diagnosztizálására, ezzel együtt a korai felismerésre.

Az elmúlt évtizedekben egyre növekedett az a szakmai erőfeszítés, amely azt a lehetőséget vizsgálja, hogy vajon a beszéd milyen egyéni, személyhez köthető tulajdonságai hordozzák a beszélőspecifikus jellemzőket. Mindezen kérdések még nagyobb figyelmet kapnak a törvényszéki munka során, ahol a cél egy kérdéses mintán hallható személy kilétének megbízható azonosítása objektív, statisztikai, megismételhető módszerek segítségével, ahogy azok a DNS-tesztek módszertanában ismeretesek. A beszélők személyének felismeréséhez szükséges egy olyan magyar nyelvű, sok beszélőt tartalmazó adatbázis, amely kriminalisztikai céloknak megfelel, és amely lehetőséget biztosít kriminalisztikai fonetikai, nyelvészeti és beszédtechnológiai kutatások elvégzéséhez.

A jelen projekt egy ilyen adatbázis fejlesztésére vállalkozik, amely legalább 120 beszélőt tartalmaz, szigorú protokoll mentén rögzített, az egyes beszélőktől időben eltérő hangmintákat, illetve különböző beszédtípusokat tartalmaz. Az adatbázis jelentősége igen nagy, mivel lehetőséget biztosít az alanyok beszédének személyspecifikus jellemzőinek vizsgálatára. Ugyanakkor az adatbázis és az azon elvégzett kutatássorozat nemcsak a kutatók számára hasznos, hanem a társadalom számára is, mivel egy ilyen adatbázis lehetőséget biztosít a rendőri szerveknek, nemzetbiztonsági szerveknek, hogy a törvényszéki munka során használt rendszereket megbízhatóbbá tegyék, újakat fejlesszenek. Mindezek mellett a projekt lehetőséget teremt egy új törvényszéki hang-összehasonlítási munkacsoport létrejöttéhez, amely hazai szakmai és kutatói szervezeteket fogja össze a cél minél kimagaslóbb eléréséhez.

A Parkinson-kór (PK) az egyik leggyakoribb neurodegeneratív betegség. Klinikai bizonyítékok támasztják alá, hogy a legtöbb PK beteg rendelkezik valamilyen beszédrendellenességgel, valamint ez korai jele is lehet a betegségnek. Ezen kívül a remegés, izommerevség és csökkent izomkontroll a kór fő tünetei. Ezen tünetek mérésére alkalmasak lehetnek különböző mobil eszközök, mint például okostelefonok, táblagépek. A rögzített beszéd és kézmozgás adatok információt adnak a remegésről, valamint a kór súlyosságáról.

A kutatás fő célja olyan beszéd és kézmozgás paraméterek azonosítása, amelyek jellemzőek a Parkinson-kórra. Összeállítok egy monitorozó rendszert, amely képes az alany beszédéből és kézmozgásából a PK korai diagnosztizálására (illetve arra egy valószínűségi mértéket mondani). A kézmozgás adatok és a beszédfelvételek együttesen egy multimodális adatbázist alkotnak, amely kutatási és oktatási célra nyilvánosan elérhető lesz. Az adatbázis olyan betegek rögzített adatait is tartalmazza, akiknek agyi implantátumuk van, amely a kór tüneteit csökkenti. Ez lehetővé teszi, hogy a műtét során bekövetkező egészségi állapotbeli javulást mérni tudjuk, valamint a kialakított szoftver az orvos által készített állapotfelmérést is segíti. A kialakított rendszer otthon is alkalmazható lesz olcsó eszközökön (okostelefon, táblagép). Így segítséget nyújt az orvosi stábnak a betegség állapotának követésében, kiegészíti a kontrollvizsgálatokat.

Az elmúlt évtizedekben számos kutatás foglalkozott a beszéd verbális tartalmának megértésével. A nem-verbális tartalom ellenben jóval kevésbé feltárt terület. A dallam, a moduláció és a ritmus változásai számos információt hordozhat a szemantikus tartalom mellett. Ezek, többek között, kifejezhetik az érzelmi tartalmat, egészségi állapotot, hangulatot, beszédstílust. Az érzelmi tartalom a szavak tartalmán kívül többletinformációt hordoz. Kutatást végeztünk az érzelmek gépi tanulással való kategorizálására beszédjel alapján. A spektrális és prozódiai jellemzők statisztikai vizsgálata olyan paramétereket állapított meg, amelyek relevánsak az érzelmi tartalom automatikus felismerésében. A beszédjellemzők alapján modelleket hoztunk létre, amelyekkel közel 80%-os pontossággal tudtuk a hanganyagunkon a négy alapvető érzelmet automatikusan kategorizálni. A modellek és az automatikus fárzis-szintű szegmentálás segítségével egy olyan érzelem detektáló rendszer alkotható, amely hasznos lehet ügyfélközpontokban vagy ember-gép interakció során.

A beszéd akusztikai-fonetikai paramétereinek vizsgálata hipoxia és a szezonális depresszió (SAD) esetén, valamint mérési módszer kifejlesztése, amei automatikusan figyelmezteti a legénységet korai kognitív zavar kialakulása esetében a Concordia antarktiszi állomáson.