This study describes a question answering (QA) system developed with deep learning methods on spoken documents. Question answering on spoken documents is mainly performed by transcribing spoken content with an automatic speech recognition (ASR) system and then applyingtext-based question answering methods to the ASR transcripts. The questions are presented to the system in written or spoken form and the answers are returned from spoken documents. QA task on spoken documents is more challenging than on text documents.Firstly, spoken documents do not have explicit paragraph boundaries so that end-to-end neural network based systems that utilize question-aware passage representations for retrieving answers may perform poorly. Secondly, ASR transcripts can be erroneous and this effects the performance of QA systems. Therefore we propose two novel approaches to handle these problems in deep learning based end-to-end spoken QA systems. First approach handles the absence of passage boundaries in spoken documents by generating pseudo passages and automatically determining questions related with each pseudo passage. Second approach integrates ASR system output, confusionnetworks with word confidence scores, into a question answering system. Our proposed approaches are integrated into an end-to-end system and we investigate the capability of these approaches with two newly curated QA datasets. The end-to-end neural network model with the proposed extensions has proven to be effective in spoken QA task and improved the QA performance on spoken documents compared to directly applying the end-to-end model to the ASR transcripts of the spoken documents.

Bu çalışmada sözlü belgeler üzerinde derin öğrenme yöntemleriyle geliştirilen soru cevaplama sistemleri açıklanmaktadır. Sözlü belgeler üzerindeki soru cevaplama sistemleri ağrılıklı olarak sözlü içeriğin otomatik konuşma tanıma (OKT) sistemi ile yazılandırılması ve ardındanmetin tabanlı soru-cevaplama tekniklerinin bu OKT çık- tılarına uygulanması ile gerçekleştirilir.Sorular sisteme yazılı ya da sözlü olarak sunulur ve cevapları konuşma verilerinden döndürülür. Sözlü belgelerdeki soru cevaplama, metin belgelerinden daha zordur.Birincisi, sözlü belgelerin açıkça paragraf sınırları yoktur; bu nedenle, cevapları almak için soru-bilinçli geçiş gösterimlerini kullanan uçtan uca sinir ağı tabanlı sistemler yetersiz performans gösterebilir.İkinci olarak, OKT çıktıları hatalı olabilir bu durum soru cevaplama sisteminin performansını etkiler.Bu nedenle, konuşma belgeleri üzerindeki soru cevaplama sistemlerinde bu sorunları ele almak için derin öğrenme modeline dayanan iki yeni yaklaşım öneriyoruz. İlk yaklaşım, sözde paragraflar üretip bunlar üzerinden ilgili soruları otomatik tanımlama yaparak konuşulan belgede geçiş sınırlarının bulunmaması sorununu ele almaktadır. İkinci yaklaşım OKT sistem çıktısı olan karışıklık ağını kelime güven skorları ile beraber uçtan uca sinir ağı tabanlı soru cevaplama sistemi ile bütünleştirir. Önerdiğimiz modeller uçtan-uca sinir ağı modeli ile birleştirildi ve bu modellerin performansı oluşturulan iki yeni veri seti ile incelendi. Önerilen uzantıları içeren uçtan uca sinir ağı modelinin konuşma belgeleri üzerinde soru cevaplama üzerinde etkin olduğu kanıtlanmıştır ve soru cevaplama performansını OKT çıktılarını direkt uçtan-uca sinir ağı modelinde kullanmaya göre geliştirmiştir.