Automatic segmentation of speech is compulsory for building large speech databases to be used in speech processing applications. This study proposes a bimodal automatic speech segmentation system that uses either articulatory motion information (AMI) or visual information obtained by a camera in collaboration with auditory information. The presence of visual modality is shown to be very beneficial in speech recognition applications, improving the performance and noise robustness of those systems. In this dissertation a significant increase in the performance of the automatic speech segmentation system is achieved by using a bimodal approach.Automatic speech segmentation systems have a trade off between precision and resulting number of gross errors. Boundary refinement techniques are used in order to increase precision of these systems without decreasing the system performance. Two boundary refinement techniques are proposed in this thesis; a hidden Markov model (HMM) based fine tuning system and an inverse filtering based fine tuning system. The segment boundaries obtained by the bimodal speech segmentation system are improved further by using these techniques.To fulfill these goals, a complete two-stage automatic speech segmentation system is produced and tested in two different databases. A phonetically rich Turkish audiovisual speech database is build from scratch in order to be used in the experiments.

Otomatik konuşma bölütleme, konuşma işleme uygulamalarında kullanılanacak geniş konuşma veritabanlarının hazırlanması için gereklidir. Bu çalışmada artikülatörlerin konum bilgileri ya da kamera kayıtlarından elde edilen görsel verileri, işitsel verilerle birlikte kullanan çift durumlu otomatik konuşma bölütleme sistemi önerilmiştir. Görsel verilerden, birçok konuşma tanıma uygulamasında faydalanılmıştır. Görsel bilgilerin varlığı bu sistemlerin performansını ve gürbüzlüklerini arttırmıştır. Bu çalışmada çift durumlu otomatik konuşma bölütleme sistemi kullanılarak, bölütleme başarımında kayda değer bir artış sağlanmıştır.Otomatik konuşma bölütleme sistemlerinin çözünürlüğü arttırıldığında sistemin yaptığı büyük hatalar da artmaktadır. Bu durumun üstesinden gelebilmek için sınır iyileştirme teknikleri kullanılmaktadır. Bu çalışmada iki ayrı sınır iyileştirme yöntemi önerilmiştir; Saklı Markov Modeli (SMM) tabanlı ve ters süzgeçleme tabanlı sınır iyileştirme sistemleri. Çift durumlu otomatik konuşma bölütleme sistemiyle elde edilen ses sınırları önerilen iki yeni sınır iyileştirme sistemi kullanılarak elle işaretlenmiş sınırlarla aralarindaki ortalama mutlak fark daha da azaltılmıştır.Sonuç olarak iki basamaklı bir otomatik konuşma bölütleme sistemi oluşturulmuş ve bu sistemin başarımı iki ayrı veritabanı kullanılarak sınanmıştır. Ayrıca bu çalışmada kullanılmak üzere bir Türkçe görsel-işitsel konuşma veritabanı oluşturulmuştur.