ABSTRACTA GRAPH BASED APPROACH FOR FINDINGPEOPLE IN NEWSüDerya OzkanM.S. in Computer EngineeringSupervisor: Asst. Prof. Dr. Pınar Duygulu SahinşJuly, 2007Along with the recent advances in technology, large quantities of multi-modaldata has arisen and became prevalent. Hence, eï¬ective and eï¬cient retrieval,organization and analysis of such data constitutes a big challenge. Both newsphotographs on the web and news videos on television form this kind of data bycovering rich sources of information. People are mostly the main subject of thenews; therefore, queries related to a speciï¬c person are often desired.In this study, we propose a graph based method to improve the performanceof person queries in large news video and photograph collections. We exploitthe multi-modal structure of the data by associating text and face information.On the assumption that a person?s face is likely to appear when his/her name ismentioned in the news, only the faces associated with the query name are selectedï¬rst to limit the search space for a query name. Then, we construct a similaritygraph of the faces in this limited search space, where nodes correspond to thefaces and edges correspond to the similarity between the faces. Among thesefaces, there could be many faces corresponding to the queried person in diï¬erentconditions, poses and times. There could also be other faces corresponding toother people in the news or some non-face images due to the errors in the facedetection method used. However, in most cases, the number of correspondingfaces of the queried person will be large, and these faces will be more similar toeach other than to others. To this end, the problem is transformed into a graphproblem, in which we seek to ï¬nd the densest component of the graph. Thismost similar subset (densest component) is likely to correspond to the faces ofthe query name. Finally, the result of the graph algorithm is used as a model forfurther recognition when new faces are encountered. In the paper, it has beeniiishown that the graph approach can also be used for detecting the faces of theanchorpersons without any supervision.The experiments are performed on two diï¬erent data sets: news photographsand news videos. The ï¬rst set consists of thousands of news photographs fromYahoo! news web site. The second set includes 229 broadcast news videos pro-vided by NIST for TRECVID 2004. Images from the both sets are taken in reallife conditions and, therefore, have a large variety of poses, illuminations andexpressions. The results show that proposed method outperforms the text onlybased methods and provides cues for recognition of faces on the large scale.Keywords: Face recognition, face retrieval, SIFT features.

ABSTRACTA GRAPH BASED APPROACH FOR FINDINGPEOPLE IN NEWSüDerya OzkanM.S. in Computer EngineeringSupervisor: Asst. Prof. Dr. Pınar Duygulu SahinşJuly, 2007Gelişen teknoloji ile birlikte geniş ve şok-modelli veri kümeleri yaygın hales s c ugelmiştir. Bu veri kümelerinin etkin ve hızlı bir şekilde erişimi, düzenlenmesis u s s uve analizi büyük bir ilgi alanı oluşturmaktadır. Hem internet uzerindeki haberuu s üresimleri ve hem de televizyondaki haber gürüntüleri kendi işinde bir şok bilgiyiou u c cbarındıran ünemli veri kaynaklarıdır. Kişiler genellikle haberin ana konusu olup,o sbu kişileri sorgulama ünemli ve şoğu zaman istenen bir işlemdir.s o cg sBu şalışmada, haber fotoğraï¬arı ve gürüntülerinden oluşan geniş verics g ou u s skümelerinde kişilerin sorgulanmasını sağlayan şizgeye dayalı bir yüntemu s g c osunulmuştur. Yüntem isim ve yüzlerin ilişkilendirilmesine dayanmaktadır. Habers o u sbaşlığında kişinin ismi geşiyor ise fotoğrafta da o kişinin yüzünün bulunacağısg s c g s uuu gvarsayımıyla, ilk olarak sorgulanan isim ile ilişkilendirilmiş, fotoğraï¬ardaki tüms s g uyüzler seşilir. Bu yüzler arasında sorgu kişisine ait farklı koşul, poz ve zamanlardau c u s sşekilmiş, pek şok resmin yanında, haberde ismi geşen başka kişilere ait yüzler yac s c c s s uda kullanılan yüz bulma yünteminin hatasından kaynaklanan yüz olmayan resim-u o uler de bulunabilir. Yine de, şoğu zaman, sorgu kişisine ait resimler daha şok olup,cg s cbu resimler birbirine diğerlerine olduğundan daha şok benzeyeceklerdir. Bu ne-g g cdenle, yüzler arasındaki benzerlikler şizgesel olarak betimlendiğinde, birbirine enu c gşok benzeyen yüzler bu şizgede en yoğun bileşen olacaktır. Bu şalışmada, sorguc u c g s csismiyle ilişkilendirilmiş, yüzler arasında birbirine en şok benzeyen alt kümeyi bu-s su c ulan, şizgeye dayalı bir yüntem sunulmaktadır. şizgeye bağlı yaklaşımla bulunanc o c g sbu sonuş, daha sonra yeni karşılaşılan yüzlerin tanınmasında da model olarakc ss ukullanılabilmektedir. Aynı zamanda, şalışmada sunulan şizgeye dayalı yaklaşımcs c shaber gürüntülerindeki spikerlerin otomatik olarak bulunması ve elenmesinde deou ukullanılmıştır.siiiDeneyler iki ayrı veri kümesi kullanılarak gerşekleştirilmiştir: haberu c s sË veri kümesi Yahoo! Haber kanalı uzerindenfotoğraï¬arı ve haber gürüntüleri. Ilkg ou u u ütoplanmiş binlerce resimden oluşmaktadır. Ikinci küme ise NIST tarafındans s uTRECVID 2004 yarışması işin sağlanan 229 haber gürüntüsünden oluşmaktadir.s c g ou uu sResimler gercek hayattan alınmış olduğundan yüzler poz, ışıklandırma ve ifades g u solarak şok fazla şeşitlilik güstermektedir. Deneylerde elde edilen sonuşlar, sadecec cs o cisim bazlı sonuşlara güre daha iyi olup, büyük şapta yüz tanıma işin ï¬kir ver-c o uu c u cmektedir.Keywords: Face recognition, face retrieval, SIFT features.