In this study we proposed a new hierarchical architecture for solution of human behavior understanding problem. A new dataset, namely football video game (FVG) dataset, is generated which involves activities more complex than any other dataset present in the literature. Football ball is detected using multilayer neural networks trained with gradient descent algorithm and enhanced using learning with queries method and it is tracked using growing window algorithm. After region of interest is extracted around ball detected and tracked, primitive action is recognized using one of three types of approaches. First one is based on the well-known Dollar et.al. cuboid features.The second one is mixture of poses approach proposed in this study. Third is an extension to mixture of poses, where fisher vector is employed for the representation of mixture of poses in vectorel form. Primitive action sequences found sequentially in this layer are fed to higher layer activity recognition layer. In the activity recognition layer one of two types of approaches are used. One is well known Hidden Markov Model (HMM), known to work well on time series data and the other is Context Free Grammar (CFG) which can theoretically recognize more complex sequences that HMM can not. Another novelty of this study is new activity types are learnt using grammar induction with the Cook, Yunger and Kasami (CYK) algorithm. So, this way either pre-taught activity types can be recognized or new activity types can be learnt. The FVG dataset that we generated is tested with four combinations of approaches and encouraging results are obtained. For primitive action recognition, the proposed MoP algorithm has success rate of 69.3%, clearly exceeding widely referenced Dollar et. al. cuboid features which achieves success rate of 54.0%. Employing Fisher vector with MoP slightly decreases performance to 67.0 % while achieving high speed. For complex activity recognition, MoP-CFG pair achieves success rate of 62.5%, same with MoP-HMM pair. They clearly exceed cuboid-CFG/HMM pairs which achieves success rate of 42.5%.There are activities those can be recognized by CFG but not by HMM. An example for these is passing the ball around activity.

Bu çalışmada insan davranışı anlama probleminin çözümü için yeni bir hierarşik yapı önerilmiştir. Futbol video oyunu (FVO) veriseti isimli yeni bir veriseti üretilmiştir. Bu veriseti literatürdeki verisetlerinden daha karmaşık davranışları içermektedir. Futbol topu bayır inişi metoduyla eğitilmiş ve sorgularla öğrenme tekniğiyle geliştirilmiş çok katmanlı yapay sinir ağı ile tespit edilmekte ve büyüyen pencere algoritması ile takip edilmektedir. Topun etrafındaki ilgili alan bu yöntemle çıkarıldıktan sonra atomik aksiyon iki yöntemden birisiyle tanınmaktadır. Birinci yöntem literatürde sıkça atıf alan Dollar ve arkadaşlarının küboid özniteliklerine dayanmaktadır. İkinci yöntem ise bu çalışmada önerilmiş olan pozların karışımı yaklaşımıdır. Pozların karışımının bir uzantısı olarak Fisher vektörleri Pozların karışımını vektörel formda temsil edebilmek üzere kullanılmıştır. Bu katmanda tanınan atomik aksiyonlar serisi bir üst katmana girdi olarak beslenmektedir. Bir üst katmanda karmaşık aktivite tanıması yapılmaktadır. Aktivite tanıma katmanında iki yaklaşımdan birisi kullanılmaktadır. Birinci yaklaşım literatürde sıkça kullanılan Gizli Markov Modeli (GMM), ikinci yaklaşım ise teorik olarak GMM'nin tanıyamadığı serileri tanıyabilen İçerikten Bağımsız Gramer'dir (İBG). Bu çalışmanın bir özgünlüğü de yeni aktivite türlerinin Cook, Yunger and Kasami (CYK) algoritması kullanılarak gramer tümevarım yöntemiyle öğrenilmesidir. Bu şekilde hem daha önce sisteme tanıtılmış olan aktiviteler tanınabilmekte hem de yeni gelen aktivite türleri öğrenilebilmektedir. Bu çalışmada özgün olarak üretilmiş FVO veriseti bu dört kombinasyon ile test edilmiş ve sonuçlar verilmiştir. Basit aksiyon tanıma için önerilen MoP algoritması %70 başarı sağlayarak %53,95 başarı sağlayan Dollar ve arakadaşlarının küboid öznitelikler algoritmasını açık ara geride bırakmıştır. MoP'la beraber Fisher vektörü kullaımı performansı %67'ye düşürse de hız açısından büyük kazanç sağlanmaktadır. Kompleks aktivite tanımada MoP-CFG çifti, MoP-HMM çifti gibi %62.5 başarı sağlayarak küboid-CFG/HMM çiftlerini açık ara geride bırakmışlardır. CFG'nin tanıyıp HMM'in tanıyamadığı aktiviteler vardır. Bunlara bir örnek top çevirme aktivitesidir.