This thesis addresses big data challenges seen in large-scale, mission-critical industrial plants such as oil refineries. These plants are equipped with heavy machinery (boilers, engines, turbines, etc.) that are continuously monitored by thousands and various types of sensors for process efficiency, environmental safety, and predictive maintenance purposes. However, sensors themselves are also prone to errors and failure. The quality of data received from them should be verified before being used in system modeling or prediction. There is a need for reliable methods and systems that can provide data validation and reconciliation in real-time with high accuracy. Furthermore, it is necessary to develop accurate, yet simple and efficient analytical models that can be used with high-speed industrial data streams.In this thesis, design and implementation of a novel method called DREDGE, is proposed and presented first by developing methods for real-time data validation, gross error detection (GED), and gross error classification (GEC) over multivariate sensor data streams. The validated and high quality data obtained from these processes is later used for pattern analysis and modeling of industrial plants. We obtained sensor data from the power and petrochemical plants of an oil refinery and analyzed them using various time-series modeling and data mining techniques that are integrated into a complex event processing (CEP) engine. Next, the computational performance implications of the proposed methods are studied and regimes that are sustainable over fast streams of sensor data are uncovered. Distributed Control Systems (DCS) continuously monitor hundreds of sensors in industrial systems, and relationships between variables of the system can change over time. Operational mode (or state) identification methods are developed and presented for these large-scale industrial systems using stream analytics, which are shown to be more effective than batch processing models, especially for time-varying systems. To detect drifts among modes, predictive modeling techniques such as regression analysis, K-means and DBSCAN clustering are used over sensor data streams from an oil refinery and models are updated in real-time using window-based analysis. In addition, the shifts among steady states of data are detected, which represent systems' multiple operating modes. Also, the time when a model reconstruction is required is identified using DBSCAN algorithm. An adaptive window size tuning approach based on the TCP congestion control algorithm is proposed, which reduces model update costs as well as prediction errors. Finally, we proposed a new Lambda architecture for Oil & Gas industry for unified data and analytical processing over DCS. We discussed cloud integration issues and share our experiences with the implementation of sensor fault detection and classification modules inside the proposed architecture.

Bu tezde ile büyük-ölçekli ve görev-kritik işlerin yürütüldüğü endüstriyel tesislerin büyük veri problemleri ele alınmaktadır. Bu tesislerde çalışan ağır sanayi makinaları (kazanlar, motorlar, türbinler, vb.) binlerce sayıda ve çeşitli tipte duyargarlar ile sürekli olarak ölçümlenmekte ve üretimde verimlilik artışı, iş-çevre güvenliği ve sezgisel bakım planlaması gibi konularda kararlar alınmaktadır. Ancak duyargalar da bozulabilmekte veya hatalı ölçümler yapabilmektedirler. Bunlar tarafından ölçülen verinin kalitesi, sistem modellemesi veya tahminlemede kullanılmadan önce doğrulanmalıdır. Bu sebeple, gerçek-zamanlı ve yüksek doğrulukla veri düzeltmesi yapabilecek güvenilir metodlara ihtiyaç duyulmaktadır. Geliştirilen metodların çok-hızlı endüstriyel veri akışlarını takip edebilmeleri için, doğrulukları kadar, basit ve etkin olmaları da gerekmektedir. Bu tezde DREDGE isimli, öncelikle gerçek-zamanlı veri doğrulama, kaba hata tespiti ve kata hata sınıflandırması yapabilen yenilikçi metotun tasarım ve gerçekleme bilgileri sunulmaktadır. Bu süreçler sonrasında elden edilen doğrulanmış ve yüksek kaliteli veri, desen analizi ve endüstri tesislerinin bütünsel modellemesi için kullanılmaktadır. Çalışmada bir petrol rafinerisinin güç üretim ve petrokimya tesislerinden elde edilmiş gerçek duyarga verileri zaman-serisi ve veri madenciliği modellerinin eğitiminde kullanılmış ve elde edilen modeller Karmaşık Olay İşleme motoruna entegre edilmişlerdir. Daha sonra, bu modellerin motor içerisindeki performansları çalışılarak, hızlı veri akışları üzerindeki sürdürülebilir rejimlerin tespiti sağlanmıştır. Sonrasında, büyük-ölçekli endüstriyel sistemlerin operasyonel durum tespiti için akış analitiğine dayalı metodlar geliştirilmekte ve özellikle zamana-bağlı değişen sistemlerde, toplu işleme yapan modellere göre daha etkin çalıştıkları gösterilmektedir. Dağıtık kontrol sistemleri sürekli olarak yüzlerce duyargayı takip etmekte ise de, değişkenler arası ilişkiler zaman içerisinde değişebilmektedir. Petrol rafinesindeki cihazların modlar arası geçişlerini farkedebilmek için veri akışları üzerinde gerçek-zamanlı ve zaman-penceresi temelli regresyon analizi, K-means ve DBSCAN kümeleme sezgisel modelleme teknikleri kullanılmıştır. Ayrıca, durağan-durumlar arası kayışlar tespit edilerek, operasyonel mod geçişleri tespit edilmiştir. Gerçek-zamanlı DBSCAN kullanılarak model değişikliği veya düzenlemesinin gerektiği anlar tespit edilmiştir. Bu bölümde son olarak, zaman-pencere boyutlarının TCP algoritmaları ile adaptif olarak değiştirilmeleri önerilmiş ve model güncelleme maliyeti ile tahminsel hatalarına olumlu etkileri gözlemlenmiştir. Son olarak, rafineri endüstrisi için dağıtık kontrol sistemleri (DCS) verilerine yönelik, birleşik (çevrimiçi - çevrimdışı) analitik işleme içeren yeni bir Lambda mimarisi önerilmektedir. Önerilen mimarinin buluta entegrasyonu ile içerisindeki sensör hata tespiti ve sınıflandırmasına yönelik modül geliştirilmesine yönelik tecrübe paylaşımı yapılmaktadır.