Exploring Semantic Consistency in Generative Artificial Intelligence via Text-to-Image and Image-to-Text Transformation

Onur Doğan; Almila Altıntaş; Buse Yücetürk; Doğa Aydın; Fatih Soygazi; Yılmaz Kılıçaslan

Makale detayları

Exploring Semantic Consistency in Generative Artificial Intelligence via Text-to-Image and Image-to-Text Transformation

Yazarlar:

Onur Doğan | Almila Altıntaş | Buse Yücetürk | Doğa Aydın | Fatih Soygazi | Yılmaz Kılıçaslan

Yayıncı:

Izmir Katip Celebi University

Ana Başlıklar:

Multimodal Analiz ve Sentez | Derin Öğrenme | Doğal Dil İşleme

Dergi:

Journal of Artificial Intelligence and Data Science Vol.5 Issue 1, pp.53-62

Belge Tipi:

Makale

Yayın Tarihi:

6/2025

Belge Dili:

İngilizce

Document ID (Org No.):

2001351933

pISSN:

2791-8335

Anahtar kelimeler:

Özet:

 Recent advancements in artificial intelligence AI have brought Generative AI models dealing with Text-to-Image and Image-to-Text transformation to the forefront. While these models offer significant potential, their effectiveness hinges on the proper utilization of prompts  user-provided instructions guiding the generation process. It is crucial to ascertain the success of images generated through prompt input. In this context, following the text-to-image generation process, the creation of descriptive text for the produced image is also of significant importance. Thus, by comparing the input prompt and the output text, it becomes possible to determine the degree of success of the generatively produced image. This study discusses the consistency between natural language used by humans and prompt language used by Generative AI models. We propose a novel approach: a natural language text-to-image model generates an image, which is then described in text by an image-to-text model, and this text is subsequently used as a prompt. A comparison module then identifies the prompt and corresponding image pair from a pre-built database that has the highest similarity to a human-generated description. This approach aims to maximize the benefit from existing AI models and promote explainability  a crucial principle in AI. This solution addresses the problem of improving the AI models ability to generate human-like descriptions and enhancing the process of evaluating the accuracy of these descriptions.

 Recent advancements in artificial intelligence AI have brought Generative AI models dealing with Text-to-Image and Image-to-Text transformation to the forefront. While these models offer significant potential, their effectiveness hinges on the proper utilization of prompts  user-provided instructions guiding the generation process. It is crucial to ascertain the success of images generated through prompt input. In this context, following the text-to-image generation process, the creation of descriptive text for the produced image is also of significant importance. Thus, by comparing the input prompt and the output text, it becomes possible to determine the degree of success of the generatively produced image. This study discusses the consistency between natural language used by humans and prompt language used by Generative AI models. We propose a novel approach: a natural language text-to-image model generates an image, which is then described in text by an image-to-text model, and this text is subsequently used as a prompt. A comparison module then identifies the prompt and corresponding image pair from a pre-built database that has the highest similarity to a human-generated description. This approach aims to maximize the benefit from existing AI models and promote explainability  a crucial principle in AI. This solution addresses the problem of improving the AI models ability to generate human-like descriptions and enhancing the process of evaluating the accuracy of these descriptions.

 Recent advancements in artificial intelligence AI have brought Generative AI models dealing with Text-to-Image and Image-to-Text transformation to the forefront. While these models offer significant potential, their effectiveness hinges on the proper utilization of prompts  user-provided instructions guiding the generation process. It is crucial to ascertain the success of images generated through prompt input. In this context, following the text-to-image generation process, the creation of descriptive text for the produced image is also of significant importance. Thus, by comparing the input prompt and the output text, it becomes possible to determine the degree of success of the generatively produced image. This study discusses the consistency between natural language used by humans and prompt language used by Generative AI models. We propose a novel approach: a natural language text-to-image model generates an image, which is then described in text by an image-to-text model, and this text is subsequently used as a prompt. A comparison module then identifies the prompt and corresponding image pair from a pre-built database that has the highest similarity to a human-generated description. This approach aims to maximize the benefit from existing AI models and promote explainability  a crucial principle in AI. This solution addresses the problem of improving the AI models ability to generate human-like descriptions and enhancing the process of evaluating the accuracy of these descriptions.

 Yapay zekâ YZ alanındaki son gelişmeler, metinden-görüntüye text-to-image ve görüntüden-metine image-to-text dönüşüm gerçekleştiren Üretken YZ Generative AI modellerini ön plana çıkarmıştır. Bu modeller önemli bir potansiyele sahip olmakla birlikte, etkinlikleri büyük ölçüde üretim sürecini yönlendiren kullanıcı talimatları olan girdilerin prompt doğru kullanımına bağlıdır. Üretilen görüntülerin bu girdiler aracılığıyla ne ölçüde başarılı bir şekilde oluşturulduğunun belirlenmesi büyük önem taşımaktadır. Bu bağlamda, metinden-görüntüye üretim sürecinin ardından, ortaya çıkan görselin betimleyici bir metinle ifade edilmesi de kritik öneme sahiptir. Böylece, giriş promptu ile çıktı olarak üretilen metin karşılaştırılarak üretici modelin başarısı ölçülebilir hale gelir. Bu çalışma, insanların kullandığı doğal dil ile üretici YZ modellerinin kullandığı prompt dili arasındaki tutarlılığı ele almaktadır. Bu doğrultuda özgün bir yaklaşım önerilmektedir: doğal dil girdisiyle çalışan bir metinden-görüntüye modeli bir görsel üretir; ardından bu görsel, görüntüden-metine dönüşüm gerçekleştiren bir model aracılığıyla betimlenir; daha sonra elde edilen bu betimleyici metin yeni bir prompt olarak kullanılır. Son aşamada ise, önceden oluşturulmuş bir veri tabanında yer alan prompt ve görüntü eşleşmeleri ile karşılaştırma yapılır ve insan tarafından üretilmiş betimlemeye en çok benzeyen çift belirlenir. Bu yaklaşım, mevcut YZ modellerinden maksimum düzeyde fayda sağlamayı ve YZnin temel ilkelerinden biri olan açıklanabilirliği artırmayı hedeflemektedir. Önerilen çözüm, modellerin insan benzeri betimlemeler üretme yetkinliğini geliştirmeyi ve bu betimlemelerin doğruluğunun değerlendirilmesi sürecini iyileştirmeyi amaçlamaktadır.

Makale detayları

Exploring Semantic Consistency in Generative Artificial Intelligence via Text-to-Image and Image-to-Text Transformation

Yazarlar:

Onur Doğan | Almila Altıntaş | Buse Yücetürk | Doğa Aydın | Fatih Soygazi | Yılmaz Kılıçaslan

Yayıncı:

Izmir Katip Celebi University

Ana Başlıklar:

Multimodal Analiz ve Sentez | Derin Öğrenme | Doğal Dil İşleme

Dergi:

Journal of Artificial Intelligence and Data Science Vol.5 Issue 1, pp.53-62

Belge Tipi:

Makale

Yayın Tarihi:

6/2025

Belge Dili:

İngilizce

Document ID (Org No.):

2001351933

pISSN:

2791-8335

Generative artificial intelligence

image-to-text models

natural language processing

prompt engineering

text-to-image modelsÜretken yapay zeka

görüntüden-metine modeller

doğal dil işleme

prompt mühendisliği

metinden-görüntüye modeller

Sayı

Makale detayları

Yazarlar: Onur Doğan | Almila Altıntaş | Buse Yücetürk | Doğa Aydın | Fatih Soygazi | Yılmaz Kılıçaslan

Yayıncı: Izmir Katip Celebi University

Ana Başlıklar: Multimodal Analiz ve Sentez | Derin Öğrenme | Doğal Dil İşleme

Dergi: Journal of Artificial Intelligence and Data Science Vol.5 Issue 1, pp.53-62

Belge Tipi: Makale

Yayın Tarihi: 6/2025

Belge Dili: İngilizce

Document ID (Org No.): 2001351933

pISSN: 2791-8335

Sayı

Yazarlar:

Onur Doğan | Almila Altıntaş | Buse Yücetürk | Doğa Aydın | Fatih Soygazi | Yılmaz Kılıçaslan

Yayıncı:

Izmir Katip Celebi University

Ana Başlıklar:

Multimodal Analiz ve Sentez | Derin Öğrenme | Doğal Dil İşleme

Dergi:

Journal of Artificial Intelligence and Data Science Vol.5 Issue 1, pp.53-62

Belge Tipi:

Makale

Yayın Tarihi:

6/2025

Belge Dili:

İngilizce

Document ID (Org No.):

2001351933

pISSN:

2791-8335