Kurumun Verisiyle Çalışan Yapay Zeka

Yunus Berkay İnci · Yazılım Mühendisi

Bir çalışan, kurum içi yapay zekâ asistanına bugün yapacağı harcama için hangi onayların gerektiğini soruyor. Asistan adımları sıralıyor, ilgili prosedürü de kaynak olarak gösteriyor. Ancak yanıt, geçen ay yürürlükten kalkan onay sürecini anlatıyor.

Kaynak bağlantısına tıklayan çalışan, gerçekten böyle bir maddeyle karşılaşabilir. Sorun, o maddenin artık bu işleme uygulanmamasıdır. Eski sürümün aramada öne çıkması, yürürlük tarihinin kaybolması veya iki sürümdeki kuralların yanıtta birleşmesi bu hataya yol açabilir.

Böyle bir sistemi kurum içinde çalıştırmak, verinin nerede işlendiği üzerinde kontrol sağlar. Yanıtın doğruluğu içinse belgenin seçilmesinden kullanıcının önüne gelmesine kadar geçen yolu incelemek gerekir. Yerel dil modelleriyle kurumsal kullanım arasındaki mühendislik işi büyük ölçüde burada başlar.

“Yerel” tam olarak ne demek?

Büyük dil modeli, kısaca LLM, verilen metni işleyip yanıt üreten bir yapay zekâ modelidir. “Yerel” ifadesi modelin çalıştırıldığı ortamı tarif eder. Burada, yanıt üretiminin bir iş istasyonunda veya kurum içindeki sunucularda yapılmasını kastediyoruz. Model, kuruma ayrılmış bir bulut ortamında da işletilebilir; bu ortamın veri erişimi ve işletim koşulları ayrıca değerlendirilir.

Yerel kurulum, hassas belgelerin işlenmesini kurumun belirlediği ağ ve erişim sınırları içinde tutmak için tercih edilebilir. İnternet bağlantısının kısıtlı olduğu ortamlarda da kullanım imkânı sunar; bunun için modelin ve ihtiyaç duyduğu bileşenlerin önceden hazırlanmış olması gerekir. Bakım, güncelleme ve kapasite planlaması ise sistemi işleten ekibin sorumluluğundadır.

Verinin izlediği yol yalnızca dil modelinden geçmez. Taranmış sayfalardaki yazıyı çıkaran OCR servisi, arama sistemi, günlükler ve yedekler de bu yolun parçasıdır. Bunlardan biri belge içeriğini dışarıya gönderiyorsa, yerel model kullanılıyor olması bütün sistemi kurum içinde tutmaz. Örneğin Ollama hem yerel hem bulut modellerini destekler; dokümantasyonunda bu çalışma biçimleri ve bulut özelliklerinin nasıl kapatılacağı ayrı açıklanır. [1]

Kurulum yeri tek başına bir güvenlik seviyesi belirtmez. Aynı kurum ağında yetkisiz erişim veya gereğinden fazla veri tutan günlükler bulunabilir. Yerel tercih, bu sorunları yönetme imkânıyla birlikte yönetme sorumluluğunu da getirir.

Kurumun bilgisi modele nasıl ulaşır?

Bir model, kurumun geçen hafta değiştirdiği prosedürü kendiliğinden bilemez. RAG (Retrieval-Augmented Generation, bilgi getirmeyle desteklenen üretim) yaklaşımında önce soruyla ilgili belge bölümleri aranır. Bulunan metinler soruyla birlikte modele verilir; model bunları yanıt üretirken kullanır. Bu sırada kendisine sunulan bilgiye bağlam denir. Burada anlatılan belge getirme adımı, modelin eğitilmiş parametrelerini değiştirmez. [2]

Arama katmanında iki farklı ihtiyaçla karşılaşılır. Kullanıcı “görevden ayrılma” diye sorarken belge “ilişik kesme” ifadesini kullanabilir. Anlamsal arama, metinleri sayısal temsillere dönüştüren embedding modelleriyle bu tür anlam yakınlıklarını yakalamaya çalışır. Prosedür kodu veya madde numarası arandığında ise sözcük eşleşmesi değer kazanır.

BM25 gibi sözcük temelli yöntemlerle anlamsal aramanın sonuçlarını birleştirmeye hibrit arama denir. Ardından aday metinleri soruyla ilişkilerine göre yeniden değerlendiren bir sıralama adımı uygulanabilir. Bu, her sorguda daha iyi sonuç alınacağı anlamına gelmez; ek işlem yüküne karşı sağladığı kazanç, kurumun belgeleriyle ölçülür. [3]

Modele belirli görevler veya yanıt biçimleri için ek eğitim vermek de mümkündür. Fine-tuning denilen bu uyarlamada, LoRA gibi yöntemler ana model ağırlıklarını sabit tutup daha küçük ek parametre gruplarını eğitir. Bu işlem ile soru sırasında belge aramak farklı ihtiyaçlara hizmet eder ve birlikte kullanılabilir. [4]

Hangi belge, hangi tarih?

Harcama örneğinde bugün yapılacak işlem sorulduğu için yürürlükteki prosedür aranır. Fakat bir denetçi geçen yıl gerçekleşen işlemi inceliyorsa, o tarihte geçerli sürüme ihtiyaç duyar. Belgeleri yalnızca “en yeni olanı getir” mantığıyla seçmek bu ayrımı kaçırır. İşlem tarihi, yürürlük aralığı ve belgenin hangi birimlere uygulandığı, arama için anlamlı bilgilerdir.

Belgenin doğru okunması da sonucu değiştirir. PDF tablosunda onay limitiyle işlem türü farklı sütunlardaysa, metin çıkarılırken bu ilişki kaybolabilir. Bir kural ile hemen altındaki istisnayı ayrı parçalara bölmek de eksik yanıt üretebilir. Böyle hataları daha güçlü bir model seçerek gidermek mümkün olmayabilir; önce modele ulaşan metni incelemek gerekir.

Atıf kontrolünün üç ayrı sorusu vardır: Belge mevcut mu? Alıntı gerçekten o belgede geçiyor mu? Alıntı, yanıttaki iddiayı destekliyor mu? İlk ikisinin doğru olması üçüncüsünü garanti etmez. RAG kullanımı da modelin yanlış çıkarım yapma ihtimalini ortadan kaldırmaz. NIST’in üretken yapay zekâ risk profili, kaynak ve atıfların hem yayına alma öncesinde hem kullanım sırasında doğrulanmasını önerir. [5]

Kurum içindeki erişim sınırları

Bir çalışan göremediği personel kaydını asistana sorarak da elde edememeli. Yetki kontrolünü uygulama yapar; arama ve modele aktarılan metinler kullanıcının erişim kapsamıyla sınırlanır. İzin değişikliği, önceden hazırlanmış arama kayıtlarına ve saklanmış yanıtlara da yansımalıdır. OWASP, ortak vektör depolarında farklı kullanıcı gruplarının verilerinin birbirine açılmasını bir RAG güvenlik riski olarak ele alır. [6]

Okunan dosyanın içinde, modeli başka bir davranışa yönlendiren ifadeler de bulunabilir. Örneğin bir metin, asistanın asıl soruyu bırakıp erişebildiği başka bilgileri açıklamasını isteyebilir. Bu tür prompt injection girişimleri yerel modeller için de geçerlidir. Belge içeriğini talimatlardan ayırmak riski azaltmaya yardımcı olur; işlem yetkilerinin uygulama tarafından sınırlandırılması da gereklidir. [7]

Yanıt üretmekten işlem yapmaya

Bir prosedürü açıklamak, satın alma kaydı açmak ve o kaydı onaylamak farklı işlemlerdir. Asistanın bunlardan hangisini yapabileceği, bağlanan araçların yetkileriyle belirlenir. Yüksek etkili işlemlerde insan incelemesi devreye girebilir. OWASP da en az yetki ve yüksek riskli işlemlerde insan onayı önerir. [7]

Bu inceleme, kullanıcının önüne yalnızca bir onay düğmesi koymaktan fazlasını gerektirir. Kullanıcı önerilen işlemi, dayandığı belgeyi ve belirsiz kalan noktaları görebildiğinde taslağı düzeltebilir veya reddedebilir. Her bilgi sorgusunu aynı onay adımından geçirmek ise gereksiz iş yükü oluşturabilir.

Denetlenebilirlik için kullanılan belge sürümü, model sürümü ve yapılan işlemin izini tutmak yararlıdır. Bütün konuşmaları ve belge içeriklerini süresiz kaydetmek yeni bir veri yükü yaratır; kayıt kapsamı, erişimi ve saklama süresi amaca göre sınırlandırılır. Bilgi tabanının güncellenmesi ve hatalı yanıtların ele alınması için sorumluların belli olması da günlük işletimin parçasıdır.

Bellek hesabından kullanım maliyetine

Yerel model seçerken Türkçe yanıt kalitesi, lisans koşulları ve donanım ihtiyacı birlikte değerlendirilir. Kuantizasyon, modelin öğrendiği sayısal değerleri daha az bit kullanarak temsil etme yöntemidir. Bellek tüketimini azaltabilir; yanıt kalitesine etkisi seçilen model ve yöntemle değişir.

Örneğin 8 milyar parametreli bir modelin ham ağırlıkları, ideal paketlemeyle şu kadar yer tutar:

• 16 bit: 16 GB
• 8 bit: 8 GB
• 4 bit: 4 GB

Hesap, parametre sayısı × bit sayısı ÷ 8 biçimindedir; GB burada ondalık gigabayttır. Bu değerler yalnızca ham model ağırlıklarını gösterir. Çalışma sırasında kullanılan ek bellek ve kuantizasyonla ilgili yardımcı bilgiler hesaba dahil değildir.

Modelin önceki metin parçaları için hesapladığı bazı ara değerleri saklayan KV önbelleği de bellek tüketir. Uzun girdiler ve eşzamanlı istekler kapasiteyi etkiler; Ollama dokümantasyonu paralel isteklerle bağlam için ayrılan belleğin arttığını açıklar. Bu yüzden kapasite denemesi beklenen kullanıcı yükünü de içermelidir. [1]

Yerel çalıştırma her kurum için ekonomik olmayabilir. Seyrek kullanımda atıl kalan donanım, bakım ve işletim emeği toplam maliyeti yükseltebilir. Hizmet olarak alınan modellerle karşılaştırma yaparken aynı görev kalitesi, yanıt süresi ve veri işleme koşulları esas alınır. Veri hassasiyeti, bağlantı kısıtları ve ekibin işletim kapasitesi bu kararın belirleyicileridir.

Günlük işte ne değişti?

İlk pilot için sınırları belli bir görev seçilebilir: örneğin bir birimin prosedür soruları. Aynı işleri mevcut yöntemle ve asistanla tamamlayıp aradaki farkı incelemek, yalnızca birkaç iyi yanıta bakmaktan daha sağlam bir başlangıçtır. Değerlendirmede şu sorular ayrı tutulabilir:

• Kaynak seçimi: Beklenen belge, ilk getirilen sonuçlar arasında mı; işlem tarihine uygun mu?
• Yanıt doğruluğu: Belge yanıttaki iddiaları destekliyor mu; kritik bir istisna atlanmış mı?
• Belirsizlik: Dayanağı olmayan sorularda bunu belirtiyor mu; yanıtlayabileceği soruları gereksiz yere geri çeviriyor mu?
• Yetki sınırı: Farklı kullanıcı rolleriyle yapılan denemelerde erişim dışı bilgi açığa çıkıyor mu?
• Toplam emek: Bekleme, kontrol ve düzeltme dahil iş ne kadar sürüyor; önceki yönteme göre ne değişiyor?

Eski ve yeni sürümler, çelişen hükümler ve yanıtı bulunmayan sorular test kümesine dahil edilir. Ayarlamalarda kullanılmamış ayrı örnekler, modelin alışılmış soruların dışında nasıl davrandığını görmeye yardımcı olur. NIST de dar ve sistematik olmayan denemelerden genel başarı sonucu çıkarılmaması konusunda uyarır. [5]

Harcama sorusunu soran çalışan için sonunda anlamlı olan, kendi işlemine uygulanacak onay adımlarını dayanaklarıyla görebilmektir. Yeni bir araç, mevcut işin üzerine fazladan kontrol yükü ekliyorsa süreç yeniden ele alınır. Yerel yapay zekânın kurumdaki değeri, bu tür görevlerde sağladığı ve ölçülebilen katkıyla anlaşılır.

Kaynakça

[1] Ollama. FAQ: yerel kullanım, bulut özellikleri ve eşzamanlı istekler.
https://docs.ollama.com/faq

[2] Lewis, P. ve diğerleri (2020). Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks. NeurIPS 2020.
https://arxiv.org/abs/2005.11401

[3] Elastic. Ranking and reranking.
https://www.elastic.co/docs/solutions/search/ranking

[4] Hu, E. J. ve diğerleri (2021). LoRA: Low-Rank Adaptation of Large Language Models.
https://arxiv.org/abs/2106.09685

[5] NIST (2024). Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile. NIST AI 600-1.
https://doi.org/10.6028/NIST.AI.600-1

[6] OWASP (2025). LLM08: Vector and Embedding Weaknesses.
https://genai.owasp.org/llmrisk/llm082025-vector-and-embedding-weaknesses/

[7] OWASP (2025). LLM01: Prompt Injection.
https://genai.owasp.org/llmrisk/llm01-prompt-injection/

Çevrimiçi kaynakların kontrol tarihi: 1 Ekim 2026.