AI Chatbot’u Kendi Sunucunda Çalıştırma

Şirketinizde veya kişisel projelerinizde AI chatbot’larını kullanmak, müşteri hizmetlerinden iç iletişim araçlarına kadar pek çok alanda verimliliği artırır. Ancak bulut tabanlı hizmetler veri gizliliği, maliyet ve bağımlılık gibi sorunlar doğurabilir. Kendi sunucunuzda bir AI chatbot’u çalıştırmak, tam kontrol sağlar, hassas verileri korur ve sınırsız kullanım imkanı sunar. Bu makalede, açık kaynak araçlarla kendi sunucunuzda profesyonel bir AI chatbot’u nasıl kuracağınızı adım adım anlatacağız. Ollama gibi güvenilir bir platformu temel alarak, pratik bir kurulum rehberi sunacağız. Bu yaklaşım, teknik bilgi gerektirse de net talimatlarla herkesin uygulayabileceği şekilde tasarlanmıştır.

Sunucu Altyapısını Hazırlama

Kendi sunucunuzda AI chatbot’u çalıştırmanın ilk adımı, uygun altyapıyı kurmaktır. Bu, hem donanım hem de yazılım açısından optimize edilmiş bir ortam gerektirir. NVIDIA GPU’lu bir sunucu tercih edin, çünkü büyük dil modelleri (LLM’ler) yoğun hesaplama gücü ister. Minimum 16 GB RAM ve 8 GB VRAM’li bir GPU ile başlayabilirsiniz; örneğin RTX 3060 veya daha üstü modeller idealdir. CPU tabanlı sistemler de çalışır ancak yanıt süreleri uzar. Depolama için en az 100 GB SSD ayırın, zira modeller gigabaytlarca yer kaplar.

Yazılım tarafında Ubuntu Server 22.04 LTS gibi stabil bir Linux dağıtımı öneririz. Docker kurulumunu tercih ederek bağımlılıkları izole edin. Sistem güncellemelerini yapın: sudo apt update && sudo apt upgrade. NVIDIA sürücülerini yükleyin ve CUDA toolkit’i etkinleştirin. Bu hazırlıklar, chatbot’un stabil çalışmasını sağlar ve gelecekteki ölçeklendirmeleri kolaylaştırır. Toplam hazırlık süresi yaklaşık 1 saattir ve bir kez yapıldığında tekrarlanmaz.

Ollama ile Model Kurulum ve Çalıştırma

Ollama Yükleme Adımları

Ollama, yerel LLM’leri kolayca yöneten açık kaynak bir araçtır. Resmi siteden indirme betiğini çalıştırın: curl -fsSL https://ollama.com/install.sh | sh. Bu komut, tüm bağımlılıkları otomatik yükler. Servisi başlatmak için systemctl start ollama kullanın ve açılışta otomatik başlaması için systemctl enable ollama komutunu girin. Ollama, API üzerinden erişilebilir hale gelir ve birden fazla modeli aynı anda destekler. Bu adım, 5-10 dakika sürer ve sunucunuzu hazır hale getirir.

Model Seçimi ve İndirme

Başlangıç için Llama 3 8B gibi hafif ama güçlü bir modeli seçin. Komut satırından ollama pull llama3 ile indirin; boyut yaklaşık 4.7 GB’dir. Daha gelişmiş ihtiyaçlar için Mistral veya Gemma modellerini deneyin. Modelleri test etmek üzere ollama run llama3 komutunu kullanın; interaktif sohbet penceresi açılır. Her modelin parametreleri (sıcaklık, bağlam boyutu) Ollama Modelfile ile özelleştirilebilir, örneğin TEMPERATURE 0.7 ekleyerek yanıt tutarlılığını artırın. Bu süreç, ilk indirmede internet hızınıza bağlı olarak 10-30 dakika alır ve önbelleğe alınır.

Web Arayüzü Entegrasyonu ve Kullanım

Kullanıcı dostu bir arayüz için Open WebUI’yi Docker ile kurun. Önce Docker’ı yükleyin: sudo apt install docker.io docker-compose. Ardından Open WebUI konfigürasyon dosyasını oluşturun ve docker-compose up -d ile başlatın. Bu araç, Ollama API’sini kullanarak tarayıcı tabanlı sohbet arayüzü sağlar. Kullanıcı yönetimi, sohbet geçmişi ve çoklu model desteği gibi özellikler sunar. Sunucunuzun IP’si üzerinden erişin, örneğin http://sunucu-ip:3000. Güvenlik için Nginx reverse proxy ve SSL sertifikası ekleyin.

Entegrasyon tamamlandıktan sonra, chatbot’u uygulamalarınıza bağlayın. REST API endpoint’leri ile (örneğin /api/chat) istek gönderin. Örnek bir Python isteği: POST metoduyla model adı, mesaj ve stream parametrelerini JSON olarak iletin. Bu sayede CRM sistemleri veya web siteleriyle entegre edebilirsiniz. Performansı izlemek için Ollama’nın loglarını takip edin ve GPU kullanımını nvidia-smi ile kontrol edin. Her günlük kullanımda modelleri güncelleyin: ollama pull.

Kendi sunucunuzda AI chatbot’u çalıştırmak, işletmenize bağımsızlık ve ölçeklenebilirlik kazandırır. Bu kurulumla veri güvenliğinizi korurken, özelleştirilmiş çözümler üretirsiniz. Düzenli bakım ve model güncellemeleriyle sisteminizi uzun vadeli tutun. Pratiğe dökerek başlayın; ilk sohbetinizden itibaren farkı hissedeceksiniz. Bu rehberi takip ederek profesyonel bir altyapıya sahip olacaksınız.