GyaanSetu AI

AI, machine learning and LLM insights.

1515 articlesDeep, practical knowledge

llama.cpp b10255, SYCL KV-Cache ile Intel GPU Çıkarım Hızını Artırıyor

b10255 sürümü, kuantize edilmiş anahtar-değer (key-value) önbellekleri ile oneDNN'in SDPA'sının bir SYCL uygulamasını ekleyerek Intel GPU kullanıcılarının Q4_0, Q8_0 veya FP32 formatlarında daha büyük modeller veya daha uzun bağlamlar çalıştırmasına olanak tanıyor ve bellek bant genişliği ile gecikmeyi önemli ölçüde düşürüyor.

AI · 3 min read

Runway, Yeni Geliştirici Odaklı Üretken Video Platformu ile AWS'yi Hedefliyor

Yeni Runway Dev platformu; video, ses ve görüntü üretimini tek bir REST API altında topluyor, yapay zeka bileşenlerini birbirine bağlamak için görsel bir Medya Yönlendiricisi ekliyor ve içerik üreticilerine stüdyo kalitesinde kontrol sağlamak için Motion Brush, Director Mode ve Temporal Coherence özelliklerini sunuyor.

AI · 3 min read

TensorSharp Lets .NET Teams Drop Python and Embed LLM Inference Natively

TensorSharp is a pure-C# inference engine that runs GGUF models on Windows, macOS and Linux, supporting CPU, CUDA, MLX, Metal and Vulkan. Benchmarks show it often beats llama.cpp on prefill latency while keeping decode speed competitive, letting .NET services embed AI without a Python sidecar.

AI · 2 min read