GyaanSetu AI

Wawasan AI, machine learning, dan LLM.

1515 articlesDeep, practical knowledge

Nemotron 3.5 Lightning Hadir di AWS, Memangkas Biaya Perangkat Keras LLM bagi Perusahaan

Pengembang kini dapat menjalankan Nemotron 3.5 Lightning secara langsung dari konsol SageMaker JumpStart hanya dengan satu klik, tanpa perlu klaster GPU terpisah, instalasi driver, atau kontainer kustom. Penetapan harga berbasis token dan bervariasi di setiap wilayah, sehingga tim harus memvalidasi latensi dan akurasi sebelum tahap produksi.

AI · 2 min read

Kompresi Konteks AI Hanya Menyimpan 17% Aturan Pengguna, Temuan Studi

Peneliti Penn State menemukan bahwa saat LLM mengompresi riwayat percakapan, mereka membuang batasan sesi seperti “jangan pernah gunakan nama saya” atau “konfirmasi sebelum melakukan perubahan,” sehingga hanya 17% aturan yang tetap utuh dan hal ini membahayakan keamanan.

AI · 3 min read

57,8% Keterampilan Agen AI Melanggar Spesifikasi, Audit Temukan 2.465 Daftar

Audit terhadap 2.465 keterampilan agen AI publik mengungkapkan bahwa 57,8% di antaranya melanggar spesifikasi, termasuk nama yang tidak sesuai, tautan mati, jalur file absolut, dan bahkan kunci API yang terekspos. Tanpa alur validasi yang lebih ketat, agen berisiko mengalami kegagalan alur kerja dan paparan keamanan.

AI · 4 min read

Google Perkuat Chrome dengan Mantan CEO Relay untuk Dorong Agen AI ke Dalam Browser

Relay akan menghentikan layanan bagi pengguna gratis pada 15 Agustus dan pelanggan berbayar pada 14 September, mengakhiri layanan otomatisasi AI miliknya. Sementara itu, Jacob Bank, yang sebelumnya memimpin produk untuk Gmail, Calendar, dan Chat, kini menjabat sebagai VP product and developer relations di Chrome, guna mengarahkan integrasi agen bertenaga Gemini.

AI · 5 min read

Kog Klaim Dekode LLM 30x Lebih Cepat pada GPU Nvidia H200 yang Ada

Kog Inference Engine (KIE) milik Kog menulis ulang kode GPU tingkat rendah untuk menjaga aliran memori tetap maksimal, mencapai 3.000 token per detik pada model dengan 2 miliar parameter. Didukung oleh Scaleway dan French Tech 2030, startup ini kini menargetkan peningkatan 10x lipat pada model perusahaan yang lebih besar.

AI · 5 min read