Kimi টিমের সর্বশেষ ওপেন-ওয়েটস মডেল, Kimi K3, একটি ২.৮-ট্রিলিয়ন-প্যারামিটার মিক্সচার-অফ-এক্সপার্টস (MoE) ব্যাকবোন এবং ১-মিলিয়ন-টোকেন কনটেক্সট উইন্ডো নিয়ে এসেছে, যা ডেভেলপারদের কোনো ক্লোজড-API লক-ইন ছাড়াই স্থানীয়ভাবে চালানোর ক্ষমতা তাৎক্ষণিকভাবে বাড়িয়ে দেয়।

MoE ডিজাইনটি সক্রিয় প্যারামিটার সংখ্যা ১০৪ বিলিয়নে সীমাবদ্ধ রাখে, যা গতি স্থির রেখেও একটি মাল্টি-ট্রিলিয়ন মডেলের মতো যুক্তি প্রদানের ক্ষমতা প্রদান করে। এই দক্ষতা পূর্ববর্তী Kimi K2 রিলিজের তুলনায় ২.৫ গুণ বেশি উন্নতি প্রদান করে—যারা বিদ্যমান ওপেন মডেলগুলোতে কম্পিউট বা ল্যাটেন্সি সীমার সম্মুখীন হয়েছেন, তাদের জন্য এটি একটি বড় অগ্রগতি।

কেন এই আপগ্রেডটি এখন গুরুত্বপূর্ণ

প্রথাগতভাবে ওপেন-ওয়েটস মডেলগুলো স্কেল এবং কনটেক্সট দৈর্ঘ্যের ক্ষেত্রে প্রোপাইটারি সিস্টেমের তুলনায় পিছিয়ে ছিল। Kimi K3 বিশাল আকার এবং এক মিলিয়ন টোকেন ধারণক্ষমতাসম্পন্ন কনটেক্সট উইন্ডোর সমন্বয়ে এই চিত্র বদলে দিচ্ছে—যা একটি সম্পূর্ণ কোড রিপোজিটরি বা একটি দীর্ঘ গবেষণা পত্র একবারে গ্রহণ করার জন্য যথেষ্ট। যারা retrieval-augmented generation (RAG) পাইপলাইন, লং-ফর্ম অ্যাসিস্ট্যান্ট বা স্বায়ত্তশাসিত ডিবাগিং টুল তৈরি করছেন, তাদের জন্য এই অতিরিক্ত কনটেক্সট চাকিং স্ট্র্যাটেজির প্রয়োজনীয়তা কমিয়ে দেয়।

প্রযুক্তিগত কাঠামো

  • Stable LatentMoE routing: প্রতিটি টোকেনের জন্য ১৬ জন বিশেষজ্ঞকে সক্রিয় করে ৮৯৬ জন বিশেষজ্ঞের মধ্যে টোকেনগুলো পাঠানো হয়। এই স্পার্স অ্যাক্টিভেশন মেমরি ফুটপ্রিন্ট কমিয়ে দেয়, অথচ বিশাল জ্ঞানভাণ্ডার ব্যবহার করতে সক্ষম হয়।
  • Kimi Delta Attention (KDA): একটি নতুন অ্যাটেনশন ভেরিয়েন্ট যা ডিপ নেটওয়ার্কগুলোতে তথ্যের প্রবাহকে স্থিতিশীল করে এবং গ্রেডিয়েন্ট ইনস্ট্যাবিলিটির ঝুঁকি কমায়, যা অনেক সময় খুব বড় মডেলগুলোতে সমস্যা সৃষ্টি করে।
  • Expert-parallel training: টিমটি কম্পিউট এমনভাবে সাজিয়েছে যাতে প্রতিটি বিশেষজ্ঞ হার্ডওয়্যারের নিজস্ব অংশে চলে, যা অনেক বিশেষজ্ঞ যখন একই রিসোর্সের জন্য প্রতিযোগিতা করে তখন তৈরি হওয়া বটleneck বা বাধা রোধ করে।
  • Advanced memory management: কাস্টম অ্যালোকেশন স্ট্র্যাটেজি মডেলটিকে GPU মেমরি শেষ না করেই রিইনফোর্সমেন্ট-লার্নিং-ভিত্তিক এজেন্ট ট্রেনিং সমর্থন করতে দেয়।

ওপেন ওয়েটস যা সক্ষম করে

যেহেতু ওয়েটসগুলো পাবলিক, ব্যবহারকারীরা মডেলের অভ্যন্তরীণ রিপ্রেজেন্টেশনগুলো অডিট করতে পারেন, পক্ষপাত (bias) শনাক্ত করতে পারেন বা এটিকে নির্দিষ্ট ক্ষেত্রে কাস্টমাইজ করতে পারেন। প্রোপাইটারি ডেটার ওপর ফাইন-টিউনিং করার জন্য এখন আর ক্লাউড চুক্তির প্রয়োজন নেই; পুরো পাইপলাইনটি অন-প্রেমিস হার্ডওয়্যারে চালানো সম্ভব যা টিমের এক্সপার্ট-প্যারালাল প্রয়োজনীয়তা পূরণ করে।

ডেভেলপারদের জন্য তাৎক্ষণিক ব্যবহারের ক্ষেত্রসমূহ

  • Retrieval-augmented generation সিস্টেম যা একটি মাত্র প্রম্পট থেকে বিশাল ডকুমেন্ট স্টোর থেকে তথ্য সংগ্রহ করতে পারে।
  • লং-ফর্ম কোডিং অ্যাসিস্ট্যান্ট যা পুরো প্রজেক্টের কনটেক্সট মেমরিতে রাখতে পারে।
  • রিপোজিটরি-ব্যাপী কোড অ্যানালাইসিস টুল যা প্রম্পট ভেঙে না ফেলে লক্ষ লক্ষ লাইন স্ক্যান করতে পারে।
  • স্বায়ত্তশাসিত ডিবাগিং এজেন্ট যা ফিক্স বা সমাধান নিয়ে চিন্তা করার সময় একটি সম্পূর্ণ এক্সিকিউশন ট্রেস বজায় রাখে।