১০ ডলারের চিপে ১৮০M-প্যারামিটারের LLM
p-for-llm নামক একটি নতুন প্রজেক্ট দারুণ কিছু করছে। এটি একটি ESP32-P4 মাইক্রোকন্ট্রোলারে ১৮০.৯ মিলিয়ন প্যারামিটারের একটি মডেল চালায়। এই চিপটির দাম ছয় থেকে দশ ডলারের মধ্যে।
ছোট চিপের ওপর বেশিরভাগ ভাইরাল এআই (AI) প্রজেক্ট সহজ কাজের ওপর মনোযোগ দেয়। তারা এমন একটি মডেল প্রদর্শন করে যা ছোট গল্প লিখতে পারে। সেই মডেলগুলোতে প্রায়ই খুব কম প্যারামিটার থাকে এবং সেগুলোর কোনো বাস্তব উপযোগিতা থাকে না।
p-for-llm আলাদা। এর লক্ষ্য হলো উপযোগিতা।
এটি যেভাবে কাজ করে:
- এটি Mixture-of-Experts (MoE) আর্কিটেকচার ব্যবহার করে।
- প্রতিটি টোকেনের জন্য, রাউটার ২৯টি বিশেষজ্ঞের মধ্যে থেকে একজনকে বেছে নেয়।
- বাকি ২৮টি বিশেষজ্ঞ নিষ্ক্রিয় থাকে।
- এটি উচ্চ জ্ঞান বজায় রেখে কম্পিউটেশনাল শক্তি সাশ্রয় করে।
- মডেলটিকে ছোট মেমরিতে ফিট করার জন্য এটি ternary weights ব্যবহার করে।
- মডেলটি প্রতি সেকেন্ডে প্রায় ৯টি টোকেন তৈরি করে।
এর ট্রেনিং প্রক্রিয়াটিও উল্লেখযোগ্য। ডেভেলপার একটি মাত্র RTX 5060 Ti কনজিউমার গ্রাফিক্স কার্ড ব্যবহার করেছেন। এখানে কোনো বিশাল ল্যাব বা বড় বাজেটের প্রয়োজন হয়নি। শুধু একজন ব্যক্তি, একটি মিড-রেঞ্জ GPU এবং ধৈর্য।
একটি বিষয় আপনার জানা উচিত। মডেলটি এখনও পুরোপুরি স্বায়ত্তশাসিত নয়। স্টার্টআপের সময় আপনাকে USB-এর মাধ্যমে বোর্ডে ওয়েটস (weights) পাঠাতে হবে। এটি এখনও এসডি (SD) কার্ড থেকে লোড হওয়া কোনো স্ট্যান্ডঅ্যালোন ডিভাইস নয়।
এটি এখনও কোনো ক্লাউড ডেমো নয়। সমস্ত গাণিতিক প্রক্রিয়া চিপের ভেতরেই স্থানীয়ভাবে সম্পন্ন হয়। এটি সেইসব প্রজেক্টের তুলনায় অনেক বড় একটি পদক্ষেপ যা কেবল সার্ভারে ডেটা স্ট্রিম করে।
এটি কেন গুরুত্বপূর্ণ?
ছোট মডেলগুলো সাধারণত একটি সীমাবদ্ধতার মুখে পড়ে। সেগুলো আকর্ষণীয় হতে পারে কিন্তু নির্দেশাবলী অনুসরণ করতে পারে না। p-for-llm সেই বাধা অতিক্রম করার চেষ্টা করছে। এটি ChatML প্রম্পট সমর্থন করে এবং টুল কলিংয়ের (tool calling) প্রাথমিক লক্ষণ দেখাচ্ছে।
এই প্রজেক্টটি দেখায় যে প্রকৃত অগ্রগতি প্রায়শই নিঃশব্দে ঘটে। ভাইরাল প্রজেক্টগুলো যখন শিরোনামের পেছনে ছোটে, তখন সিরিয়াস বিল্ডাররা তাদের সীমাবদ্ধতা এবং খুঁটিনাটি বিষয়গুলো প্রকাশ করেন।
এই সংখ্যাগুলো যাচাই করার জন্য আমি ব্যক্তিগতভাবে এই হার্ডওয়্যারটি পরীক্ষা করব।
Optional learning community: https://t.me/GyaanSetuAi