محققین نے ReBA routing متعارف کرائی ہے، جو کہ ایک جیومیٹری کی رہنمائی پر مبنی ٹوکن-روٹنگ اسکیم ہے جو ملٹی موڈل مکسچر آف ایکسپرٹس (MoE) ماڈلز میں بصری (visual) اور ٹیکسٹual ٹوکنز کے درمیان توازن برقرار رکھتی ہے۔ ابتدائی تجربات سے معلوم ہوا کہ جب امیج ریزولوشن کو بڑھایا گیا تو اس طریقے نے ٹریننگ کو مستحکم رکھا، ایک ایسا منظر جہاں روایتی روٹرز عام طور پر ناکام ہو جاتے ہیں۔

ویژن-لینگویج ماڈلز کو ایک نئے روٹر کی ضرورت کیوں ہے

ویژن-لینگویج ماڈلز دو بالکل مختلف ذرائع (streams) کو جذب کرتے ہیں: امیج پیچز (image patches) جن کی تعداد سینکڑوں میں ہو سکتی ہے اور چند لفظی ٹوکنز۔ معیاری MoE روٹرز ہر ٹوکن کے ساتھ ایسا سلوک کرتے ہیں جیسے وہ ایک ہی قسم کا ڈیٹا ہو، اس لیے امیج پیچز چند ایکسپرٹس پر بوجھ ڈال دیتے ہیں جبکہ ٹیکسٹ ٹوکنز غیر مستعمل رہتے ہیں۔ موجودہ کام ایک معاون لاس (auxiliary loss) کے ذریعے بوجھ کو ٹھیک کرنے کی کوشش کرتا ہے جو صرف ہر ایکسپرٹ کو تفویض کردہ ٹوکنز کی کل تعداد کو برابر کرتا ہے۔ چونکہ امیج کا بھاری بوجھ ٹیکسٹ کے معمولی بوجھ کو ختم کر سکتا ہے، اس لیے یہ لاس اصل عدم توازن کو اس وقت تک چھپائے رکھتا ہے جب تک کہ کارکردگی گر نہ جائے۔

ReBA روٹنگ کے انداز کو کیسے بدلتا ہے

ReBA روٹنگ کے عمل میں ایک modality boundary شامل کرتا ہے۔ پیچز اور الفاظ کو مکس کرنے والے ایک واحد پول کے بجائے، یہ الگ الگ راستے بناتا ہے جو امیج ٹوکنز کے جیومیٹرک لے آؤٹ کا احترام کرتے ہیں۔ ہر امیج انسٹنس کو ایک جیسا مجموعی وزن ملتا ہے، جس سے کسی بھی ایک ایکسپرٹ کے bottleneck بننے کا خطرہ ٹل جاتا ہے۔ پیچز کی مکانی ترتیب (spatial arrangement) کی رہنمائی میں، سسٹم تب بھی مستحکم رہتا ہے جب ان پٹ ریزولوشن تبدیل ہو جائے۔

مصنفین کی رپورٹ کردہ اہم فوائد:

  • بصری اور لسانی ٹوکنز کے درمیان واضح تقسیم کو یقینی بناتا ہے۔
  • ایک بیچ (batch) میں موجود ہر امیج کی برابر شرکت کی ضمانت دیتا ہے۔
  • ایکسپرٹس کو ایک ہی موڈالٹی کے بوجھ تلے دبنے سے روکتا ہے۔
  • امیج پیچز کی تعداد بڑھنے پر بھی توازن برقرار رکھتا ہے۔

کئی بینچ مارک سیٹنگز میں، ReBA نے اس بات کی پرواہ کیے بغیر کہ بیچ میں کتنے پیچز شامل کیے گئے ہیں، ایکسپرٹ پول کا یکساں استعمال برقرار رکھا، اور روایتی auxiliary-loss کے طریقے سے بہتر کارکردگی دکھائی۔

حدود اور کھلے سوالات

یہ مطالعہ رفتار یا میموری کے استعمال کے بارے میں اعداد و شمار فراہم نہیں کرتا، اس لیے ہمیں معلوم نہیں کہ آیا اضافی روٹنگ لاجک چھپے ہوئے اخراجات (hidden costs) کا باعث بنتی ہے۔ مصنفین یہ بھی فرض کرتے ہیں کہ ایک ہی امیج کے تمام پیچز ایک اکائی (unit) کے طور پر کام کرتے ہیں؛ یہ مفروضہ ان بیچز میں غلط ثابت ہو سکتا ہے جن میں مختلف ریزولوشن والی تصاویر شامل ہوں یا جن میں جزوی طور پر ماسک شدہ (masked) حصے ہوں۔

آگے کیا دیکھنا ہے

  • کارکردگی بمقابلہ کارکردگی (Performance-vs-efficiency trade-offs): مستقبل کے کام میں ReBA کے ذریعے پیدا ہونے والے کسی بھی اضافی بوجھ (overhead) کی پیمائش کرنے کی ضرورت ہوگی۔
  • مکسڈ بیچ کا رویہ (Mixed-batch behavior): ہائی ریزولوشن اور لو ریزولوشن تصاویر کے امتزاج والے بیچز پر ٹیسٹنگ سے یہ معلوم ہوگا کہ آیا modality boundary برقرار رہتی ہے یا نہیں۔
  • بڑے پیمانے پر پائپ لائنز میں اپنایا جانا: اگر روٹنگ کا استحکام بہتر ڈاؤن اسٹریم ٹاسک—جیسے امیج کیپشننگ یا ویژول کویسچن آنسرنگ—میں ترجمہ ہوتا ہے، تو ڈویلپرز معیاری auxiliary loss کو ReBA سے بدل سکتے ہیں۔

اگر آپ ایک ویژن-لینگویج MoE پائپ لائن بنا رہے ہیں، تو ڈیفالٹ روٹر کو ReBA سے بدلنا آپ کو امیج ریزولوشن بڑھانے پر ایکسپرٹ کے استعمال کا زیادہ یکساں پیٹرن دے سکتا ہے۔ تبدیلی کے بعد ٹوکن-ڈسٹری بیوشن میٹرکس پر نظر رکھیں؛ ایک ہموار (flatter) تقسیم اس بات کا اشارہ ہے کہ modality boundary اپنا کام صحیح طریقے سے کر رہی ہے۔