ബെഞ്ച്മാർക്ക് ഹൈലൈറ്റുകൾ

Hot Chips കോൺഫറൻസിൽ വെളിപ്പെടുത്തിയ കണക്കുകൾ ഒരു സ്വതന്ത്ര സ്ഥാപനം InferenceX സ്യൂട്ട് ഉപയോഗിച്ച് പരിശോധിച്ചുറപ്പിച്ചു. OpenAI Jalapeño-യെ ഒരു ജനറൽ പർപ്പസ് ഇൻഫറൻസ് ആക്സിലറേറ്റർ (general-purpose inference accelerator) എന്നാണ് വിശേഷിപ്പിക്കുന്നത്—ഇത് മോഡലുകൾ പ്രവർത്തിപ്പിക്കുന്നുണ്ടെങ്കിലും അവ പരിശീലിപ്പിക്കുന്നില്ല. പരിശോധനകളിൽ ഈ ചിപ്പ്:

  • ഇന്നത്തെ മുൻനിര ഉൽപ്പന്നങ്ങളെ അപേക്ഷിച്ച് പീക്ക് ത്രൂപുട്ടിൽ (peak throughput) വാട്ടിന് 1.5 × മുതൽ 1.9 × വരെ കൂടുതൽ ജോലി നൽകുന്നു.
  • ലേറ്റൻസി (latency) 1.7 × മുതൽ 3.6 × വരെ കുറയ്ക്കുകയും, ഇന്ററാക്ടീവ് നേട്ടങ്ങൾ (interactive gains) 2.1 × മുതൽ 4.1 × വരെ വർദ്ധിപ്പിക്കുകയും ചെയ്യുന്നു.

മോഡൽ അടിസ്ഥാനമാക്കിയുള്ള ഫലങ്ങൾ:

  • GPT-OSS 120B: ~1,400 ടോക്കണുകൾ / സെക്കൻഡ് / യൂസർ.
  • Deepseek R1 670B: ഒരു സിംഗിൾ കൺകറന്റ് റിക്വസ്റ്റിൽ (single concurrent request) ~700 ടോക്കണുകൾ / സെക്കൻഡ്.
  • Kimi K2.5 1T: ഹൈ-പെർഫോമൻസ് സ്യൂട്ടിൽ പരീക്ഷിച്ചു (കൃത്യമായ കണക്കുകൾ വെളിപ്പെടുത്തിയിട്ടില്ല).

പല എതിരാളികളും അവരുടെ കണക്കുകൾ വർദ്ധിപ്പിക്കാൻ ഉപയോഗിക്കുന്ന സ്പെക്കുലേറ്റീവ് ഡീകോഡിംഗ് (speculative decoding) അല്ലെങ്കിൽ മൾട്ടി-ടോക്കൺ പ്രെഡിക്ഷൻ (multi-token prediction) തുടങ്ങിയ രീതികൾ ഉപയോഗിക്കാതെയാണ് ഈ ഫലങ്ങൾ നേടിയതെന്ന് OpenAI ഊന്നിപ്പറഞ്ഞു.

Jalapeño എങ്ങനെ നിർമ്മിച്ചു

Broadcom-മായി സഹകരിച്ച് ഒൻപത് മാസത്തിനുള്ളിൽ OpenAI ചിപ്പിന്റെ ഡിസൈൻ പൂർത്തിയാക്കി. ഡിസൈൻ പ്രക്രിയയിൽ സ്വന്തം മോഡലുകൾ ഉപയോഗിച്ചതിലൂടെ ബ്ലൂപ്രിന്റിംഗ്, പ്രോഗ്രാമിംഗ്, ഒപ്റ്റിമൈസേഷൻ എന്നിവയുടെ വേഗത വർദ്ധിപ്പിച്ചു—ഇതിനെ "AI-അസിസ്റ്റഡ് സിലിക്കൺ ഡിസൈൻ" (AI-assisted silicon design) എന്ന് വിളിക്കുന്നു. ഹൈ-പെർഫോമൻസ് സിലിക്കൺ നിർമ്മാണത്തിന് മുൻപ് നിലനിന്നിരുന്ന വർഷങ്ങൾ നീണ്ടുനിൽക്കുന്ന പ്രക്രിയകളിൽ നിന്നുള്ള ഒരു മാറ്റമാണ് ഈ വേഗത സൂചിപ്പിക്കുന്നത്.

Nvidia-യുടെ മുൻതൂക്കത്തിന് മേലുള്ള പ്രത്യാഘാതങ്ങൾ

Nvidia അതിന്റെ കരുത്തുറ്റ പെർഫോമൻസിനെയും CUDA ഇക്കോസിസ്റ്റത്തെയും ആണ് ആശ്രയിക്കുന്നത്. പുതിയ കണക്കുകൾ ഈ പെർഫോമൻസ് മുൻതൂക്കം ചോദ്യം ചെയ്യപ്പെടുന്ന രീതിയിലാക്കുന്നു. സമാനമായ കാര്യക്ഷമതയുള്ള കസ്റ്റം ഇൻഫറൻസ് സിലിക്കണുകൾ കൂടുതൽ AI കമ്പനികൾ പുറത്തിറക്കുകയാണെങ്കിൽ, ഡെവലപ്പർമാർ CUDA-യിൽ നിന്ന് മാറിപ്പോകാൻ സാധ്യതയുണ്ടെന്നും ഇത് ബദൽ സാങ്കേതികവിദ്യകൾക്കും വിഭജിക്കപ്പെട്ട ഒരു വിപണിക്കും ഇടം നൽകുമെന്നും വിശകലന വിദഗ്ധർ മുന്നറിയിപ്പ് നൽകുന്നു.

OpenAI-യുടെ മിക്സഡ്-സിഗ്നൽ സ്ട്രാറ്റജി

ചീഫ് ഫിനാൻഷ്യൽ ഓഫീസർ Kelly Huang Jalapeño-യെ നിലവിലുള്ള പങ്കാളികൾക്ക് പകരക്കാരനായല്ല, മറിച്ച് വിപുലമായ ഒരു കമ്പ്യൂട്ട് പ്ലാനിന്റെ ഭാഗമായാണ് അവതരിപ്പിച്ചത്. വിവിധ വർക്ക്ലോഡുകൾക്കായി OpenAI ഇപ്പോഴും Nvidia, AMD, AWS, Cerebras എന്നിവരുമായി സഹകരിക്കുന്നുണ്ട്. Jalapeño നിലവിൽ ഒരു എൻജിനീയറിങ് സാമ്പിൾ മാത്രമാണ്; Deepseek V4 Pro പോലുള്ള വരാനിരിക്കുന്ന വലിയ മോഡലുകളെ ഇത് ഇതുവരെ നേരിട്ടിട്ടില്ല. ഓരോ ജോലിക്കും ഏറ്റവും മികച്ച കോസ്റ്റ്-പെർഫോമൻസ് അനുപാതം കണ്ടെത്തുന്നതിനായി, സ്വന്തം സിലിക്കണും തേർഡ് പാർട്ടി ആക്സിലറേറ്ററുകളും സംയോജിപ്പിച്ച് ഉപയോഗിക്കാനാണ് OpenAI ഉദ്ദേശിക്കുന്നതെന്ന് Huang-ന്റെ വാക്കുകൾ സൂചിപ്പിക്കുന്നു.

എതിർവാദങ്ങൾ

ആദ്യഘട്ടത്തിലുള്ള സാമ്പിളുകൾ വൻതോതിലുള്ള ഉൽപ്പാദനം, ഗുണനിലവാരം അല്ലെങ്കിൽ ദീർഘകാല വിശ്വാസ്യത എന്നിവ ഉറപ്പുനൽകുന്നില്ല, അതിനാൽ അമിതമായ ആവേശം വേണ്ടതാണ്.

ഇനി ശ്രദ്ധിക്കേണ്ട കാര്യങ്ങൾ

  • പ്രൊഡക്ഷൻ റോളൗട്ട്: OpenAI-ക്ക് Jalapeño-യെ വൻതോതിൽ ഉൽപ്പാദിപ്പിക്കാൻ കഴിയുമോ, ഏത് വിലയിൽ?
  • സോഫ്റ്റ്‌വെയർ സ്റ്റാക്ക്: ഡെവലപ്പർമാർക്കായി പ്രോഗ്രാമിംഗ് മോഡലും ടൂൾചെയിനും എത്രത്തോളം പരിഷ്കൃതമായിരിക്കും?
  • എതിരാളികളുടെ പ്രതികരണം: വിപണിയിലെ സ്ഥാനം നിലനിർത്താൻ Nvidia-യും മറ്റ് വെണ്ടർമാരും തങ്ങളുടെ റോഡ്മാപ്പുകളിലോ വില de la pricing-ലോ എന്ത് മാറ്റങ്ങളാണ് വരുത്തുക?
  • മോഡൽ സ്കെയിലിംഗ്: വരാനിരിക്കുന്ന ട്രില്യൺ-പാരാമീറ്റർ മോഡലുകളുടെ കാലഘട്ടത്തിലും Jalapeño-യ്ക്ക് അതിന്റെ മുൻതൂക്കം നിലനിർത്താൻ കഴിയുമോ?

ചുരുക്കത്തിൽ: കസ്റ്റം ഇൻഫറൻസ് സിലിക്കൺ എന്നത് കേവലം ഒരു പരീക്ഷണത്തിൽ നിന്ന് മാറി Nvidia-യുടെ ഹാർഡ്‌വെയർ ആധിപത്യത്തിന് ശക്തമായ വെല്ലുവിളിയായി മാറിക്കൊണ്ടിരിക്കുകയാണ്.