பெஞ்ச்மார்க் சிறப்பம்சங்கள்

Hot Chips மாநாடு, ஒரு சுதந்திரமான நிறுவனம் InferenceX தொகுப்பைக் கொண்டு சரிபார்த்த எண்களை வெளிப்படுத்தியது. OpenAI, Jalapeño-வை ஒரு பொதுநோக்கமான inference accelerator என்று அழைக்கிறது—இது மாடல்களை இயக்குகிறது ஆனால் அவற்றை பயிற்றுவிப்பதில்லை. சோதனைகளில் இந்த சிப்:

  • இன்றைய முன்னணி நிறுவனங்களை விட அதிகபட்சத் திறனில் (peak throughput), வாட்டிற்கு 1.5 × முதல் 1.9 × வரை அதிக வேலைப்பழுவை வழங்கியது.
  • தாமதத்தை (latency) 1.7 × முதல் 3.6 × வரை குறைத்தது, மேலும் ஊடாடும் (interactive) செயல்பாடுகளில் 2.1 × முதல் 4.1 × வரை முன்னேற்றத்தைக் காட்டியது.

மாடல் சார்ந்த முடிவுகள்:

  • GPT-OSS 120B: ~1,400 tokens / second / user.
  • Deepseek R1 670B: ஒரே நேரத்தில் வரும் ஒரு கோரிக்கையில் (single concurrent request) ~700 tokens / second.
  • Kimi K2.5 1T: உயர் செயல்திறன் தொகுப்பில் (high-performance suite) சோதிக்கப்பட்டது (துல்லியமான எண்கள் வெளியிடப்படவில்லை).

பல போட்டியாளர்கள் தலைப்புச் செய்திகளில் எண்களை உயர்த்தப் பயன்படுத்தும் speculative decoding அல்லது multi-token prediction போன்ற உத்திகள் இன்றி இந்த எண்கள் கிடைத்துள்ளதை OpenAI வலியுறுத்தியது.

Jalapeño எவ்வாறு உருவாக்கப்பட்டது

OpenAI, Broadcom உடன் இணைந்து ஒன்பது மாதங்களில் இந்த சிப்பின் வடிவமைப்பை முடித்தது. அந்த நிறுவனம் தனது சொந்த மாடல்களை வடிவமைப்பின் சுழற்சிக்குள் (design loop) செலுத்தி, ப்ளூபிரிண்டிங், புரோகிராமிங் மற்றும் உகப்பாக்கத்தை (optimization) வேகப்படுத்தியது—இது “AI-assisted silicon design” என்று அழைக்கப்படும் ஒரு முறையாகும். இந்த விரைவான செயல்முறை, உயர் செயல்திறன் கொண்ட சிலிக்கான் தயாரிப்பில் ஒரு காலத்தில் பல ஆண்டுகள் நீடித்த சுழற்சிகளாக இருந்த மாற்றத்தைக் காட்டுகிறது.

Nvidia-வின் முன்னிலைக்கான தாக்கங்கள்

Nvidia, அதன் நேரடிச் செயல்திறன் (raw performance) மற்றும் CUDA ecosystem-ஐ நம்பியுள்ளது. இந்த புதிய தரவுகள், செயல்திறன் ரீதியான அந்த முன்னிலையை சவாலுக்கு உட்படுத்தியுள்ளன. இதேபோன்ற செயல்திறன் கொண்ட தனிப்பயனாக்கப்பட்ட inference silicon-களை அதிக AI நிறுவனங்கள் அறிமுகப்படுத்தினால், டெவலப்பர்கள் CUDA-விலிருந்து விலகிச் செல்லக்கூடும் என்றும், இது மாற்றுத் தொழில்நுட்பங்களுக்கோ (alternative stacks) அல்லது ஒரு சிதறிய சந்தைக்கோ (fragmented market) வழிவகுக்கும் என்றும் ஆய்வாளர்கள் எச்சரிக்கின்றனர்.

OpenAI-யின் கலப்புத் தந்திரோபாயம் (Mixed-Signal Strategy)

தலைமை நிதி அதிகாரி Kelly Huang, Jalapeño-வை ஒரு விரிவான கணினித் திட்டத்தின் (compute plan) ஒரு பகுதியாகவே பார்த்தார், தற்போதுள்ள கூட்டாளர்களுக்கு மாற்றாக அல்ல. OpenAI இன்னும் பல்வேறு பணிகளுக்காக (workloads) Nvidia, AMD, AWS மற்றும் Cerebras ஆகியவற்றுடன் இணைந்து செயல்படுகிறது. Jalapeño இன்னும் ஒரு பொறியியல் மாதிரியாகவே (engineering sample) உள்ளது; இது Deepseek V4 Pro போன்ற வரவிருக்கும் மிகப்பெரிய மாடல்களை இன்னும் எதிர்கொள்ளவில்லை. ஒவ்வொரு பணிக்கும் சிறந்த செலவு-செயல்திறன் (cost-performance) கலவையைத் தேடி, OpenAI தனது சொந்த சிலிக்கானை மூன்றாம் தரப்பு முடுக்கி கருவிகளுடன் (third-party accelerators) கலந்து பயன்படுத்தும் என்று Huang-வின் கருத்துக்கள் தெரிவிக்கின்றன.

மறுப்பு கருத்துக்கள்

ஆரம்பக்கட்ட மாதிரிகள் அதிக அளவிலான உற்பத்தி (volume production), விளைச்சல் (yields) அல்லது நீண்ட கால நம்பகத்தன்மையை உறுதி செய்வதில்லை, எனவே இந்த உற்சாகத்தைக் கட்டுக்குள் வைத்திருக்க வேண்டும்.

அடுத்து கவனிக்க வேண்டியவை

  • உற்பத்தி வெளியீடு (Production rollout): OpenAI, Jalapeño-வை பெருமளவில் உற்பத்தி செய்யப்படும் ஒரு பாகமாக மாற்ற முடியுமா, அதுவும் என்ன விலையில்?
  • மென்பொருள் அடுக்கு (Software stack): டெவலப்பர்களுக்கான புரோகிராமிங் மாடல் மற்றும் டூல்செயின் (toolchain) எவ்வளவு முதிர்ச்சியடையும்?
  • போட்டியாளர்களின் பதில்: சந்தைப் பங்கைப் பாதுகாக்க Nvidia மற்றும் பிற விற்பனையாளர்கள் தங்கள் திட்டங்களை (roadmaps) அல்லது விலையை எவ்வாறு மாற்றியமைப்பார்கள்?
  • மாடல் அளவிடுதல் (Model scaling): அடுத்தடுத்த டிரில்லியன்-அளவிலான அளவுருக்களைக் கொண்ட (trillion-parameter) மாடல்களில் Jalapeño தனது முன்னிலையைத் தக்கவைத்துக் கொள்ளுமா?

முக்கியக் கருத்து (Takeaway): தனிப்பயனாக்கப்பட்ட inference silicon, ஒரு சிறிய பரிசோதனையிலிருந்து Nvidia-வின் வன்பொருள் ஆதிக்கத்திற்கு ஒரு நம்பகமான சவாலாக மாறி வருகிறது.