IBM એ Granite 4.2 લાર્જ લેંગ્વેજ મોડલ્સની ફેમિલી લોન્ચ કરી છે, જે 3 બિલિયન, 8 બિલિયન અને 30 બિલિયન-પેરામીટર વેરિઅન્ટ્સ ઓફર કરે છે. તેમાં 512k-ટોકન સુધીની કોન્ટેક્સ્ટ વિન્ડો અને ઇન-બિલ્ટ એજન્ટિક ટૂલ યુઝની સુવિધા છે, જે બધું જ Apache 2.0 લાઇસન્સ હેઠળ ઉપલબ્ધ છે. આ પગલું ડેવલપર્સને એક દુર્લભ ઓપન-વેઇટ, એન્ટરપ્રાઇઝ-ગ્રેડ AI પ્રદાન કરે છે જે વિશાળ દસ્તાવેજો પર તર્ક કરી શકે છે અને પ્રોપ્રાઇટરી APIs પર નિર્ભર રહ્યા વિના સ્વાયત્ત રીતે કાર્ય કરી શકે છે.

IBM ના ઓપન-વેઇટ પ્રયાસો અત્યારે શા માટે મહત્વના છે

આ પરવાનગી આપતું લાઇસન્સ કંપનીઓને લાઇસન્સિંગ ફી વગર મોડલ્સને ઓન-પ્રેમિસિસ, પ્રાઇવેટ ક્લાઉડમાં ચલાવવાની અથવા એજ ડિવાઇસમાં એમ્બેડ કરવાની મંજૂરી આપે છે—જે નિયમનકારી ઉદ્યોગો માટે સ્પષ્ટ ફાયદો છે જે ડેટાને બાહ્ય સેવાઓ સામે ખુલ્લો મૂકી શકતા નથી.

ટેકનિકલ પ્રગતિ

  • સ્કેલ અને ટ્રેનિંગ ડેટા – IBM એ આ મોડલ્સને અંદાજે 15 ટ્રિલિયન ટોકન્સ પર શૂન્યથી તાલીમ આપી છે, જે ડેટાસેટનું કદ સૌથી મોટા કોમર્શિયલ ફાઉન્ડેશન્સની સમકક્ષ છે.
  • કોન્ટેક્સ્ટ વિન્ડો – 512k-ટોકન વિન્ડો એક જ પાસમાં આખા કોડબેઝ, લાંબા પોલિસી દસ્તાવેજો અથવા બહુ-પ્રકરણવાળી પુસ્તકોને આવરી લેવાની મંજૂરી આપે છે, જેનાથી ચંકિંગ અને રી-એસેમ્બલીની જરૂરિયાત દૂર થાય છે.
  • ડ્યુઅલ-મોડ કમ્પ્યુટ – “થિંકિંગ” મોડ ઊંડા તર્ક સ્તરો (reasoning layers) નો ઉપયોગ કરે છે, જ્યારે “નોન-થિંકિંગ” મોડ ઓછા GPU ડિમાન્ડ સાથે સરળ લુક-અપ્સ હેન્ડલ કરે છે. આ ટૉગલ વપરાશકર્તાઓને લેટન્સી અને પ્રતિ વિનંતી ખર્ચ વચ્ચે સંતુલન જાળવવામાં મદદ કરે છે.
  • એજન્ટિક રિઇન્ફોર્સમેન્ટ લર્નિંગ – 8 B અને 30 B મોડલ્સ એક વિશિષ્ટ RL તબક્કામાંથી પસાર થયા છે જે તેમને બાહ્ય સાધનોનો ઉપયોગ કરવા, સેન્ડબોક્સ કોડ ચલાવવા અને વેબ સર્ચ કરવા માટે શીખવે છે. આ મોડલ્સ OpenAI-સ્ટાઇલ ટૂલ-કોલિંગ એન્ડપોઇન્ટ્સ પ્રદાન કરે છે, જેથી હાલના ઓર્કેસ્ટ્રેશન પાઇપલાઇન્સને ફરીથી લખ્યા વિના તેનો ઉપયોગ કરી શકાય છે.
  • ઇન્ફરન્સ ફ્રેન્ડલીનેસ – vLLM અને SGLang સાથેની સુસંગતતા મોડલ્સને કોમોડિટી હાર્ડવેર પર ઉચ્ચ થ્રુપુટ સાથે ચલાવવાની મંજૂરી આપે છે, જે ડઝનબંધ એકસાથે ચાલતા એજન્ટ્સને સ્કેલ કરતા એન્ટરપ્રાઇઝ માટે વ્યવહારુ ફાયદો છે.

સ્પીચ સાઇડ-ટ્રેક: Granite Speech 5.0 Turbo CTC

LLM લાઇન સાથે, IBM એ Granite Speech 5.0 Turbo CTC નામનું 470 મિલિયન-પેરામીટર ધરાવતું સ્પીચ-ટુ-ટેક્સ્ટ મોડલ પણ રિલીઝ કર્યું છે. IBM જણાવે છે કે તે એક સેકન્ડમાં ત્રણ કલાકનો ઓડિયો ટ્રાન્સક્રાઇબ કરી શકે છે, જે Open ASR લીડરબોર્ડ પરના અગાઉના લીડર્સ કરતા બમણી ઝડપ છે. તેનું નાનું કદ અને અત્યંત થ્રુપુટ તેને રિયલ-ટાઇમ કેપ્શનિંગ, કોલ-સેન્ટર એનાલિટિક્સ અને મોટા પાયે ઓડિયો ઇન્જેસ્ટિયન પાઇપલાઇન્સ માટે એક ઉત્તમ ઉમેદવાર બનાવે છે.

AI ઇકોસિસ્ટમ માટેના જોખમો અને તકો

કોણ જીતશે:

  • એન્ટરપ્રાઇઝ મોંઘા API વપરાશના બદલે ખર્ચ-અસરકારક, સેલ્ફ-હોસ્ટેડ વિકલ્પ મેળવે છે.
  • ડેવલપર્સ તૈયાર એજન્ટિક સ્ટેક મેળવે છે જેને કોમર્શિયલ લાઇસન્સ માટે વાટાઘાટ કર્યા વિના કસ્ટમાઇઝ કરી શકાય છે.
  • IBM તેના સંશોધન ક્ષમતાઓને પ્રદર્શિત કરતા ફ્લેગશિપ ઓપન-સોર્સ ઓફરિંગ દ્વારા AI રેસમાં તેની પ્રસ્તુતતા ફરી સ્થાપિત કરે છે.

કોને જોખમ છે:

  • ક્લોઝ્ડ-સોર્સ પ્રોવાઇડર્સ જે પ્રોપ્રાઇટરી મોડલ્સ દ્વારા લોક-ઇન પર આધાર રાખે છે, તેઓ જો ગ્રાહકો સ્થાનિક રીતે હોસ્ટ કરેલા Granite એજન્ટ્સ તરફ સ્થળાંતર કરે તો એન્ટરપ્રાઇઝ ખર્ચમાં ઘટાડો જોઈ શકે છે.
  • નાના ઓપન-સોર્સ પ્રોજેક્ટ્સ પાછળ રહી શકે છે; Granite નું સ્કેલ અને ટૂલિંગ સપોર્ટ કમ્યુનિટી-ડ્રિવન પ્રયાસો માટે ઊંચો માપદંડ સ્થાપિત કરે છે.

ખર્ચ અને સમજૂતીઓ: અડધા મિલિયન ટોકન કોન્ટેક્સ્ટ સાથે 30 B મોડલ ચલાવવા માટે હજુ પણ હાઇ-એન્ડ GPUs અથવા ક્લસ્ટર્સની જરૂર પડે છે; સંસ્થાઓએ API ફી બચાવવા સામે હાર્ડવેર રોકાણનું વજન કરવું જોઈએ.

નિષ્કર્ષ

Granite 4.2 ખરેખર એન્ટરપ્રાઇઝ-ગ્રેડ, ઓપન-વેઇટ AI ને જાહેર ક્ષેત્રમાં લાવે છે, જે વિશાળ કોન્ટેક્સ્ટ વિન્ડોને આઉટ-ઓફ-ધ-બોક્સ ટૂલ યુઝ સાથે જોડે છે. તેનું Apache 2.0 લાઇસન્સ કાનૂની અવરોધો દૂર કરે છે, પરંતુ હાર્ડવેર અને સુરક્ષાના પડકારોનો અર્થ એ છે કે આ મોડલ સૌપ્રથમ એવા સંસાધનો ધરાવતા સંગઠનોમાં જોવા મળશે જે કમ્પ્યુટ ખર્ચ ઉઠાવી શકે અને મજબૂત સેન્ડબોક્સિંગમાં રોકાણ કરી શકે. જો સમુદાય તેની આસપાસ એકત્રિત થશે, તો Granite આગામી પેઢીના સ્વાયત્ત એજન્ટ્સ માટે કરોડરજ્જુ બની શકે છે, જે વ્યાપક AI માર્કેટને એવા ઓપન-સોર્સ વિકલ્પો સાથે સામનો કરવા મજબૂર કરશે જે હવે સ્કેલ અથવા ક્ષમતા સાથે સમાધાન કરતા નથી.