Het 180M-parameter LLM op een chip van 10 dollar

Een nieuw project genaamd p-for-llm doet iets indrukwekkends. Het draait een model met 180,9 miljoen parameters op een ESP32-P4 microcontroller. Deze chip kost tussen de zes en tien dollar.

De meeste virale AI-projecten op kleine chips richten zich op eenvoudige taken. Ze laten een model zien dat korte verhalen schrijft. Die modellen hebben vaak maar heel weinig parameters en geen echte bruikbaarheid.

p-for-llm is anders. Het streeft naar bruikbaarheid.

Dit is hoe het werkt:

  • Het maakt gebruik van een Mixture-of-Experts (MoE) architectuur.
  • Voor elk token kiest de router één expert uit de 29.
  • De andere 28 experts blijven inactief.
  • Dit bespaart rekenkracht terwijl de kennis hoog blijft.
  • Het gebruikt ternaire gewichten om het model in het kleine geheugen te laten passen.
  • Het model genereert ongeveer 9 tokens per seconde.

Het trainingsproces is ook opmerkelijk. De ontwikkelaar gebruikte een enkele RTX 5060 Ti consumentengrafische kaart. Er is hier geen sprake van een enorm lab of een gigantisch budget. Alleen één persoon met een mid-range GPU en geduld.

Er is één addertje onder het gras dat je moet weten. Het model is nog niet volledig autonoom. Je moet de gewichten bij het opstarten via USB naar de printplaat pushen. Het is nog geen standalone apparaat dat laadt vanaf een SD-kaart.

Het is nog steeds geen clouddemo. De berekeningen vinden lokaal op de chip plaats. Dit is een enorme stap vooruit ten opzichte van projecten die alleen data naar een server streamen.

Waarom is dit belangrijk?

Kleine modellen lopen meestal tegen een muur aan. Ze kunnen charmant zijn, maar ze kunnen geen instructies opvolgen. p-for-llm probeert die grens te verleggen. Het ondersteunt ChatML-prompts en vertoont vroege tekenen van tool calling.

Dit project laat zien dat echte vooruitgang vaak in stilte plaatsvindt. Terwijl virale projecten op zoek zijn naar koppen in de krant, publiceren serieuze bouwers hun beperkingen en hun voetnoten.

Ik zal deze hardware persoonlijk testen om deze cijfers te verifiëren.

Bron: https://dev.to/aiexplore369zoho/the-180m-parameter-llm-running-on-a-10-microcontroller-and-almost-nobody-noticed-4d3n

Optionele leercommunity: https://t.me/GyaanSetuAi