10-ਡਾਲਰ ਦੀ ਚਿੱਪ 'ਤੇ 180M-ਪੈਰਾਮੀਟਰ ਵਾਲਾ LLM
p-for-llm ਨਾਮ ਦਾ ਇੱਕ ਨਵਾਂ ਪ੍ਰੋਜੈਕਟ ਕੁਝ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਕਰ ਰਿਹਾ ਹੈ। ਇਹ ESP32-P4 ਮਾਈਕ੍ਰੋਕੰਟਰੋਲਰ 'ਤੇ 180.9 ਮਿਲੀਅਨ ਪੈਰਾਮੀਟਰ ਵਾਲਾ ਮਾਡਲ ਚਲਾਉਂਦਾ ਹੈ। ਇਸ ਚਿੱਪ ਦੀ ਕੀਮਤ ਛੇ ਤੋਂ ਦਸ ਡਾਲਰ ਦੇ ਵਿਚਕਾਰ ਹੈ।
ਛੋਟੀਆਂ ਚਿੱਪਾਂ 'ਤੇ ਜ਼ਿਆਦਾਤਰ ਵਾਇਰਲ AI ਪ੍ਰੋਜੈਕਟ ਸਧਾਰਨ ਕੰਮਾਂ 'ਤੇ ਧਿਆਨ ਕੇਂਦਰਿਤ ਕਰਦੇ ਹਨ। ਉਹ ਅਜਿਹੇ ਮਾਡਲ ਦਿਖਾਉਂਦੇ ਹਨ ਜੋ ਛੋਟੀਆਂ ਕਹਾਣੀਆਂ ਲਿਖਦੇ ਹਨ। ਉਹਨਾਂ ਮਾਡਲਾਂ ਵਿੱਚ ਅਕਸਰ ਬਹੁਤ ਘੱਟ ਪੈਰਾਮੀਟਰ ਹੁੰਦੇ ਹਨ ਅਤੇ ਕੋਈ ਅਸਲ ਉਪਯੋਗਤਾ ਨਹੀਂ ਹੁੰਦੀ।
p-for-llm ਵੱਖਰਾ ਹੈ। ਇਸਦਾ ਉਦੇਸ਼ ਉਪਯੋਗਤਾ ਹੈ।
ਇਹ ਇਸ ਤਰ੍ਹਾਂ ਕੰਮ ਕਰਦਾ ਹੈ:
- ਇਹ Mixture-of-Experts (MoE) ਆਰਕੀਟੈਕਚਰ ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
- ਹਰ ਟੋਕਨ (token) ਲਈ, ਰਾਊਟਰ 29 ਵਿੱਚੋਂ ਇੱਕ ਮਾਹਰ (expert) ਦੀ ਚੋਣ ਕਰਦਾ ਹੈ।
- ਬਾਕੀ 28 ਮਾਹਰ ਗੈਰ-ਸਰਗਰਮ ਰਹਿੰਦੇ ਹਨ।
- ਇਹ ਉੱਚ ਗਿਆਨ ਨੂੰ ਬਰਕਰਾਰ ਰੱਖਦੇ ਹੋਏ ਕੰਪਿਊਟ ਪਾਵਰ ਬਚਾਉਂਦਾ ਹੈ।
- ਇਹ ਮਾਡਲ ਨੂੰ ਛੋਟੀ ਮੈਮੋਰੀ ਵਿੱਚ ਫਿਟ ਕਰਨ ਲਈ ternary weights ਦੀ ਵਰਤੋਂ ਕਰਦਾ ਹੈ।
- ਮਾਡਲ ਪ੍ਰਤੀ ਸੈਕਿੰਡ ਲਗਭਗ 9 ਟੋਕਨ ਤਿਆਰ ਕਰਦਾ ਹੈ।
ਟ੍ਰੇਨਿੰਗ ਪ੍ਰਕਿਰਿਆ ਵੀ ਸ਼ਲਾਘਾਯੋਗ ਹੈ। ਡਿਵੈਲਪਰ ਨੇ ਇੱਕ ਸਿੰਗਲ RTX 5060 Ti ਕੰਜ਼ਿਊਮਰ ਗ੍ਰਾਫਿਕਸ ਕਾਰਡ ਦੀ ਵਰਤੋਂ ਕੀਤੀ। ਇੱਥੇ ਕੋਈ ਵਿਸ਼ਾਲ ਲੈਬ ਜਾਂ ਬਹੁਤ ਵੱਡਾ ਬਜਟ ਨਹੀਂ ਹੈ। ਸਿਰਫ਼ ਇੱਕ ਮਿਡ-ਰੇਂਜ GPU ਅਤੇ ਸਬਰ ਵਾਲਾ ਇੱਕ ਵਿਅਕਤੀ ਹੈ।
ਇੱਕ ਗੱਲ ਹੈ ਜੋ ਤੁਹਾਨੂੰ ਪਤਾ ਹੋਣੀ ਚਾਹੀਦੀ ਹੈ। ਮਾਡਲ ਅਜੇ ਪੂਰੀ ਤਰ੍ਹਾਂ ਸਵੈ-ਨਿਰਭਰ (autonomous) ਨਹੀਂ ਹੈ। ਤੁਹਾਨੂੰ ਸ਼ੁਰੂਆਤ ਵੇਲੇ USB ਰਾਹੀਂ ਬੋਰਡ 'ਤੇ weights ਪੁਸ਼ ਕਰਨੇ ਪੈਣਗੇ। ਇਹ ਅਜੇ ਕੋਈ ਸਟੈਂਡ-ਅਲੋਨ ਡਿਵਾਈਸ ਨਹੀਂ ਹੈ ਜੋ SD ਕਾਰਡ ਤੋਂ ਲੋਡ ਹੁੰਦਾ ਹੋਵੇ।
ਇਹ ਅਜੇ ਵੀ ਕਲਾਉਡ ਡੈਮੋ ਨਹੀਂ ਹੈ। ਗਣਨਾ ਚਿੱਪ 'ਤੇ ਸਥਾਨਕ ਤੌਰ 'ਤੇ ਹੁੰਦੀ ਹੈ। ਇਹ ਉਹਨਾਂ ਪ੍ਰੋਜੈਕਟਾਂ ਨਾਲੋਂ ਇੱਕ ਵੱਡਾ ਕਦਮ ਹੈ ਜੋ ਸਿਰਫ਼ ਸਰਵਰ 'ਤੇ ਡੇਟਾ ਸਟ੍ਰੀਮ ਕਰਦੇ ਹਨ।
ਇਹ ਕਿਉਂ ਮਾਇਨੇ ਰੱਖਦਾ ਹੈ?
ਛੋਟੇ ਮਾਡਲ ਆਮ ਤੌਰ 'ਤੇ ਇੱਕ ਸੀਮਾ 'ਤੇ ਆ ਕੇ ਰੁਕ ਜਾਂਦੇ ਹਨ। ਉਹ ਦਿਲਚਸਪ ਹੋ ਸਕਦੇ ਹਨ ਪਰ ਉਹ ਹਦਾਇਤਾਂ ਦੀ ਪਾਲਣਾ ਨਹੀਂ ਕਰ ਸਕਦੇ। p-for-llm ਉਸ ਸੀਮਾ ਨੂੰ ਪਾਰ ਕਰਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ। ਇਹ ChatML ਪ੍ਰੋਂਪਟਸ (prompts) ਦਾ ਸਮਰਥਨ ਕਰਦਾ ਹੈ ਅਤੇ tool calling ਦੇ ਸ਼ੁਰੂਆਤੀ ਸੰਕੇਤ ਦਿਖਾਉਂਦਾ ਹੈ।
ਇਹ ਪ੍ਰੋਜੈਕਟ ਦਿਖਾਉਂਦਾ ਹੈ ਕਿ ਅਸਲ ਤਰੱਕੀ ਅਕਸਰ ਸ਼ਾਂਤੀ ਨਾਲ ਹੁੰਦੀ ਹੈ। ਜਦੋਂ ਕਿ ਵਾਇਰਲ ਪ੍ਰੋਜੈਕਟ ਹੈੱਡਲਾਈਨਾਂ ਦੇ ਪਿੱਛੇ ਭੱਜਦੇ ਹਨ, ਗੰਭੀਰ ਬਿਲਡਰ ਆਪਣੀਆਂ ਸੀਮਾਵਾਂ ਅਤੇ ਆਪਣੇ ਫੁੱਟਨੋਟਸ (footnotes) ਪ੍ਰਕਾਸ਼ਿਤ ਕਰਦੇ ਹਨ।
ਮੈਂ ਇਹਨਾਂ ਅੰਕੜਿਆਂ ਦੀ ਪੁਸ਼ਟੀ ਕਰਨ ਲਈ ਇਸ ਹਾਰਡਵੇਅਰ ਦੀ ਨਿੱਜੀ ਤੌਰ 'ਤੇ ਜਾਂਚ ਕਰਾਂਗਾ।
Optional learning community: https://t.me/GyaanSetuAi