ಒಂದೇ RTX 5090 ಮೇಲೆ ಸ್ಥಳೀಯವಾಗಿ ಚಲಾಯಿಸಲಾದ ಐದು LLM ಏಜೆಂಟ್‌ಗಳ ಬೆಂಚ್‌ಮಾರ್ಕ್, 35-ಬಿಲಿಯನ್ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳ mixture-of-experts (MoE) ಮಾಡೆಲ್ ನೈಜ ಪ್ರಪಂಚದ ಕೋಡಿಂಗ್ ಕಾರ್ಯದಲ್ಲಿ ತನ್ನ ಸಮಾನರನ್ನು ಮೀರಿಸಿದೆ ಎಂದು ತೋರಿಸುತ್ತದೆ. ಯಾವುದೇ ಕ್ಲೌಡ್ APIಗಳಿಲ್ಲದೆ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಅಡ್ಮಿನ್ ಪ್ಯಾನಲ್‌ಗೆ Tag Manager ಅನ್ನು ಸೇರಿಸುವ ಈ ಪರೀಕ್ಷೆಯಲ್ಲಿ, Qwen 3.6 35B-A3B ಸ್ಪಷ್ಟ ವಿಜಯ ಸಾಧಿಸಿದೆ.

ಈ ಪರೀಕ್ಷೆಯ ಮಹತ್ವವೇನು

ವೈಯಕ್ತಿಕ ಹಾರ್ಡ್‌ವೇರ್‌ನಲ್ಲಿ ದೊಡ್ಡ ಭಾಷಾ ಮಾದರಿಗಳನ್ನು (large language models) ಚಲಾಯಿಸುವುದರಿಂದ ಡೆವಲಪರ್‌ಗಳು API ಶುಲ್ಕಗಳು ಮತ್ತು ಡೇಟಾ-ಪ್ರೈವೆಸಿ ಕಾಳಜಿಗಳಿಂದ ತಪ್ಪಿಸಿಕೊಳ್ಳಬಹುದು. ಆದರೂ "local agents" ಎಂಬುದು ಕೇವಲ ಒಂದು ಬಜ್ವರ್ಡ್ ಆಗಿ ಉಳಿದಿದೆ: ಅವುಗಳಿಗೆ ಮನುಷ್ಯರ ಸಹಾಯವಿಲ್ಲದೆ ನಿಜವಾಗಿಯೂ ಫೈಲ್‌ಗಳನ್ನು ಎಡಿಟ್ ಮಾಡಲು, ಕಮಾಂಡ್-ಲೈನ್ ಟೂಲ್‌ಗಳನ್ನು ಬಳಸಲು ಮತ್ತು ಪ್ರೊಡಕ್ಷನ್-ರೆಡಿ ಕೋಡ್ ಅನ್ನು ನೀಡಲು ಸಾಧ್ಯವೇ? ಕ್ಲೌಡ್ ಸೇವೆಗಳಿಲ್ಲದ ಈ ಪ್ರಾಯೋಗಿಕ ಹೋಲಿಕೆಯು ತಂತ್ರಜ್ಞಾನವು ಎಲ್ಲಿ ನಿಂತಿದೆ ಎಂಬ ಬಗ್ಗೆ ಡೆವಲಪರ್‌ಗಳಿಗೆ ಸ್ಪಷ್ಟ ಕಲ್ಪನೆಯನ್ನು ನೀಡುತ್ತದೆ.

ಹಾರ್ಡ್‌ವೇರ್ ಮತ್ತು ಕಾರ್ಯ (task)

ಐದೂ ಮಾಡೆಲ್‌ಗಳು ಒಂದೇ ವರ್ಕ್‌ಸ್ಟೇಷನ್‌ನಲ್ಲಿ ಚಲಾಯಿಸಲ್ಪಟ್ಟವು: ಒಂದು RTX 5090 GPU (ಇದು ಸಾಮಾನ್ಯ ಹೈ-ಎಂಡ್ ಕನ್ಸ್ಯೂಮರ್ ಕಾರ್ಡ್ ಆಗಿದೆ) ಮತ್ತು ಯಾವುದೇ ಬಾಹ್ಯ ಸೇವೆಗಳಿಲ್ಲದೆ. ಕಾರ್ಯವು ಉದ್ದೇಶಪೂರ್ವಕವಾಗಿ ಸರಳವಾಗಿದ್ದರೂ ಪ್ರಾತಿನಿಧಿಕವಾಗಿತ್ತು - ಈಗಾಗಲೇ ನಿರ್ಮಿಸಲಾದ ಅಡ್ಮಿನ್ ವಿಭಾಗಕ್ಕೆ Tag Manager ಘಟಕವನ್ನು ಸೇರಿಸುವುದು. ಯಶಸ್ವಿಯಾಗಲು ಮಾಡೆಲ್ ಸರಿಯಾದ ಸೋರ್ಸ್ ಫೈಲ್‌ಗಳನ್ನು ಪತ್ತೆಹಚ್ಚಬೇಕು, ಅವುಗಳನ್ನು ಎಡಿಟ್ ಮಾಡಬೇಕು ಮತ್ತು ಹೊಸ ಫೀಚರ್ ಅಸ್ತಿತ್ವದಲ್ಲಿರುವ ಕಾರ್ಯಚಟುವಟಿಕೆಗಳಿಗೆ ಅಡ್ಡಿಯಾಗದಂತೆ ಸಂಯೋಜಿಸಲ್ಪಟ್ಟಿದೆಯೇ ಎಂದು ಪರಿಶೀಲಿಸಬೇಕಾಗಿತ್ತು.

ಮಾಡೆಲ್ ಕಾರ್ಯಕ್ಷಮತೆ

  • Qwen 3.6 35B-A3B (MoE) – ಕೆಲಸವನ್ನು ಸ್ವತಂತ್ರವಾಗಿ ಪೂರ್ಣಗೊಳಿಸಿತು, ಕೇಳದಿದ್ದರೂ ಸೂಕ್ತ ಸುಧಾರಣೆಗಳನ್ನು ಸೇರಿಸಿತು ಮತ್ತು ಕೆಲಸದ ನಂತರ ಯಾವುದೇ ಪ್ಯಾಚ್‌ಗಳ ಅಗತ್ಯವಿರಲಿಲ್ಲ.
  • Qwen 3.6 27B (dense) – ಕಾರ್ಯವನ್ನು ಪೂರ್ಣಗೊಳಿಸಿತು ಆದರೆ ಸುಮಾರು ಎರಡರಷ್ಟು ಹೆಚ್ಚಿನ ಸಂವಹನ ಹಂತಗಳನ್ನು ತೆಗೆದುಕೊಂಡಿತು ಮತ್ತು ಆಗಾಗ್ಗೆ ಸೂಚನೆಗಳನ್ನು ತಪ್ಪಾಗಿ ಅರ್ಥೈಸಿಕೊಂಡಿತು.
  • GLM-4.7-Flash (dense) – ಕೆಲಸ ಮಾಡುವಂತಹ ಇಂಪ್ಲಿಮೆಂಟೇಶನ್ ಅನ್ನು ನೀಡಿತು ಆದರೆ ತಪ್ಪಾದ ಫೈಲ್-ಮ್ಯಾಚಿಂಗ್ ಪ್ಯಾಟರ್ನ್‌ಗಳನ್ನು ಬಳಸಿತು ಮತ್ತು ಸೆಕ್ಯೂರಿಟಿ ಚೆಕ್‌ಗಳನ್ನು ಬಿಟ್ಟುಬಿಟ್ಟಿತು, ಇದರಿಂದ ಕೋಡ್ ಅಸುರಕ್ಷಿತವಾಯಿತು.
  • Qwythos-9B – ಯಾವುದೇ ನೈಜ ಟೂಲ್‌ಗಳನ್ನು ಬಳಸಲಿಲ್ಲ; ಈ ವೈಫಲ್ಯವು ಮಾಡೆಲ್‌ನಿಂದ ಅಥವಾ ಸ್ಥಳೀಯ ಸೆಟಪ್‌ನಿಂದ ಉಂಟಾಗಿರಬಹುದು, ಆದರೆ ಪರೀಕ್ಷೆಯು ಕಾರಣವನ್ನು ಪ್ರತ್ಯೇಕಿಸಲು ಸಾಧ್ಯವಾಗಲಿಲ್ಲ.
  • Nemotron-3-Nano (hybrid) – ಒಂದು ಲೂಪ್‌ನಲ್ಲಿ ಸಿಲುಕಿಕೊಂಡಿತು, ಈಗಾಗಲೇ ಪತ್ತೆಹಚ್ಚಿದ ಫೋಲ್ಡರ್ ಅನ್ನು ಹುಡುಕಲು 40 ಹಂತಗಳನ್ನು ವ್ಯಯಿಸಿತು ಮತ್ತು ಅಲ್ಲಿಂದ ಮುಂದೆ ಮುನ್ನಡೆಯಲಿಲ್ಲ.

ಫಲಿತಾಂಶಗಳು ಏನನ್ನು ಬಹಿರಂಗಪಡಿಸುತ್ತವೆ

ಆರ್ಕಿಟೆಕ್ಚರ್ (Architecture) ವಿಶ್ವಾಸಾರ್ಹ ಮುನ್ಸೂಚಕವಲ್ಲ

ತನ್ನ ಪ್ಯಾರಾಮೀಟರ್‌ಗಳನ್ನು ಹಲವಾರು ಎಕ್ಸ್‌ಪರ್ಟ್ ಸಬ್-ನೆಟ್‌ವರ್ಕ್‌ಗಳಾಗಿ ವಿಭಜಿಸುವ MoE ಮಾಡೆಲ್ ನೇರವಾಗಿ ಗೆದ್ದಿತು, ಆದರೆ dense ಮತ್ತು hybrid ರೂಪಾಂತರಗಳು ಯಶಸ್ಸು ಮತ್ತು ಸಂಪೂರ್ಣ ವೈಫಲ್ಯಗಳ ನಡುವೆ ಹಂಚಿಕೆಯಾದವು. ಇದು ಕೇವಲ ಆರ್ಕಿಟೆಕ್ಚರ್ ಆಯ್ಕೆಗಳು ಟೂಲ್-ಬಳಕೆಯ ಸಾಮರ್ಥ್ಯವನ್ನು ಖಾತರಿಪಡಿಸುವುದಿಲ್ಲ ಎಂದು ಸೂಚಿಸುತ್ತದೆ.

ಟೂಲ್ ಬಳಕೆ ದೊಡ್ಡ ಅಡಚಣೆಯಾಗಿ ಉಳಿದಿದೆ

ಪರೀಕ್ಷೆಗಾಗಿ ನೀಡಲಾದ ಮೀಸಲಾದ ಸ್ಕ್ರೀನ್‌ಶಾಟ್ ಟೂಲ್ ಅನ್ನು ಐದು ಏಜೆಂಟ್‌ಗಳಲ್ಲಿ ಯಾವುದೂ ಬಳಸಲಿಲ್ಲ. ಎಲ್ಲವೂ ಫೈಲ್ ಹೆಸರುಗಳನ್ನು ಊಹಿಸುವ ಮೂಲಕ ಅಥವಾ ಪರೋಕ್ಷ ಪರಿಹಾರಗಳನ್ನು ಪ್ರಯತ್ನಿಸುವ ಮೂಲಕ ಸ್ವಯಂಪ್ರೇರಿತವಾಗಿ ಕೆಲಸ ಮಾಡಲು ಪ್ರಯತ್ನಿಸಿದವು. "ಕೋಡ್ ಜನರೇಟ್ ಮಾಡಬಹುದು" ಮತ್ತು "ಬಾಹ್ಯ ಉಪಯುಕ್ತತೆಗಳನ್ನು (external utilities) ಸಂಯೋಜಿಸಬಹುದು" ಎಂಬ ಎರಡರ ನಡುವಿನ ಅಂತರ ಇನ್ನೂ ಹೆಚ್ಚಿದೆ.

ಸ್ಥಳೀಯವಾಗಿ ಚಲಾಯಿಸುವುದು ಎಂದರೆ ಕೇವಲ ಮಾಡೆಲ್ ಅಲ್ಲದೆ, ಇಡೀ ಸ್ಟ್ಯಾಕ್ ಅನ್ನು ಡಿಬಗ್ ಮಾಡುವುದು ಎಂದರ್ಥ

ಪರೀಕ್ಷೆ ಪ್ರಾರಂಭವಾಗುವ ಮೊದಲೇ ಎರಡು ಮಾಡೆಲ್‌ಗಳ ಪ್ರಾಂಪ್ಟ್ ಟೆಂಪ್ಲೇಟ್‌ಗಳಿಗೆ ತಕ್ಷಣದ ಪ್ಯಾಚ್‌ಗಳ ಅಗತ್ಯವಿತ್ತು. ಮಾಡೆಲ್-ನಿರ್ದಿಷ್ಟ ಬಗ್‌ಗಳನ್ನು ಸರಿಪಡಿಸಲು ವ್ಯಯಿಸಿದ ಶ್ರಮವು ನಿಜವಾದ Tag Manager ಕೋಡ್ ಬರೆಯಲು ತೆಗೆದುಕೊಂಡ ಸಮಯಕ್ಕಿಂತ ಹೆಚ್ಚಾಗಿತ್ತು, ಇದು ಪ್ರಸ್ತುತ ಸ್ಥಳೀಯ ನಿಯೋಜನೆಗಳು (local deployments) ಎಷ್ಟು ದುರ್ಬಲವಾಗಿವೆ ಎಂಬುದನ್ನು ಎತ್ತಿ ತೋರಿಸುತ್ತದೆ.

ಎಚ್ಚರಿಕೆಯ ಸೂಚನೆ

ಈ ಬೆಂಚ್‌ಮಾರ್ಕ್ ಒಂದೇ ಹಾರ್ಡ್‌ವೇರ್ ಕಾನ್ಫಿಗರೇಶನ್, ಒಂದೇ ಕೋಡಿಂಗ್ ಸನ್ನಿವೇಶ ಮತ್ತು ಸಣ್ಣ ಮಾಡೆಲ್‌ಗಳ ಗುಂಪನ್ನು ಪ್ರತಿಬಿಂಬಿಸುತ್ತದೆ. Qwen 3.6 35B-A3B ಈ ಹಿಂದಿನ ಸುತ್ತಿನಲ್ಲಿ ವಿಫಲವಾಗಿತ್ತು; ಅದರ ಹಿಂದಿನ ವೈಫಲ್ಯವು ಕೇವಲ ಒಂದು ಅಕಸ್ಮಾತ್ತಾಗಿತ್ತು. ಆದ್ದರಿಂದ ಈ ಫಲಿತಾಂಶಗಳು ಸೂಚಕವಾಗಿವೆ ಹೊರತು ಅಂತಿಮವಲ್ಲ.

ಮುಂದೆ ಏನನ್ನು ಗಮನಿಸಬೇಕು

ಮುಂದಿನ ಸುತ್ತುಗಳು ಕಾರ್ಯಗಳ ಗುಂಪನ್ನು ವಿಸ್ತರಿಸಬೇಕಾಗುತ್ತದೆ, ಹೆಚ್ಚು ವೈವಿಧ್ಯಮಯ ಟೂಲ್‌ಚೇನ್‌ಗಳನ್ನು ಒಳಗೊಂಡಿರಬೇಕು ಮತ್ತು ವ್ಯಾಪಕ ಶ್ರೇಣಿಯ ಹಾರ್ಡ್‌ವೇರ್ ಮೇಲೆ ಪರೀಕ್ಷಿಸಬೇಕಾಗುತ್ತದೆ. MoE ಮಾಡೆಲ್‌ಗಳು ನಿರಂತರವಾಗಿ dense ಮತ್ತು hybrid ವಿನ್ಯಾಸಗಳಿಗಿಂತ ಉತ್ತಮವಾಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸುತ್ತವೆಯೇ ಮತ್ತು ಡೆವಲಪರ್‌ಗಳು ಮ್ಯಾನುಯಲ್ ಬಗ್-ಪ್ಯಾಚಿಂಗ್ ಅಗತ್ಯವನ್ನು ತಪ್ಪಿಸುವ ವಿಶ್ವಾಸಾರ್ಹ ರ‍್ಯಾಪರ್‌ಗಳನ್ನು (wrappers) ನಿರ್ಮಿಸಬಲ್ಲರೇ ಎಂಬುದನ್ನು ವೀಕ್ಷಕರು ಗಮನಿಸಬೇಕು.

ಸಾರಾಂಶ: 35B MoE ಮಾಡೆಲ್ ಈಗಾಗಲೇ ಸಮರ್ಥ ಸ್ಥಳೀಯ ಕೋಡಿಂಗ್ ಅಸಿಸ್ಟೆಂಟ್ ಆಗಿ ಕಾರ್ಯನಿರ್ವಹಿಸಬಲ್ಲದು, ಆದರೆ ವಿಶಾಲವಾದ ಪರಿಸರ ವ್ಯವಸ್ಥೆ—ಟೂಲ್ ಇಂಟಿಗ್ರೇಷನ್, ಪ್ರಾಂಪ್ಟ್ ಇಂಜಿನಿಯರಿಂಗ್ ಮತ್ತು ಸ್ಥಿರ ರನ್‌ಟೈಮ್‌ಗಳು—ಇನ್ನೂ ಹಿಂದೆ ಬಿದ್ದಿವೆ. ಈ ಎಲ್ಲಾ ಅಂಶಗಳು ಸರಿಯಾಗಿ ಹೊಂದಿಕೊಳ್ಳುವವರೆಗೆ, ಡೆವಲಪರ್‌ಗಳು "plug-and-play" ಸ್ಥಳೀಯ ಏಜೆಂಟ್‌ಗಳ ಬಗ್ಗೆ ತಮ್ಮ ನಿರೀಕ್ಷೆಗಳನ್ನು ನಿಯಂತ್ರಿಸಬೇಕು.