ਮੈਂ ਆਪਣੀ ਵੈੱਬਸਾਈਟ 'ਤੇ ਇੱਕ ਡਿਜੀਟਲ ਟਵਿਨ (digital twin) ਚਲਾਉਂਦਾ ਹਾਂ। ਇਹ ਮੇਰੀ ਜ਼ਿੰਦਗੀ ਅਤੇ ਹੁਨਰਾਂ ਬਾਰੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦਿੰਦਾ ਹੈ। ਮੈਂ ਇਸਨੂੰ ਇੱਕ ਸਖ਼ਤ ਨਿਯਮ ਦਿੱਤਾ ਸੀ: ਕਦੇ ਵੀ ਗੱਲਾਂ ਨਾ ਬਣਾਓ। ਜੇ ਕੋਈ ਅਜਿਹੇ ਹੁਨਰ ਬਾਰੇ ਪੁੱਛਦਾ ਹੈ ਜੋ ਮੇਰੇ ਕੋਲ ਨਹੀਂ ਹੈ, ਤਾਂ ਇਸਨੂੰ ਮੰਨ ਲੈਣਾ ਚਾਹੀਦਾ ਹੈ ਕਿ ਇਹ ਨਹੀਂ ਜਾਣਦਾ। ਕਈ ਮਹੀਨਿਆਂ ਤੱਕ, ਮੈਨੂੰ ਲੱਗਿਆ ਕਿ ਸਿਸਟਮ ਸਹੀ ਕੰਮ ਕਰ ਰਿਹਾ ਹੈ। ਮੈਂ ਇੱਧਰ-ਉੱਧਰ ਇਸਦੀ ਮੈਨੂਅਲ ਜਾਂਚ ਕੀਤੀ ਸੀ, ਅਤੇ ਜਵਾਬ ਸਹੀ ਲੱਗਦੇ ਸਨ। ਫਿਰ ਮੈਂ ਇੱਕ ਸਹੀ ਇਵੈਲੂਏਸ਼ਨ ਹਾਰਨੈਸ (evaluation harness) ਤਿਆਰ ਕੀਤਾ। ਅੰਕੜਿਆਂ ਨੇ ਮੈਨੂੰ ਹੈਰਾਨ ਕਰ ਦਿੱਤਾ। 35 ਸਵਾਲਾਂ ਵਿੱਚੋਂ, ਨੌਂ ਵਿੱਚ ਸਿੱਧੇ ਝੂਠ ਸਨ। ਅੱਠ ਅਜਿਹੇ ਸਵਾਲਾਂ ਵਿੱਚੋਂ ਜਿਨ੍ਹਾਂ ਦੇ ਜਵਾਬ ਨਾ ਦੇਣ ਲਈ ਤਿਆਰ ਕੀਤੇ ਗਏ ਸਨ, ਮਾਡਲ ਨੇ ਸਿਰਫ਼ ਚਾਰ ਨੂੰ ਹੀ ਮਨ੍ਹਾ ਕੀਤਾ। ਮੇਰਾ ਐਂਟੀ-ਹੈਲੂਸੀਨੇਸ਼ਨ ਪ੍ਰੋਂਪਟ (anti-hallucination prompt) ਲਗਭਗ ਇੱਕ ਚੌਥਾਈ ਸਮੇਂ ਅਸਫਲ ਰਿਹਾ। ਮੈਂ ਇੱਕ ਅਜਿਹਾ ਉਤਪਾਦ ਲਾਂਚ ਕਰ ਰਿਹਾ ਸੀ ਜੋ ਆਪਣੇ ਉਪਭੋਗਤਾਵਾਂ ਨਾਲ ਝੂਠ ਬੋਲ ਰਿਹਾ ਸੀ।
ਇੱਕ ਬਹੁਤ ਹੀ ਸਰਲ ਰਿਟ੍ਰੀਵਲ ਸੈੱਟਅੱਪ (Retrieval Setup)
ਮੈਂ Pinecone ਜਾਂ ਕੋਈ ਭਾਰੀ ਵੈਕਟਰ ਡਾਟਾਬੇਸ (vector database) ਨਹੀਂ ਵਰਤਿਆ। ਸਾਰਾ ਸੈੱਟਅੱਪ ਇੱਕ ਸਾਧਾਰਨ JSON ਫਾਈਲ 'ਤੇ ਅਧਾਰਤ ਹੈ। ਮੇਰਾ ਕੋਡ ਮੇਰੀ ਪ੍ਰੋਫਾਈਲ ਨੂੰ ਵੱਖ-ਵੱਖ ਹਿੱਸਿਆਂ ਵਿੱਚ ਵੰਡ ਦਿੰਦਾ ਹੈ। ਜਦੋਂ ਕੋਈ ਸਵਾਲ ਆਉਂਦਾ ਹੈ, ਤਾਂ ਸਿਸਟਮ ਕੁਐਰੀ (query) ਅਤੇ ਟੈਕਸਟ ਦੇ ਹਰ ਹਿੱਸੇ (chunk) ਵਿਚਕਾਰ ਕੋਸਾਈਨ ਸਮਿਲੈਰਿਟੀ (cosine similarity) ਦੀ ਗਣਨਾ ਕਰਦਾ ਹੈ, ਸਭ ਤੋਂ ਨੇੜਲੇ ਮੈਚ ਚੁਣਦਾ ਹੈ, ਅਤੇ ਉਹਨਾਂ ਨੂੰ ਪ੍ਰੋਂਪਟ ਵਿੱਚ ਸੰਦਰਭ (context) ਵਜੋਂ ਪਾ ਦਿੰਦਾ ਹੈ। ਫਿਰ ਮਾਡਲ ਸਿਰਫ਼ ਉਸੇ ਵਿੰਡੋ ਵਿੱਚ ਜੋ ਕੁਝ ਦੇਖਦਾ ਹੈ, ਉਸ ਦੇ ਅਧਾਰ 'ਤੇ ਜਵਾਬ ਤਿਆਰ ਕਰਦਾ ਹੈ।
ਤੱਥਾਂ ਦੇ ਇੱਕ ਸੀਮਤ ਸਮੂਹ ਲਈ ਇੱਕ ਛੋਟੀ ਨਿੱਜੀ ਸਾਈਟ ਲਈ, ਇਹ ਤਰੀਕਾ ਤੇਜ਼ ਹੈ ਅਤੇ ਇਸਦੀ ਲਾਗਤ ਲਗਭਗ ਕੁਝ ਵੀ ਨਹੀਂ ਹੈ। ਇਸ ਵਿੱਚ ਰਿਮੋਟ ਵੈਕਟਰ ਸਟੋਰ ਤੱਕ ਕੋਈ ਨੈੱਟਵਰਕ ਰਾਊਂਡ-ਟ੍ਰਿਪ ਨਹੀਂ ਹੈ, ਕੋਈ ਇੰਡੈਕਸਿੰਗ ਓਵਰਹੈੱਡ ਨਹੀਂ ਹੈ, ਅਤੇ ਕੋਈ ਗੁੰਝਲਦਾਰ ਆਰਕੈਸਟ੍ਰੇਸ਼ਨ (orchestration) ਨਹੀਂ ਹੈ। ਤੁਸੀਂ ਫਾਈਲ ਪੜ੍ਹਦੇ ਹੋ, ਚੰਕਸ (chunks) ਨੂੰ ਸਕੋਰ ਕਰਦੇ ਹੋ, ਪ੍ਰੋਂਪਟ ਬਣਾਉਂਦੇ ਹੋ, ਅਤੇ ਹੋ ਜਾਂਦੇ ਹੋ। ਪਰ ਬੈਕਐਂਡ 'ਤੇ ਸਾਦਗੀ ਆਉਟਪੁੱਟ ਵਿੱਚ ਇਮਾਨਦਾਰੀ ਦੀ ਗਾਰੰਟੀ ਨਹੀਂ ਦਿੰਦੀ। ਇੱਕ ਹਲਕਾ-ਫੁਲਕਾ ਪਾਈਪਲਾਈਨ (pipeline) ਵੀ ਗੰਭੀਰ ਸਮੱਸਿਆਵਾਂ ਪੈਦਾ ਕਰ ਸਕਦਾ ਹੈ ਜਦੋਂ ਮਾਡਲ ਆਪਣੀ ਮਰਜ਼ੀ ਨਾਲ ਕੁਝ ਬਣਾਉਣ ਦਾ ਫੈਸਲਾ ਕਰਦਾ ਹੈ। "'ਇਹ ਰਿਹਾ ਸੰਦਰਭ' ਅਤੇ 'ਇਹ ਉਹ ਹੈ ਜੋ ਮੈਂ ਇਸ ਬਾਰੇ ਕਹਾਂਗਾ' ਵਿਚਕਾਰਲੀ ਦੂਰੀ ਹੀ ਉਹ ਜਗ੍ਹਾ ਹੈ ਜਿੱਥੇ ਹੈਲੂਸੀਨੇਸ਼ਨ (hallucinations) ਹੁੰਦੀਆਂ ਹਨ।" ਤੁਸੀਂ ਮਾਡਲ ਨੂੰ ਆਪਣੇ ਕੰਮ ਦੇ ਇਤਿਹਾਸ ਬਾਰੇ ਇੱਕ ਪੈਰਾਗ੍ਰਾਫ ਦੇ ਸਕਦੇ ਹੋ ਅਤੇ ਫਿਰ ਵੀ ਇੱਕ ਅਜਿਹੀ ਪ੍ਰੋਗਰਾਮਿੰਗ ਭਾਸ਼ਾ ਬਾਰੇ ਪੂਰੇ ਵਿਸ਼ਵਾਸ ਨਾਲ ਝੂਠ ਸੁਣ ਸਕਦੇ ਹੋ ਜਿਸ ਨੂੰ ਤੁਸੀਂ ਕਦੇ ਛੂਹਿਆ ਵੀ ਨਹੀਂ।
ਉਹ ਅੰਕੜੇ ਜਿਨ੍ਹਾਂ ਨੇ ਮੇਰਾ ਵਿਸ਼ਵਾਸ ਤੋੜ ਦਿੱਤਾ
ਕਈ ਮਹੀਨਿਆਂ ਤੱਕ, ਮੈਂ ਮੈਨੂਅਲ ਸਪੌਟ-ਚੈਕਿੰਗ (manual spot-checking) ਨੂੰ ਕਾਫ਼ੀ ਸਮਝਿਆ। ਮੈਂ ਚੈਟ ਖੋਲ੍ਹਦਾ ਸੀ, ਅਜਿਹਾ ਸਵਾਲ ਪੁੱਛਦਾ ਸੀ ਜਿਸਦਾ ਜਵਾਬ ਮੈਨੂੰ ਪਹਿਲਾਂ ਹੀ ਪਤਾ ਸੀ, ਅਤੇ ਜਦੋਂ ਜਵਾਬ ਸਹੀ ਲੱਗਦਾ ਸੀ ਤਾਂ ਸਿਰ ਹਿਲਾ ਦਿੰਦਾ ਸੀ। ਉਹ ਮੇਰੀ ਟੈਸਟਿੰਗ ਰਣਨੀਤੀ ਸੀ। ਇਹ ਮੁਕੰਮਲ ਲੱਗਦੀ ਸੀ ਕਿਉਂਕਿ ਮੈਂ ਖੁਦ ਇੰਟਰਫੇਸ ਦੀ ਵਰਤੋਂ ਕਰ ਰਿਹਾ ਸੀ। ਪਰ ਇਹ ਅਜਿਹੀ ਨਹੀਂ ਸੀ।
ਜਦੋਂ ਮੈਂ ਅੰਤ ਵਿੱਚ ਇੱਕ ਅਜਿਹਾ ਇਵੈਲੂਏਸ਼ਨ ਹਾਰਨੈਸ (evaluation harness) ਲਿਖਿਆ ਜੋ ਵਿਵਸਥਿਤ ਤਰੀਕੇ ਨਾਲ ਚੱਲ ਸਕਦਾ ਸੀ, ਤਾਂ ਤਸਵੀਰ ਬਦਲ ਗਈ। ਟੈਸਟ ਸੂਟ (test suite) ਨੇ ਡਿਜੀਟਲ ਟਵਿਨ 'ਤੇ 35 ਸਵਾਲ ਕੀਤੇ। ਨੌਂ ਜਵਾਬਾਂ ਵਿੱਚ ਝੂਠ ਸੀ। ਮੈਂ ਅੱਠ ਅਜਿਹੇ ਸਵਾਲ ਵੀ ਸ਼ਾਮਲ ਕੀਤੇ ਜਿਨ੍ਹਾਂ ਦਾ ਜਵਾਬ ਮੇਰੀ ਪ੍ਰੋਫਾਈਲ ਵਿੱਚ ਕਿਤੇ ਵੀ ਨਹੀਂ ਸੀ। ਮਾਡਲ ਨੂੰ ਉਹਨਾਂ ਸਾਰਿਆਂ ਨੂੰ ਮਨ੍ਹਾ ਕਰ ਦੇਣਾ ਚਾਹੀਦਾ ਸੀ। ਉਸਨੇ ਸਿਰਫ਼ ਚਾਰ ਨੂੰ ਹੀ ਮਨ੍ਹਾ ਕੀਤਾ। ਮੇਰਾ ਧਿਆਨ ਨਾਲ ਤਿਆਰ ਕੀਤਾ ਗਿਆ ਐਂਟੀ-ਹੈਲੂਸੀਨੇਸ਼ਨ ਪ੍ਰੋਂਪਟ, ਜਿਸ ਵਿੱਚ ਕਦੇ ਵੀ ਗੱਲਾਂ ਨਾ ਬਣਾਉਣ ਬਾਰੇ ਸਖ਼ਤ ਸ਼ਬਦ ਸ਼ਾਮਲ ਸਨ, ਲਗਭਗ 25 ਪ੍ਰਤੀਸ਼ਤ ਸਮੇਂ ਅਸਫਲ ਰਿਹਾ। ਚਾਰ ਵਿੱਚੋਂ ਇੱਕ। ਇਹ ਕੋਈ ਛੋਟੀ ਗਲਤੀ ਨਹੀਂ ਹੈ। ਇਹ ਇੱਕ ਖਰਾਬ ਉਤਪਾਦ ਹੈ।
ਦੋਸਤਾਨਾ ਸਵਾਲਾਂ ਨਾਲ ਟੈਸਟ ਕਰਨਾ ਬੰਦ ਕਰੋ
ਤੁਸੀਂ ਸਿਰਫ਼ ਆਪਣੇ ਉਤਪਾਦ ਦੀ ਵਰਤੋਂ ਕਰਕੇ ਬੱਗ (bugs) ਨਹੀਂ ਲੱਭ ਸਕਦੇ। ਤੁਸੀਂ ਉਹਨਾਂ ਨੂੰ ਉਤਪਾਦ ਨੂੰ ਤੋੜਨ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਕੇ ਲੱਭਦੇ ਹੋ। ਮੇਰੇ ਮੈਨੂਅਲ ਟੈਸਟ ਬਹੁਤ ਦੋਸਤਾਨਾ ਸਨ। ਮੈਂ ਸਿਰਫ਼ ਉਹ ਸਵਾਲ ਪੁੱਛੇ ਜਿਨ੍ਹਾਂ ਦਾ ਸਹੀ ਜਵਾਬ ਮੈਨੂੰ ਪਤਾ ਸੀ, ਜਿਸਦਾ ਮਤਲਬ ਸੀ ਕਿ ਮੈਂ ਅਵਚੇਤਨ ਮਾਡਲ ਨੂੰ ਸੁਰੱਖਿਅਤ ਖੇਤਰ ਵੱਲ ਲੈ ਜਾ ਰਿ
ਮੁਲਾਂਕਣ ਦੀ ਪ੍ਰਕਿਰਿਆ ਵਿੱਚ ਨੁਕਸ ਸੀ। ਇੱਥੇ ਇੱਕ ਬਾਰੀਕ ਜਾਲ ਹੈ ਜਿਸ ਨੇ ਮੈਨੂੰ ਲਗਭਗ ਫਸਾ ਹੀ ਲਿਆ ਸੀ। ਮੇਰਾ ਅਸਲੀ ਟੈਸਟਿੰਗ ਟੂਲ ਰਿਟ੍ਰੀਵਲ ਪ੍ਰਕਿਰਿਆ ਨੂੰ ਦੋ ਵਾਰ ਚਲਾਉਂਦਾ ਸੀ। ਪਹਿਲੀ ਵਾਰ, ਇਹ ਗਰਾਊਂਡ ਟਰੂਥ ਨਾਲ ਚੈੱਕ ਕਰਨ ਲਈ ਸੰਦਰਭ ਪ੍ਰਾਪਤ ਕਰਦਾ ਸੀ। ਦੂਜੀ ਵਾਰ, ਇਹ ਅਸਲ ਜਵਾਬ ਤਿਆਰ ਕਰਨ ਲਈ ਸੰਦਰਭ ਪ੍ਰਾਪਤ ਕਰਦਾ ਸੀ। ਅਸਲ ਵਿੱਚ, ਇਸਦਾ ਮਤਲਬ ਇਹ ਸੀ ਕਿ ਜੱਜ ਦੁਆਰਾ ਦੇਖੇ ਗਏ ਟੁਕੜੇ, ਮਾਡਲ ਦੁਆਰਾ ਦੇਖੇ ਗਏ ਟੁਕੜਿਆਂ ਤੋਂ ਵੱਖਰੇ ਹੋ ਸਕਦੇ ਸਨ। ਜੱਜ ਉਸ ਡੇਟਾ ਦੇ ਆਧਾਰ 'ਤੇ ਜਵਾਬ ਨੂੰ ਗ੍ਰੇਡ ਕਰ ਰਿਹਾ ਸੀ ਜੋ ਸ਼ਾਇਦ AI ਨੂੰ ਕਦੇ ਮਿਲਿਆ ਹੀ ਨਹੀਂ ਸੀ। ਇੱਕ ਅਜਿਹਾ ਮੁਲਾਂਕਣ ਜੋ ਗਲਤ ਇਨਪੁਟ ਦੇ ਆਧਾਰ 'ਤੇ ਗ੍ਰੇਡ ਕਰਦਾ ਹੈ, ਉਹ ਮੁਲਾਂਕਣ ਨਾ ਕਰਨ ਨਾਲੋਂ ਵੀ ਮਾੜਾ ਹੈ। ਇਹ ਤੁਹਾਨੂੰ ਸੁਰੱਖਿਆ ਦਾ ਇੱਕ ਝੂਠਾ ਅਹਿਸਾਸ ਦਿੰਦਾ ਹੈ। ਤੁਸੀਂ ਸਕੋਰ ਦੇਖਦੇ ਹੋ, ਉੱਚਾ ਪਾਸ ਰੇਟ ਦੇਖਦੇ ਹੋ, ਅਤੇ ਸ਼ਾਂਤ ਹੋ ਜਾਂਦੇ ਹੋ। ਇਸ ਦੌਰਾਨ ਤੁਹਾਡੇ ਯੂਜ਼ਰਸ...