{"id":38002,"date":"2026-10-05T09:00:00","date_gmt":"2026-10-05T05:30:00","guid":{"rendered":"https:\/\/webdade.com\/blog\/?p=38002"},"modified":"2026-09-30T10:44:32","modified_gmt":"2026-09-30T07:14:32","slug":"ai-server-guide","status":"publish","type":"post","link":"https:\/\/webdade.com\/blog\/ai-server-guide","title":{"rendered":"\u0633\u0631\u0648\u0631 \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc \u0686\u06cc\u0633\u062a\u061f \u0633\u062e\u062a\u200c\u0627\u0641\u0632\u0627\u0631 \u0644\u0627\u0632\u0645 \u0628\u0631\u0627\u06cc AI \u062f\u0631 2026"},"content":{"rendered":"\n
<\/div>
\n
\n

\u0633\u0631\u0648\u0631 \u0648 \u062f\u06cc\u062a\u0627\u0633\u0646\u062a\u0631 | \u0628\u0644\u0627\u06af \u0648\u0628\u200c\u062f\u0627\u062f\u0647<\/p>\n\n\n\n

\u0633\u0631\u0648\u0631 \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc \u0686\u06cc\u0633\u062a \u0648 \u0628\u0631\u0627\u06cc \u0622\u0645\u0648\u0632\u0634 \u0648 \u0627\u062c\u0631\u0627\u06cc \u0645\u062f\u0644\u200c\u0647\u0627\u06cc AI \u0686\u0647 \u0633\u062e\u062a\u200c\u0627\u0641\u0632\u0627\u0631\u06cc \u0644\u0627\u0632\u0645 \u0627\u0633\u062a\u061f<\/p>\n\n\n\n

\u0627\u0632 GPU \u0648 VRAM \u062a\u0627 \u0631\u0645\u060c \u067e\u0647\u0646\u0627\u06cc \u0628\u0627\u0646\u062f \u0648 \u06a9\u0648\u0627\u0646\u062a\u06cc\u0632\u0627\u0633\u06cc\u0648\u0646\u061b \u0628\u0628\u06cc\u0646\u06cc\u062f \u0647\u0631 \u067e\u0631\u0648\u0698\u0647 AI \u0686\u0647 \u0633\u062e\u062a\u200c\u0627\u0641\u0632\u0627\u0631\u06cc \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u062f \u0648 \u06a9\u062c\u0627 \u06cc\u06a9 \u0633\u0631\u0648\u0631 CPU \u0628\u0627 \u0631\u0645 \u0628\u0627\u0644\u0627 \u0628\u0631\u0627\u06cc \u0634\u0631\u0648\u0639 \u06a9\u0627\u0641\u06cc \u0627\u0633\u062a.<\/div>\n<\/div>\n <\/div><\/section>\n\n\n\n
\n
\n
\n
<\/path><\/svg><\/div><\/div>\n\n\n\n
\n

\ud83d\udca1 \u062e\u0644\u0627\u0635\u0647 \u0645\u0642\u0627\u0644\u0647 \u062f\u0631 \u06f3 \u062e\u0637<\/p>\n\n\n\n

\u2705 \u0633\u0631\u0648\u0631\u0647\u0627\u06cc \u0648\u06cc\u0698\u0647 AI \u062f\u0648 \u06a9\u0627\u0631 \u0627\u0635\u0644\u06cc \u062f\u0627\u0631\u0646\u062f: \u0622\u0645\u0648\u0632\u0634 \u0645\u062f\u0644 \u0628\u0627 \u0646\u06cc\u0627\u0632 \u0634\u062f\u06cc\u062f \u0628\u0647 GPU \u0648 \u062d\u0627\u0641\u0638\u0647\u060c \u0648 \u0627\u0633\u062a\u0646\u062a\u0627\u062c \u06cc\u0639\u0646\u06cc \u0627\u062c\u0631\u0627\u06cc \u0631\u0648\u0632\u0645\u0631\u0647 \u0645\u062f\u0644.
\u2705 \u062f\u0631 \u0627\u062c\u0631\u0627\u06cc \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0632\u0628\u0627\u0646\u06cc\u060c \u0638\u0631\u0641\u06cc\u062a \u0648 \u067e\u0647\u0646\u0627\u06cc \u0628\u0627\u0646\u062f \u062d\u0627\u0641\u0638\u0647 \u0628\u0647 \u0627\u0646\u062f\u0627\u0632\u0647 \u0642\u062f\u0631\u062a \u0645\u062d\u0627\u0633\u0628\u0627\u062a\u06cc \u0645\u0647\u0645 \u0627\u0633\u062a \u0648 \u06a9\u0648\u0627\u0646\u062a\u06cc\u0632\u0627\u0633\u06cc\u0648\u0646 \u0646\u06cc\u0627\u0632 \u0628\u0647 \u0631\u0645 \u0631\u0627 \u0686\u0646\u062f \u0628\u0631\u0627\u0628\u0631 \u06a9\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f.
\u2705 \u0628\u0631\u0627\u06cc \u067e\u0627\u06cc\u0644\u0648\u062a \u0648 \u0628\u0627\u0631 \u0633\u0628\u06a9\u060c \u0633\u0631\u0648\u0631 CPU \u0628\u0627 \u0631\u0645 \u0628\u0627\u0644\u0627 \u06a9\u0627\u0641\u06cc \u0627\u0633\u062a\u061b \u0622\u0645\u0648\u0632\u0634 \u0648 \u0628\u0627\u0631 \u0633\u0646\u06af\u06cc\u0646 \u0628\u0647 GPU \u06cc\u0627 \u06a9\u0648\u0644\u0648\u06a9\u06cc\u0634\u0646 \u0633\u062e\u062a\u200c\u0627\u0641\u0632\u0627\u0631 \u0627\u062e\u062a\u0635\u0627\u0635\u06cc \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u062f.<\/div>\n<\/div>\n<\/div>\n\n\n\n
\u0633\u0631\u0648\u0631 \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc<\/strong> \u0633\u0631\u0648\u0631\u06cc \u0627\u0633\u062a \u06a9\u0647 \u0633\u062e\u062a\u200c\u0627\u0641\u0632\u0627\u0631\u0634 \u0628\u0631\u0627\u06cc \u0628\u0627\u0631\u0647\u0627\u06cc \u06a9\u0627\u0631\u06cc \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0645\u0627\u0634\u06cc\u0646 \u0648 \u06cc\u0627\u062f\u06af\u06cc\u0631\u06cc \u0639\u0645\u06cc\u0642 \u0627\u0646\u062a\u062e\u0627\u0628 \u0648 \u067e\u06cc\u06a9\u0631\u0628\u0646\u062f\u06cc \u0634\u062f\u0647 \u0627\u0633\u062a: \u067e\u0631\u062f\u0627\u0632\u0634 \u0645\u0648\u0627\u0632\u06cc \u0642\u062f\u0631\u062a\u0645\u0646\u062f (\u0645\u0639\u0645\u0648\u0644\u0627\u064b GPU)\u060c \u062d\u0627\u0641\u0638\u0647 \u067e\u0631\u0638\u0631\u0641\u06cc\u062a \u0648 \u067e\u0631\u0633\u0631\u0639\u062a\u060c \u062f\u06cc\u0633\u06a9 NVMe \u0648 \u0634\u0628\u06a9\u0647 \u0633\u0631\u06cc\u0639. \u062a\u0641\u0627\u0648\u062a \u0627\u0635\u0644\u06cc \u0622\u0646 \u0628\u0627 \u0633\u0631\u0648\u0631 \u0645\u0639\u0645\u0648\u0644\u06cc \u0627\u06cc\u0646 \u0627\u0633\u062a \u06a9\u0647 \u06af\u0644\u0648\u06af\u0627\u0647\u0634 \u0628\u0647\u200c\u062c\u0627\u06cc \u062f\u06cc\u0633\u06a9 \u06cc\u0627 \u062a\u0639\u062f\u0627\u062f \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0648\u0628\u060c \u0627\u063a\u0644\u0628 \u062d\u0627\u0641\u0638\u0647 \u0648 \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u0645\u0627\u062a\u0631\u06cc\u0633\u06cc \u0627\u0633\u062a.<\/div>\n\n\n\n
\u2705 \u0633\u062e\u062a\u200c\u0627\u0641\u0632\u0627\u0631 \u0646\u0627\u0645\u0646\u0627\u0633\u0628 \u06cc\u0639\u0646\u06cc \u0645\u062f\u0644\u06cc \u06a9\u0647 \u062f\u0631 \u062d\u0627\u0641\u0638\u0647 \u062c\u0627 \u0646\u0645\u06cc\u200c\u0634\u0648\u062f \u06cc\u0627 \u067e\u0627\u0633\u062e\u200c\u0647\u0627\u06cc\u0634 \u0628\u06cc\u0634 \u0627\u0632 \u062d\u062f \u06a9\u0646\u062f \u0627\u0633\u062a.
\u2705 \u0627\u062c\u0631\u0627\u06cc \u0645\u062f\u0644 \u0631\u0648\u06cc \u0633\u0631\u0648\u0631 \u062e\u0648\u062f\u062a\u0627\u0646\u060c \u06a9\u0646\u062a\u0631\u0644 \u062f\u0627\u062f\u0647\u200c\u0647\u0627 \u0631\u0627 \u062f\u0631 \u0627\u062e\u062a\u06cc\u0627\u0631 \u0634\u0645\u0627 \u0646\u06af\u0647 \u0645\u06cc\u200c\u062f\u0627\u0631\u062f.
\u2705 \u0628\u0633\u06cc\u0627\u0631\u06cc \u0627\u0632 \u067e\u0631\u0648\u0698\u0647\u200c\u0647\u0627 \u0641\u0642\u0637 \u0628\u0647 \u0627\u0633\u062a\u0646\u062a\u0627\u062c \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u0646\u062f \u0648 \u0628\u062f\u0648\u0646 GPU \u0647\u0645 \u0642\u0627\u0628\u0644 \u0634\u0631\u0648\u0639 \u0647\u0633\u062a\u0646\u062f.<\/div>\n\n\n\n
\n
<\/path><\/svg><\/div><\/div>\n\n\n\n
\n

\ud83d\udca1 \u0633\u0631\u0648\u0631 \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc = \u0633\u062e\u062a\u200c\u0627\u0641\u0632\u0627\u0631 \u0645\u062a\u0646\u0627\u0633\u0628 \u0628\u0627 \u0622\u0645\u0648\u0632\u0634 \u06cc\u0627 \u0627\u062c\u0631\u0627\u06cc \u0645\u062f\u0644<\/p>\n\n\n\n

\u2705 \u0645\u0639\u06cc\u0627\u0631 \u0627\u0635\u0644\u06cc \u0627\u0646\u062a\u062e\u0627\u0628\u060c \u0627\u0646\u062f\u0627\u0632\u0647 \u0645\u062f\u0644 \u0648 \u0646\u0648\u0639 \u06a9\u0627\u0631 \u0627\u0633\u062a\u060c \u0646\u0647 \u0641\u0642\u0637 \u062a\u0639\u062f\u0627\u062f \u0647\u0633\u062a\u0647\u200c\u0647\u0627.
\u2705 \u0633\u0631\u0648\u0631 \u0627\u062e\u062a\u0635\u0627\u0635\u06cc HPE \u0628\u0627 \u0631\u0645 ECC \u0648 \u062f\u06cc\u0633\u06a9 NVMe \u0628\u0631\u0627\u06cc \u0627\u0633\u062a\u0646\u062a\u0627\u062c \u0631\u0648\u06cc CPU\u060c \u062f\u0631 \u0648\u0628\u200c\u062f\u0627\u062f\u0647<\/div>\n<\/div>\n<\/div>\n\n\n\n
\u062d\u062a\u0645\u0627\u064b \u0632\u0645\u0627\u0646\u06cc \u06a9\u0647 \u0627\u06cc\u0646 \u0645\u0642\u0627\u0644\u0647 \u0631\u0627 \u0628\u0627\u0632 \u06a9\u0631\u062f\u0647\u200c\u0627\u06cc\u062f\u060c \u0628\u0647 \u062f\u0646\u0628\u0627\u0644 \u0627\u06cc\u0646 \u0647\u0633\u062a\u06cc\u062f \u06a9\u0647 \u0628\u062f\u0627\u0646\u06cc\u062f \u0628\u0631\u0627\u06cc \u0627\u062c\u0631\u0627\u06cc \u06cc\u06a9 \u0645\u062f\u0644 \u0632\u0628\u0627\u0646\u06cc \u06cc\u0627 \u0633\u0627\u062e\u062a \u0686\u062a\u200c\u0628\u0627\u062a \u0633\u0627\u0632\u0645\u0627\u0646\u06cc \u0686\u0647 \u0633\u0631\u0648\u0631\u06cc \u0644\u0627\u0632\u0645 \u062f\u0627\u0631\u06cc\u062f \u0648 \u0622\u06cc\u0627 \u0628\u062f\u0648\u0646 GPU \u0647\u0645 \u0645\u06cc\u200c\u0634\u0648\u062f \u0634\u0631\u0648\u0639 \u06a9\u0631\u062f. \u062f\u0631 \u0627\u06cc\u0646 \u0631\u0627\u0647\u0646\u0645\u0627\u06cc \u06a9\u0627\u0645\u0644\u060c \u06af\u0627\u0645\u200c\u0628\u0647\u200c\u06af\u0627\u0645 \u0646\u0642\u0634 CPU\u060c GPU \u0648 \u0631\u0645\u060c \u0645\u062d\u0627\u0633\u0628\u0647 \u062d\u0627\u0641\u0638\u0647 \u0648 \u0631\u0648\u0634 \u0627\u062c\u0631\u0627\u06cc \u0645\u062f\u0644 \u0631\u0648\u06cc \u0633\u0631\u0648\u0631 \u0631\u0627 \u0628\u0627 \u062a\u06a9\u06cc\u0647 \u0628\u0631 \u0645\u0646\u0627\u0628\u0639 \u0631\u0633\u0645\u06cc \u0628\u0631\u0631\u0633\u06cc \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645. \u067e\u0633 \u0647\u0645\u0631\u0627\u0647 \u0645\u0627 \u0628\u0627\u0634\u06cc\u062f \ud83d\ude09\ud83d\udc47<\/div>\n\n\n\n
\n
<\/path><\/svg><\/div><\/div>\n\n\n\n
\n

\ud83d\udd36 \u0633\u0631\u0648\u0631 \u0627\u062e\u062a\u0635\u0627\u0635\u06cc HPE \u0628\u0631\u0627\u06cc \u0627\u0633\u062a\u0646\u062a\u0627\u062c \u0631\u0648\u06cc CPU<\/p>\n\n\n\n

\u067e\u0644\u0646 \u0622\u0645\u0627\u062f\u0647 \u0633\u0631\u0648\u0631 \u0627\u062e\u062a\u0635\u0627\u0635\u06cc \u0627\u06cc\u0631\u0627\u0646<\/a> \u0648\u0628\u200c\u062f\u0627\u062f\u0647 \u0628\u0627 \u062f\u0648 Xeon E5-2680 v4 \u0648 64GB \u0631\u0645 ECC\u060c \u0628\u0631\u0627\u06cc \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u06a9\u0648\u0627\u0646\u062a\u06cc\u0632\u0647 \u0648 \u0633\u0631\u0648\u06cc\u0633\u200c\u0647\u0627\u06cc \u0633\u0628\u06a9 AI \u0645\u0646\u0627\u0633\u0628 \u0627\u0633\u062a. \u0627\u06cc\u0646 \u067e\u0644\u0646 GPU \u0646\u062f\u0627\u0631\u062f\u061b \u0646\u06cc\u0627\u0632 GPU \u0631\u0627 \u0627\u0632 \u0637\u0631\u06cc\u0642 \u062a\u06cc\u06a9\u062a \u06cc\u0627 \u062a\u0645\u0627\u0633 \u0645\u0637\u0631\u062d \u06a9\u0646\u06cc\u062f \u062a\u0627 \u0628\u0631\u0631\u0633\u06cc \u0634\u0648\u062f. \ud83d\udc47<\/div>\n<\/div>\n<\/div>\n\n\n\n
\n
<\/path><\/svg><\/div><\/div>\n\n\n\n
\n

\ud83d\udccc \u0622\u0646\u0686\u0647 \u062f\u0631 \u0627\u06cc\u0646 \u0645\u0642\u0627\u0644\u0647 \u0645\u06cc\u200c\u062e\u0648\u0627\u0646\u06cc\u062f<\/p>\n\n\n\n

\u25c0\ufe0f \u0633\u0631\u0648\u0631 \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc \u0686\u06cc\u0633\u062a \u0648 \u0686\u0647 \u0641\u0631\u0642\u06cc \u0628\u0627 \u0633\u0631\u0648\u0631 \u0645\u0639\u0645\u0648\u0644\u06cc \u062f\u0627\u0631\u062f\u061f<\/a>
\u25c0\ufe0f \u0686\u0631\u0627 \u0628\u0647 \u0632\u06cc\u0631\u0633\u0627\u062e\u062a \u0627\u062e\u062a\u0635\u0627\u0635\u06cc AI \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u06cc\u0645\u061f<\/a>
\u25c0\ufe0f \u0633\u062e\u062a\u200c\u0627\u0641\u0632\u0627\u0631 \u0644\u0627\u0632\u0645 \u0628\u0631\u0627\u06cc \u0622\u0645\u0648\u0632\u0634 \u0645\u062f\u0644 \u0648 \u0627\u0633\u062a\u0646\u062a\u0627\u062c<\/a>
\u25c0\ufe0f \u0645\u0642\u0627\u06cc\u0633\u0647 \u067e\u0647\u0646\u0627\u06cc \u0628\u0627\u0646\u062f \u062d\u0627\u0641\u0638\u0647 CPU \u0648 GPU<\/a>
\u25c0\ufe0f \u062c\u062f\u0648\u0644 \u062d\u0627\u0641\u0638\u0647 \u0644\u0627\u0632\u0645 \u0628\u0631\u0627\u06cc \u0627\u062c\u0631\u0627\u06cc \u0645\u062f\u0644 \u0632\u0628\u0627\u0646\u06cc<\/a>
\u25c0\ufe0f \u0622\u0645\u0648\u0632\u0634 \u0627\u062c\u0631\u0627\u06cc \u0645\u062f\u0644 \u0632\u0628\u0627\u0646\u06cc \u0631\u0648\u06cc \u0633\u0631\u0648\u0631 CPU<\/a>
\u25c0\ufe0f \u0645\u0632\u0627\u06cc\u0627 \u0648 \u0645\u062d\u062f\u0648\u062f\u06cc\u062a\u200c\u0647\u0627\u06cc \u0627\u0633\u062a\u0646\u062a\u0627\u062c \u0631\u0648\u06cc CPU<\/a>
\u25c0\ufe0f HPE DL380 Gen11 \u0648 GPU\u061b \u0686\u0647 \u0632\u0645\u0627\u0646\u06cc \u0627\u0631\u062a\u0642\u0627 \u062f\u0647\u06cc\u0645\u061f<\/a>
\u25c0\ufe0f \u0633\u0631\u0648\u0631 \u0627\u062e\u062a\u0635\u0627\u0635\u06cc \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc \u062f\u0631 \u0648\u0628\u200c\u062f\u0627\u062f\u0647\u061b \u0627\u0633\u062a\u0646\u062a\u0627\u062c \u0631\u0648\u06cc CPU<\/a>
\u25c0\ufe0f \u0633\u0648\u0627\u0644\u0627\u062a \u0645\u062a\u062f\u0627\u0648\u0644 \u062f\u0631\u0628\u0627\u0631\u0647 \u0633\u0631\u0648\u0631\u0647\u0627\u06cc \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc<\/a>
\u25c0\ufe0f \u062c\u0645\u0639\u200c\u0628\u0646\u062f\u06cc\u061b \u0633\u062e\u062a\u200c\u0627\u0641\u0632\u0627\u0631 \u062f\u0631\u0633\u062a\u060c \u0634\u0631\u0648\u0639 \u062f\u0631\u0633\u062a \u067e\u0631\u0648\u0698\u0647 AI<\/a><\/div>\n<\/div>\n<\/div>\n<\/div>\n <\/div><\/section>\n\n\n\n
\n
\n

\u0633\u0631\u0648\u0631 \u0647\u0648\u0634 \u0645\u0635\u0646\u0648\u0639\u06cc \u0686\u06cc\u0633\u062a \u0648 \u0686\u0647 \u0641\u0631\u0642\u06cc \u0628\u0627 \u0633\u0631\u0648\u0631 \u0645\u0639\u0645\u0648\u0644\u06cc \u062f\u0627\u0631\u062f\u061f<\/h2>\n\n\n\n
<\/path><\/stop><\/stop><\/linearGradient><\/defs><\/svg><\/div>\n\n\n\n
\u0634\u0628\u06a9\u0647\u200c\u0647\u0627\u06cc \u0639\u0635\u0628\u06cc\u060c \u0627\u0632 \u062a\u0634\u062e\u06cc\u0635 \u062a\u0635\u0648\u06cc\u0631 \u062a\u0627 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0632\u0628\u0627\u0646\u06cc \u0628\u0632\u0631\u06af (LLM)\u060c \u062f\u0631 \u0627\u0635\u0644 \u0645\u06cc\u0644\u06cc\u0627\u0631\u062f\u0647\u0627 \u0639\u062f\u062f \u0628\u0647 \u0646\u0627\u0645 \u067e\u0627\u0631\u0627\u0645\u062a\u0631 \u06cc\u0627 \u0648\u0632\u0646 \u0647\u0633\u062a\u0646\u062f \u06a9\u0647 \u067e\u06cc\u0648\u0633\u062a\u0647 \u0627\u0632 \u062d\u0627\u0641\u0638\u0647 \u062e\u0648\u0627\u0646\u062f\u0647 \u0648 \u062f\u0631 \u0647\u0645 \u0636\u0631\u0628 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f. \u067e\u0633 \u06a9\u06cc\u0641\u06cc\u062a \u0633\u0631\u0648\u0631 AI \u0628\u0627 \u0633\u0647 \u0645\u0639\u06cc\u0627\u0631 \u0633\u0646\u062c\u06cc\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f: \u062a\u0648\u0627\u0646 \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u0645\u0648\u0627\u0632\u06cc\u060c \u0638\u0631\u0641\u06cc\u062a \u062d\u0627\u0641\u0638\u0647 \u0648 \u0633\u0631\u0639\u062a \u0627\u0646\u062a\u0642\u0627\u0644 \u062f\u0627\u062f\u0647 \u0628\u06cc\u0646 \u062d\u0627\u0641\u0638\u0647 \u0648 \u067e\u0631\u062f\u0627\u0632\u0646\u062f\u0647.<\/div>\n\n\n\n
\u06cc\u06a9 \u0631\u0633\u062a\u0648\u0631\u0627\u0646 \u0631\u0627 \u062a\u0635\u0648\u0631 \u06a9\u0646\u06cc\u062f. \u0622\u0645\u0648\u0632\u0634 \u0645\u062f\u0644 \u0645\u062b\u0644 \u062a\u062f\u0648\u06cc\u0646 \u06a9\u062a\u0627\u0628 \u062f\u0633\u062a\u0648\u0631 \u067e\u062e\u062a \u0627\u0633\u062a: \u0645\u0627\u0647\u200c\u0647\u0627 \u0622\u0632\u0645\u0648\u0646 \u0648 \u062e\u0637\u0627 \u0648 \u0622\u0634\u067e\u0632\u062e\u0627\u0646\u0647\u200c\u0627\u06cc \u0628\u0632\u0631\u06af \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u062f. \u0627\u0633\u062a\u0646\u062a\u0627\u062c (Inference) \u0645\u062b\u0644 \u067e\u062e\u062a \u0633\u0641\u0627\u0631\u0634\u200c\u0647\u0627\u06cc \u0631\u0648\u0632\u0627\u0646\u0647 \u0627\u0632 \u0631\u0648\u06cc \u0647\u0645\u0627\u0646 \u06a9\u062a\u0627\u0628 \u0627\u0633\u062a\u061b \u0633\u0628\u06a9\u200c\u062a\u0631\u060c \u0627\u0645\u0627 \u0633\u0631\u06cc\u0639 \u0648 \u0628\u06cc\u200c\u0648\u0642\u0641\u0647. \u0628\u06cc\u0634\u062a\u0631 \u06a9\u0633\u0628\u200c\u0648\u06a9\u0627\u0631\u0647\u0627 \u0627\u0632 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0645\u062a\u0646\u200c\u0628\u0627\u0632 \u0622\u0645\u0648\u0632\u0634\u200c\u062f\u06cc\u062f\u0647 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f \u0648 \u0641\u0642\u0637 \u0628\u0647 \u0622\u0634\u067e\u0632\u062e\u0627\u0646\u0647 \u067e\u062e\u062a \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u0646\u062f.<\/div>\n\n\n\n
Dataset \u27a1\ufe0f [ Training: GPU cluster, BF16\/FP16 ] \u27a1\ufe0f Model weights\n                                                  \u2b07\ufe0f\n                                    Quantize (INT8 \/ 4-bit, GGUF)\n                                                  \u2b07\ufe0f\nUser prompt \u27a1\ufe0f [ Inference: GPU or high-RAM CPU ] \u27a1\ufe0f Answer (tokens)<\/code><\/pre>\n\n\n\n
\u06f1- \u0622\u0645\u0648\u0632\u0634 \u0645\u062f\u0644 (Training)\u061b \u0633\u0646\u06af\u06cc\u0646\u200c\u062a\u0631\u06cc\u0646 \u0628\u0627\u0631 \u06a9\u0627\u0631\u06cc<\/h3>\n\n\n\n
\u062f\u0631 \u0622\u0645\u0648\u0632\u0634 \u0645\u062f\u0644\u060c \u0634\u0628\u06a9\u0647 \u0628\u0627\u0631\u0647\u0627 \u062f\u0627\u062f\u0647 \u0631\u0627 \u0645\u06cc\u200c\u0628\u06cc\u0646\u062f \u0648 \u0648\u0632\u0646\u200c\u0647\u0627\u06cc\u0634 \u0631\u0627 \u0628\u0627 \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632\u0647\u0627\u06cc\u06cc \u0645\u0627\u0646\u0646\u062f AdamW \u0627\u0635\u0644\u0627\u062d \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0637\u0628\u0642 \u0645\u0633\u062a\u0646\u062f\u0627\u062a Hugging Face\u060c \u062f\u0631 \u0622\u0645\u0648\u0632\u0634 \u0628\u0627 \u062f\u0642\u062a \u062a\u0631\u06a9\u06cc\u0628\u06cc (mixed precision) \u0647\u0631 \u067e\u0627\u0631\u0627\u0645\u062a\u0631 \u062d\u062f\u0648\u062f \u06f1\u06f8 \u0628\u0627\u06cc\u062a \u062d\u0627\u0641\u0638\u0647 \u0645\u06cc\u200c\u06af\u06cc\u0631\u062f: \u06f6 \u0628\u0627\u06cc\u062a \u0648\u0632\u0646\u200c\u0647\u0627\u060c \u06f8 \u0628\u0627\u06cc\u062a \u0648\u0636\u0639\u06cc\u062a \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632 \u0648 \u06f4 \u0628\u0627\u06cc\u062a \u06af\u0631\u0627\u062f\u06cc\u0627\u0646\u060c \u0628\u062f\u0648\u0646 \u0627\u062d\u062a\u0633\u0627\u0628 \u0627\u06a9\u062a\u06cc\u0648\u06cc\u0634\u0646\u200c\u0647\u0627. \u0628\u0647 \u0647\u0645\u06cc\u0646 \u062f\u0644\u06cc\u0644 \u0622\u0645\u0648\u0632\u0634 \u06a9\u0627\u0645\u0644 \u062d\u062a\u06cc \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0646\u0633\u0628\u062a\u0627\u064b \u06a9\u0648\u0686\u06a9 \u0686\u0646\u062f GPU \u067e\u0631\u062d\u0627\u0641\u0638\u0647 \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u062f.<\/div>\n\n\n\n
\u06f2- \u0627\u0633\u062a\u0646\u062a\u0627\u062c (Inference)\u061b \u0627\u062c\u0631\u0627\u06cc \u0631\u0648\u0632\u0645\u0631\u0647 \u0645\u062f\u0644<\/h3>\n\n\n\n
\u062f\u0631 \u0627\u0633\u062a\u0646\u062a\u0627\u062c\u060c \u0645\u062f\u0644 \u0622\u0645\u0648\u0632\u0634\u200c\u062f\u06cc\u062f\u0647 \u0648\u0631\u0648\u062f\u06cc \u06a9\u0627\u0631\u0628\u0631 \u0631\u0627 \u0645\u06cc\u200c\u06af\u06cc\u0631\u062f \u0648 \u067e\u0627\u0633\u062e \u0645\u06cc\u200c\u0633\u0627\u0632\u062f\u061b \u0641\u0642\u0637 \u0648\u0632\u0646\u200c\u0647\u0627 \u0648 \u06a9\u0645\u06cc \u062d\u0627\u0641\u0638\u0647 \u0645\u0648\u0642\u062a \u0644\u0627\u0632\u0645 \u0627\u0633\u062a. \u0637\u0628\u0642 \u0648\u0628\u0644\u0627\u06af \u0641\u0646\u06cc NVIDIA\u060c \u0645\u062f\u0644 Llama 2 7B \u0628\u0627 \u062f\u0642\u062a \u06f1\u06f6 \u0628\u06cc\u062a\u06cc \u062d\u062f\u0648\u062f 14GB \u062d\u0627\u0641\u0638\u0647 \u0645\u06cc\u200c\u06af\u06cc\u0631\u062f. \u0627\u062c\u0631\u0627\u06cc \u06cc\u06a9 \u0645\u062f\u0644 \u0632\u0628\u0627\u0646\u06cc \u062f\u0648 \u0645\u0631\u062d\u0644\u0647 \u062f\u0627\u0631\u062f: \u067e\u0631\u062f\u0627\u0632\u0634 \u067e\u0631\u0627\u0645\u067e\u062a (prefill) \u06a9\u0647 \u0645\u0648\u0627\u0632\u06cc \u0648 \u0645\u062d\u0627\u0633\u0628\u0647\u200c\u0645\u062d\u0648\u0631 \u0627\u0633\u062a \u0648 \u062a\u0648\u0644\u06cc\u062f \u062a\u0648\u06a9\u0646\u200c\u0628\u0647\u200c\u062a\u0648\u06a9\u0646 \u067e\u0627\u0633\u062e (decode) \u06a9\u0647 \u0628\u0647 \u0633\u0631\u0639\u062a \u062e\u0648\u0627\u0646\u062f\u0646 \u062d\u0627\u0641\u0638\u0647 \u0648\u0627\u0628\u0633\u062a\u0647 \u0627\u0633\u062a.<\/div>\n\n\n\n
<\/p>\n\n\n\n
\"\u0633\u0631\u0648\u0631<\/div>\n\n\n\n
\n
<\/path><\/svg><\/div><\/div>\n\n\n\n
\n
\ud83d\udd38 \u0646\u06a9\u062a\u0647 \u0641\u0646\u06cc: \u06af\u0644\u0648\u06af\u0627\u0647 \u0627\u0635\u0644\u06cc \u0627\u0633\u062a\u0646\u062a\u0627\u062c<\/p>\n\n\n\n
NVIDIA \u0645\u0631\u062d\u0644\u0647 decode \u0631\u0627 \u00ab\u0645\u062d\u062f\u0648\u062f \u0628\u0647 \u062d\u0627\u0641\u0638\u0647\u00bb (memory-bound) \u0645\u06cc\u200c\u062f\u0627\u0646\u062f\u061b \u06cc\u0639\u0646\u06cc \u0633\u0631\u0639\u062a \u0627\u0646\u062a\u0642\u0627\u0644 \u062f\u0627\u062f\u0647 \u0627\u0632 \u062d\u0627\u0641\u0638\u0647\u060c \u0628\u06cc\u0634 \u0627\u0632 \u0633\u0631\u0639\u062a \u0645\u062d\u0627\u0633\u0628\u0647\u060c \u0632\u0645\u0627\u0646 \u067e\u0627\u0633\u062e \u0631\u0627 \u062a\u0639\u06cc\u06cc\u0646 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u067e\u0633 \u062f\u0631 \u0627\u0646\u062a\u062e\u0627\u0628 \u0633\u0631\u0648\u0631\u060c \u067e\u0647\u0646\u0627\u06cc \u0628\u0627\u0646\u062f \u062d\u0627\u0641\u0638\u0647<\/strong> \u0631\u0627 \u0647\u0645\u200c\u0648\u0632\u0646 \u062a\u0639\u062f\u0627\u062f \u0647\u0633\u062a\u0647\u200c\u0647\u0627 \u0628\u0628\u06cc\u0646\u06cc\u062f.<\/div>\n<\/div>\n<\/div>\n<\/div>\n <\/div><\/section>\n\n\n\n
 \n
\n
\u0686\u0631\u0627 \u0628\u0647 \u0632\u06cc\u0631\u0633\u0627\u062e\u062a \u0627\u062e\u062a\u0635\u0627\u0635\u06cc AI \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u06cc\u0645\u061f<\/h3>\n\n\n\n
<\/path><\/stop><\/stop><\/linearGradient><\/defs><\/svg><\/div>\n\n\n\n
\u062f\u0627\u062f\u0647 \u0645\u0634\u062a\u0631\u06cc\u060c \u0627\u0633\u0646\u0627\u062f \u062f\u0627\u062e\u0644\u06cc \u06cc\u0627 \u06a9\u062f \u0645\u0646\u0628\u0639 \u0631\u0627 \u0647\u0631 \u0633\u0627\u0632\u0645\u0627\u0646\u06cc \u0646\u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u062f \u0628\u0647 API \u062e\u0627\u0631\u062c\u06cc \u0628\u0641\u0631\u0633\u062a\u062f\u061b \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u0647 \u0628\u0631\u062e\u06cc \u0633\u0631\u0648\u06cc\u0633\u200c\u0647\u0627\u06cc \u062e\u0627\u0631\u062c\u06cc \u0648 \u067e\u0631\u062f\u0627\u062e\u062a \u0647\u0632\u06cc\u0646\u0647 \u0622\u0646\u200c\u0647\u0627 \u0627\u0632 \u0627\u06cc\u0631\u0627\u0646 \u0647\u0645 \u0645\u062d\u062f\u0648\u062f \u06cc\u0627 \u0646\u0627\u067e\u0627\u06cc\u062f\u0627\u0631 \u0627\u0633\u062a. \u0627\u062c\u0631\u0627\u06cc \u0645\u062f\u0644 \u0645\u062a\u0646\u200c\u0628\u0627\u0632 \u0631\u0648\u06cc \u0633\u0631\u0648\u0631 \u0627\u062e\u062a\u0635\u0627\u0635\u06cc \u0627\u06cc\u0646 \u0648\u0627\u0628\u0633\u062a\u06af\u06cc \u0631\u0627 \u06a9\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f:<\/div>\n\n\n\n
\u2705 \u062d\u0631\u06cc\u0645 \u062e\u0635\u0648\u0635\u06cc:<\/strong> \u067e\u0631\u0627\u0645\u067e\u062a\u200c\u0647\u0627\u060c \u0627\u0633\u0646\u0627\u062f \u0648 \u067e\u0627\u0633\u062e\u200c\u0647\u0627 \u0631\u0648\u06cc \u0633\u0631\u0648\u0631 \u062e\u0648\u062f\u062a\u0627\u0646 \u0645\u06cc\u200c\u0645\u0627\u0646\u0646\u062f.
\u2705 \u062a\u0623\u062e\u06cc\u0631 \u06a9\u0645\u062a\u0631:<\/strong> \u0633\u0631\u0648\u0631 \u0646\u0632\u062f\u06cc\u06a9 \u0628\u0647 \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u062f\u0627\u062e\u0644\u06cc\u060c \u0632\u0645\u0627\u0646 \u0631\u0641\u062a\u200c\u0648\u0628\u0631\u06af\u0634\u062a \u0634\u0628\u06a9\u0647 \u0631\u0627 \u06a9\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f.
\u2705 \u06a9\u0646\u062a\u0631\u0644 \u06a9\u0627\u0645\u0644:<\/strong> \u0646\u0633\u062e\u0647 \u0645\u062f\u0644\u060c \u0633\u0637\u062d \u06a9\u0648\u0627\u0646\u062a\u06cc\u0632\u0627\u0633\u06cc\u0648\u0646 \u0648 \u062a\u0646\u0638\u06cc\u0645\u0627\u062a \u067e\u0627\u0633\u062e \u0631\u0627 \u062e\u0648\u062f\u062a\u0627\u0646 \u0627\u0646\u062a\u062e\u0627\u0628 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u062f.
\u2705 \u0647\u0632\u06cc\u0646\u0647 \u0642\u0627\u0628\u0644 \u067e\u06cc\u0634\u200c\u0628\u06cc\u0646\u06cc:<\/strong> \u0628\u0647\u200c\u062c\u0627\u06cc \u067e\u0631\u062f\u0627\u062e\u062a \u0628\u0647 \u0627\u0632\u0627\u06cc \u0647\u0631 \u062a\u0648\u06a9\u0646\u060c \u0647\u0632\u06cc\u0646\u0647 \u062b\u0627\u0628\u062a \u0632\u06cc\u0631\u0633\u0627\u062e\u062a \u0631\u0627 \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0631\u06cc\u0632\u06cc \u0645\u06cc\u200c\u06a9\u0646\u06cc\u062f.<\/div>\n\n\n\n
\u274c \u0631\u0627\u0647\u200c\u0627\u0646\u062f\u0627\u0632\u06cc \u0648 \u0646\u06af\u0647\u062f\u0627\u0631\u06cc \u0645\u062f\u0644\u060c \u062f\u0627\u0646\u0634 \u0644\u06cc\u0646\u0648\u06a9\u0633\u060c \u0634\u0628\u06a9\u0647 \u0648 \u0627\u0645\u0646\u06cc\u062a \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u062f.
\u274c \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0645\u062a\u0646\u200c\u0628\u0627\u0632 \u06a9\u0648\u0686\u06a9 \u062f\u0631 \u06a9\u0627\u0631\u0647\u0627\u06cc \u067e\u06cc\u0686\u06cc\u062f\u0647 \u0644\u0632\u0648\u0645\u0627\u064b \u0628\u0647 \u06a9\u06cc\u0641\u06cc\u062a \u0633\u0631\u0648\u06cc\u0633\u200c\u0647\u0627\u06cc \u062a\u062c\u0627\u0631\u06cc \u0628\u0632\u0631\u06af \u0646\u0645\u06cc\u200c\u0631\u0633\u0646\u062f.
\u274c GPU \u062f\u06cc\u062a\u0627\u0633\u0646\u062a\u0631\u06cc \u06af\u0631\u0627\u0646 \u0627\u0633\u062a \u0648 \u0628\u0631\u0642 \u0648 \u062e\u0646\u06a9\u200c\u0633\u0627\u0632\u06cc \u062c\u062f\u06cc \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u062f.<\/div>\n<\/div>\n <\/div><\/section>\n\n\n\n
 \n
\n
\u0633\u062e\u062a\u200c\u0627\u0641\u0632\u0627\u0631 \u0644\u0627\u0632\u0645 \u0628\u0631\u0627\u06cc \u0622\u0645\u0648\u0632\u0634 \u0645\u062f\u0644 \u0648 \u0627\u0633\u062a\u0646\u062a\u0627\u062c<\/h2>\n\n\n\n
<\/path><\/stop><\/stop><\/linearGradient><\/defs><\/svg><\/div>\n\n\n\n
\u0647\u06cc\u0686 \u0642\u0637\u0639\u0647\u200c\u0627\u06cc \u0628\u0647\u200c\u062a\u0646\u0647\u0627\u06cc\u06cc \u062a\u0639\u06cc\u06cc\u0646\u200c\u06a9\u0646\u0646\u062f\u0647 \u0646\u06cc\u0633\u062a\u061b GPU \u0642\u0648\u06cc \u06a9\u0646\u0627\u0631 \u0631\u0645 \u06a9\u0645 \u0647\u0645\u0627\u0646\u200c\u0642\u062f\u0631 \u0646\u0627\u06a9\u0627\u0631\u0622\u0645\u062f \u0627\u0633\u062a \u06a9\u0647 CPU \u067e\u0631\u0647\u0633\u062a\u0647 \u0628\u062f\u0648\u0646 \u062d\u0627\u0641\u0638\u0647 \u06a9\u0627\u0641\u06cc. \u0647\u0631 \u062c\u0632\u0621 \u0631\u0627 \u0628\u0627 \u0627\u0639\u062f\u0627\u062f \u0631\u0633\u0645\u06cc \u0633\u0627\u0632\u0646\u062f\u06af\u0627\u0646 \u0645\u0631\u0648\u0631 \u0645\u06cc\u200c\u06a9\u0646\u06cc\u0645.<\/div>\n\n\n\n
\u06f1- GPU \u0648 \u062d\u0627\u0641\u0638\u0647 VRAM<\/h3>\n\n\n\n
GPU \u0647\u0632\u0627\u0631\u0627\u0646 \u0647\u0633\u062a\u0647 \u0633\u0627\u062f\u0647 \u0628\u0631\u0627\u06cc \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u0645\u0627\u062a\u0631\u06cc\u0633\u06cc \u0647\u0645\u200c\u0632\u0645\u0627\u0646 \u062f\u0627\u0631\u062f \u0648 GPU\u0647\u0627\u06cc \u062f\u06cc\u062a\u0627\u0633\u0646\u062a\u0631\u06cc NVIDIA \u0628\u0631\u0627\u06cc \u0647\u0645\u06cc\u0646 \u06a9\u0627\u0631 \u0647\u0633\u062a\u0647\u200c\u0647\u0627\u06cc Tensor \u062f\u0627\u0631\u0646\u062f. \u0627\u0645\u0627 \u0645\u0647\u0645\u200c\u062a\u0631\u06cc\u0646 \u0639\u062f\u062f \u0628\u0631\u06af\u0647 \u0645\u0634\u062e\u0635\u0627\u062a\u060c \u0638\u0631\u0641\u06cc\u062a \u0648 \u067e\u0647\u0646\u0627\u06cc \u0628\u0627\u0646\u062f \u062d\u0627\u0641\u0638\u0647 (VRAM) \u0627\u0633\u062a\u061b \u0627\u06af\u0631 \u0645\u062f\u0644 \u062f\u0631 VRAM \u062c\u0627 \u0646\u0634\u0648\u062f\u060c \u0628\u062e\u0634\u06cc \u0627\u0632 \u0622\u0646 \u0628\u0627\u06cc\u062f \u0631\u0648\u06cc CPU \u0627\u062c\u0631\u0627 \u0634\u0648\u062f \u0648 \u0633\u0631\u0639\u062a \u0628\u0647\u200c\u0634\u062f\u062a \u0627\u0641\u062a \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/div>\n\n\n\n
\u062a\u0648\u0627\u0646 \u0645\u0635\u0631\u0641\u06cc \u0631\u0627 \u0647\u0645 \u062c\u062f\u06cc \u0628\u06af\u06cc\u0631\u06cc\u062f: H100 SXM \u0628\u0647\u200c\u062a\u0646\u0647\u0627\u06cc\u06cc \u062a\u0627 700W \u0645\u0635\u0631\u0641 \u0645\u06cc\u200c\u06a9\u0646\u062f\u060c \u062f\u0631 \u062d\u0627\u0644\u06cc \u06a9\u0647 TDP \u0647\u0631 \u067e\u0631\u062f\u0627\u0632\u0646\u062f\u0647 E5-2680 v4 \u0628\u0631\u0627\u0628\u0631 120W \u0627\u0633\u062a. \u067e\u0633 \u0633\u0631\u0648\u0631 \u0645\u06cc\u0632\u0628\u0627\u0646 \u0628\u0627\u06cc\u062f \u0627\u0633\u0644\u0627\u062a PCIe\u060c \u0645\u0646\u0628\u0639 \u062a\u063a\u0630\u06cc\u0647 \u0648 \u062c\u0631\u06cc\u0627\u0646 \u0647\u0648\u0627\u06cc \u0645\u0646\u0627\u0633\u0628 \u06a9\u0627\u0631\u062a \u0631\u0627 \u062f\u0627\u0634\u062a\u0647 \u0628\u0627\u0634\u062f (\u0646\u0645\u0648\u0646\u0647: \u0645\u0634\u062e\u0635\u0627\u062a \u0631\u0633\u0645\u06cc NVIDIA L40S<\/a>).<\/div>\n\n\n\n
\u06f2- \u067e\u0631\u062f\u0627\u0632\u0646\u062f\u0647 (CPU) \u0648 \u0634\u062a\u0627\u0628\u200c\u062f\u0647\u0646\u062f\u0647\u200c\u0647\u0627\u06cc \u062f\u0627\u062e\u0644\u06cc<\/h3>\n\n\n\n
\u062f\u0631 \u0633\u0631\u0648\u0631 \u0628\u062f\u0648\u0646 GPU\u060c \u062e\u0648\u062f CPU \u0627\u0633\u062a\u0646\u062a\u0627\u062c \u0631\u0627 \u0627\u0646\u062c\u0627\u0645 \u0645\u06cc\u200c\u062f\u0647\u062f \u0648 \u062f\u0633\u062a\u0648\u0631\u0627\u0644\u0639\u0645\u0644\u200c\u0647\u0627\u06cc \u0628\u0631\u062f\u0627\u0631\u06cc \u062a\u0639\u06cc\u06cc\u0646\u200c\u06a9\u0646\u0646\u062f\u0647 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f\u061b llama.cpp \u0631\u0648\u06cc x86 \u0627\u0632 AVX\u060c AVX2\u060c AVX-512 \u0648 AMX \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0637\u0628\u0642 Intel ARK\u060c Xeon E5-2680 v4 \u0628\u0627 \u06f1\u06f4 \u0647\u0633\u062a\u0647 \u0648 \u06f2\u06f8 \u0631\u0634\u062a\u0647 AVX2 \u062f\u0627\u0631\u062f\u060c \u0627\u0645\u0627 AVX-512 \u0648 AMX \u0646\u062f\u0627\u0631\u062f. \u0628\u0647 \u0627\u0639\u0644\u0627\u0645 Intel\u060c AMX \u062f\u0631 Xeon \u0646\u0633\u0644 \u0686\u0647\u0627\u0631\u0645 \u0648 \u067e\u0646\u062c\u0645 \u0648 Xeon 6 \u0628\u0627 \u0647\u0633\u062a\u0647\u200c\u0647\u0627\u06cc P \u0648\u062c\u0648\u062f \u062f\u0627\u0631\u062f \u0648 BF16 \u0631\u0627 \u0628\u0631\u0627\u06cc \u0622\u0645\u0648\u0632\u0634 \u0648 \u0627\u0633\u062a\u0646\u062a\u0627\u062c \u0648 INT8 \u0631\u0627 \u0628\u0631\u0627\u06cc \u0627\u0633\u062a\u0646\u062a\u0627\u062c \u0634\u062a\u0627\u0628 \u0645\u06cc\u200c\u062f\u0647\u062f. \u0645\u0642\u0627\u06cc\u0633\u0647 Xeon \u0648 EPYC \u0631\u0627 \u062f\u0631 \u0631\u0627\u0647\u0646\u0645\u0627\u06cc CPU \u0633\u0631\u0648\u0631<\/a> \u0628\u0628\u06cc\u0646\u06cc\u062f.<\/div>\n\n\n\n
\u06f3- \u0631\u0645 \u0648 \u067e\u0647\u0646\u0627\u06cc \u0628\u0627\u0646\u062f \u062d\u0627\u0641\u0638\u0647<\/h3>\n\n\n\n
\u062f\u0631 \u0627\u0633\u062a\u0646\u062a\u0627\u062c \u0631\u0648\u06cc CPU\u060c \u0631\u0645 \u0646\u0642\u0634 VRAM \u0631\u0627 \u0628\u0627\u0632\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0642\u0627\u0639\u062f\u0647 Hugging Face \u0633\u0627\u062f\u0647 \u0627\u0633\u062a: \u0645\u062f\u0644\u06cc \u0628\u0627 X \u0645\u06cc\u0644\u06cc\u0627\u0631\u062f \u067e\u0627\u0631\u0627\u0645\u062a\u0631 \u062f\u0631 \u062f\u0642\u062a bfloat16 \u06cc\u0627 float16 \u062d\u062f\u0648\u062f 2X \u06af\u06cc\u06af\u0627\u0628\u0627\u06cc\u062a \u0648 \u062f\u0631 float32 \u062d\u062f\u0648\u062f 4X \u06af\u06cc\u06af\u0627\u0628\u0627\u06cc\u062a \u062d\u0627\u0641\u0638\u0647 \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u062f. KV cache \u0647\u0645 \u0628\u0627 \u0637\u0648\u0644 \u0645\u06a9\u0627\u0644\u0645\u0647 \u0628\u0647\u200c\u0635\u0648\u0631\u062a \u062e\u0637\u06cc \u0631\u0634\u062f \u0645\u06cc\u200c\u06a9\u0646\u062f \u0648 \u0628\u0627\u06cc\u062f \u0628\u0631\u0627\u06cc \u0622\u0646 \u0648 \u0633\u06cc\u0633\u062a\u0645\u200c\u0639\u0627\u0645\u0644 \u0641\u0636\u0627\u06cc \u0627\u0636\u0627\u0641\u0647 \u06af\u0630\u0627\u0634\u062a.<\/div>\n\n\n\n
\u0645\u0632\u06cc\u062a \u0633\u0631\u0648\u0631\u0647\u0627\u06cc \u062f\u0648 \u0633\u0648\u06a9\u062a\u06cc \u0638\u0631\u0641\u06cc\u062a \u0631\u0645 \u0627\u0633\u062a: E5-2680 v4 \u0637\u0628\u0642 Intel ARK \u062a\u0627 1.5TB \u0631\u0645 DDR4 \u0631\u0627 \u0631\u0648\u06cc \u06f4 \u06a9\u0627\u0646\u0627\u0644 \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0627\u0645\u0627 \u0633\u0642\u0641 \u067e\u0647\u0646\u0627\u06cc \u0628\u0627\u0646\u062f \u062d\u0627\u0641\u0638\u0647 \u0647\u0631 \u0633\u0648\u06a9\u062a 76.8GB\/s \u0627\u0633\u062a\u060c \u062f\u0631 \u062d\u0627\u0644\u06cc \u06a9\u0647 H100 SXM \u0628\u0647 3.35TB\/s \u0645\u06cc\u200c\u0631\u0633\u062f\u061b \u067e\u0633 CPU \u0645\u062f\u0644 \u0628\u0632\u0631\u06af \u0631\u0627 \u062c\u0627 \u0645\u06cc\u200c\u062f\u0647\u062f\u060c \u0627\u0645\u0627 \u06a9\u0646\u062f\u062a\u0631 \u0627\u062c\u0631\u0627 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0628\u0631\u0627\u06cc \u0645\u0628\u0627\u0646\u06cc \u0627\u0646\u062a\u062e\u0627\u0628 \u0638\u0631\u0641\u06cc\u062a\u060c \u0645\u0642\u0627\u0644\u0647 \u00ab\u0631\u0645 \u0633\u0631\u0648\u0631 \u0645\u062c\u0627\u0632\u06cc \u0686\u0642\u062f\u0631 \u0628\u0627\u0634\u062f\u061f<\/a>\u00bb \u0631\u0627 \u0628\u0628\u06cc\u0646\u06cc\u062f.<\/div>\n\n\n\n
\u06f4- \u0630\u062e\u06cc\u0631\u0647\u200c\u0633\u0627\u0632\u06cc NVMe \u0648 \u0634\u0628\u06a9\u0647<\/h3>\n\n\n\n
\u0641\u0627\u06cc\u0644\u200c\u0647\u0627\u06cc \u0645\u062f\u0644 \u0686\u0646\u062f\u06cc\u0646 \u06af\u06cc\u06af\u0627\u0628\u0627\u06cc\u062a \u062d\u062c\u0645 \u062f\u0627\u0631\u0646\u062f \u0648 \u0628\u0627 \u0647\u0631 \u0631\u0627\u0647\u200c\u0627\u0646\u062f\u0627\u0632\u06cc \u0627\u0632 \u062f\u06cc\u0633\u06a9 \u0628\u0647 \u062d\u0627\u0641\u0638\u0647 \u0628\u0627\u0631\u06af\u0630\u0627\u0631\u06cc \u0645\u06cc\u200c\u0634\u0648\u0646\u062f\u061b \u062f\u06cc\u0633\u06a9 NVMe \u0627\u06cc\u0646 \u06a9\u0627\u0631 \u0631\u0627 \u0628\u0633\u06cc\u0627\u0631 \u0633\u0631\u06cc\u0639\u200c\u062a\u0631 \u0645\u06cc\u200c\u06a9\u0646\u062f (\u0645\u0642\u0627\u06cc\u0633\u0647 \u0647\u0627\u0631\u062f NVMe \u0648 SSD<\/a>). \u062f\u0631 \u0634\u0628\u06a9\u0647\u060c \u0627\u0631\u0633\u0627\u0644 \u067e\u0627\u0633\u062e \u0645\u062a\u0646\u06cc \u0628\u0647\u200c\u0646\u062f\u0631\u062a \u06af\u0644\u0648\u06af\u0627\u0647 \u0627\u0633\u062a\u060c \u0627\u0645\u0627 \u062f\u0631 \u0622\u0645\u0648\u0632\u0634 \u062a\u0648\u0632\u06cc\u0639\u200c\u0634\u062f\u0647 GPU\u0647\u0627 \u067e\u06cc\u0648\u0633\u062a\u0647 \u062f\u0627\u062f\u0647 \u0631\u062f \u0648 \u0628\u062f\u0644 \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f\u061b \u0628\u0631\u0627\u06cc \u0647\u0645\u06cc\u0646 H100 SXM \u0627\u0632 NVLink \u0628\u0627 900GB\/s \u0628\u0647\u0631\u0647 \u0645\u06cc\u200c\u0628\u0631\u062f.<\/div>\n\n\n\n
<\/p>\n\n\n\n
\"\u0633\u062e\u062a\u200c\u0627\u0641\u0632\u0627\u0631<\/div>\n<\/div>\n <\/div><\/section>\n\n\n\n
 \n
\n
\u0645\u0642\u0627\u06cc\u0633\u0647 \u067e\u0647\u0646\u0627\u06cc \u0628\u0627\u0646\u062f \u062d\u0627\u0641\u0638\u0647 CPU \u0648 GPU<\/h3>\n\n\n\n
<\/path><\/stop><\/stop><\/linearGradient><\/defs><\/svg><\/div>\n\n\n\n
\u062c\u062f\u0648\u0644 \u0632\u06cc\u0631 \u0627\u0639\u062f\u0627\u062f \u0631\u0633\u0645\u06cc Intel \u0648 NVIDIA \u0631\u0627 \u06a9\u0646\u0627\u0631 \u0647\u0645 \u0645\u06cc\u200c\u06af\u0630\u0627\u0631\u062f \u062a\u0627 \u0628\u0628\u06cc\u0646\u06cc\u062f \u0686\u0631\u0627 \u062f\u0631 \u0627\u0633\u062a\u0646\u062a\u0627\u062c\u060c \u0638\u0631\u0641\u06cc\u062a \u0648 \u0633\u0631\u0639\u062a \u062d\u0627\u0641\u0638\u0647 \u062f\u0648 \u06a9\u0641\u0647 \u06cc\u06a9 \u062a\u0631\u0627\u0632\u0648 \u0647\u0633\u062a\u0646\u062f:<\/div>\n\n\n\n
\u0633\u062e\u062a\u200c\u0627\u0641\u0632\u0627\u0631<\/th>\u0638\u0631\u0641\u06cc\u062a \u062d\u0627\u0641\u0638\u0647<\/th>\u067e\u0647\u0646\u0627\u06cc \u0628\u0627\u0646\u062f \u062d\u0627\u0641\u0638\u0647<\/th>\u062a\u0648\u0627\u0646 (TDP)<\/th><\/tr><\/thead>
Xeon E5-2680 v4 (\u0647\u0631 \u0633\u0648\u06a9\u062a)<\/td>\u062a\u0627 1.5TB \u0631\u0645 DDR4<\/td>76.8GB\/s<\/td>120W<\/td><\/tr>
NVIDIA L4<\/td>24GB<\/td>300GB\/s<\/td>72W<\/td><\/tr>
NVIDIA L40S<\/td>48GB GDDR6 \u0628\u0627 ECC<\/td>864GB\/s<\/td>350W<\/td><\/tr>
NVIDIA H100 SXM<\/td>80GB<\/td>3.35TB\/s<\/td>\u062a\u0627 700W<\/td><\/tr><\/tbody><\/table><\/div><\/div>\n\n\n\n
GPU\u0647\u0627\u06cc \u062f\u06cc\u062a\u0627\u0633\u0646\u062a\u0631\u06cc \u062f\u0631 \u0633\u0631\u0639\u062a \u062d\u0627\u0641\u0638\u0647 \u0627\u0632 \u0686\u0646\u062f \u0628\u0631\u0627\u0628\u0631 \u062a\u0627 \u062f\u0647\u200c\u0647\u0627 \u0628\u0631\u0627\u0628\u0631 \u062c\u0644\u0648\u062a\u0631\u0646\u062f\u060c \u0627\u0645\u0627 CPU \u0628\u0627 \u0631\u0645 \u067e\u0631\u0638\u0631\u0641\u06cc\u062a\u060c \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af\u200c\u062a\u0631 \u0631\u0627 \u0628\u062f\u0648\u0646 \u06a9\u0627\u0631\u062a \u06af\u0631\u0627\u0641\u06cc\u06a9 \u0628\u0627\u0631\u06af\u0630\u0627\u0631\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f. \u067e\u0633 \u0628\u0628\u06cc\u0646\u06cc\u062f \u0633\u0631\u0639\u062a \u067e\u0627\u0633\u062e \u0628\u0631\u0627\u06cc\u062a\u0627\u0646 \u0645\u0647\u0645\u200c\u062a\u0631 \u0627\u0633\u062a \u06cc\u0627 \u0627\u0646\u062f\u0627\u0632\u0647 \u0645\u062f\u0644 \u0648 \u0647\u0632\u06cc\u0646\u0647.<\/div>\n<\/div>\n <\/div><\/section>\n\n\n\n
 \n
\n
\u062c\u062f\u0648\u0644 \u062d\u0627\u0641\u0638\u0647 \u0644\u0627\u0632\u0645 \u0628\u0631\u0627\u06cc \u0627\u062c\u0631\u0627\u06cc \u0645\u062f\u0644 \u0632\u0628\u0627\u0646\u06cc<\/h3>\n\n\n\n
<\/path><\/stop><\/stop><\/linearGradient><\/defs><\/svg><\/div>\n\n\n\n
\u0628\u0627 \u0642\u0627\u0639\u062f\u0647 Hugging Face \u0645\u06cc\u200c\u062a\u0648\u0627\u0646\u06cc\u062f \u062d\u0627\u0641\u0638\u0647 \u0644\u0627\u0632\u0645 \u0631\u0627 \u067e\u06cc\u0634 \u0627\u0632 \u062e\u0631\u06cc\u062f \u06cc\u0627 \u0627\u062c\u0627\u0631\u0647 \u0645\u062d\u0627\u0633\u0628\u0647 \u06a9\u0646\u06cc\u062f: \u062a\u0639\u062f\u0627\u062f \u067e\u0627\u0631\u0627\u0645\u062a\u0631\u0647\u0627 (\u0628\u0647 \u0645\u06cc\u0644\u06cc\u0627\u0631\u062f) \u00d7 \u0628\u0627\u06cc\u062a \u0647\u0631 \u067e\u0627\u0631\u0627\u0645\u062a\u0631. \u0647\u0631 \u067e\u0627\u0631\u0627\u0645\u062a\u0631 \u062f\u0631 FP16 \u062f\u0648 \u0628\u0627\u06cc\u062a\u060c \u062f\u0631 INT8 \u06cc\u06a9 \u0628\u0627\u06cc\u062a \u0648 \u062f\u0631 \u06a9\u0648\u0627\u0646\u062a\u06cc\u0632\u0627\u0633\u06cc\u0648\u0646 \u06f4 \u0628\u06cc\u062a\u06cc \u062d\u062f\u0648\u062f \u0646\u06cc\u0645 \u0628\u0627\u06cc\u062a \u0645\u06cc\u200c\u06af\u06cc\u0631\u062f. \u0627\u0639\u062f\u0627\u062f \u062c\u062f\u0648\u0644 \u0641\u0642\u0637 \u062d\u062c\u0645 \u0648\u0632\u0646\u200c\u0647\u0627 \u0647\u0633\u062a\u0646\u062f \u0648 KV cache \u0648 \u0633\u06cc\u0633\u062a\u0645\u200c\u0639\u0627\u0645\u0644 \u0631\u0627 \u0634\u0627\u0645\u0644 \u0646\u0645\u06cc\u200c\u0634\u0648\u0646\u062f.<\/div>\n\n\n\n
\u0627\u0646\u062f\u0627\u0632\u0647 \u0645\u062f\u0644<\/th>FP16\/BF16<\/th>INT8<\/th>\u06f4 \u0628\u06cc\u062a\u06cc<\/th><\/tr><\/thead>
7B<\/td>\u062d\u062f\u0648\u062f 14GB<\/td>\u062d\u062f\u0648\u062f 7GB<\/td>\u062d\u062f\u0648\u062f 3.5GB<\/td><\/tr>
13B<\/td>\u062d\u062f\u0648\u062f 26GB<\/td>\u062d\u062f\u0648\u062f 13GB<\/td>\u062d\u062f\u0648\u062f 6.5GB<\/td><\/tr>
70B<\/td>\u062d\u062f\u0648\u062f 140GB<\/td>\u062d\u062f\u0648\u062f 70GB<\/td>\u062d\u062f\u0648\u062f 35GB<\/td><\/tr><\/tbody><\/table><\/div><\/div>\n\n\n\n
\n
<\/path><\/svg><\/div><\/div>\n\n\n\n
\n
\u26a0\ufe0f \u0645\u062d\u062f\u0648\u062f\u06cc\u062a \u0645\u0647\u0645: \u0622\u0645\u0648\u0632\u0634 \u0645\u062f\u0644 \u0631\u0648\u06cc CPU<\/p>\n\n\n\n
\u0628\u0627 \u062d\u062f\u0648\u062f \u06f1\u06f8 \u0628\u0627\u06cc\u062a \u0628\u0631\u0627\u06cc \u0647\u0631 \u067e\u0627\u0631\u0627\u0645\u062a\u0631\u060c \u0622\u0645\u0648\u0632\u0634 \u06a9\u0627\u0645\u0644 \u0645\u062f\u0644 7B \u0628\u06cc\u0634 \u0627\u0632 120GB \u062d\u0627\u0641\u0638\u0647 \u0641\u0642\u0637 \u0628\u0631\u0627\u06cc \u0648\u0632\u0646\u200c\u0647\u0627\u060c \u06af\u0631\u0627\u062f\u06cc\u0627\u0646\u200c\u0647\u0627 \u0648 \u0648\u0636\u0639\u06cc\u062a \u0628\u0647\u06cc\u0646\u0647\u200c\u0633\u0627\u0632 \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u062f \u0648 \u0631\u0648\u06cc CPU \u0639\u0645\u0644\u0627\u064b \u06a9\u0627\u0631\u0628\u0631\u062f\u06cc \u0646\u06cc\u0633\u062a. \u0631\u0648\u0634 LoRA \u0648\u0632\u0646\u200c\u0647\u0627\u06cc \u0627\u0635\u0644\u06cc \u0631\u0627 \u062b\u0627\u0628\u062a \u0646\u06af\u0647 \u0645\u06cc\u200c\u062f\u0627\u0631\u062f \u0648 \u0641\u0642\u0637 \u0645\u0627\u062a\u0631\u06cc\u0633\u200c\u0647\u0627\u06cc \u06a9\u0648\u0686\u06a9 \u0628\u0647\u200c\u0631\u0648\u0632\u0631\u0633\u0627\u0646\u06cc \u0631\u0627 \u0622\u0645\u0648\u0632\u0634 \u0645\u06cc\u200c\u062f\u0647\u062f\u060c \u0627\u0645\u0627 \u0627\u06cc\u0646 \u0631\u0648\u0634 \u0647\u0645 \u0631\u0648\u06cc GPU \u0628\u0633\u06cc\u0627\u0631 \u0633\u0631\u06cc\u0639\u200c\u062a\u0631 \u0627\u0633\u062a.<\/div>\n<\/div>\n<\/div>\n<\/div>\n <\/div><\/section>\n\n\n\n
 \n
\n
\u0622\u0645\u0648\u0632\u0634 \u0627\u062c\u0631\u0627\u06cc \u0645\u062f\u0644 \u0632\u0628\u0627\u0646\u06cc \u0631\u0648\u06cc \u0633\u0631\u0648\u0631 CPU<\/h2>\n\n\n\n
<\/path><\/stop><\/stop><\/linearGradient><\/defs><\/svg><\/div>\n\n\n\n
\u062f\u0631 \u0627\u06cc\u0646 \u0628\u062e\u0634 \u0647\u0645\u0631\u0627\u0647 \u062a\u06cc\u0645 \u0648\u0628\u200c\u062f\u0627\u062f\u0647 \u0628\u0627\u0634\u06cc\u062f \u062a\u0627 \u0627\u062c\u0631\u0627\u06cc \u06cc\u06a9 \u0645\u062f\u0644 \u0632\u0628\u0627\u0646\u06cc \u0645\u062a\u0646\u200c\u0628\u0627\u0632 \u0631\u0627 \u0631\u0648\u06cc \u0633\u0631\u0648\u0631 \u0644\u06cc\u0646\u0648\u06a9\u0633\u06cc \u0628\u062f\u0648\u0646 GPU \u0642\u062f\u0645\u200c\u0628\u0647\u200c\u0642\u062f\u0645 \u0645\u0631\u0648\u0631 \u06a9\u0646\u06cc\u0645. \u0627\u0628\u0632\u0627\u0631 \u067e\u06cc\u0634\u0646\u0647\u0627\u062f\u06cc \u0645\u0627 llama.cpp \u0627\u0633\u062a\u061b \u067e\u0631\u0648\u0698\u0647\u200c\u0627\u06cc \u0645\u062a\u0646\u200c\u0628\u0627\u0632 \u0628\u0631\u0627\u06cc \u0627\u062c\u0631\u0627\u06cc \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0632\u0628\u0627\u0646\u06cc \u0628\u0627 \u06a9\u0645\u062a\u0631\u06cc\u0646 \u062a\u0646\u0638\u06cc\u0645\u0627\u062a \u0631\u0648\u06cc \u0633\u062e\u062a\u200c\u0627\u0641\u0632\u0627\u0631\u0647\u0627\u06cc \u0645\u062a\u0646\u0648\u0639.<\/div>\n\n\n\n
\u06f1- \u0627\u0646\u062a\u062e\u0627\u0628 \u0645\u062f\u0644 \u0648 \u0633\u0637\u062d \u06a9\u0648\u0627\u0646\u062a\u06cc\u0632\u0627\u0633\u06cc\u0648\u0646<\/h3>\n\n\n\n
\u0627\u0648\u0644 \u06a9\u0627\u0631\u0628\u0631\u062f \u0631\u0627 \u0645\u0634\u062e\u0635 \u06a9\u0646\u06cc\u062f: \u067e\u0627\u0633\u062e \u0628\u0647 \u0645\u0634\u062a\u0631\u06cc\u060c \u062e\u0644\u0627\u0635\u0647\u200c\u0633\u0627\u0632\u06cc \u0627\u0633\u0646\u0627\u062f \u06cc\u0627 \u06a9\u0645\u06a9 \u0628\u0647 \u0628\u0631\u0646\u0627\u0645\u0647\u200c\u0646\u0648\u06cc\u0633\u06cc. \u0628\u0631\u0627\u06cc \u0634\u0631\u0648\u0639 \u0631\u0648\u06cc CPU\u060c \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u06f7 \u062a\u0627 \u06f8 \u0645\u06cc\u0644\u06cc\u0627\u0631\u062f \u067e\u0627\u0631\u0627\u0645\u062a\u0631\u06cc \u0628\u0627 \u06a9\u0648\u0627\u0646\u062a\u06cc\u0632\u0627\u0633\u06cc\u0648\u0646 \u06f4 \u0628\u06cc\u062a\u06cc \u0627\u0646\u062a\u062e\u0627\u0628 \u0645\u0639\u0642\u0648\u0644\u06cc\u200c\u0627\u0646\u062f\u060c \u0686\u0648\u0646 \u062f\u0631 \u0631\u0645 \u062c\u0627 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f \u0648 \u0633\u0631\u06cc\u0639\u200c\u062a\u0631 \u067e\u0627\u0633\u062e \u0645\u06cc\u200c\u062f\u0647\u0646\u062f. llama.cpp \u0627\u0632 \u06a9\u0648\u0627\u0646\u062a\u06cc\u0632\u0627\u0633\u06cc\u0648\u0646 \u0639\u062f\u062f \u0635\u062d\u06cc\u062d \u06f1\u066b\u06f5 \u062a\u0627 \u06f8 \u0628\u06cc\u062a\u06cc \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f \u0648 \u0645\u062f\u0644\u200c\u0647\u0627 \u0631\u0627 \u062f\u0631 \u0642\u0627\u0644\u0628 GGUF \u0627\u062c\u0631\u0627 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/div>\n\n\n\n
\u25c0\ufe0f \u0645\u062c\u0648\u0632 (License) \u0645\u062f\u0644 \u0631\u0627 \u0628\u0631\u0627\u06cc \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u062a\u062c\u0627\u0631\u06cc \u0628\u0631\u0631\u0633\u06cc \u06a9\u0646\u06cc\u062f.
\u25c0\ufe0f \u06a9\u0648\u0627\u0646\u062a\u06cc\u0632\u0627\u0633\u06cc\u0648\u0646 \u067e\u0627\u06cc\u06cc\u0646\u200c\u062a\u0631 \u062d\u0627\u0641\u0638\u0647 \u0631\u0627 \u06a9\u0645 \u0645\u06cc\u200c\u06a9\u0646\u062f\u060c \u0627\u0645\u0627 \u0645\u0645\u06a9\u0646 \u0627\u0633\u062a \u062f\u0642\u062a \u067e\u0627\u0633\u062e\u200c\u0647\u0627 \u0631\u0627 \u06a9\u0627\u0647\u0634 \u062f\u0647\u062f.
\u25c0\ufe0f context \u0637\u0648\u0644\u0627\u0646\u06cc\u200c\u062a\u0631\u060c \u062d\u062c\u0645 KV cache \u0648 \u0645\u0635\u0631\u0641 \u0631\u0645 \u0631\u0627 \u0628\u0627\u0644\u0627 \u0645\u06cc\u200c\u0628\u0631\u062f.<\/div>\n\n\n\n
\u06f2- \u0622\u0645\u0627\u062f\u0647\u200c\u0633\u0627\u0632\u06cc \u0633\u0631\u0648\u0631 \u0648 \u0633\u0627\u062e\u062a llama.cpp<\/h3>\n\n\n\n
\u0631\u0648\u06cc \u062a\u0648\u0632\u06cc\u0639\u06cc \u0628\u0647\u200c\u0631\u0648\u0632 \u0645\u0627\u0646\u0646\u062f Ubuntu Server\u060c \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc git\u060c cmake \u0648 \u06a9\u0627\u0645\u067e\u0627\u06cc\u0644\u0631 C++ \u0631\u0627 \u0646\u0635\u0628 \u06a9\u0646\u06cc\u062f \u0648 \u0637\u0628\u0642 \u0645\u0633\u062a\u0646\u062f\u0627\u062a \u0631\u0633\u0645\u06cc\u060c \u067e\u0631\u0648\u0698\u0647 \u0631\u0627 \u0628\u0627 CMake \u0628\u0633\u0627\u0632\u06cc\u062f\u061b \u0641\u0627\u06cc\u0644\u200c\u0647\u0627\u06cc \u0627\u062c\u0631\u0627\u06cc\u06cc \u062f\u0631 build\/bin \u0642\u0631\u0627\u0631 \u0645\u06cc\u200c\u06af\u06cc\u0631\u0646\u062f. \u0628\u0631\u0627\u06cc \u0627\u062c\u0631\u0627\u06cc \u0627\u06cc\u0632\u0648\u0644\u0647 \u0633\u0631\u0648\u06cc\u0633\u200c\u0647\u0627\u060c \u0646\u0635\u0628 \u062f\u0627\u06a9\u0631 \u0631\u0648\u06cc \u0627\u0648\u0628\u0648\u0646\u062a\u0648 24.04<\/a> \u0631\u0627 \u0628\u0628\u06cc\u0646\u06cc\u062f.<\/div>\n\n\n\n
sudo apt update && sudo apt install -y git cmake build-essential\ngit clone https:\/\/github.com\/ggml-org\/llama.cpp\ncd llama.cpp\ncmake -B build\ncmake --build build --config Release -j 28<\/code><\/pre>\n\n\n\n
\u06f3- \u0627\u062c\u0631\u0627\u06cc llama-server \u0648 \u062a\u0646\u0638\u06cc\u0645 NUMA<\/h3>\n\n\n\n
llama-server \u06cc\u06a9 API \u0633\u0627\u0632\u06af\u0627\u0631 \u0628\u0627 OpenAI \u0631\u0648\u06cc \u0645\u0633\u06cc\u0631 \/v1\/chat\/completions<\/code> \u0627\u0631\u0627\u0626\u0647 \u0645\u06cc\u200c\u062f\u0647\u062f\u061b \u067e\u0633 \u0628\u06cc\u0634\u062a\u0631 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc \u0633\u0627\u0632\u06af\u0627\u0631 \u0628\u0627 OpenAI \u0628\u0627 \u062a\u063a\u06cc\u06cc\u0631 \u0622\u062f\u0631\u0633 \u0628\u0647 \u0633\u0631\u0648\u0631 \u0634\u0645\u0627 \u0648\u0635\u0644 \u0645\u06cc\u200c\u0634\u0648\u0646\u062f. \u0627\u06cc\u0646 \u0633\u0631\u0648\u06cc\u0633 \u0628\u0647\u200c\u0635\u0648\u0631\u062a \u067e\u06cc\u0634\u200c\u0641\u0631\u0636 \u0631\u0648\u06cc 127.0.0.1 \u0648 \u067e\u0648\u0631\u062a 8080 \u0627\u062c\u0631\u0627 \u0645\u06cc\u200c\u0634\u0648\u062f\u061b \u06af\u0632\u06cc\u0646\u0647 -t<\/code> \u062a\u0639\u062f\u0627\u062f \u0631\u0634\u062a\u0647\u200c\u0647\u0627 \u0648 \u06af\u0632\u06cc\u0646\u0647 -c<\/code> \u0637\u0648\u0644 context \u0631\u0627 \u062a\u0639\u06cc\u06cc\u0646 \u0645\u06cc\u200c\u06a9\u0646\u062f.<\/div>\n\n\n\n
.\/build\/bin\/llama-server -m models\/model-Q4_K_M.gguf \\\n  -t 28 -c 8192 --numa distribute \\\n  --host 127.0.0.1 --port 8080 --api-key YOUR_SECRET_KEY<\/code><\/pre>\n\n\n\n
\u062f\u0631 \u0633\u0631\u0648\u0631\u0647\u0627\u06cc \u062f\u0648 \u0633\u0648\u06a9\u062a\u06cc \u0645\u0627\u0646\u0646\u062f HPE DL360 Gen9\u060c \u0647\u0631 \u067e\u0631\u062f\u0627\u0632\u0646\u062f\u0647 \u0628\u0647 \u0628\u062e\u0634\u06cc \u0627\u0632 \u0631\u0645 \u062f\u0633\u062a\u0631\u0633\u06cc \u0645\u0633\u062a\u0642\u06cc\u0645 \u062f\u0627\u0631\u062f (NUMA). \u06af\u0632\u06cc\u0646\u0647 --numa<\/code> \u062d\u0627\u0644\u062a\u200c\u0647\u0627\u06cc distribute\u060c isolate \u0648 numactl \u0631\u0627 \u062f\u0627\u0631\u062f \u0648 \u0637\u0628\u0642 \u0645\u0633\u062a\u0646\u062f\u0627\u062a\u060c \u0627\u06af\u0631 \u0642\u0628\u0644\u0627\u064b \u0628\u062f\u0648\u0646 \u0622\u0646 \u0627\u062c\u0631\u0627 \u06a9\u0631\u062f\u0647\u200c\u0627\u06cc\u062f\u060c \u067e\u06cc\u0634 \u0627\u0632 \u0627\u0633\u062a\u0641\u0627\u062f\u0647 \u06a9\u0634 \u0635\u0641\u062d\u0627\u062a \u0633\u06cc\u0633\u062a\u0645 \u0631\u0627 \u062e\u0627\u0644\u06cc \u06a9\u0646\u06cc\u062f. \u062a\u0639\u062f\u0627\u062f \u0628\u0647\u06cc\u0646\u0647 \u0631\u0634\u062a\u0647\u200c\u0647\u0627 \u0631\u0627 \u0647\u0645 \u0628\u0627 \u0622\u0632\u0645\u0627\u06cc\u0634 \u067e\u06cc\u062f\u0627 \u06a9\u0646\u06cc\u062f.<\/div>\n\n\n\n
\n
<\/path><\/svg><\/div><\/div>\n\n\n\n
\n
\ud83d\udccc \u06cc\u06a9 \u062a\u062e\u0645\u06cc\u0646 \u0633\u0631\u0627\u0646\u06af\u0634\u062a\u06cc \u0628\u0631\u0627\u06cc \u0633\u0631\u0639\u062a \u067e\u0627\u0633\u062e<\/p>\n\n\n\n
\u0633\u0642\u0641 \u0646\u0638\u0631\u06cc \u0633\u0631\u0639\u062a \u062a\u0648\u0644\u06cc\u062f \u062a\u0648\u06a9\u0646 \u062a\u0642\u0631\u06cc\u0628\u0627\u064b \u0628\u0631\u0627\u0628\u0631 \u067e\u0647\u0646\u0627\u06cc \u0628\u0627\u0646\u062f \u062d\u0627\u0641\u0638\u0647 \u062a\u0642\u0633\u06cc\u0645 \u0628\u0631 \u062d\u062c\u0645 \u0648\u0632\u0646\u200c\u0647\u0627\u0633\u062a. \u0645\u062b\u0644\u0627\u064b \u0645\u062f\u0644 7B \u0686\u0647\u0627\u0631 \u0628\u06cc\u062a\u06cc (\u062d\u062f\u0648\u062f 3.5GB) \u0631\u0648\u06cc \u06cc\u06a9 \u0633\u0648\u06a9\u062a \u0628\u0627 76.8GB\/s \u0633\u0642\u0641\u06cc \u062d\u062f\u0648\u062f \u06f2\u06f0 \u062a\u0648\u06a9\u0646 \u062f\u0631 \u062b\u0627\u0646\u06cc\u0647 \u062f\u0627\u0631\u062f. \u0627\u06cc\u0646 \u0639\u062f\u062f \u0628\u0646\u0686\u0645\u0627\u0631\u06a9 \u0646\u06cc\u0633\u062a \u0648 \u0633\u0631\u0639\u062a \u0648\u0627\u0642\u0639\u06cc \u0645\u0639\u0645\u0648\u0644\u0627\u064b \u06a9\u0645\u062a\u0631 \u0627\u0633\u062a.<\/div>\n<\/div>\n<\/div>\n\n\n\n
\u06f4- \u0627\u0645\u0646\u06cc\u062a \u0648 \u0627\u0646\u062a\u0634\u0627\u0631 API<\/h3>\n\n\n\n
API \u0645\u062f\u0644 \u0631\u0627 \u0647\u0631\u06af\u0632 \u0628\u062f\u0648\u0646 \u0627\u062d\u0631\u0627\u0632 \u0647\u0648\u06cc\u062a \u0631\u0648\u06cc \u0627\u06cc\u0646\u062a\u0631\u0646\u062a \u0628\u0627\u0632 \u0646\u06a9\u0646\u06cc\u062f: llama-server \u0631\u0627 \u0631\u0648\u06cc 127.0.0.1 \u0646\u06af\u0647 \u062f\u0627\u0631\u06cc\u062f\u060c \u0628\u0627 --api-key<\/code> \u06a9\u0644\u06cc\u062f \u062a\u0639\u0631\u06cc\u0641 \u06a9\u0646\u06cc\u062f \u0648 \u062f\u0633\u062a\u0631\u0633\u06cc \u0628\u06cc\u0631\u0648\u0646\u06cc \u0631\u0627 \u0627\u0632 \u0637\u0631\u06cc\u0642 reverse proxy \u0645\u0627\u0646\u0646\u062f Nginx \u0628\u0627 TLS \u0628\u062f\u0647\u06cc\u062f. \u0633\u0631\u0648\u0631 \u0631\u0627 \u0647\u0645 \u0637\u0628\u0642 \u0622\u0645\u0648\u0632\u0634 Hardening \u0644\u06cc\u0646\u0648\u06a9\u0633<\/a> \u0627\u06cc\u0645\u0646 \u06a9\u0646\u06cc\u062f.<\/div>\n\n\n\n
\u06f5- \u067e\u0627\u06cc\u0634 \u0645\u0646\u0627\u0628\u0639 \u0648 \u0627\u0631\u0632\u06cc\u0627\u0628\u06cc \u06a9\u06cc\u0641\u06cc\u062a<\/h3>\n\n\n\n
\u0645\u0635\u0631\u0641 \u0631\u0645\u060c \u0628\u0627\u0631 CPU \u0648 \u0632\u0645\u0627\u0646 \u067e\u0627\u0633\u062e \u0631\u0627 \u0628\u0627 \u0627\u0628\u0632\u0627\u0631\u0647\u0627\u06cc\u06cc \u0645\u0627\u0646\u0646\u062f Netdata \u0648 Glances \u0632\u06cc\u0631 \u0646\u0638\u0631 \u0628\u06af\u06cc\u0631\u06cc\u062f (\u0622\u0645\u0648\u0632\u0634 \u0645\u0627\u0646\u06cc\u062a\u0648\u0631\u06cc\u0646\u06af \u0628\u0627 Netdata \u0648 Glances<\/a>). \u06a9\u06cc\u0641\u06cc\u062a \u067e\u0627\u0633\u062e\u200c\u0647\u0627 \u0631\u0627 \u0647\u0645 \u0628\u0627 \u067e\u0631\u0633\u0634\u200c\u0647\u0627\u06cc \u0648\u0627\u0642\u0639\u06cc \u06a9\u0633\u0628\u200c\u0648\u06a9\u0627\u0631 \u062e\u0648\u062f\u062a\u0627\u0646 \u0628\u0633\u0646\u062c\u06cc\u062f\u060c \u0646\u0647 \u0641\u0642\u0637 \u0646\u0645\u0648\u0646\u0647\u200c\u0647\u0627\u06cc \u0639\u0645\u0648\u0645\u06cc.<\/div>\n\n\n\n
<\/p>\n\n\n\n
\"\u0622\u0645\u0648\u0632\u0634<\/div>\n<\/div>\n <\/div><\/section>\n\n\n\n
 \n
\n
\u0645\u0632\u0627\u06cc\u0627 \u0648 \u0645\u062d\u062f\u0648\u062f\u06cc\u062a\u200c\u0647\u0627\u06cc \u0627\u0633\u062a\u0646\u062a\u0627\u062c \u0631\u0648\u06cc CPU<\/h3>\n\n\n\n
<\/path><\/stop><\/stop><\/linearGradient><\/defs><\/svg><\/div>\n\n\n\n
\u2705 \u0628\u062f\u0648\u0646 \u06a9\u0627\u0631\u062a \u06af\u0631\u0627\u0641\u06cc\u06a9 \u0648 \u0631\u0648\u06cc \u0633\u0631\u0648\u0631 \u0627\u062e\u062a\u0635\u0627\u0635\u06cc \u0645\u0639\u0645\u0648\u0644\u06cc \u0642\u0627\u0628\u0644 \u0634\u0631\u0648\u0639 \u0627\u0633\u062a.
\u2705 \u0631\u0645 \u067e\u0631\u0638\u0631\u0641\u06cc\u062a\u060c \u0645\u062f\u0644\u200c\u0647\u0627\u06cc\u06cc \u0628\u0632\u0631\u06af\u200c\u062a\u0631 \u0627\u0632 VRAM \u0628\u0633\u06cc\u0627\u0631\u06cc \u0627\u0632 GPU\u0647\u0627 \u0631\u0627 \u062c\u0627 \u0645\u06cc\u200c\u062f\u0647\u062f.
\u2705 \u0628\u0631\u0627\u06cc \u067e\u0627\u06cc\u0644\u0648\u062a\u060c \u0686\u062a\u200c\u0628\u0627\u062a \u062f\u0627\u062e\u0644\u06cc \u06a9\u0645\u200c\u06a9\u0627\u0631\u0628\u0631 \u0648 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc \u0645\u0646\u0627\u0633\u0628 \u0627\u0633\u062a.<\/div>\n\n\n\n
\u274c \u0633\u0631\u0639\u062a \u062a\u0648\u0644\u06cc\u062f \u062a\u0648\u06a9\u0646 \u0628\u0647\u200c\u0645\u0631\u0627\u062a\u0628 \u06a9\u0645\u062a\u0631 \u0627\u0632 GPU \u0627\u0633\u062a \u0648 \u0628\u0627 \u0627\u0641\u0632\u0627\u06cc\u0634 \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u0647\u0645\u200c\u0632\u0645\u0627\u0646 \u0627\u0641\u062a \u0645\u06cc\u200c\u06a9\u0646\u062f.
\u274c \u067e\u0631\u062f\u0627\u0632\u0646\u062f\u0647\u200c\u0647\u0627\u06cc \u0646\u0633\u0644 \u0642\u062f\u06cc\u0645\u200c\u062a\u0631 \u0627\u0632 AVX-512 \u0648 AMX \u0628\u06cc\u200c\u0628\u0647\u0631\u0647\u200c\u0627\u0646\u062f.
\u274c \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0633\u0646\u06af\u06cc\u0646 \u062a\u0635\u0648\u06cc\u0631\u06cc \u0648 \u0648\u06cc\u062f\u06cc\u0648\u06cc\u06cc \u0645\u0639\u0645\u0648\u0644\u0627\u064b \u0628\u0647 GPU \u0646\u06cc\u0627\u0632 \u062f\u0627\u0631\u0646\u062f.<\/div>\n\n\n\n
\n
<\/path><\/svg><\/div><\/div>\n\n\n\n
\n
\ud83d\udcda \u0627\u0632 \u0645\u0646\u0627\u0628\u0639 \u0645\u0639\u062a\u0628\u0631<\/p>\n\n\n\n
\u0648\u0628\u0644\u0627\u06af \u0641\u0646\u06cc NVIDIA \u062a\u0648\u0636\u06cc\u062d \u0645\u06cc\u200c\u062f\u0647\u062f \u06a9\u0647 \u062f\u0631 \u0645\u0631\u062d\u0644\u0647 decode\u060c \u0633\u0631\u0639\u062a \u0627\u0646\u062a\u0642\u0627\u0644 \u062f\u0627\u062f\u0647 \u0627\u0632 \u062d\u0627\u0641\u0638\u0647\u060c \u0648 \u0646\u0647 \u0633\u0631\u0639\u062a \u0645\u062d\u0627\u0633\u0628\u0647\u060c \u0632\u0645\u0627\u0646 \u067e\u0627\u0633\u062e \u0631\u0627 \u062a\u0639\u06cc\u06cc\u0646 \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0645\u0633\u062a\u0646\u062f\u0627\u062a Hugging Face \u0647\u0645 \u0628\u0631\u0627\u06cc \u0628\u0631\u0622\u0648\u0631\u062f \u062d\u0627\u0641\u0638\u0647\u060c \u062d\u062f\u0648\u062f \u06f2 \u06af\u06cc\u06af\u0627\u0628\u0627\u06cc\u062a \u0628\u0647 \u0627\u0632\u0627\u06cc \u0647\u0631 \u0645\u06cc\u0644\u06cc\u0627\u0631\u062f \u067e\u0627\u0631\u0627\u0645\u062a\u0631 \u062f\u0631 \u062f\u0642\u062a \u06f1\u06f6 \u0628\u06cc\u062a\u06cc \u0631\u0627 \u067e\u06cc\u0634\u0646\u0647\u0627\u062f \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0627\u06cc\u0646 \u062f\u0648 \u0627\u0635\u0644\u060c \u067e\u0627\u06cc\u0647 \u0645\u062d\u0627\u0633\u0628\u0627\u062a \u0627\u06cc\u0646 \u0645\u0642\u0627\u0644\u0647\u200c\u0627\u0646\u062f.<\/div>\n<\/div>\n<\/div>\n\n\n\n
\u06cc\u06a9 \u0633\u0646\u0627\u0631\u06cc\u0648\u06cc \u0646\u0645\u0648\u0646\u0647: \u0686\u062a\u200c\u0628\u0627\u062a \u062f\u0627\u062e\u0644\u06cc \u0628\u062f\u0648\u0646 GPU<\/h3>\n\n\n\n
\u0641\u0631\u0636 \u06a9\u0646\u06cc\u062f \u06cc\u06a9 \u0634\u0631\u06a9\u062a \u0646\u0631\u0645\u200c\u0627\u0641\u0632\u0627\u0631\u06cc \u062f\u0633\u062a\u06cc\u0627\u0631\u06cc \u0645\u06cc\u200c\u062e\u0648\u0627\u0647\u062f \u06a9\u0647 \u0627\u0632 \u0631\u0648\u06cc \u0645\u0633\u062a\u0646\u062f\u0627\u062a \u062f\u0627\u062e\u0644\u06cc \u0628\u0647 \u06a9\u0627\u0631\u06a9\u0646\u0627\u0646 \u067e\u0627\u0633\u062e \u062f\u0647\u062f \u0648 \u0627\u0633\u0646\u0627\u062f \u0627\u0632 \u0633\u0631\u0648\u0631 \u0634\u0631\u06a9\u062a \u062e\u0627\u0631\u062c \u0646\u0634\u0648\u0646\u062f\u061b \u062f\u0631\u062e\u0648\u0627\u0633\u062a \u0627\u0648\u0644\u06cc\u0647\u200c\u0627\u0634 \u0647\u0645 \u0633\u0631\u0648\u0631 GPU\u200c\u062f\u0627\u0631 \u0627\u0633\u062a. \u06a9\u0627\u0631\u0634\u0646\u0627\u0633 \u0641\u0646\u06cc \u0627\u0628\u062a\u062f\u0627 \u0633\u0647 \u0686\u06cc\u0632 \u0631\u0627 \u0645\u06cc\u200c\u067e\u0631\u0633\u062f: \u062a\u0639\u062f\u0627\u062f \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u0647\u0645\u200c\u0632\u0645\u0627\u0646\u060c \u062d\u062c\u0645 \u0627\u0633\u0646\u0627\u062f \u0648 \u0632\u0645\u0627\u0646 \u067e\u0627\u0633\u062e \u0642\u0627\u0628\u0644\u200c\u0642\u0628\u0648\u0644.<\/div>\n\n\n\n
\u0627\u06af\u0631 \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u0647\u0645\u200c\u0632\u0645\u0627\u0646 \u0645\u062d\u062f\u0648\u062f \u0628\u0627\u0634\u0646\u062f\u060c \u0645\u0633\u06cc\u0631 \u067e\u06cc\u0634\u0646\u0647\u0627\u062f\u06cc \u067e\u0627\u06cc\u0644\u0648\u062a\u06cc \u0631\u0648\u06cc \u0633\u0631\u0648\u0631 CPU \u0628\u0627 \u0631\u0645 \u0628\u0627\u0644\u0627\u0633\u062a: \u0645\u062f\u0644 \u06f8 \u0645\u06cc\u0644\u06cc\u0627\u0631\u062f \u067e\u0627\u0631\u0627\u0645\u062a\u0631\u06cc \u06a9\u0648\u0627\u0646\u062a\u06cc\u0632\u0647 \u0628\u0627 llama.cpp\u060c \u062f\u06cc\u062a\u0627\u0628\u06cc\u0633 \u0628\u0631\u062f\u0627\u0631\u06cc \u0628\u0631\u0627\u06cc \u062c\u0633\u062a\u200c\u0648\u062c\u0648\u06cc \u0627\u0633\u0646\u0627\u062f (RAG) \u0648 API \u067e\u0634\u062a reverse proxy. \u067e\u0633 \u0627\u0632 \u0686\u0646\u062f \u0647\u0641\u062a\u0647\u060c \u062a\u0635\u0645\u06cc\u0645 \u062f\u0631\u0628\u0627\u0631\u0647 GPU \u06cc\u0627 \u06a9\u0648\u0644\u0648\u06a9\u06cc\u0634\u0646 \u0628\u0631 \u067e\u0627\u06cc\u0647 \u062f\u0627\u062f\u0647 \u0648\u0627\u0642\u0639\u06cc \u0645\u0635\u0631\u0641 \u06af\u0631\u0641\u062a\u0647 \u0645\u06cc\u200c\u0634\u0648\u062f.<\/div>\n<\/div>\n <\/div><\/section>\n\n\n\n
 \n
\n
HPE DL380 Gen11 \u0648 GPU\u061b \u0686\u0647 \u0632\u0645\u0627\u0646\u06cc \u0627\u0631\u062a\u0642\u0627 \u062f\u0647\u06cc\u0645\u061f<\/h3>\n\n\n\n
<\/path><\/stop><\/stop><\/linearGradient><\/defs><\/svg><\/div>\n\n\n\n
\u0648\u0642\u062a\u06cc \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u06cc\u0627 \u0627\u0646\u062f\u0627\u0632\u0647 \u0645\u062f\u0644 \u0627\u0632 \u062a\u0648\u0627\u0646 CPU \u0641\u0631\u0627\u062a\u0631 \u0631\u0641\u062a\u060c \u0646\u0648\u0628\u062a \u0646\u0633\u0644 \u062c\u062f\u06cc\u062f\u062a\u0631 \u0648 GPU \u0627\u0633\u062a. \u0637\u0628\u0642 \u0635\u0641\u062d\u0647 \u0645\u062d\u0635\u0648\u0644 HPE\u060c \u0633\u0631\u0648\u0631 2U \u0645\u062f\u0644 ProLiant DL380 Gen11 \u0627\u0632 Xeon Scalable \u0646\u0633\u0644 \u0686\u0647\u0627\u0631\u0645 \u0648 \u067e\u0646\u062c\u0645 \u0628\u0627 \u062d\u062f\u0627\u06a9\u062b\u0631 \u06f6\u06f4 \u0647\u0633\u062a\u0647\u060c \u062a\u0627 8TB \u062d\u0627\u0641\u0638\u0647 DDR5 \u0628\u0627 \u0633\u0631\u0639\u062a \u062a\u0627 5600MT\/s\u060c PCIe Gen5 \u0648 \u062a\u0627 \u06f8 GPU \u062a\u06a9\u200c\u0639\u0631\u0636 \u06cc\u0627 \u06f3 GPU \u062f\u0648\u0639\u0631\u0636 \u067e\u0634\u062a\u06cc\u0628\u0627\u0646\u06cc \u0645\u06cc\u200c\u06a9\u0646\u062f. \u0633\u0627\u0632\u06af\u0627\u0631\u06cc \u0647\u0631 \u0645\u062f\u0644 \u06a9\u0627\u0631\u062a \u0631\u0627 \u062f\u0631 QuickSpecs HPE \u0628\u0631\u0631\u0633\u06cc \u06a9\u0646\u06cc\u062f. \u062c\u0632\u0626\u06cc\u0627\u062a \u0627\u06cc\u0646 \u0646\u0633\u0644 \u0631\u0627 \u062f\u0631 \u0645\u0639\u0631\u0641\u06cc \u0633\u0631\u0648\u0631 HP G11<\/a> \u0645\u0631\u0648\u0631 \u06a9\u0631\u062f\u0647\u200c\u0627\u06cc\u0645.<\/div>\n\n\n\n
\u25c0\ufe0f \ud83c\udfaf CPU \u0628\u0627 \u0631\u0645 \u0628\u0627\u0644\u0627:<\/strong> \u067e\u0627\u06cc\u0644\u0648\u062a\u060c \u0686\u062a\u200c\u0628\u0627\u062a \u062f\u0627\u062e\u0644\u06cc \u06a9\u0645\u200c\u06a9\u0627\u0631\u0628\u0631\u060c \u0633\u0627\u062e\u062a embedding \u0648 \u067e\u0631\u062f\u0627\u0632\u0634 \u062f\u0633\u062a\u0647\u200c\u0627\u06cc.
\u25c0\ufe0f \ud83c\udfaf CPU \u0646\u0633\u0644 \u062c\u062f\u06cc\u062f \u0628\u0627 AMX:<\/strong> \u0627\u0633\u062a\u0646\u062a\u0627\u062c \u0633\u0631\u06cc\u0639\u200c\u062a\u0631 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u06a9\u0648\u0686\u06a9 \u0648 \u0645\u062a\u0648\u0633\u0637 \u0628\u0627 BF16 \u06cc\u0627 INT8.
\u25c0\ufe0f \ud83c\udfaf \u06cc\u06a9 GPU \u0645\u0627\u0646\u0646\u062f L4 \u06cc\u0627 L40S:<\/strong> \u0633\u0631\u0648\u06cc\u0633 \u062a\u0639\u0627\u0645\u0644\u06cc \u0628\u0627 \u06a9\u0627\u0631\u0628\u0631\u0627\u0646 \u0647\u0645\u200c\u0632\u0645\u0627\u0646 \u0628\u06cc\u0634\u062a\u0631 \u0648 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u062a\u0635\u0648\u06cc\u0631\u06cc.
\u25c0\ufe0f \ud83c\udfaf \u0686\u0646\u062f GPU \u0628\u0627 NVLink:<\/strong> \u0622\u0645\u0648\u0632\u0634 \u0648 \u062a\u0646\u0638\u06cc\u0645 \u062f\u0642\u06cc\u0642 \u0645\u062f\u0644\u200c\u0647\u0627\u06cc \u0628\u0632\u0631\u06af.<\/div>\n\n\n\n
\ud83d\udccc \u0645\u0642\u0627\u0644\u0627\u062a \u062a\u062e\u0635\u0635\u06cc \u0627\u06cc\u0646 \u0645\u062c\u0645\u0648\u0639\u0647:<\/strong> \u0627\u06af\u0631 \u0645\u0633\u06cc\u0631 \u062e\u0648\u062f \u0631\u0627 \u0645\u0634\u062e\u0635 \u06a9\u0631\u062f\u0647\u200c\u0627\u06cc\u062f\u060c \u0627\u06cc\u0646 \u0631\u0627\u0647\u0646\u0645\u0627\u0647\u0627 \u062c\u0632\u0626\u06cc\u0627\u062a \u0647\u0631 \u06a9\u0627\u0631\u0628\u0631\u062f \u0631\u0627 \u0628\u0631\u0631\u0633\u06cc \u0645\u06cc\u200c\u06a9\u0646\u0646\u062f:<\/div>\n\n\n\n