راه‌اندازی سرور هوش مصنوعی شخصی یعنی نصب یک موتور اجرای مدل زبانی بزرگ (LLM) مثل Ollama روی سرور خودتان، دانلود وزن‌های یک مدل باز و ارائه آن از طریق API یا رابط وب. در این حالت پرسش‌ها و اسناد شما روی سخت‌افزار خودتان پردازش می‌شوند و برای هر توکن به سرویس ابری هزینه نمی‌پردازید.
✅ حریم خصوصی داده: متن پرسش‌ها و فایل‌ها از سرور شما خارج نمی‌شود.
✅ هزینه قابل پیش‌بینی: به‌جای پرداخت به ازای هر توکن، هزینه ثابت سرور را می‌پردازید.
✅ کنترل نسخه و تنظیمات: مدل فقط وقتی عوض می‌شود که خودتان آن را به‌روز کنید.
✅ سازگاری با ابزارهای موجود: برنامه‌هایی که با API شرکت OpenAI کار می‌کنند، معمولاً با عوض کردن آدرس به سرور شما وصل می‌شوند.

💡 منظور از LLM محلی، مدل زبانی است که روی سرور خودتان اجرا می‌شود، نه در ابر دیگران

✅ ابزار Ollama نصب، دانلود و اجرای مدل را در چند دستور کوتاه خلاصه می‌کند.
✅ سرور اختصاصی با 64GB رم ECC و 1TB NVMe برای شروع، در وب‌داده
اگر می‌خواهید مدلی مثل DeepSeek را بدون وابستگی به سرویس‌های خارجی روی سرور خودتان اجرا کنید، این راهنما مسیر را از سخت‌افزار تا رابط وب نشان می‌دهد. اول حساب می‌کنیم چقدر رم لازم است، بعد Ollama را روی Ubuntu نصب می‌کنیم، DeepSeek و Llama را اجرا و مقایسه می‌کنیم و در آخر Open WebUI را پشت Nginx و HTTPS منتشر می‌کنیم.

🔶 سرور اختصاصی برای LLM محلی

برای اجرای مدل‌های کوچک و متوسط روی CPU، رم و فضای NVMe مهم‌ترین منابع‌اند. سرور اختصاصی HPE وب‌داده با 64GB رم ECC و 1TB NVMe نقطه شروع مناسبی است؛ جزئیات را در صفحه سرور اختصاصی ایران ببینید 👇

راه‌اندازی سرور هوش مصنوعی شخصی چیست و LLM محلی چه مزیتی دارد؟

یک سرور LLM شخصی سه لایه دارد. موتور اجرا وزن‌های مدل را در حافظه بارگذاری می‌کند و پاسخ را می‌سازد؛ خود مدل فایلی چندگیگابایتی است؛ لایه دسترسی هم می‌تواند خط فرمان، API یا رابط وب باشد. ابزار Ollama کار هر سه لایه را ساده می‌کند: مدل را از کتابخانه خودش دانلود می‌کند، آن را اجرا می‌کند و روی پورت 11434 یک API در اختیار برنامه‌ها می‌گذارد.
تفاوت LLM محلی با سرویس‌های ابری مثل تفاوت آشپزخانه شخصی با سفارش غذا از رستوران است. رستوران منوی بزرگ‌تر و آشپزهای حرفه‌ای‌تری دارد، اما مواد اولیه و دستور پخت دست خودش است. در آشپزخانه شخصی منو محدودتر است، ولی می‌دانید دقیقاً چه چیزی وارد غذا شده و هیچ‌کس دفترچه سفارش‌های شما را نمی‌بیند.
User (Browser)
      |  HTTPS :443
      v
[ Nginx + TLS ] ---> [ Open WebUI :8080 ]
                            |
                            v
                 [ Ollama 127.0.0.1:11434 ]
                            |
                            v
           [ Models: deepseek-r1:8b, llama3.1:8b ]

🔸 نکته فنی: داده‌ها کجا پردازش می‌شوند؟

طبق بخش پرسش‌های متداول مستندات Ollama، وقتی مدل را روی سیستم خودتان اجرا می‌کنید، سازنده Ollama پرسش‌ها و داده‌هایتان را نمی‌بیند. البته Ollama مدل‌های ابری هم دارد؛ اگر می‌خواهید فقط مدل‌های محلی در دسترس باشند، متغیر OLLAMA_NO_CLOUD=1 را تنظیم کنید تا قابلیت‌های ابری، از جمله جست‌وجوی وب، خاموش شوند.

۱- چه زمانی LLM محلی انتخاب درستی است؟

✅ پردازش اسناد داخلی، قراردادها یا اطلاعات مشتری که نباید به سرویس خارجی ارسال شوند
✅ چت‌بات داخلی سازمان یا تیم پشتیبانی با حجم درخواست قابل پیش‌بینی
✅ توسعه و تست نرم‌افزارهای مبتنی بر هوش مصنوعی بدون هزینه به ازای هر درخواست
✅ پروژه‌هایی که به دسترسی پایدار و مستقل از سرویس‌های خارجی نیاز دارند

۲- محدودیت‌هایی که باید بپذیرید

❌ مدل‌های باز کوچک در استدلال پیچیده معمولاً به پای بزرگ‌ترین مدل‌های تجاری نمی‌رسند.
❌ بدون GPU سرعت تولید پاسخ محدود است و مدل‌های بزرگ کند اجرا می‌شوند.
❌ نگهداری، به‌روزرسانی و امنیت سرور بر عهده خودتان است.
❌ موتور Ollama به‌طور پیش‌فرض برای هر مدل یک درخواست را هم‌زمان پردازش می‌کند و بقیه در صف می‌مانند.

۳- موتور اجرا؛ Ollama یا vLLM؟

ابزار Ollama برای شروع سریع، تیم کوچک و اجرا روی CPU گزینه ساده‌ای است. vLLM کتابخانه‌ای برای استنتاج و سرویس‌دهی LLM است که با PagedAttention و دسته‌بندی پیوسته درخواست‌ها (Continuous Batching) برای توان عملیاتی بالا طراحی شده و سرور API سازگار با OpenAI دارد. vLLM از CPU هم پشتیبانی می‌کند، اما بیشترین مزیت آن در بار هم‌زمان زیاد روی GPU دیده می‌شود. ابزار سبک llama.cpp هم در راهنمای سرور هوش مصنوعی بررسی شده است.

راه‌اندازی سرور هوش مصنوعی شخصی؛ کاربر در حال چت با مدل محلی روی مانیتور، کنار سرور مجهز به کارت گرافیک و نماد ابری با علامت ممنوع

مقایسه Ollama و vLLM برای سرور LLM

این جدول بر اساس مستندات رسمی دو پروژه تهیه شده و ردیف آخر جمع‌بندی ماست.
ویژگیOllamavLLM
هدف اصلیاجرای ساده مدل روی سرور یا رایانهاستنتاج و سرویس‌دهی پرسرعت LLM
APIرابط API بومی و سازگار با OpenAI روی پورت 11434سرور API سازگار با OpenAI
سخت‌افزارهم CPU و هم GPUکارت‌های گرافیک NVIDIA، AMD و Intel، به‌علاوه TPU و CPU
نقطه قوتنصب با یک دستور و کتابخانه آماده مدلمدیریت حافظه PagedAttention و Continuous Batching
مجوز نرم‌افزارMITApache 2.0
مناسب برایشروع کار، تیم کوچک، سرور بدون GPUبار هم‌زمان زیاد روی GPU

سخت‌افزار لازم برای سرور LLM؛ رم، CPU و GPU

قانون اصلی سرور LLM ساده است: کل وزن‌های مدل باید در حافظه جا شوند؛ در سرور بدون GPU یعنی رم سیستم و در سرور گرافیکی یعنی VRAM. علاوه بر وزن‌ها، حافظه‌ای هم برای پنجره زمینه (Context) و سیستم‌عامل لازم است. جزئیات محاسبه حافظه و مقایسه CPU و GPU را در مقاله سرور هوش مصنوعی آورده‌ایم؛ اینجا فقط نکات لازم برای نصب را مرور می‌کنیم.

۱- رم و فضای ذخیره‌سازی

طبق صفحه مدل در کتابخانه Ollama، نسخه 8b مدل DeepSeek-R1 حدود 5.2GB و نسخه 32b حدود 20GB حجم دارد. پس برای LLM محلی با مدل 8b، سروری با 16GB رم فضای راحتی دارد، اما اگر می‌خواهید چند مدل را هم‌زمان در حافظه نگه دارید یا سراغ مدل‌های 32b و 70b بروید، 64GB رم یا بیشتر لازم است. فایل‌های مدل روی دیسک ذخیره می‌شوند و دیسک NVMe زمان بارگذاری آن‌ها در حافظه را کوتاه می‌کند.

۲- پردازنده و پهنای باند حافظه

در اجرا روی CPU، سرعت تولید توکن بیشتر به پهنای باند حافظه وابسته است تا تعداد هسته‌ها، چون برای هر توکن باید وزن‌های مدل از رم خوانده شوند. Intel سقف پهنای باند حافظه Xeon E5-2680 v4 را 76.8GB/s برای هر پردازنده اعلام کرده است. تقسیم این عدد بر حجم مدل 8b (5.2GB) سقف نظری نزدیک ۱۵ توکن در ثانیه را نشان می‌دهد. این عدد بنچمارک نیست و سرعت واقعی کمتر است.

۳- چه زمانی GPU لازم است؟

اگر مدل‌های 32b به بالا، پاسخ‌دهی سریع برای چند کاربر هم‌زمان یا پنجره زمینه طولانی می‌خواهید، سرور گرافیکی انتخاب منطقی‌تری است و ظرفیت VRAM تعیین می‌کند چه مدلی کامل روی کارت جا می‌شود. دستور ollama ps نشان می‌دهد مدل صددرصد روی CPU، صددرصد روی GPU یا ترکیبی از هر دو اجرا می‌شود. معیارهای انتخاب کارت مناسب را در مقاله سرور GPU چیست توضیح داده‌ایم.

سخت‌افزار لازم برای سرور LLM؛ پردازنده، ماژول‌های رم و کارت گرافیک کنار سرور رک‌مونت

جدول نسخه‌های DeepSeek-R1 در Ollama

حجم دانلود و مدل پایه طبق کتابخانه Ollama است؛ ستون آخر پیشنهاد ماست و به کاربرد و سرعتی که برایتان پذیرفتنی است بستگی دارد.
نسخه (تگ Ollama)حجم دانلودمدل پایهپیشنهاد سخت‌افزار
deepseek-r1:1.5b1.1GBQwenآزمایش روی هر سروری
deepseek-r1:8b (پیش‌فرض)5.2GBQwen3سرور CPU با 16GB رم به بالا
deepseek-r1:14b9.0GBQwenسرور CPU با 32GB رم یا GPU
deepseek-r1:32b20GBQwenرم 64GB (کند) یا GPU پرحافظه
deepseek-r1:70b43GBLlamaکارت گرافیک؛ روی CPU بسیار کند
deepseek-r1:671b404GBمدل کامل R1خوشه GPU دیتاسنتری

آموزش نصب Ollama روی سرور و اجرای DeepSeek و Llama

در این بخش، مراحل راه‌اندازی سرور هوش مصنوعی را روی یک سرور Ubuntu به ترتیب اجرا می‌کنیم؛ از نصب Ollama روی سرور تا اجرای DeepSeek روی سرور و اتصال برنامه‌ها به API. دستورها از مستندات رسمی Ollama گرفته شده‌اند و روی هر سرور اختصاصی یا مجازی لینوکسی با دسترسی sudo کار می‌کنند.

۱- آماده‌سازی سرور Ubuntu

یک نسخه پشتیبانی‌شده Ubuntu Server نصب کنید، بسته‌ها را به‌روز کنید و پیش از نصب هر سرویس دیگری، فایروال را طوری فعال کنید که فقط SSH باز باشد. اگر سیستم‌عامل را تازه نصب می‌کنید، راهنمای نصب Ubuntu Server روی سرور اختصاصی و برای ایمن‌سازی پایه، آموزش Hardening لینوکس را ببینید.
sudo apt update && sudo apt upgrade -y
sudo ufw allow OpenSSH
sudo ufw enable
free -h     # available RAM
df -h       # free disk space

۲- نصب Ollama روی سرور با اسکریپت رسمی

ساده‌ترین روش نصب Ollama روی سرور، اسکریپت رسمی است. این اسکریپت فایل‌ها را نصب می‌کند، کاربر سیستمی ollama را می‌سازد و برایش یک سرویس systemd فعال می‌کند. پس از نصب، API روی 127.0.0.1:11434 در دسترس است؛ یعنی فقط از داخل خود سرور.
curl -fsSL https://ollama.com/install.sh | sh
systemctl status ollama
curl http://127.0.0.1:11434
# Ollama is running
journalctl -e -u ollama    # service logs
📌 اگر نمی‌خواهید اسکریپتی را مستقیم از اینترنت اجرا کنید، اول آن را دانلود کنید و بخوانید. مستندات Ollama روش نصب دستی با فایل ollama-linux-amd64.tar.zst و ساخت دستی سرویس systemd را هم توضیح داده است. هر وقت هم خواستید Ollama را به‌روز کنید، همان اسکریپت را دوباره اجرا کنید.

۳- اجرای DeepSeek روی سرور

برای اجرای DeepSeek روی سرور، مدل را دانلود و سپس اجرا کنید. تگ پیش‌فرض deepseek-r1 همان نسخه 8b است. گزینه –verbose پس از هر پاسخ، آمار زمان‌بندی را نشان می‌دهد؛ از جمله نرخ تولید (eval rate) بر حسب توکن در ثانیه. با همین عدد، سرعت واقعی مدل را روی سخت‌افزار خودتان می‌سنجید، نه روی کاغذ.
ollama pull deepseek-r1:8b
ollama run deepseek-r1:8b --verbose
>>> Explain RAID 10 in two sentences.

ollama ps    # PROCESSOR: 100% CPU / 100% GPU
ollama ls    # downloaded models
ollama rm deepseek-r1:1.5b
مدل DeepSeek-R1 استدلالی است و پیش از پاسخ نهایی، روند استدلال خود را هم می‌نویسد؛ پس پاسخ‌هایش طولانی‌تر و کندتر از مدل‌های گفت‌وگوی معمولی است. طبق صفحه مدل در Ollama، وزن‌های DeepSeek-R1 با مجوز MIT منتشر شده‌اند و پنجره زمینه نسخه‌های تقطیرشده آن 128K توکن است. این نسخه‌ها از مدل‌های Qwen و Llama مشتق شده‌اند که مجوز اصلی خودشان را دارند؛ مثلاً نسخه 70b بر پایه Llama 3.3 ساخته شده است.

۴- اجرای Llama 3.1 و مقایسه مدل‌ها

مدل Llama 3.1 را هم برای مقایسه امتحان کنید؛ نسخه 8b آن در کتابخانه Ollama حدود 4.9GB حجم دارد. یک سوال ثابت را از هر دو مدل بپرسید و کیفیت پاسخ و eval rate را کنار هم بگذارید. مجوز Llama را Meta تعیین کرده و با MIT فرق دارد؛ پیش از استفاده تجاری، شرایط مجوز هر مدل را بخوانید.
ollama run llama3.1:8b --verbose

۵- تنظیمات سرویس Ollama

سرویس Ollama با متغیرهای محیطی تنظیم می‌شود. دستور systemctl edit را اجرا کنید و خطوط لازم را زیر بخش [Service] بنویسید. در سرور بدون GPU (یا با VRAM کمتر از ۲۴ گیگابایت)، پنجره زمینه پیش‌فرض ۴۰۹۶ توکن است و مدل پس از ۵ دقیقه بی‌کاری از حافظه خارج می‌شود.
sudo systemctl edit ollama.service

[Service]
Environment="OLLAMA_MODELS=/data/ollama/models"
Environment="OLLAMA_KEEP_ALIVE=30m"
Environment="OLLAMA_CONTEXT_LENGTH=8192"
Environment="OLLAMA_NUM_PARALLEL=2"

sudo systemctl daemon-reload && sudo systemctl restart ollama
◀️ OLLAMA_MODELS: محل ذخیره مدل‌ها؛ پیش‌فرض لینوکس /usr/share/ollama/.ollama/models است و کاربر ollama باید به مسیر جدید دسترسی نوشتن داشته باشد.
◀️ OLLAMA_KEEP_ALIVE: مدت ماندن مدل در حافظه پس از آخرین درخواست.
◀️ OLLAMA_CONTEXT_LENGTH: طول پنجره زمینه؛ عدد بزرگ‌تر رم بیشتری مصرف می‌کند.
◀️ OLLAMA_NUM_PARALLEL: تعداد درخواست‌های هم‌زمان هر مدل؛ پیش‌فرض ۱ است و بقیه درخواست‌ها در صف می‌مانند.

۶- اتصال برنامه‌ها از طریق API

ابزار Ollama علاوه بر API بومی، یک API سازگار با OpenAI روی مسیر /v1 دارد؛ یعنی بیشتر کتابخانه‌هایی که برای OpenAI نوشته شده‌اند با تغییر آدرس پایه به سرور شما وصل می‌شوند. طبق مستندات Ollama، کتابخانه‌های کلاینت مقداری برای کلید API می‌خواهند، اما خود Ollama آن را نادیده می‌گیرد؛ یعنی هر کلیدی پذیرفته می‌شود. به همین دلیل این پورت را هرگز مستقیم روی اینترنت باز نکنید.
curl http://127.0.0.1:11434/api/chat -d '{
  "model": "deepseek-r1:8b",
  "messages": [{"role": "user", "content": "Hello"}],
  "stream": false
}'

# OpenAI-compatible base URL:
# http://127.0.0.1:11434/v1/

رابط وب Open WebUI و امنیت دسترسی

رابط وب Open WebUI محیطی شبیه ChatGPT برای کار با مدل‌های محلی است و ساده‌ترین روش نصبش Docker است. اگر Docker ندارید، ابتدا نصب داکر روی اوبونتو 24.04 را انجام دهید. چون Ollama فقط روی 127.0.0.1 گوش می‌دهد و از داخل کانتینر در دسترس نیست، بخش عیب‌یابی مستندات Open WebUI برای این حالت اجرای کانتینر با شبکه میزبان (–network=host) را پیشنهاد می‌کند.
docker run -d --network=host \
  -v open-webui:/app/backend/data \
  -e OLLAMA_BASE_URL=http://127.0.0.1:11434 \
  --name open-webui --restart always \
  ghcr.io/open-webui/open-webui:main
در این حالت Open WebUI روی پورت 8080 سرور اجرا می‌شود. اولین حسابی که ساخته شود مدیر کل سامانه است؛ پس همان لحظه بعد از نصب، حساب خودتان را بسازید تا کس دیگری پیش‌دستی نکند. طبق مستندات، نقش پیش‌فرض کاربران جدید pending است و تا تأیید مدیر دسترسی ندارند؛ اگر کاربر جدیدی نمی‌خواهید، ثبت‌نام را با متغیر ENABLE_SIGNUP=false کاملاً ببندید.

لایه امنیتی: Nginx، HTTPS و فایروال

پورت 8080 را مستقیم روی اینترنت باز نکنید. Nginx را جلوی Open WebUI قرار دهید، با Let’s Encrypt گواهی HTTPS بگیرید و در فایروال فقط پورت‌های SSH، 80 و 443 را باز بگذارید. طبق مستندات Open WebUI، از نسخه 0.5.0 به بعد پشتیبانی WebSocket ضروری است؛ دو هدر Upgrade و Connection در پیکربندی زیر برای همین آمده‌اند.
location / {
    proxy_pass http://127.0.0.1:8080;
    proxy_set_header Host $host;
    proxy_set_header Upgrade $http_upgrade;
    proxy_set_header Connection "upgrade";
    proxy_buffering off;
    proxy_read_timeout 10m;
}
# sudo ufw allow 'Nginx Full'
# sudo certbot --nginx -d ai.example.com

⚠️ پورت 11434 را روی اینترنت باز نکنید

برای دسترسی از شبکه باید OLLAMA_HOST را مثلاً روی 0.0.0.0 بگذارید. اما API پیش‌فرض Ollama احراز هویت ندارد؛ هر کسی که به این پورت برسد می‌تواند از مدل‌ها استفاده کند، مدل تازه دانلود کند یا مدل‌ها را پاک کند. اگر برنامه‌ای روی سرور دیگر به API نیاز دارد، با فایروال سرور دسترسی را فقط به IP همان سرور محدود کنید.

📚 آنچه مستندات Ollama می‌گوید

طبق پرسش‌های متداول رسمی Ollama، این سرویس به‌طور پیش‌فرض روی 127.0.0.1 و پورت 11434 گوش می‌دهد و برای انتشار آن در شبکه باید متغیر OLLAMA_HOST را تغییر داد. همین مستندات برای استفاده از Nginx، نمونه پیکربندی پروکسی معکوس با proxy_pass به localhost:11434 آورده است.

یک سناریوی نمونه: چت‌بات داخلی برای تیم پشتیبانی

فرض کنید یک شرکت نرم‌افزاری می‌خواهد کارشناسان پشتیبانی مستندات داخلی را خلاصه کنند، بدون اینکه متن قراردادها به سرویس خارجی برود. تیم فنی یک سرور LLM داخلی با Ollama و Open WebUI روی سرور اختصاصی راه می‌اندازد، مدل 8b را انتخاب می‌کند و رابط وب را پشت Nginx با HTTPS و ورود کاربری منتشر می‌کند.
پس از مدتی، کاربران از کندی در ساعات شلوغ گلایه می‌کنند. بررسی با ollama ps و لاگ سرویس نشان می‌دهد درخواست‌ها پشت سر هم در صف می‌مانند. راه‌حل چند مرحله دارد: اول OLLAMA_NUM_PARALLEL را تا جایی که رم اجازه می‌دهد بالا می‌برند، بعد با OLLAMA_KEEP_ALIVE مدل را در حافظه نگه می‌دارند تا هر بار از نو بارگذاری نشود، و اگر کاربران باز هم بیشتر شدند، سراغ سرور GPU می‌روند. پشتیبان‌گیری منظم از volume داده Open WebUI هم بخشی از همین برنامه است.

آموزش نصب Ollama روی سرور و اجرای DeepSeek و Llama؛ کاربر پشت ترمینال و دانلود مدل‌های Llama و DeepSeek روی سرور

سرور LLM در وب‌داده؛ زیرساخت اختصاصی برای LLM محلی

سرور اختصاصی ایران وب‌داده روی سخت‌افزار HPE ProLiant اجرا می‌شود و منابع آن با کاربر دیگری تقسیم نمی‌شود. این برای استنتاج مدل اهمیت دارد، چون رم و پهنای باند حافظه را تمام‌وقت مصرف می‌کند. پلن آماده فعلی برای مدل‌های کوچک و متوسط روی CPU نقطه شروع مناسبی است. مشخصات کامل در صفحه اجاره سرور اختصاصی آمده است.
✅ سرور HPE DL360 Gen9 با دو پردازنده Xeon E5-2680 v4 (مجموعاً ۲۸ هسته و ۵۶ رشته) با پشتیبانی AVX2
✅ رم 64GB از نوع Registered ECC DDR4 برای مدل‌های 8b و 14b و حتی آزمایش مدل 32b
✅ دیسک 1TB NVMe برای نگهداری چند مدل و بارگذاری سریع‌تر آن‌ها
✅ پورت 10Gbit/s روی شبکه‌ای با آپلینک 100Gbit
✅ نصب خودکار سیستم‌عامل، کنسول KVM و نصب مجدد از پنل مدیریت سرور
✅ بررسی پیکربندی سفارشی، مثل رم بیشتر یا نسل‌های دیگر، از طریق تیکت یا تماس
📌 حجم فایل مدل‌ها را در برنامه‌ریزی فضای دیسک در نظر بگیرید؛ مثلاً نسخه 70b مدل DeepSeek-R1 به‌تنهایی حدود 43GB است. اگر مدل‌های بزرگ‌تر یا GPU لازم دارید، نیازتان را پیش از خرید با تیم فنی ۲۴ ساعته مطرح کنید. نصب و ایمن‌سازی را هم می‌توانید به خدمات کانفیگ و مدیریت سرور بسپارید.
🚀 بیشتر بدانید: نصب OpenClaw روی سرور مجازی و سرور محاسباتی (HPC) برای پردازش سنگین

سوالات متداول درباره سرور LLM و Ollama

آیا برای سرور LLM حتماً کارت گرافیک لازم است؟

خیر. مدل‌های کوچک کوانتیزه‌شده مثل deepseek-r1:8b با Ollama روی CPU هم اجرا می‌شوند و خروجی دستور ollama ps نشان می‌دهد مدل روی CPU بارگذاری شده است. محدودیت اصلی سرعت است، چون پهنای باند رم سیستم کمتر از حافظه GPU است. برای مدل‌های 32b به بالا یا کاربران هم‌زمان زیاد، سرور گرافیکی گزینه بهتری است.

حجم نسخه 8b در کتابخانه Ollama حدود 5.2GB، نسخه 14b حدود 9GB و نسخه 32b حدود 20GB است. رم سرور باید علاوه بر این حجم، جای پنجره زمینه و سیستم‌عامل را هم داشته باشد. برای 8b از 16GB و برای 32b از 64GB رم شروع کنید؛ هرچه پنجره زمینه یا تعداد درخواست هم‌زمان بیشتر باشد، رم بیشتری مصرف می‌شود.

مدل روی سرور خودتان اجرا می‌شود و طبق پرسش‌های متداول Ollama، سازنده آن در اجرای محلی پرسش‌هایتان را نمی‌بیند. اما امنیت نهایی به پیکربندی سرور بستگی دارد: Ollama را روی 127.0.0.1 نگه دارید، رابط وب را پشت HTTPS و ورود کاربری منتشر کنید، ثبت‌نام آزاد را ببندید و سیستم‌عامل و ابزارها را به‌روز نگه دارید.

مدل را با دستور ollama run و گزینه –verbose اجرا کنید. پس از هر پاسخ، Ollama زمان‌بندی‌ها و eval rate را بر حسب توکن در ثانیه نشان می‌دهد. چند سوال واقعی از کار روزمره‌تان بپرسید و میانگین بگیرید؛ این عدد از هر برآورد نظری دقیق‌تر است و نشان می‌دهد مدل برای کاربرانتان کافی است یا نه.

برای مدل‌های خیلی کوچک و آزمایش، بله. اما سرور مجازی معمولاً رم و vCPU محدودی دارد و استنتاج مدل رم و پهنای باند حافظه را پیوسته مصرف می‌کند. برای استفاده جدی یا چند کاربر، سرور اختصاصی با رم بالا انتخاب مطمئن‌تری است، چون منابع آن با کاربر دیگری تقسیم نمی‌شود.

پس از نصب Ollama روی سرور لینوکسی، مسیر پیش‌فرض /usr/share/ollama/.ollama/models است. برای انتقال به دیسک بزرگ‌تر، متغیر OLLAMA_MODELS را با systemctl edit در سرویس تعریف کنید، مالکیت مسیر جدید را به کاربر ollama بدهید و سرویس را دوباره راه‌اندازی کنید. مدل‌های بلااستفاده را هم با ollama rm حذف کنید.

طبق پرسش‌های متداول Ollama، مقدار پیش‌فرض OLLAMA_NUM_PARALLEL برابر ۱ است و صف درخواست‌ها تا ۵۱۲ مورد را نگه می‌دارد. یعنی چند کاربر می‌توانند وصل شوند، اما پاسخ‌ها به نوبت تولید می‌شوند. با افزایش این عدد رم بیشتری مصرف می‌شود؛ با تعداد کاربر بالا، سراغ GPU یا ابزاری مثل vLLM بروید.

برای Ollama کافی است اسکریپت نصب رسمی را دوباره اجرا کنید. برای Open WebUI، ایمیج جدید را دریافت و کانتینر را با همان volume داده دوباره بسازید. پیش از هر به‌روزرسانی از volume داده Open WebUI نسخه پشتیبان بگیرید و یادداشت‌های انتشار را بخوانید تا تغییرات ناسازگار غافلگیرتان نکند.

جمع‌بندی؛ مدل زبانی خودتان، روی سرور خودتان

راه‌اندازی سرور هوش مصنوعی شخصی با Ollama کار پیچیده‌ای نیست: یک دستور برای نصب، یک دستور برای دانلود مدل و چند خط تنظیم برای سرویس. بعد از اجرای DeepSeek روی سرور، عدد eval rate معیار اصلی تصمیم است: نشان می‌دهد سخت‌افزار فعلی برای کاربرانتان کافی است یا باید سراغ مدل کوچک‌تر یا سرور قوی‌تر رفت.
مهم‌ترین تصمیم‌ها سخت‌افزار و امنیت‌اند. مدل‌های 8b تا 14b را می‌شود با سرور CPU و رم کافی شروع کرد؛ برای مدل‌های بزرگ‌تر یا کاربران زیاد باید سراغ GPU رفت. Ollama را روی 127.0.0.1 نگه دارید و Open WebUI را فقط پشت Nginx، HTTPS و فایروال منتشر کنید. اگر زیرساخت اختصاصی برای LLM محلی می‌خواهید، مشخصات سرورهای HPE وب‌داده را در صفحه زیر ببینید و برای پیکربندی دیگر با تیم فنی ۲۴ ساعته هماهنگ کنید.
اگر در نصب یا انتخاب سخت‌افزار به مشکل خوردید، سوالتان را همراه با مشخصات سرور و خروجی ollama ps در بخش نظرات بنویسید تا دقیق‌تر راهنمایی کنیم.
منابع: Ollama Docs, Linux installation؛ Ollama Docs, FAQ؛ Ollama Docs, OpenAI compatibility؛ Ollama Library, deepseek-r1؛ Open WebUI Docs, Quick Start؛ Intel ARK, Intel Xeon Processor E5-2680 v4 specifications
به اشتراک بگذارید
وب داده
وب داده

جدید ترین مطالب آموزشی و کاربردی را در اینجا بخوانید !
ما با بهره‌گیری از دانش روز و تجربه متخصصان حوزه فناوری، مجموعه‌ای از آموزش‌های کاربردی و مقالات تخصصی را گردآوری کرده‌ایم که هر یک، پاسخی دقیق به پرسش‌های شماست. ؛ از مفاهیم پایه تا پیچیده‌ترین تکنیک‌های حرفه‌ای. اینجا، دانش با زبانی ساده اما عمیق در اختیار شما قرار می‌گیرد.

مقاله‌ها: 229

نوشته‌ای مرتبط

پاسخی بگذارید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *