Weiß jemand von euch, wie man bei Blinko (GitHub) seine eigene KI einbauen kann?
Leider konnte KI mir da auch nicht helfen, dass erfolgreich zu installieren. Es hat irhgendwann nur noch sachen gesagt und sich im Kreis gedreht, dass nichts davon half, und sogar schlimmer wurde. Wichtig ist zu wissen, dass die KI Modelle in Ollama direkt angelegt werden müssen, weil OllamaWebUI nur Sachen für sich selbst macht. Deswegen versuchte ich ein angepasstes Modell über den Stack zu installieren.
Es geht vor allem darum, dass es auf GPU von dem drunterliegenden Intel Pentium Gold 8505 (5 Kerne) läuft. Ich shcaffe es, dass die Modelle mit 100% GPU darauf laufen, aber nur bei OllamaWebUI. dort geht es. Aber für Blinko müssen diese angepasst werden.
Hier meine Stacks:
services:
db:
image: postgres:17
container_name: Blinko-DB
hostname: blinko-db
networks:
- ai-bridge
#dns:
# - 1.1.1.1
security_opt:
- no-new-privileges:true
healthcheck:
test: ["CMD", "pg_isready", "-q", "-d", "blinko", "-U", "blinkouser"]
timeout: 45s
interval: 10s
retries: 10
volumes:
- /volume2/docker/blinko/db:/var/lib/postgresql/data:rw
environment:
POSTGRES_DB: blinko
POSTGRES_USER: blinkouser
POSTGRES_PASSWORD: blinkopass
restart: on-failure:5
blinko:
shm_size: '2gb'
image: blinkospace/blinko:latest
container_name: Blinko
networks:
- ai-bridge
#dns:
# - 1.1.1.1
environment:
NODE_ENV: production
NEXTAUTH_URL: https://blinko.synology.me
NEXT_PUBLIC_BASE_URL: https://blinko.synology.me
NEXTAUTH_SECRET: XXXXXXXXXXXS2qmFF3W1fUsiY78U7wIapWJycOWJPOcet2Rlz5F54
DATABASE_URL: postgresql://blinkouser:blinkopass@blinko-db:5432/blinko
volumes:
- /volume2/docker/blinko/data:/app/.blinko:rw
logging:
options:
max-size: "10m"
max-file: "3"
ports:
- 1112:1111
depends_on:
db:
condition: service_healthy
restart: on-failure:5
networks:
ai-bridge:
external: true # Hiermit sagt Blinko: "Ich möchte das Netzwerk von Ollama mitbenutzen"dann ist das mein Stack für Ollama
services:
ollama:
container_name: OLLAMA
image: ollama/ollama:latest
restart: unless-stopped
privileged: true
shm_size: '8gb'
networks:
- ai-bridge
dns:
- 8.8.8.8
- 1.1.1.1
ports:
- "11434:11434"
volumes:
- /volume2/docker/ollama/data:/root/.ollama
group_add:
- "937"
devices:
- /dev/dri:/dev/dri
environment:
- OLLAMA_HOST=0.0.0.0
- OLLAMA_KEEP_ALIVE=-1
- OLLAMA_INTEL_GPU=true
- OLLAMA_VULKAN=1 # Wieder AN für iGPU Speed
- OLLAMA_FLASH_ATTENTION=0 # WICHTIG: AUS gegen den Zeichensalat
- ZES_ENABLE_SYSMAN=1
healthcheck:
test: ["CMD-SHELL", "ollama list || exit 1"]
interval: 10s
timeout: 5s
retries: 5
entrypoint: /bin/sh -c
command:
- |
/bin/ollama serve &
sleep 20;
# Erst löschen, dann neu erstellen für sauberen Stand
ollama rm qwen2-blinko || true;
ollama pull qwen2.5:7b && \
echo "FROM qwen2.5:7b\nPARAMETER num_ctx 4096" > /tmp/Modelfile && \
ollama create qwen2-blinko -f /tmp/Modelfile;
wait
open-webui:
container_name: OLLAMA-WEBUI
image: ghcr.io/open-webui/open-webui:latest
restart: unless-stopped
networks:
- ai-bridge
dns:
- 8.8.8.8
ports:
- "8271:8080"
volumes:
- /volume2/docker/ollama/webui:/app/backend/data
environment:
- OLLAMA_BASE_URL=http://ollama:11434
- WEBUI_SECRET_KEY=XXXXXXXXXzevguyTWvddDgFsptdSEhXqjucDCvUwleiLWFfayVGZ
depends_on:
ollama:
condition: service_healthy
networks:
ai-bridge:
name: ai-bridge