Ich habe ein Ryzen 7850HS (32GB) mit einer RTX 4060 (8GB) und lasse da z.B. gemma4 26B A4B drauf laufen. Es ist sicher nicht so performant wie cloud Modelle, aber ich finde man kann damit gut arbeiten. Habe gestern qwen3.6 als MoE probiert und das war eine Katastrophe. Denke kommt stark auf die Hardware, Model und letztendlich auf die Tasks an.
Habe heute ihn selbst Docker, Compose und Startskript über arbeiten lassen und am Ende eine saubere Readme.md schreiben lassen, ging erschreckend gut.
Hint: Ich hoste noch ein paar Dienste auf einem NUC8i7 und wollte es darauf probieren, ist ja im Grunde auch Mobile Hardware, Katastrophe.