Wie große lokale KI-Modelle kann der Mac mini M4 ausführen? Geschwindigkeits- und Speichertests mit 7B-, 14B- und 32B-Modellen

Ein Modell startet, doch bei längeren Antworten steigt der Speicherdruck oder die Ausgabe wirkt zäh.

Schnellste Entscheidung: Beurteilen Sie den Mac mini M4 nicht nach der Parameterzahl allein. Ohne dieselbe Speicherbestückung, Quantisierung und Kontextlänge gibt es keine belastbare allgemeine Aussage zur Geschwindigkeit oder Alltagstauglichkeit. 7B, 14B und 32B müssen jeweils als „geladen“, „dauerhaft generierend“ und „für Ihren Einsatz geeignet“ getrennt bewertet werden.

Dieser Beitrag richtet sich an Sie, wenn Sie lokale KI-Modelle auf einem Mac mini M4 einsetzen, vor dem Kauf die passende Arbeitsspeicher-Konfiguration abwägen oder eine lokale Inferenzumgebung für einen KI-Agenten beurteilen. Wenn Sie bereits ein Gerät besitzen, finden Sie hier ein Verfahren, mit dem Sie Ihre konkrete Kombination selbst prüfen können.

Mac mini M4: Entscheidung nach Messstatus

Diese Woche sollten Sie nicht mit einer geschätzten Tokenrate planen. Erfassen Sie zuerst die genaue Gerätevariante, Modellversion, Quantisierung und Kontextlänge. Führen Sie dann einen kurzen Lade- und einen längeren Gesprächstest durch. Fehlen vergleichbare Messprotokolle, behandeln Sie die Leistung als unbekannt, statt aus der Modellgröße eine Geschwindigkeit abzuleiten.

Für diesen Beitrag liegen keine überprüfbaren VPSSpark-Protokolle zu tatsächlich durchgeführten lokalen Tests auf einem Mac mini M4 vor. Deshalb finden Sie hier keine erfundenen Angaben zu belegtem Speicher, Token pro Sekunde, Ladeerfolg oder Dauertests. Die drei Modellklassen lassen sich auf Grundlage der verfügbaren Messdaten folgendermaßen einordnen:

• 7B: Der Titel bezeichnet die Modellklasse, nicht eine garantierte Laufgeschwindigkeit. Ohne konkrete Messung bleibt offen, ob Ihre Modellvariante bei der gewünschten Kontextlänge flüssig genug arbeitet.
• 14B: Ob genügend Unified Memory für Modell, Cache und Systemreserve bleibt, hängt von den Testbedingungen ab. Eine pauschale Mindestgröße lässt sich hier nicht seriös angeben.
• 32B: Ein einmaliger Start wäre kein Beleg für eine stabile Nutzung. Ohne dokumentierte Speicherreserve und längere Generierung ist die Alltagstauglichkeit nicht nachgewiesen.

Das ist keine Rangliste der Modellqualität. Es ist eine Einordnung der Beweislage: Für keine der drei Größen ist hier eine belastbare VPSSpark-Messung verfügbar. Die praktische Konsequenz lautet: Kaufen oder konfigurieren Sie nicht nach einer versprochenen Tokenrate, die nicht zu Ihrem Modell und Ihrem Kontext passt.

Speicherbedarf getrennt betrachten

Der Mac mini M4 teilt den Unified Memory zwischen Anwendungen und Grafikverarbeitung. Apple nennt für den Mac mini mit M4 eine Konfiguration mit 16 GB Unified Memory sowie Optionen mit 24 GB und 32 GB. Diese Herstellerangaben beschreiben Gerätekonfigurationen, nicht den Speicherbedarf eines bestimmten KI-Modells. Prüfen Sie die Angaben auf der technischen Spezifikationsseite von Apple, bevor Sie eine Gerätekonfiguration vergleichen.

Für die Inferenz zählen mehrere Speicheranteile gleichzeitig:

• Modellgewichte: Die Quantisierung beeinflusst, wie groß die Gewichtsdaten im Speicher ausfallen. Die Dateigröße allein belegt jedoch nicht, dass das gesamte Modell samt Laufzeit und Arbeitsreserve hineinpasst.
• Kontext und KV-Cache: Mit dem verarbeiteten Gesprächsverlauf wächst der Bedarf für den Schlüssel-Wert-Cache. Die tatsächliche Entwicklung hängt unter anderem von Modell und Cache-Verfahren ab. Die Erläuterung zur KV-Cache-Quantisierung und ihren Bedingungen zeigt, weshalb sich ein einheitlicher Speicherwert nicht aus der Modellklasse ableiten lässt.
• Betriebssystem und übrige Programme: Browser, Entwicklungsumgebung und Hintergrundprozesse beanspruchen ebenfalls Unified Memory. Ein Modell, das auf einem aufgeräumten Rechner startet, kann unter Ihrer normalen Arbeitslast an eine andere Grenze stoßen.
• Speicherreserve und Auslagerung: Ein scheinbar erfolgreicher Start kann mit hoher Speicherbelastung einhergehen. In der Apple-Dokumentation zur Speicheranzeige der Aktivitätsanzeige finden Sie die Hinweise, wie Speicherbelastung und Auslagerung zusammen zu interpretieren sind.

Die Einordnung der drei Größen ist daher bedingt, nicht absolut. Bei 7B sollten Sie prüfen, ob nach dem Laden noch Reserve für Ihre typischen Anwendungen und Gesprächsverläufe bleibt. Bei 14B gewinnt diese Reserve besondere Bedeutung: Testen Sie nicht nur mit leerem Kontext, sondern mit der Länge, die in Ihrer Arbeit vorkommt. Bei 32B sollten Sie zusätzlich kontrollieren, ob das Gerät auch nach dem Laden über längere Zeit stabil generiert. Keine dieser Aussagen ersetzt einen Test Ihrer exakten Kombination.

Unified Memory macht die Messung nicht überflüssig. Die MLX-Dokumentation zur gemeinsamen Speichernutzung beschreibt, wie CPU und GPU auf den gemeinsamen Speicher zugreifen. Für Ihre Entscheidung heißt das: Die Anzeige „Modell gestartet“ sagt nicht, wie viel belastbare Reserve für parallele Programme, längere Prompts oder weitere Generierung bleibt.

Geschwindigkeit in zwei Phasen messen

Eine einzige Zahl für „Geschwindigkeit“ verschleiert Unterschiede im Ablauf. Beim Prompt-Verarbeiten wird die Eingabe ausgewertet; beim Generieren entstehen die Ausgabetokens schrittweise. Der erste Abschnitt beeinflusst, wie lange Sie auf die Antwort warten, während die Generierungsrate das Tempo der anschließenden Ausgabe beschreibt.

Das Benchmark-Skript von MLX-LM unterscheidet Messwerte wie Prompt-Verarbeitung und Generierung. Sehen Sie sich die Dokumentation des MLX-LM-Benchmarks an und übernehmen Sie die Trennung der Phasen für Ihre Vergleichsmessung. Veröffentlichen Sie keine Tokenrate, wenn Sie nicht dazuschreiben können, welche Phase sie beschreibt.

Für 7B, 14B und 32B fehlen hier konkrete, unter gleichen Bedingungen erhobene Messwerte. Eine Aussage wie „32B ist genau so viel langsamer“ wäre aus der Parameterzahl allein abgeleitet und daher kein Messergebnis. Unterschiede zwischen Modellarchitekturen, Quantisierungen, Kontexten und Laufzeitversionen können den Vergleich verändern. Deshalb gilt für Ihre Auswertung:

• Vergleichen Sie dieselbe Modellfamilie und dokumentierte Version, sofern verfügbar.
• Erfassen Sie Prompt-Verarbeitung und Generierung separat.
• Verwenden Sie dieselbe Kontextlänge und denselben Eingabetext für die Vergleichsläufe.
• Notieren Sie Laufzeit und relevante Einstellungen, statt nur das Ergebnisfenster zu beobachten.
• Wiederholen Sie den Lauf und halten Sie die einzelnen Ergebnisse fest. Ein einzelner kurzer Durchgang ist kein stabiler Geschwindigkeitsnachweis.

Die Serverdokumentation von MLX-LM erläutert Parameter rund um den Cache in der Anleitung zum MLX-LM-Server. Wenn Sie eine andere Inferenzumgebung einsetzen, prüfen Sie deren Optionen ebenfalls, statt die Werte ungeprüft zu übertragen. Auch die Dokumentation der Serveroptionen von llama.cpp zeigt, dass Serverkonfigurationen die Vergleichbarkeit beeinflussen können. Aus dem Vorhandensein einer Option folgt nicht, dass zwei Softwarestände identische Bedingungen verwenden.

Kontext und Stabilität im Alltag prüfen

Ein kurzer Prompt beantwortet nicht, wie sich eine lokale Sitzung über mehrere Gesprächsrunden verhält. Mit wachsendem Kontext kann zusätzlicher Cache-Speicher anfallen; außerdem kann sich die Antwortzeit verändern. Wie stark, lässt sich ohne festgelegte Modell- und Laufzeitbedingungen nicht als allgemeingültige Zahl angeben.

Prüfen Sie deshalb mindestens drei unterschiedliche Nutzungssituationen: eine kurze Anfrage, eine typische Arbeitsanfrage und einen mehrstufigen Verlauf, der Ihrem tatsächlichen Einsatz nahekommt. Dokumentieren Sie die Kontextlänge und beobachten Sie den Speicherdruck während der Generierung. Das ist besonders wichtig, wenn Sie neben der Inferenz auch Entwicklungswerkzeuge oder einen Browser geöffnet haben.

Für einen KI-Agenten genügt es nicht, dass das Basismodell eine einzelne Antwort liefert. Der Agent kann mehrere Inferenzschritte auslösen, längere Eingaben erzeugen und Zwischenergebnisse im Verlauf halten. Testen Sie daher die vollständige Abfolge, die Sie wirklich ausführen wollen. Achten Sie auf abgebrochene Ausgaben, zunehmenden Speicherdruck, stark schwankende Antwortzeiten und unerwartete Auslagerung. Ein erfolgreicher Kurztest deckt diese Belastungen nicht ab.

Halten Sie außerdem Stabilität und Datenschutz getrennt fest. Lokal ausgeführte Inferenz bedeutet nicht automatisch, dass jede Anwendung keinerlei Netzwerkzugriffe durchführt. Prüfen Sie die Einstellungen der verwendeten Laufzeit und die Datenwege Ihrer Agentenkomponenten. Wenn Sie für Tests auf eine entfernte Rechenumgebung ausweichen, klären Sie vor dem Einsatz, welche Prompts übertragen werden und welche Datenschutzbedingungen gelten. Für produktive oder sensible Eingaben ist dieser Punkt ebenso entscheidend wie die Tokenrate.

Reproduzierbarer Testablauf

Nutzen Sie die folgende Checkliste, bevor Sie aus einem Lauf eine Kauf- oder Einsatzentscheidung ableiten:

• [ ] Notieren Sie die genaue Mac-mini-Variante und den eingebauten Unified Memory. Vermischen Sie Messergebnisse eines M4 nicht mit denen eines M4 Pro.
• [ ] Erfassen Sie Modellname, Versionsstand und Quantisierung. Verwenden Sie für die Vergleiche dieselbe Modellvariante.
• [ ] Dokumentieren Sie die Inferenzsoftware samt Versionsstand und den verwendeten Startparametern.
• [ ] Legen Sie die Kontextlänge und einen reproduzierbaren Prompt fest. Verwenden Sie dieselben Bedingungen für die Modellklassen, die Sie vergleichen.
• [ ] Messen Sie Ladephase, Prompt-Verarbeitung und Generierung getrennt. Erfassen Sie die Speicheranzeige parallel zur Ausgabe.
• [ ] Wiederholen Sie die Läufe und notieren Sie Abweichungen, Abbrüche und Auslagerung. Bewahren Sie die Rohwerte auf, statt nur einen Bestwert weiterzugeben.
• [ ] Lassen Sie anschließend Ihren normalen Arbeitsablauf parallel laufen. Bewerten Sie erst dann, ob das Modell für Ihren Alltag ausreicht.

Verwenden Sie für die Messung nicht bloß die Größe einer heruntergeladenen Modelldatei. Sie sagt nicht aus, wie die Laufzeit Speicher reserviert, wie viel der KV-Cache beansprucht oder welche Reserve bei Ihrem echten Gesprächsverlauf bleibt. Die systemeigene Speicheranzeige hilft, den Zustand während der Arbeit zu beurteilen. Ein Benchmark ergänzt diese Beobachtung, ersetzt aber nicht den Stabilitätstest mit Ihrer Anwendung.

Bewerten Sie jeden Modelllauf auf drei getrennten Stufen. Geladen bedeutet, dass das Modell in Ihrer Umgebung startet. Dauerhaft generierend bedeutet, dass es unter der vorgesehenen Gesprächslast weiterarbeitet, ohne dass Speicherprobleme oder Abbrüche auftreten. Alltagstauglich bedeutet, dass Antworttempo, Kontext und Stabilität zu Ihrer konkreten Aufgabe passen. Nur die dritte Stufe beantwortet die Kaufentscheidung.

Wahl zwischen 7B, 14B und 32B

Wenn schnelle Antworten Vorrang haben, wählen Sie nicht automatisch die kleinste Modellklasse. Messen Sie die tatsächliche Generierungsrate Ihrer Modellvariante und prüfen Sie, ob die Qualität für die Aufgabe genügt. Eine ungemessene 7B-Konfiguration ist keine garantierte schnelle Konfiguration.

Wenn Sie ein 14B-Modell in Betracht ziehen, stellen Sie zuerst sicher, dass Ihre Speicherbestückung, Quantisierung und Kontextlänge zusammen getestet wurden. Entscheidend ist nicht nur, ob ein Start gelingt. Entscheidend ist, ob während einer typischen Sitzung genügend Speicherreserve bleibt und die Generierung fortgesetzt wird.

Wenn Sie ein 32B-Modell erwägen, verlangen Sie einen längeren Nachweis als einen einzelnen Start. Prüfen Sie mehrere Antworten, eine realistische Kontextlänge und parallel laufende Anwendungen. Fehlen diese Ergebnisse, behandeln Sie die Eignung als unbewiesen und planen Sie keine produktive Abhängigkeit davon ein. Für einen Agenten, der mehrere aufeinanderfolgende Modellaufrufe benötigt, ist das besonders wichtig.

Ein kurzer Vergleich nach Messlage sieht damit so aus:

• 7B – Bewertung: nicht gemessen. Geeignet als Kandidat für einen ersten Leistungstest, aber ohne konkrete Tokenrate und Speichermessung nicht als flüssig belegt.
• 14B – Bewertung: nicht gemessen. Die passende Unified-Memory-Konfiguration hängt vom Modell, der Quantisierung und dem Zielkontext ab; eine feste Mindestangabe wäre nicht abgesichert.
• 32B – Bewertung: nicht gemessen. Laden und dauerhafte Nutzung sind getrennte Nachweise. Ohne Langzeittest sollten Sie den erfolgreichen Start nicht als stabile Eignung werten.

Damit ist die technische Grenze klar: Das Thema lässt sich nicht mit einer pauschalen Maximalgröße beantworten. Wenn Ihr Bedarf die lokal nachgewiesene Speicherreserve oder das gewünschte Antworttempo übersteigt, vergleichen Sie eine andere Modellvariante, eine passendere Gerätekonfiguration oder eine zeitweise externe Umgebung. Wenn Sie vor einem solchen Wechsel Datenschutz, Betriebsmodell und Ansprechpartner prüfen möchten, lesen Sie die Informationen über VPSSpark. Für einen zeitlich begrenzten Vergleich einer Mac-Nutzung können Sie außerdem die Möglichkeit in der US-Ostküstenregion prüfen. Eine entfernte Umgebung kann für Tests sinnvoll sein, ist aber kein automatischer Ersatz für lokale Datenkontrolle, eine dauerhaft verfügbare Maschine oder Geräte mit benötigten physischen Anschlüssen.