DeepSeek unzensiert (und lokal)
DeepSeek unzensiert (und lokal) – Datenschutz und Zensur 🕵️♂️
Dass das kostenlose KI-Sprachmodell DeepSeek gute Arbeit leistet, ist inzwischen allgemein bekannt. Allerdings herrscht Skepsis in Sachen Datenschutz und Zensur. c't 3003 will nun wissen: Kann man DeepSeek in der gleichen Qualität wie auf deepseek.com auf eigener Hardware laufen lassen? Ohne Zensur und ohne persönliche Daten auf chinesischen Servern?
Die Herausforderung der lokalen Ausführung von DeepSeek 🖥️
Guckt mal hier, ich lasse die komplette, also nicht verkleinerte, DeepSeek-R1-KI bei mir lokal laufen. Oh ja, das Ding verbraucht gerade 709 GByte RAM. Wie ich das mache, kommt gleich.
Misstrauen gegenüber Online-Diensten und die Lösung mit lokaler Ausführung 💡
Warum ich das mache? Weil euch das Thema DeepSeek offenbar sehr interessiert und vor allem das Thema, DeepSeek lokal laufen zu lassen. Viele von euch vertrauen der App beziehungsweise dem chinesischen DeepSeek-Server nicht so richtig. Und ja, wie es scheint, ist das Misstrauen nicht so ganz aus der Luft gegriffen.
Kostenintensive Hardwareanforderungen für optimale Leistung 🤑
Wenn ihr DeepSeek in der Qualität laufen lassen wollt, in der das online auf chat.deepseek.com beziehungsweise in der Android- oder iOS-App läuft, braucht ihr zum Beispiel 8 Nvidia-H200-Profi-GPUs. So ein System kostet mindestens 300.000 US-Dollar.
Alternativen zur teuren GPU-basierten Ausführung von LLMs 🔀
Hat man keine immensen finanziellen Mittel für teure GPUs zur Verfügung gibt es zwei Alternativen: Entweder man nutzt heruntergedummte Modelle auf kleinerer Hardware oder man versucht es mit CPUs und normalem RAM anstelle von GPUs und VRAM.
Herausforderungen bei der Nutzung von CPUs statt GPUs für LLMs 💻
Das Problem ist allerdings die deutlich bessere Performance von LLMs auf GPUs im Vergleich zu CPUs aufgrund des höheren Speicherbandbreite. Die Suche nach kostengünstigen Alternativen bleibt bestehen angesichts hoher Hardwareanforderungen.
Lokale Ausführung als Schutz vor externer Überwachung 👨💻
Lokale Ausführung bietet eine Möglichkeit zur Kontrolle über persönliche Daten sowie Schutz vor potenzieller Zensur durch externe Serverbetreiber. Die Entscheidung zwischen Kosten-Nutzen-Faktoren bleibt jedoch eine Herausforderung.
Herausforderungen bei der Skalierung des Systems für optimale Leistung ⚙️
Für eine effiziente lokale Ausführung von KI-Modellen wie DeepSeek sind Skalierungsprobleme hinsichtlich Speicherbedarf und Rechenleistung entscheidend.Die Anpassbarkeit an unterschiedliche Hardwarekonfigurationen stellt dabei eine zentrale Frage dar.
