Bei der satware AG setzt unser CTO Michael auf tiefe Integration von KI in unsere Unternehmensprozesse. Durch diesen Umstand ist unser Team angewiesen, sich mit dem Thema KI und deren Anwendungsgebiete auseinanderzusetzen.
Es ist mir aufgefallen, dass KI oft mit ChatGPT gleichgesetzt wird und viele Anwender gar nicht davon ausgehen, KI anders nutzen oder gar ein Sprachmodell auf dem eigenen Computer einzusetzen. Daher möchte ich in diesem Beitrag drei Schritte beschreiben, mit denen ich verschiedene LLMs auf meinem Mac einsetze.
Voraussetzung: Ein Mac mit M CPU. Ich selbst nutze einen M2 Mac. Es funktioniert aber genau so unter Windows und inzwischen auch unter Linux.
Let's go.
1. LM Studio herunterladen und installieren
2. Nach dem Installieren kann man sich ein Modell auf Huggingface suchen oder direkt einen Vorschlag installieren
Ich habe mich hier für das Modell von Mistral AI entschieden - Frankreich führt im Moment beeindruckend im Bereich frei verfügbarer KI Modelle und Datasets.
3. Für eine bessere Performance habe ich "Use Apple Metal (GPU)" aktiviert
Das war's! Nun kann ich das lokale LLM nutzen, um Prompt Engineering zu üben oder mir bei der Programmierarbeit unter die Arme zu greifen.
Ausblick
Bei der satware AG bin ich an der Entwicklung eigener Modelle und Datasets beteiligt, um unsere Prozesse zu optimieren und Lösungen für Kunden zu entwickeln. Wie sagt Michael so schön:
Der beste Zeitpunkt für ein Unternehmen, sich mit KI-Integration zu beschäftigen, war vor einem Jahr.
Der zweitbeste Zeitpunkt ist jetzt. - Michael Wegener, satware AG
Wie sieht der Einsatz lokaler KI bei Euch aus? Schreibt es mir in die Kommentare oder direkt via Mail oder Social Media!