ControlMi
Ein iPhone-MIDI-Controller als Prototyp für Ableton Live mit anpassbaren Touch-Bedienelementen und Eingabe über Neigung oder Augenbewegungen.
- Beitrag
- Interaction Design · Prototyping · iOS-Entwicklung
- Technologien
- Swift · SwiftUI · MIDIKit · ARKit · Core Motion
Eine benutzerdefinierte Mixer-Szene kombiniert Trigger-Pads, Fader sowie einen XY-Regler. 
FX: zweiachsige Regler für EQ- und Delay-Parameter. 
Keys: zwölf Noten-Pads über eine Oktave.
Werte beim Aufsetzen eines Fingers stabil halten
Kleine Bedienelemente können die Nutzung von Musiksoftware erschweren, wenn präzise Touch-Eingaben eine Hürde darstellen. Ausgehend von den Anforderungen des Workshops wurde ein iPhone-MIDI-Prototyp mit anpassbaren Bedienelementen und Alternativen zur Touch-Steuerung entwickelt.
Der Prototyp umfasst Trigger-Pads, Fader sowie zweiachsige Pads. Die Fader und die zweiachsigen Pads reagieren auf Bewegungen relativ zu ihrem Wert zu Beginn einer Ziehbewegung. Das Berühren eines Reglers führt nicht zu einem plötzlichen Wertsprung. Die Trigger-Pads können eine Note senden, solange sie gedrückt gehalten werden, oder diese durch aufeinanderfolgende Berührungen ein- und ausschalten.
Die Oberfläche an die jeweilige Aufgabe anpassen
Im Bearbeitungsmodus lassen sich Bedienelemente verschieben und ihre Grösse anpassen. Darüber hinaus lassen sich Beschriftungen, Farben, Formen und MIDI-Zuordnungen bearbeiten. Bei stufenlosen Reglern können zudem der Ausgangsbereich, die Richtung und die Ansprechkurven eingestellt werden. Mithilfe von Szenen kann zwischen ganzen Seiten mit Bedienelementen gewechselt werden. Die Layouts werden auf dem Gerät gespeichert.
Der Controller sendet Standard-MIDI-Noten und Control-Change-Nachrichten. Über eine USB-Verbindung werden diese an einen Mac weitergeleitet. Dort lassen sich die Parameter über das Standard-MIDI-Mapping von Ableton Live zuweisen.
Zielen und Auslösen trennen
Die Neigung des Geräts sowie horizontale Augenbewegungen können stufenlose MIDI-Parameter steuern. Die Blicksteuerung bietet entweder eine stufenlose Steuerung oder einen Modus, in dem Nutzende einen Wert mit dem Blick auswählen und durch längeres Blinzeln bestätigen. In diesem Modus bleibt der Wert zwischen den Bestätigungen unverändert. Die Sensorzuordnungen können für jede Ansicht separat festgelegt werden.
Für die Blicksteuerung wird ein Gerät benötigt, das die Gesichtsverfolgung von ARKit unterstützt. Der praktische Nutzen dieser Interaktionen hängt von den Gerätefunktionen sowie einer Evaluation mit den vorgesehenen Nutzenden ab. Die Drehregler- und Tastatur-Bedienelemente sind noch nicht fertiggestellt.