Lors de la conception de paysages sonores pour des applications et des jeux, les bonnes notes peuvent faire toute la différence. Et lorsque ces notes sont conçues pour prendre en charge l’audio multicanal, elles peuvent même faire tourner la tête. (Littéralement.)
Endel et Odio ne sont que deux des nombreuses applications et jeux qui utilisent Spatial Audio. Ils utilisent des mixages multicanaux, Core Audio et AVFoundation pour ajouter de la texture et de la dimension, créant des expériences de son surround immersives qui plongent davantage les auditeurs dans le monde de leurs programmes.
Conception pour la communication spatiale
Découvrez les principes qui sous-tendent la création d’interactions physiques intuitives entre deux appareils ou plus, comme l’ont démontré les concepteurs d’Apple qui ont travaillé sur des fonctionnalités pour l’iPhone, le HomePod mini et l’AirTag. Découvrez comment vous pouvez appliquer ces modèles à vos propres applications lors de la conception de fonctionnalités pour la plate-forme Apple et…
Endel (photo ci-dessus) évoque un paysage sonore personnalisé et adaptatif basé sur la biométrie et l’environnement pour aider les gens à se concentrer et à mieux dormir. Son paysage sonore Spatial Audio original – l’un avec le nom satisfaisant d’un autre monde de Spatial Orbit – amène l’incroyable mélange d’art et d’intelligence artificielle de l’application dans une nouvelle dimension.
“On a l’impression d’être dans un espace immense et étincelant”, déclare Dmitry Evgrafov, Endel fondateur et responsable du son. “C’est presque comme l’équivalent sonore du pointillisme, où de petits points créent une structure par eux-mêmes et vous vous noyez dans l’objet.” C’est une très belle situation et ce n’est pas quelque chose que vous pouvez recréer en stéréo.”
Lorsque vous intégrez Spatial Audio dans leur écosystème, est-ce Endel La première tâche de l’équipe était de déterminer si la technologie était compatible avec leur paysage sonore créatif en constante évolution. Ce travail incombait en grande partie à Kyrylo Bulatsev, fondateur et directeur de la technologie. “[Spatial Audio] signifiait que nous devions ajouter une dimension supplémentaire à la composante volatile », dit-il. “En plus de choisir le son à jouer et quand, nous avons dû réfléchir à l’endroit où le son serait et comment il se déplacerait autour de vous.
Ce paysage sonore devait également marcher “sur la ligne de démarcation entre l’amélioration d’une expérience et la rendre distrayante”, explique Evgrafov. En effet, si la plupart des applications (ainsi que des jeux, des films et des chansons) sont conçues pour une participation active, Endel vise à être le compagnon de fond ultime – améliorant votre expérience sans nuire à votre concentration. “Notre cas d’utilisation est différent des autres produits qui tirent parti de la technologie”, déclare Evgrafov (à qui le co-fondateur Oleg Stavisky fournit “tous les beaux sons de l’application”).
C’est presque comme l’équivalent sonore du pointillisme.
Dmitry Evgrafov, *Endel* Fondateur et responsable de l’audio
Evgrafov est un pianiste et musicien avec 10 albums à son actif et connaît certainement bien l’équipement stéréo. « Mais randomiser la position d’un son dans l’espace ? C’est un animal complètement différent”, dit-il.
Le premier prototype sérieux de Spatial Orbit a été mis à la terre, situé dans une scène de jungle réaliste. “L’idée était que vous vous promeniez dans ce jardin d’Eden magique et que des animaux tropicaux exotiques chantent autour de vous”, dit-il. “On jouait de la harpe au bord du lac, un ruisseau, des oiseaux qui n’existent pas dans la vraie vie, des trucs comme ça.
Des idées similaires continuaient à venir : un chœur grégorien passant lentement devant vous tout en chantant, des images de terrain de l’intérieur d’une grotte. Même si les idées étaient cool et que les prototypes sonnaient bien, l’équipe a continué à rencontrer le même problème. “Ce n’étaient pas des Endel”, dit Evgrafov. “Ils vous ont déplacé vers un endroit, mais cela signifiait que les gens utilisaient l’application consciemment. Ils ne correspondaient pas à ce que nous représentions.”
La version finale de Spatial Orbit correspond à ce Endel représente – et réalise l’art et la technologie pour lesquels Endel s’efforce. “La pluie [in our soundscape] est presque une métaphore », dit Evgrafov. “Il a ce sentiment légèrement élevé qui vous permet de vous noyer un peu et d’être avec vos pensées, de vous concentrer sur votre livre ou quoi que vous fassiez.”
Optimiser le paysage sonore était une aventure en soi. “Regarder les gens essayer Endel est un exercice un peu amusant », rit Stavitsky. C’est parce qu’il n’y a pas vraiment de méthode établie pour tester un paysage sonore automatisé personnel pour un groupe de personnes à la fois.
[The rain has] ce sentiment légèrement élevé qui vous permet de vous noyer un peu et d’être avec vos pensées, de vous concentrer sur votre livre ou quoi que vous fassiez.
Dmitri Evgrafov
“Nous avons inventé le processus et la boîte à outils”, explique Evgrafov. Cela impliquait de nombreuses personnes se promenant dans les bureaux d’Endel à Berlin… et au-delà. “Il y avait aussi beaucoup de moi dans les espaces publics qui ne regardaient rien, comme un chat.”
En fin de compte, Spatial Orbit capture cette combinaison absurde de technologie innovante et de détermination artistique. “Quand nous avons réalisé que la science était là et qu’elle cochait toujours toutes les cases d’Endel, ce fut un énorme soulagement”, déclare Evgrafov. “Nous nous sommes dit : ‘OK, nous pouvons être non intrusifs et locaux en même temps.'”
Téléchargez Endel depuis l’App Store
Odio se concentre également sur la création de superbes paysages sonores ambiants – mais avec une touche scientifique. “Je veux que nos compositeurs imaginent inventer des planètes et les remplir de sons”, déclare Joon Kwak, le fondateur de l’application basé à Séoul. “Nous voulons guider les gens à travers ces nouvelles planètes.
Le paysage sonore de l’application, qui peut évoquer n’importe quoi, d’une cascade qui s’écrase à une merveilleuse toile de fond numérique au calme étrange des profondeurs, utilise le suivi de la tête et l’audio multicanal pour créer un mélange vraiment fascinant. (L’application est également un festin visuel, chaque paysage sonore étant accompagné d’un art teinté de technologie en constante évolution.)
Mais vous n’êtes pas un auditeur passif dans ces mondes sonores. Les éléments individuels qui composent chaque paysage sonore peuvent être manipulés via une interface utilisateur imaginative et ludique qui vous permet de positionner chaque élément sonore (comme cette cascade) où vous le souhaitez.
Convenant à son aspect futuriste, Odio’s L’histoire est faite de rencontres contraires à l’éthique, de versions matérielles et logicielles au bon moment et de chance. Kwak a conçu la version initiale de l’application en tant que projet de fin d’études à la Design Academy Eindhoven. Initialement connu sous le nom de Virtual Sky, le prototype contenait les os de ce qui allait devenir Odio, mais était basé principalement sur des sons réels. Cela nécessitait également un gâchis de matériel et d’équipements spéciaux – qui étaient tous devenus presque inutiles lorsque les AirPod à consonance spatiale sont arrivés.
“J’ai été déprimé pendant un certain temps”, dit Kwak. “Je me disais : ‘J’ai travaillé dessus pendant des mois et maintenant c’est inutile !’ Mais ensuite, j’y ai réfléchi plus profondément et j’ai réalisé : « Oh, cela signifie simplement que je n’ai pas à fournir de matériel », et c’était vraiment génial. »
Kwak s’est associé à Volst, une entreprise intéressée par une application d’imagerie audio 3D. Avec les blocs de construction en place, Odio’s Le développeur et concepteur d’interface utilisateur Rutger Schimmel a relevé le défi de donner vie au projet de Kwak – un processus qui s’est déroulé beaucoup plus rapidement que prévu.
J’aimerais que nos compositeurs inventent des planètes et les remplissent de sons.
Joon Kwak, fondateur de *Odio*
“Nous savions que les AirPod avaient [surround sound] soutien, mais nous étions sceptiques », dit-il. “Nous avons pensé, ‘OK, ils ont une photo dans la tête, mais c’est probablement juste pour le contenu de première partie.’ Mais nous étions toujours excités, nous avons donc rapidement mis en place un projet Xcode pour transférer les données des AirPod vers l’appareil.
Ils avaient un prototype dans les écouteurs en quelques minutes. “Nous avons été époustouflés par la facilité avec laquelle c’était”, déclare Schimmel. “Et en une heure environ, nous avons décidé d’un excellent cadre audio 3D d’Apple qui était la base parfaite pour ce sur quoi nous travaillions. Le codage a commencé en janvier. En avril, l’équipe avait une démo construite par Swift prête à l’emploi.
Pour construire Odio monde sonore, des compositeurs comme Kwak, Odio Le concepteur sonore Max Frimout et un groupe de musiciens extérieurs travaillent ensemble – généralement dans Logic Pro – mélangeant des sons ambiants, des cloches et des sifflets synthétiques et de la musique.
Une fois le paysage sonore terminé et dûment testé sur le terrain dans les cafés, les parcs et les métros, les artistes remettent leurs fichiers à Schimmel. Pour un rôle qui implique une conception avancée, un son immersif et des degrés incroyables de personnalisation, la boîte à outils de Schimmel est étonnamment gratuite : AVAudioEnvironmentNode (AVKit) pour créer l’environnement audio 3D, CMHeadphoneMotionManager (Core Motion) pour accéder aux données de mouvement du casque et Sentry pour le suivi des bogues. et AQ.
“Tout le reste dans Odio est construit à partir de zéro dans Swift – de la gestion des données à l’interaction avec l’environnement audio en passant par la mise en mémoire tampon en temps réel des fichiers audio interactifs”, explique Schimmel.
Le résultat est un exemple remarquable de la puissance et de la simplicité de la conception pour Spatial Audio. «Honnêtement», dit Schimmel, «la plupart du travail acharné est effectué par le compositeur.
Téléchargez Odio depuis l’App Store
Découvrez un son prenant en compte la géométrie avec le moteur de spatialisation audio physique (PHASE)
Découvrez comment l’audio sensible à la géométrie peut vous aider à créer des paysages sonores complexes, interactifs et immersifs pour vos applications et vos jeux. Découvrez PHASE, l’API audio spatiale d’Apple, et découvrez comment le moteur de spatialisation audio physique (PHASE) maintient l’audio en phase avec votre expérience à tout moment et aide…
Plongez votre application dans Spatial Audio
Découvrez comment l’audio spatial peut vous aider à offrir une expérience cinématographique pour les médias dans vos applications et sur le Web. Nous vous montrerons comment apporter facilement un son immersif aux auditeurs avec du matériel compatible et comment offrir automatiquement différentes expériences d’écoute en fonction de…