Что такое DSP процессор?
Приветствую! Многие современные головные устройства идут со встроенным DSP процессором, давайте разберемся что это такое и для чего он нужен?! 🤔
Правильное, русское название у него «Цифровой сигнальный процессор» (от англ. Digital Signal Processor, DSP, цифровой процессор обработки сигналов (ЦПОС) — специализированный микропроцессор, предназначенный для обработки оцифрованных сигналов (обычно, в режиме реального времени)
Так давайте попробуем разобраться, зачем нужна эта временная коррекция, которая может управлять задержками на каждом канале. Но для начала давайте представим себе салон автомобиля, со всеми его характеристиками, неправильной формой (отличной от куба, которым является обычная комната), своим АЧХ (Амплитудно-частотная характеристика). И вот в этой «неправильной» среде звук распространяется не так как в обычной жилой комнате, часть его искажается, часть поглощается деталями салона. В итоге мы практически слышим не совсем то, что излучают динамики.
Немаловажным также является расположение слушателя относительно динамиков – как правило, в автомобиле слушатель (водитель, к примеру) находится не по центру и совсем на разных расстояниях от динамиков, что также вносит свои изменения в звучание, ведь один динамик звучит громче и напористее, так как находится ближе, а второй не так напористо и громко, ведь находится дальше от слушателя.
DSP-процессоры принципиально отличаются от микропроцессоров, образующих центральный процессор настольного компьютера. По роду своей деятельности центральному процессору приходится выполнять объединяющие функции. Он должен управлять работой различных компонентов аппаратного обеспечения компьютера, таких как дисководы, графические дисплеи и сетевой интерфейс, с тем чтобы обеспечить их согласованную работу.
Это означает, что центральные процессоры настольных компьютеров имеют сложную архитектуру, поскольку должны поддерживать такие базовые функции, как защита памяти, целочисленная арифметика, операции с плавающей запятой и обработка векторной графики.
В итоге типичный современный центральный процессор поддерживает несколько сот команд, которые обеспечивают выполнение всех этих функций. Следовательно, нужен модуль декодирования команд, который позволял бы реализовывать сложный словарь команд, а также множество интегральных схем. Они, собственно, и должны выполнять действия, определяемые командами. Иными словами, типичный процессор в настольном компьютере содержит десятки миллионов транзисторов.
DSP-процессор, напротив, должен быть «узким специалистом». Его единственная задача — изменять поток цифровых сигналов, и делать это быстро. DSP-процессор состоит главным образом из высокоскоростных аппаратных схем, выполняющих арифметические функции и манипулирующих битами, оптимизированных с тем, чтобы быстро изменять большие объемы данных.
Процессорная магнитола. Зачем?
И вот для того, что бы получить правильную звуковую сцену, в столь «не правильных» условиях и существует звуковые процессоры и процессорные магнитолы. Они позволяют очень виртуозно управлять звуковой сценой, смещать ее в любую сторону. Задержки же позволяют нивелировать «не правильное» размещение динамиков и форму салона. Задержки длятся миллисекунды, но они способны значительно сместить звуковую сцену, чем и пользуются профессионалы; в своих системах они способны «слить» весь звук со всех сторон в точке слушателя, где не ощущается ни «отдельности» сабвуфера, ни напора ближнего динамика.
1. Возможно настройка отличной звуковой сцены, добиться которой в беспроцессорном варианте тяжело.
2. Множество регулировок звуковой сцены.
3. Наличие приличного эквалайзера, с помощью которого можно отлично порезать сигнал на полосы.
DSP-процессоры: назначение и особенности
DSP-процессоры: назначение и особенности
Большинство из нас в повседневной жизни постоянно сталкивается с различными компьютерными системами: процессорами общего назначения (general-purpose, в основном x86) в ноутбуках и рабочих станциях, их мощными многоядерными версиями в датацентрах, мобильными процессорами в телефонах, многочисленными контроллерами в бытовой технике и на транспорте. Но помимо всех упомянутых вариантов есть ещё одно важное, хотя и редко упоминаемое семейство: цифровые сигнальные процессоры, чаще именуемые Digital Signal Processors или просто DSP.
Именно DSP решают задачи обработки больших объёмов информации в реальном времени, возникающие при передаче данных (звонков и мобильного Интернета) в мобильных сетях, обработке фотографий и восстановлению звука. Даже в топовых телефонах вся эта работа выполняется не на мощных ARM-ядрах, а на специализированных DSP.
В этой статье будет кратко изложена история DSP, их отличие от процессоров общего назначения, особенности их архитектуры, а также будет подробно рассказано о способах оптимизации кода.
История
Первые DSP появились в 1970-х годах. Эти процессоры стали логичным развитием специализированных аналогово-цифровых устройств, предназначенных для обработки речи, прежде всего её кодирования и фильтрации (прорыв в соответствующих научно-технических отраслях стал возможен благодаря спросу на эти технологии в годы Второй Мировой войны). Трудоемкость и сложность разработки устройств под каждую возникающую задачу, а также успехи в развитии электронной базы (широкое распространение технологии MOSFET) и математических алгоритмов (БПФ, цифровая фильтрация) привели к возможности создания универсальных, т.е. программируемых, цифровых процессоров, которые могли быть с помощью программ адаптированы для широкого класса задач. Адаптируемость на практике означала снижение стоимости разработок, сокращение времени выхода на рынок (time-to-market), возможность послепродажного обновления алгоритма для устранения ошибок, возможность поддержки новых требований пользователей. Во многих случаях эти возможности с лихвой компенсировали ухудшение производительности по сравнению со специальными ускорителями.
Рис. 1 Первый крупный успех DSP: планшет Speak&Spell (Texas Instruments, 1978) Рис. 2 С момента появления стандарта GSM DSP являются обязательным компонентом мобильных сетей Рис. 3 Обработка изображений в камерах (дебайеризация, удаление шумов, фильтрация) также выполняются на DSP (источник: https://snapshot.canon-asia.com/india/article/en/5-things-made-possible-with-digic-image-processor)
Из-за необходимости обработки в реальном времени и экономии электроэнергии DSP сильно отличались от процессоров общего назначения. В каком-то смысле они были первым примером программируемых вычислительных ускорителей, т.е. процессоров, максимально эффективно решающих определённый класс задач.
Преимущества DSP
Чем же именно отличаются DSP от обычных мощных процессоров общего назначения, особенно таких мощных как Intel Xeon или Cortex-A, и почему процессоры общего назначения не используют для обработки сигналов? Чтобы ответить на этот вопрос посмотрим на топологию современного процессора от Intel.
Рис. 4 Intel Skylake (источник: https://en.wikichip.org/wiki/intel/microarchitectures/skylake_(client) )
Из рисунка мы видим, что значительная часть площади кристалла отводится не под вычислительные ресурсы, а под сложную логику определения зависимостей, спекулятивного исполнения (out-of-order speculative execution) и составления расписания (scheduling). В сумме накладные расходы приводят к тому, что “КПД” процессора, т.е. энергия, затрачиваемая на выполнение реальных вычислений, составляет менее 1%:
While a simple arithmetic operation requires around 0.5–20 pJ, modern cores spend about 2000 pJ to schedule it.
Conventional multicore processors consume 157–707 times more energy than customized hardware designs.
(из статьи “Rise and Fall of Dark Silicon”, приведённой в списке литературы).
Чтобы сделать сравнение более конкретным, возьмём мощный процессор общего назначения от Intel и мощный DSP фирмы Texas Instruments (например Skylake Xeon Platinum 8180M и TMS320C6713BZDP300):
Как DSP-процессор улучшает звук
Необходима некоторая пост-обработка, которая полирует и совершенствует каждый отдельный сигнал микрофона, а затем объединяет их в сбалансированный, гармоничный микс. В старые времена для этого требовался рэк, полная коробок с ручками, лампами и счётчиками, которые должны были тщательно настраиваться опытным звукорежиссером для одновременной работы.
К счастью, больше не нужно погружаться в тёмное искусство звуковой инженерии, чтобы выполнить свою работу; теперь все важные процессы могут быть выполнены одним устройством, называемым процессором цифровой обработки сигналов (англ. DSP – Digital Signal Processing). DSP-процессор может быть автономным аппаратным устройством или частью приложения, работающего на ПК, но не каждый DSP-процессор подходит для рабочих мест или университетов. DSP-процессор для видеоконференций имеет дело с видео, управлением вызовами и другими задачами; аудио – это только один из пунктов в списке дел.
В недавнем опросе 80% специалистов назвали проблемы со звуком главными источниками разочарования при проведении виртуальных встреч. Большинство видеоконференций страдают от одного и того же набора хронических проблем. Каждый из инструментов или «блоков обработки» в вашем DSP-процессоре имеет определённую цель и решает одну из следующих проблем:
Проблема №1: Слишком громко или слишком тихо
Одной из самых распространённых проблем со звуком во время видеоконференций является обычное рассогласование по уровням. Иногда люди на одной стороне звонка недостаточно громкие, а иногда они слишком громкие. Решением является автоматическая регулировка усиления (АРУ), которая регулирует уровень каждого канала микрофона (или входного сигнала с удалённой стороны) для обеспечения постоянной громкости. Как хороший звукорежиссер, АРУ немного усиливает голоса тихих спикеров и немного понижает громких. Это идеальный подход для конференц-залов, где расстояние между говорящим и микрофоном различается, поскольку в помещении выступают разные люди.
Проблема №2: Звук как из бочки
Проблема №3: Эхо, эхо, эхо.
Во время видеоконференции звук, выходящий из динамика, может быть захвачен микрофоном и повторно передан обратно на дальнюю сторону, что вызывает раздражающее эхо. Акустическое эхоподавление (англ. AEC – Acoustic Echo Canceller) в цифровом виде удаляет входной сигнал удалённой стороны из выходного сигнала, чтобы предотвратить это. Большинство приложений для проведения видеоконференций (например, Microsoft Teams, Zoom или Skype for Business) имеют одноканальный встроенный AEC, который лучше всего подходит, когда вы присоединяетесь к одному из этих собраний с ноутбука. Но для больших переговорных комнат и аудиторий с несколькими участниками и микрофонами для хорошего качества звука требуется внешний DSP-процессор, который выделяет отдельный блок AEC для каждого канала микрофона.
Проблема №4: Отвлекающий шум
В большинстве переговорных комнат присутствует некоторый фоновый шум, вызванный проекторами или компьютерами, системами отопления, вентиляции и кондиционирования воздуха, гулом в здании или окружающим шумом, проникающим извне. Люди в комнате могут не заметить этого, но микрофоны их улавливают. Эквализация может отрегулировать большую часть гула и шипения на низких и высоких частотах, но электронное шумоподавление в цифровом виде удаляет шум, который перекрывает речевой диапазон, поэтому он не слышен участникам собрания. Эффективность DSP-процессора с хорошим шумоподавлением может быть просто удивительной.
Проблема №5: А сейчас слышно?
Чем больше шума и реверберации в аудиосигнале, тем сложнее кодеку видео-конференц-связи (будь то приложение на ПК или отдельное устройство) обеспечить естественную интерактивность. Если проблемы со звуком не будут решены до того, как сигнал достигнет кодека, вам может быть затруднительно прервать другую сторону или им прервать вас. Это замедляет общение и вызывает раздражающие помехи.
Проблема №6: Звук не синхронизирован с видео
Видео обрабатывается немного дольше чем аудио при передаче по обычному Интернет-соединению. Аудиосигнал поступает на дальнюю сторону раньше, чем видео, поэтому вы слышите, как кто-то говорит, прежде чем его губы начнут двигаться. Регулируемая задержка в DSP-процессорах позволяет синхронизировать подачу звука с изображением во время онлайн-конференции.
DSP-процессор для аудио-конференц-связи должен быть расположен там, где это наиболее целесообразно для вашего использования. В малых помещениях микрофон со встроенным DSP-процессором (например, Microflex Advance MXA710 или MXA910) исключает необходимость использования внешнего оборудования и упрощает настройку. В комнатах среднего и большого размера с несколькими микрофонами и другими источниками сигнала DSP-процессор в виде отдельного устройства (например, IntelliMix P300) обеспечивает большую мощность, гибкость и возможности подключения как к аппаратным, так и программным кодекам. Кроме того, Shure также предлагает программное решение DSP, IntelliMix Room, которое может работать на ПК в помещении или на устройстве для проведения видеоконференций, что упрощает развёртывание и обеспечивает централизованное обслуживание сотрудниками IT-службы. Независимо от форм-фактора, высокопроизводительный DSP-процессор обеспечивает естественный звук, который облегчает общение без лишних усилий и максимизирует отдачу от ваших инвестиций в оборудование и технологии.
Подробнее о цифровой обработке сигнала читайте здесь.
Выбираем звуковую карту для студии и выступлений
Содержание
Содержание
Среди звукорежиссеров и музыкантов давно утихли споры на тему качества аудиоинтерфейсов разного уровня — почти все позволяют делать профессиональные записи и сводить проекты с высоким битрейтом. Поэтому при выборе аудиокарты стоит исходить из желаемых целей и поставленных задач.
Звуковые карты для записи вокала и акустических инструментов
Первое, на что нужно обратить внимание — количество и тип входов и выходов. От количества «инпутов» зависит, сколько источников сигнала можно обрабатывать одновременно. Количество независимых выходов на наушники определяет, сколько раздельных миксов с разным балансом и настройками можно предоставить исполнителям для мониторинга.
Tascam US-16×08 имеет 16 входных и 8 выходных каналов
Steinberg UR22mkII справится с большинством задач для начинающего музыканта или звукорежиссера
Для записи вокала часто используются конденсаторные микрофоны. Они требуют наличия в звуковой карте фантомного питания +48 В. Пригодится также функция прямого мониторинга, которая позволяет слышать входящий сигнал без участия компьютера.
Обращайте внимание на возможности встроенного в карту процессора эффектов — DSP. Он поможет при записи вокала. Чаще всего в карты интегрируют ревербератор, который позволяет вокалисту почувствовать объем голоса и лучше сосредоточиться на исполнении. В DSP встраивают гейт, компрессор, эквалайзер и даже пресеты настроек. Последние помогут в профессиональной студийной работе, чтобы не настраивать звук с нуля под каждого, когда есть несколько «штатных» вокалистов.
Микшер аудиокарты RME Fireface предлагает множество полезных функций и DSP-эффектов
Отдельно стоит сказать о задержках при мониторинге. Большинство современных устройств поддерживает ASIO 2.0 и выше, поэтому обладает примерно одинаковым временем задержки. Минимальное значение буфера — 64 или 128 бит. Это, соответственно, 1,5 и 3 мс задержки, которые физически не ощущаются. Например, если гитарист отойдет от гитарного комбо примерно на метр, он получит те же 3 мс задержки в звуке.
Скоростные типы подключения (USB 3.0, Thunderbolt, PCI-E) позволят записывать сразу много дорожек с минимальными задержками в мониторинге. Это понадобится для одновременной записи большой группы музыкантов. Например, Firewire (IEE1394) был изначально спроектирован для передачи потоковых данных — аудио и видео. И десять лет назад большинство аудиокарт использовали именно Firewire. С развитием USB 2.0 и появлением USB 3.0 порт Firewire перестал быть «аудиостандартом» — ему на смену пришел Thunderbolt, которым оборудованы, например, аудиоинтерфейсы UAD и линейки Clarett, Saffire и Red от Focusrite. Хотя в последнее время Focusrite ориентируется на перспективный рынок USB Type-C: карты Scarlett от третьего поколения и Clarett USB используют этот разъём.
Внешняя звуковая карта Focusrite Clarett 4Pre USB с разъемом USB Type-C
Звуковые карты для записи электронных инструментов
Напряжение сигнала, поступающего со звукоснимателей электрогитары, бас-гитары, электроскрипок и других электрических инструментов намного выше напряжения сигнала микрофона. Поэтому для их записи в аудиокарте должен быть высокоомный вход, который снижает напряжение сигнала до приемлемого. Обычно он маркируется как вход Hi-Z или INST — инструментальный.
В моделиTascam US-2×2 входы комбинированные: их можно переключать из микрофонного или линейного в инструментальный режим.
Более того — некоторые современные звукосниматели на гитарах настолько мощные (чтобы сохранить читаемость гитары на больших уровнях гейна в тяжелом роке), что производители аудиокарт добавляют специальную кнопку PAD. Она снижает чувствительность входа на 20 dB, чтобы предотвратить перегрузку сигнала.
В последнее время у рок-групп стандартом стала запись электрогитар в домашней студии с помощью недорогой профессиональной аудиокарты. Гитара подключается напрямую в карту, записанный таким образом DI-сигнал затем отправляется на реампинг («ре» — «заново», «амп» — «усилитель»). Аудиокарта подключается к специальному устройству — реамперу, который преобразует линейный сигнал в удобоваримый для гитарного усилителя. Усилитель окрашивает сигнал и передает гитарному динамику, который также вносит в звук свой характер. Полученный результат записывается микрофоном и отправляется на сведение.
Поэтому любой профессиональной аудиокарты с Hi-Z входом и режимом PAD хватит не только для записи демо, но и для серьезной студийной работы.
Аудиоинтерфейс Line 6 Pod Studio UX-2
Некоторые аудиокарты специально «заточены» под нужды гитаристов и басистов. Например, Line 6 Pod Studio UX-2 имеет в комплекте софт, который задействует встроенный DSP и может виртуально подключать к гитаре ампсимуляторы и различные эффекты. Два отдельных входа для подключения педалей позволяют этими эффектами управлять.
Звуковые карты для сведения и мастеринга
Здесь стоит вспомнить про частоту дискретизации и разрядность. Аудио CD записываются в формате 44.1 кГц\16 бит. Звукорежиссеры часто записывают музыку в 48 кГц\24 бит или в 88.2 кГц\24 бит, для фильмов нередко используется 96 кГц\24 бит. Профессиональный аудиоинтерфейс должен иметь в характеристиках все эти частоты, но на практике чаще всего используются 44,1 кГц\16 бит.
Опрос о частоте дискретизации на крупнейшем российском форуме профессиональных звукорежиссеров и мьюзикмейкеров
Сегодня на рынке представлены модельные ряды настольных аудиокарт для домашних студий, которые отличаются большим регулятором громкости, (например, Tascam US-366). Некоторые карты оснащены полезным для звукорежиссеров функционалом, например, кнопкой, позволяющей быстро проверять результат сведения в моно.
На лицевой панели компактной Arturia AudioFuse расположился целый набор полезных функций: mono, mute, большой регулятор громкости, выбор аудиовыхода, два регулятора громкости наушников и многое другое
Несколько независимых линейных выходов пригодятся тем, кто занимается или планирует профессионально заниматься микшированием музыки — в карту подключаются сразу несколько пар аудиомониторов, чтобы сравнивать результаты работы на разных системах. С той же целью желательно наличие нескольких выходов на наушники.
Стоит посмотреть и на аудиософт, который поставляется в комплекте с девайсом. Помимо драйверов производители прикладывают урезанные версии DAW и библиотеки семплов. Вместе с аудиокартами Focusrite поставляется Avid ProTools и набор из дилея, сатюратора, ревербератора, эквалайзера, компрессора и мастерингового процессора, стоимость которых по отдельности сопоставима с самой картой.
Для живых выступлений
Чаще всего с компьютера через аудиокарту запускается плэйбек — аранжировки или сам минус песни. Для рок-группы с барабанщиком будет важно наличие двух раздельных выходов в линию и наушники — чтобы в один стереоканал пустить плэйбек, в другой — метроном барабанщику.
Аудиокарты для живых выступлений отличаются надежным софтом и конструкцией. Проверяйте отзывы покупателей о стабильности драйверов, о проблемах с обновлениями. Идеально, если карта для таких задач будет заключена в железный рэковый корпус. Тогда ее можно будет привинтить к стойке и не опасаться за сохранность.
С рэковой аудиокартой Tascam US-16×08 вряд ли что-то случится во время тура
У гастролирующих рок-групп и музыкантов набирают популярность цифровые микшеры со встроенной звуковой картой, вроде Behringer X32 или Soundcraft Ui24R. Они позволяют подключить в себя всю группу и полностью отстроить микс с помощью ноутбука или iPad. Встроенный аудиоинтерфейс позволяет запускать плэйбек и метроном, и записывать всю группу поканально. Но это устройства другой категории, где аудиоинтерфейс, скорее, дополнительная опция.
Behringer X32 rack — цифровой микшер с функцией звуковой карты
Профессиональные аудиоинтерфейсы
Профессиональные интерфейсы — это условная категория аудиокарт, которые популярны среди профессиональных звукоинженеров и музыкантов. Их можно разделить на два типа: рэковые и десктопные.
Рэковые представляют собой «комбайны» со множеством входов и выходов всех возможных типов, DSP с большим количеством обработки, пресетами и даже возможностью дистанционного управления. Такие аудиокарты рассчитаны на любую ситуацию, какая только может возникнуть в студии звукозаписи. Таковы, например, RME Fireface, FOCUSRITE Scarlett 18i20, TC Electronic Studio Konnekt 48.
Внешняя звуковая карта Focusrite Scarlett 18i20 2nd Gen USB
Десктопные профессиональные интерфейсы обычно используют профессиональные музыканты в своих проджект-студиях. Они оборудованы удобными элементами управления, заключают в себе топовую начинку и могут идти вместе с большим количеством полезных плагинов — таковы, например, аудиоинтерфейсы Universal Audio, которые снабжаются фирменным софтом этой компании.
Аудиокарты с возможностью подключения дополнительных устройств
MIDI-порты — нередко встречаются в «продвинутых» аудиоинтерфейсах. Огромное число контроллеров, железных синтезаторов, гитарных процессоров, MIDI-клавиатур и других девайсов подключаются по MIDI. Например, с помощью MIDI-контроллера можно управлять своим DAW на живом выступлении, некоторые контроллеры специально выпускаются для создания ремиксов «на лету». Партии клавишных или ударных инструментов в DAW обычно записывают именно с MIDI-устройств.
MIDI-OUT интересен тем, что позволяет из DAW управлять другими инструментами. Например, отправить воспроизведение сложной партии на винтажный синтезатор. Или отдать обработку бас-линии не программному синтезатору, а настоящему, «железному».
Внешняя звуковая карта Tascam IXR с разъемами MIDI-IN и MIDI-OUT
S\PDIF — цифровой интерфейс для подключения устройств, работающих с аудио. Это могут быть различные рекордеры, процессоры эффектов и даже бытовые устройства (телевизоры, аудиосистемы). Разъем S\PDIF бывает двух видов: оптический, для подключения оптоволоконного кабеля с Toslink и электрический, для подключения RCA кабеля. Смысл передачи цифрового сигнала между устройствами в том, чтобы избежать потери качества на лишних преобразованиях аудиодорожки из «цифры» в «аналог» и обратно. Поэтому в многоканальных аудиоинтерфейсах высокого уровня S\PDIF обычно присутствует.
Внешняя звуковая карта Tascam US-20×20 с оптическими и электрическими S\PDIF на вход и выход рядом с разъемом USB 3.0
Заключение
Раньше на студиях аудиоинтерфейс выполнял только роль оцифровки сигнала, а для каждой задачи был свой отдельный прибор: для записи вокала — микрофонные предусилители, для электронных инструментов — ди-боксы и т.п. Сегодня профессиональная аудиокарта заменяет сразу несколько устройств, причем в лучшем качестве. Это открывает музыкантам и звукорежиссерам огромные возможности, автоматизирует многие рутинные операции и позволяет сосредоточиться на главном — музыкальном творчестве.
