Введение
Librezam поддерживает несколько бэкендов (Shazam, Audd, ACRCloud, Tencent, NetEase) для распознавания музыки.
По умолчанию используется только бэкенд Shazam, а другие бэкенды не используются, если они не включены явно из настроек порядка бэкендов.
Этот документ объясняет характеристики каждого бэкенда и как обрабатываются пользовательские данные.
Shazam
* Обработка пользовательских данных
Аудиоданные, записанные со страницы, отправляются на серверы Shazam в виде акустического хеша, который не может восстановить оригинальное содержимое.
Этот акустический хеш похож на хеш-значение, такое как SHA-256, которое можно использовать для сопоставления, но нельзя восстановить оригинальное содержимое, что обеспечивает преимущества конфиденциальности.
Создание отпечатков выполняется с использованием реализации node-shazam-api обратно спроектированного алгоритма Shazam.
Также настройки языка браузера отправляются для определения, какой язык приоритизировать в результатах распознавания.
Сервис управляется компанией в Соединенных Штатах.
Исходный код node-shazam-api можно найти здесь.
https://github.com/FoxRefire/node-shazam-api/tree/webpack
Политика конфиденциальности Apple доступна здесь.
https://www.apple.com/legal/privacy/en-ww/
- Характеристики бэкенда
Доступен без регистрации или ограничений скорости.
Может обнаруживать широкий спектр многих песен
Не поддерживает распознавание напевания или кавер-песен.
Некоторые песни требуют более длительного времени записи, но время отклика сервера очень быстрое
Audd
* Обработка пользовательских данных
Аудиоданные, записанные со страницы, отправляются напрямую на серверы Audd без преобразования.
Также, если пользователь указывает API-ключ, строка ключа также отправляется.
Сервис управляется компанией в Соединенных Штатах.
Политика конфиденциальности Audd доступна здесь.
https://audd.io/privacy/
- Характеристики бэкенда
До 10 запросов в день доступны бесплатно без регистрации API-ключа, но после этого необходимо зарегистрировать платный API-ключ.
API-ключи можно получить здесь.
https://audd.io/
Точность распознавания не так хороша по сравнению с другими бэкендами, но некоторые песни могут быть распознаны с меньшим количеством образцов.
Не поддерживает распознавание напевания или кавер-песен
ACRCloud
* Обработка пользовательских данных
Аудиоданные, записанные со страницы, отправляются напрямую на серверы ACRCloud без преобразования.
Также отправляется строка API-ключа, указанная пользователем.
Сервис управляется китайской компанией, зарегистрированной в Сингапуре.
Политика конфиденциальности ACRCloud доступна здесь
https://www.acrcloud.com/privacy/
- Характеристики бэкенда
Требуется регистрация API-ключа, но до 100 запросов в день доступны бесплатно.
Обладает высокой точностью распознавания и может распознавать множество песен.
Распознавание напевания и кавер-песен также возможно. (Рекомендуется 7,2 секунды или более времени записи при распознавании напевания или кавер-песен)
Tencent
* Обработка пользовательских данных
Аудиоданные, записанные со страницы, преобразуются в сырые PCM-данные 8000kHz моно s16le, которые могут читать оригинальное содержимое, а затем отправляются на серверы Tencent.
Этот бэкенд реализован на основе функции распознавания музыки, обратно спроектированной из приложения QQ Music.
Сервис управляется китайской компанией
Политика конфиденциальности Tencent доступна здесь.
https://privacy.qq.com/document/priview/0b0dc16a0f004a35b77b7fd48a0b125b
- Характеристики бэкенда
Доступен без регистрации или ограничений скорости.
Показывает очень высокую точность, особенно для ACG-музыки, и может обнаруживать песни, которые даже Shazam или ACRCloud не могут распознать.
Распознавание напевания и кавер-песен также возможно. (Рекомендуется 12 секунд или более времени записи при распознавании напевания или кавер-песен)
Скорость отклика сервера может быть медленной в зависимости от времени суток.
NetEase
* Обработка пользовательских данных
Аудиоданные, записанные со страницы, сначала преобразуются в сырые PCM-данные 48000hz моно f32le, которые могут читать оригинальное содержимое, а затем отправляются на прокси предварительной обработки, который я размещаю на Deno Deploy.
Прокси предварительной обработки использует проприетарные модули для преобразования в акустический хеш, подобный Shazam, который не может восстановить оригинальное содержимое, а затем отправляет его на серверы NetEase.
Причина, по которой необходимо пройти через прокси предварительной обработки, заключается в том, что модули, необходимые для преобразования, являются проприетарными и не могут быть напрямую интегрированы в Librezam.
Я не собираю никаких логов в прокси предварительной обработки.
Этот бэкенд обратно спроектирован из расширения Chrome "云音乐听歌".
Сервис управляется китайской компанией.
Исходный код прокси предварительной обработки можно найти здесь
https://github.com/FoxRefire/ncm-recognizer-proxy
Политика конфиденциальности NetEase доступна здесь
https://st.music.163.com/official-terms#
Политика конфиденциальности Deno Deploy доступна здесь
https://docs.deno.com/deploy/privacy_policy/
- Характеристики бэкенда
Доступен без регистрации или ограничений скорости.
Показывает очень высокую точность, особенно для ACG-музыки, и может обнаруживать песни, которые даже Shazam или ACRCloud не могут распознать.
Нет функции распознавания напевания или кавер-песен