Применение нейронных сетей глубокого обучения для выявления монтажа цифровых фонограмм

Экспериментально доказана возможность создания построенной на основе нейронных сетей глубокого обучения эффективной системы, которая предназначена для выявления следов монтажа в цифровых фонограммах. Смысл эксперимента состоял в исследовании способности систем на основе таких сетей выявлять паузы со следами монтажа. Создан экспериментальный массив данных в звуковом редакторе из фонограмм, записанных на различной аппаратуре цифровой звукозаписи (при частоте дискретизации 44,1 кГц). Из него производился предварительный отбор пауз длительностью от 100 мс до нескольких секунд. Из отобранных 1000 пауз в автоматическом (компьютерном) режиме сформирован массив фрагментов пауз, из которого сгенерированы массивы фрагментов пауз разной длительности размерностью около 100 000. Для формирования массива фрагментов пауз с монтажом случайным образом выбранные паузы делились на части в произвольном соотношении. После этого из полученных частей создавались новые паузы с зафиксированным местом монтажа. Общий массив всех фрагментов пауз был разбит на тренировочный и тестовый массивы. Определялась наибольшая эффективность, достигаемая на тестовом массиве в процессе обучения. В общем случае эта эффективность определяется наибольшей величиной вероятности правильной классификации фрагментов с монтажом и фрагментов без монтажа. Предложена научно обоснованная методология выявления признаков монтажа в цифровых фонограммах на основе нейронных сетей глубокого обучения. Проведенные эксперименты показали, что возможно построение эффективной системы для выявления таких следов. Дальнейшее развитие методологии должно быть направлено на поиск путей повышения вероятности правильной бинарной классификации исследуемых пауз.

нейронная сеть глубокого обучения, точки монтажа, цифровая фонограмма, цифровой монтаж, экспертиза

1. Рыбальский, О.В. Основные положения теории выявления следов цифровой обработки фонограмм и особенности ее программной и методической реализации в экспертизе материалов и средств видеозвукозаписи. Ч. 1 / О.В. Рыбальский // Захист інформації. – 2006. – №1. – С. 71–76.

2. Nicolalde, D.P. Evaluating digital audio authenticity with spectral distances and ENF phase change / D.P. Nicolalde, J.A. Apolinario // IEEE International Conference on Acoustics, Speech and Signal Processing. – 2009. – Vol. 1. – P. 1417– 1420. https://doi.ieeecomputersociety.org/10.1109/ICASSP.2009.4959859

3. Nicolalde, D.P. Audio authenticity: Detecting ENF discontinuity with high precision phase analysis / D.P. Nicolalde, J.A. Apolinario, L.W. P Biscainho // IEEE Transactions on Information Forensics and Security. – 2010. – Vol. 5. – P. 534–543. https://doi.org/10.1109/TIFS.2010.2051270

4. Korycky, R. Methods of Time-Frequency Analysis in Authentication of Digital Audio Recordings / R. Korycky // INTL Journal of Electronics and Telecommunications. – 2010. – Vol. 56, №3. – P. 257–262. https://doi.org/10.2478/v10177- 010-0033-0

5. Бобрицький, С.М. Дослідження ознак монтажу записів, виконаних цифровими записувачими пристроями / С.М. Бобрицький, С.В. Стороженко // Теорія та практика судової експертизи і криміналістики: зб. наук. праць / редкол.: М.Л. Цимбал [та ін.]. – Харьків: Право, 2011. – Вип. 11. – С. 353–361.

6. Журавель, В.В. Особенности формирования фонограмм, записанных с телефонных каналов / В.В. Журавель // Сучас. спец. техніка. – 2015. – №4 (43). – С. 26–31.

7. Основы экспертного криминалистического исследования магнитных фонограмм / А.А. Ложкевич [и др.]. – М.: ВНИИ МВД СССР, 1977. – 172 с.

8. Рыбальский, О. В Модели нестандартной подделки цифровых фонограмм / О. В Рыбальский // Реєстрація, зберігання і обробка даних. – 2003. – Т. 5, №4. – С. 25–32.

9. Рыбальский, О. В Следы монтажа в цифровых фонограммах, выполненного способом вырезания и перестановки фрагментов / О.В. Рыбальский, В.И. Соловьев, В.В. Журавель // Реєстрація, зберігання і обробка даних. – 2016. – Т. 18, №1. – С. 32–41.

10. Рыбальский, О.В. Экспериментальная проверка эффекта изменения фрактального состава сигналов при монтаже фонограммы способом вырезания и перестановки фрагментов / О.В. Рыбальский, В.И. Соловьев, В.В. Журавель // Сучас. спец. техніка. – 2016. – №3. – С. 75–85.

11. Рыбальский, О.В. Основные требования к системе выявления точек цифрового монтажа в фонограммах и методология ее создания / О.В. Рыбальский, В.И. Соловьев, В.В. Журавель // Інформатика та математичні методи в моделюванні. – 2018. – Т. 8, №3. – С. 232–237.