vestiftИзвестия Национальной академии наук Беларуси. Серия физико-технических наукProceedings of the National Academy of Sciences of Belarus. Physical-technical series1561-83582524-244XThe Republican Unitary Enterprise Publishing House "Belaruskaya Navuka"10.29235/1561-8358-2020-65-4-506-512vestift-637Research ArticleИНФОРМАЦИОННЫЕ ТЕХНОЛОГИИ И СИСТЕМЫINFORMATION TECHNOLOGIES AND SYSTEMSПрименение нейронных сетей глубокого обучения для выявления монтажа цифровых фонограммApplication of neuron networks of deep learning for exposures editing of digital phonogramshttps://orcid.org/0000-0003-3541-4740СоловьевВ. И.SolovyovV. I.

Соловьев Виктор Иванович – кандидат технических наук, доцент, заместитель заведующего кафедрой компьютерных систем и сетей

пр. Центральный, 59а, 93400, Северодонецк

 

Victor I. Solovyov – Ph. D. (Engineering), Associate Professor, Deputy of Manager of the Department of the Computer Systems and Networks

59a, Tsentralnyi Ave., 93400, Severodonetsk

edemsvi@gmail.comhttps://orcid.org/0000-0002-1440-8344РыбальскийО. В.RybalskiyO. V.

Рыбальский Олег Владимирович – доктор технических наук, профессор, профессор кафедры информационных технологий и кибербезопасности

пл. Соломенская, 1, 03035, Киев

 

Oleg V. Rybalskiy – D. Sc. (Engineering), Professor, Professor of the Department of Information Technologies and Cybernetic Safety

1, Solom’yanska Are., 03035, Kyiv

rov_1946@ukr.netЖуравельВ. В.ZhuravelV. V.

Журавель Вадим Васильевич – кандидат технических наук, заведующий лабораторией исследований в сфере информационных технологий

ул. Владимирская, 15, 01001, Киев

fonoscopia@ukr.net

Vadym V. Zhuravel – Ph. D. (Engineering), Head of the Laboratory of Researches in the Field of Information Technologies

15, Vladimirska Str., 01001, Kyiv

fonoscopia@ukr.netЖелезнякВ. К.ZheleznyakV. K.

Железняк Владимир Кириллович – доктор технических наук, профессор, заведующий кафедрой информационной безопасности

ул. Блохина, 29, 211440, Новополоцк

 

Vladimir K. Zheleznyak – D. Sc. (Engineering), Professor, Head of the Department of Informative Safety  

29, Blokhin Str., 211440, Novopolotsk

v.zheleznjak@psu.byВосточноукраинский национальный университет им. В. ДаляV. Dal Eastukrainian National UniversityНациональная академия внутренних делNational Academy of Internal AffairsКиевский научно-исследовательский экспертно-криминалистический центр МВД УкраиныKyiv Scientifically-Research ExpertlyCriminalistics Center of the Ministry of Internal Affairs of UkraineПолоцкий государственный университетPolotsk State University202031122020654506–512Copyright © Соловьев В.И., Рыбальский О.В., Журавель В.В., Железняк В.К., 20202020Соловьев В.И., Рыбальский О.В., Журавель В.В., Железняк В.К.Solovyov V.I., Rybalskiy O.V., Zhuravel V.V., Zheleznyak V.K.Данная работа распространяется под лицензией Creative Commons Attribution 4.0.This work is licensed under a Creative Commons Attribution 4.0 License.https://vestift.belnauka.by/jour/article/view/637

Экспериментально доказана возможность создания построенной на основе нейронных сетей глубокого обучения эффективной системы, которая предназначена для выявления следов монтажа в цифровых фонограммах. Смысл эксперимента состоял в исследовании способности систем на основе таких сетей выявлять паузы со следами монтажа. Создан экспериментальный массив данных в звуковом редакторе из фонограмм, записанных на различной аппаратуре цифровой звукозаписи (при частоте дискретизации 44,1 кГц). Из него производился предварительный отбор пауз длительностью от 100 мс до нескольких секунд. Из отобранных 1000 пауз в автоматическом (компьютерном) режиме сформирован массив фрагментов пауз, из которого сгенерированы массивы фрагментов пауз разной длительности размерностью около 100 000. Для формирования массива фрагментов пауз с монтажом случайным образом выбранные паузы делились на части в произвольном соотношении. После этого из полученных частей создавались новые паузы с зафиксированным местом монтажа. Общий массив всех фрагментов пауз был разбит на тренировочный и тестовый массивы. Определялась наибольшая эффективность, достигаемая на тестовом массиве в процессе обучения. В общем случае эта эффективность определяется наибольшей величиной вероятности правильной классификации фрагментов с монтажом и фрагментов без монтажа. Предложена научно обоснованная методология выявления признаков монтажа в цифровых фонограммах на основе нейронных сетей глубокого обучения. Проведенные эксперименты показали, что возможно построение эффективной системы для выявления таких следов. Дальнейшее развитие методологии должно быть направлено на поиск путей повышения вероятности правильной бинарной классификации исследуемых пауз.

Possibility of creation of effective system, which is intended for exposure of tracks of editing in digital phonograms and is built on the basis of neuron networks of the deep learning, is experimentally proven. Sense of experiment consisted in research of ability of the systems on the basis of such networks to expose pauses with tracks of editing. The experimental array of data is created in a voice editor from phonograms written on the different apparatus of the digital audio recording (at frequency of discretisation 44,1 kHz). A preselection of pauses was produced from it, having duration from 100 мs to a few seconds. From 1000 selected pauses the array of fragments of pauses is formed in the automatic (computer) mode, from which the arrays of fragments of pauses of different duration are generated by a dimension about 100 000. For forming of array of fragments of pauses with editing, the chosen pauses were divided into casual character parts in arbitrary correlation. Afterwards, the new pauses were created from it with the fixed place of editing. The general array of all fragments of pauses was broken into training and test arrays. The maximum efficiency, achieved on a test array in the process of educating, was determined. In general case this efficiency is determined by the maximum size of probability of correct classification of fragments with editing and fragments without editing. Scientifically reasonable methodology of exposure of signs of editing in digital phonograms is offered on the basis of neuron networks of the deep learning. The conducted experiments showed that the construction of the effective system is possible for the exposure of such tracks. Further development of methodology must be directed to find the ways to increase the probability of correct binary classification of investigated pauses.

нейронная сеть глубокого обученияточки монтажацифровая фонограммацифровой монтажэкспертизаneuron network of deep learningpoints of editingdigital phonogramdigital editingexaminationReferencesРыбальский, О.В. Основные положения теории выявления следов цифровой обработки фонограмм и особенности ее программной и методической реализации в экспертизе материалов и средств видеозвукозаписи. Ч. 1 / О.В. Рыбальский // Захист інформації. – 2006. – №1. – С. 71–76.Rybal’skii O. V. Substantive provisions of theory of exposure of tracks of digital treatment of phonograms and feature of her programmatic and methodical realization in examination of materials and facilities of the audio videorecording. Part 1. Zakhyist informatsii = Ukrainian Information Security Research Journal, 2006, no. 1, pp. 71–76 (in Russian).Nicolalde, D.P. Evaluating digital audio authenticity with spectral distances and ENF phase change / D.P. Nicolalde, J.A. Apolinario // IEEE International Conference on Acoustics, Speech and Signal Processing. – 2009. – Vol. 1. – P. 1417– 1420. https://doi.ieeecomputersociety.org/10.1109/ICASSP.2009.4959859Nicolalde D. P., Apolinario J. A. Evaluating digital audio authenticity with spectral distances and ENF phase change. IEEE International Conference on Acoustics, Speech and Signal Processing, 2009, vol. 1, pp. 1417–1420. https:// doi.ieeecomputersociety.org/10.1109/ICASSP.2009.4959859Nicolalde, D.P. Audio authenticity: Detecting ENF discontinuity with high precision phase analysis / D.P. Nicolalde, J.A. Apolinario, L.W. P Biscainho // IEEE Transactions on Information Forensics and Security. – 2010. – Vol. 5. – P. 534–543. https://doi.org/10.1109/TIFS.2010.2051270Nicolalde D. P., Apolinario J. A., Biscainho L.W. P. Audio authenticity: Detecting ENF discontinuity with high precision phase analysis. IEEE Transactions on Information Forensics and Security, 2010, vol. 5, pp. 534–543. https://doi. org/10.1109/TIFS.2010.2051270Korycky, R. Methods of Time-Frequency Analysis in Authentication of Digital Audio Recordings / R. Korycky // INTL Journal of Electronics and Telecommunications. – 2010. – Vol. 56, №3. – P. 257–262. https://doi.org/10.2478/v10177- 010-0033-0Korycky R. Methods of Time-Frequency Analysis in Authentication of Digital Audio Recordings. INTL Journal of Electronics and Telecommunications, 2010, vol. 56, no. 3, pp. 257–262. https://doi.org/10.2478/v10177-010-0033-0Бобрицький, С.М. Дослідження ознак монтажу записів, виконаних цифровими записувачими пристроями / С.М. Бобрицький, С.В. Стороженко // Теорія та практика судової експертизи і криміналістики: зб. наук. праць / редкол.: М.Л. Цимбал [та ін.]. – Харьків: Право, 2011. – Вип. 11. – С. 353–361.Bobritskii S. M., Storozhenko S. V. Research of signs of editing of the records executed by digital record devices. Teoriya ta praktyka sudovoyi ecspertyzy i criminalistiki: zbirnik naukovikh prats [Theory and Practice of Forensic Science and Criminology: Collection of Scientific Papers]. Kharkov, Pravo Publ., 2011, Issue 11, pp. 353–361 (in Ukrainian).Журавель, В.В. Особенности формирования фонограмм, записанных с телефонных каналов / В.В. Журавель // Сучас. спец. техніка. – 2015. – №4 (43). – С. 26–31.Zhuravel’ V. V. Features of forming of phonograms writtenin from telephone channels. Suchasna spetsialna tehnika [Modern Special Technoque], 2015, no. 4, pp. 26–31 (in Russian).Основы экспертного криминалистического исследования магнитных фонограмм / А.А. Ложкевич [и др.]. – М.: ВНИИ МВД СССР, 1977. – 172 с.Lozhkevich A. A., Snetkov V. A., Chivanov V. A., Sharshunskii V. L. Bases of Expert Criminalistics Research of Magnetic Phonograms. Moscow, All-Union Scientific Research Institute of the USSR Ministry of Internal Affairs, 1972. 172 p. (in Russian).Рыбальский, О. В Модели нестандартной подделки цифровых фонограмм / О. В Рыбальский // Реєстрація, зберігання і обробка даних. – 2003. – Т. 5, №4. – С. 25–32.Rybal’skii O. V. Models of non-standard imitation of digital phonograms. Regestratsiya, zberigannya i obrobka danykh = Data Recording, Storage and Processing, 2003, no. 4, pp. 25–32 (in Russian).Рыбальский, О. В Следы монтажа в цифровых фонограммах, выполненного способом вырезания и перестановки фрагментов / О.В. Рыбальский, В.И. Соловьев, В.В. Журавель // Реєстрація, зберігання і обробка даних. – 2016. – Т. 18, №1. – С. 32–41.Rybal’skii O. V., Solov’ev V. I., Zhuravel’ V. V. Tracks of editing are in digital phonograms, excision and transposition of fragments executed by a method. Regestratsiya, zberigannya i obrobka danykh = Data Recording, Storage and Processing, 2016, no. 1, pp. 32–41 (in Russian).Рыбальский, О.В. Экспериментальная проверка эффекта изменения фрактального состава сигналов при монтаже фонограммы способом вырезания и перестановки фрагментов / О.В. Рыбальский, В.И. Соловьев, В.В. Журавель // Сучас. спец. техніка. – 2016. – №3. – С. 75–85.Rybal’skii O. V., Solov’ev V. I., Zhuravel’ V. V. Experimental verification of effect of change of fractal composition of signals at editing of phonogram the method of excision and transposition of fragments. Suchasna spetsialna tekhnika [Modern Special Technoque], 2016, no. 3, pp. 75–85 (in Russian).Рыбальский, О.В. Основные требования к системе выявления точек цифрового монтажа в фонограммах и методология ее создания / О.В. Рыбальский, В.И. Соловьев, В.В. Журавель // Інформатика та математичні методи в моделюванні. – 2018. – Т. 8, №3. – С. 232–237.Rybal’skii O. V., Solov’ev V. I., Zhuravel’ V. V. Basic requirements to the system of exposure of points of the digital editing in phonograms and methodology of her creation. Informatica ta matematichi metody v modeluvanni = Informatics and Mathematical Methods in Simulation, 2018, vol. 8, no. 3, pp. 232–237 (in Russian).

The authors declare that there are no conflicts of interest present.