wannagola 님의 블로그

오늘 설명해드릴 내용은 음성 인식 백엔드 기법인 Model Adaptation, 직역하면 모델 적응 기법입니다. 음성 인식 모델을 새로운 환경이나 조건에 맞추어 맞춤형으로 조정하여 성능을 높이는 기법을 의미합니다.이 기법은 다양한 잡음 환경 또는 특정 사용자의 목소리의 특성에 모델이 더 잘 적응하도록 하기 위해 사용됩니다.🤔 : 모델 적응 기법에는 어떤 것들이 있나요? 일단 크게 두 가지로 분류할 수 있습니다. 첫 번째! 바로 파라미터 조정입니다.  모델 적응 기법에서 가장 흔히 사용되는 방식 중 하나는 기존 모델의 특정 파라미터를 조정해서 새로운 환경에 적응시키는 방법입니다. - 미세 조정(Fine-Tuning)기존 모델에서 특정 파라미터만 조정하는 방식입니다. 예를 들어, 음성 신호의 특정 주파수 ..

음성 인식에서 백엔드 기법은 모델 자체가 잡음이 있는 음성을 직접 학습하여,잡음 속에서 목표 음성을 인식하는 데 중점을 둔다고 할 수 있습니다. 그 중, 가장 널리 알려져 있는 DNN-HMM기법에 대해서 설명해보겠습니다.DNN-HMM결합 기법이란?Deep Neural Network (DNN) + Hidden Markov Model(HMM)위 두 가지가 결합하여 음성 인식에서 강력한 성능을 발휘하는 기법이라고 볼 수 있습니다.  🤔 : 각자의 역할이 궁금하시다고요?DNN(Deep Neural Network)의 역할- DNN은 다양한 패턴을 학습하는 데 뛰어나며, 음성에서 음소나 단어의 특징을 인식하는 데 있어 효과적입니다.- DNN은 음성 신호를 분석하여, 현재 들어온 음성이 어떤 음소에 해당하는지 예측..

Masking-based Deeep Enhancement Methods(마스킹 기반 딥 향상 기법)은 음성 신호 처리 중잡음이 섞여있는 신호에서 깨끗한 목표 음성을 추출하기 위해 고안된 기법입니다. 이 기법은 신경망을 사용하여 잡음이 있는 음성 신호에서 깨끗한 신호를 걸러내는 과정을 돕습니다. 그럼 여기서 궁금하실 부분이 있을 겁니다.  🤔 : "마스킹이 뭔데?" 마스킹(Masking)마스킹이란, 잡음이 있는 신호에서 특정 부분을 선택적으로 강조하거나 또는 약화시키는 방법을 의미합니다. 쉽게 설명해보면,마스크! 우리가 쓰는 마스크를 통해서 얼굴의 특정 부분을 가리고 또 특정 부분을 남겨두죠?같은 원리로,필요없는 부분(=잡음)을 가리고, 필요한 부분(=목표 음성)은 남겨두는 작업이라고 할 수 있습니다.마..

이 글에서는 Mapping-based Deep Enhancement Methods(매핑 기반 딥 향상 기법)에 대해서 다뤄 볼 것이다.매핑 기반 방법들은 우리가 일상생활 속에서 잡음이 섞여있는 음성 신호 y(t)에서 원하는 꺠끗한 음성신호 s(t)를 활용하여비선형 매핑 함수 F 를 학습하는 것을 목표로 합니다.  음성신호는 빠른 변화와 복잡한 계산 문제 등의 특성이 있습니다.따라서 위와 같은 학습 전략은 주로 시간 영역 보다는 스펙트럼  및 켑스트럼 영역에서 적용됩니다. 그럼 여기서 드는 질문이 있을 겁니다."켑스트럼 영역이 무엇인가?"켑스트럼 영역(Ceptrom Domai)켑스트럼은 음성 신호의 주파수 성분에서 진폭 정보를 추출한 것입니다. 주파수 영역에서 주파수 성분의 변화를 분석할 수 있게 해주며,..

[정의]푸리에 변환(Fourier Transform)은 신호를 주파수 성분으로 변환하는 방법이다.푸리에 변환에 필요한 기본 개념!- 시간 영역(Time Domain) : 일반적으로 우리가 보는 신호는 시간에 따라 진폭이 변하는 파형이다.                                              → 음성 신호는 시간에 따른 소리의 진폭 변화를 나타냄.- 주파수 영역(Frequency domain) : 푸리에 변환을 통해 이 신호가 어떤 주파수 성분들로 이루어져 있는지 알 수 있습니다. 주파수 영역에서는 신호가 특정 주파수 성분들의 합으로 표현되며, 각 주파수 성분의 크기와 위상을 볼 수 있습니다. 그럼 푸리에 변환이 무엇을 할까?푸리에 변환은 복잡한 신호를 여러 개의 정현파(Sine..