Shannon 엔트로피

9.1 소개

촘스키 처음에 공식화 context-free grammars(CFGs)도로 모델링하는 언어입니다. 그 이후로 그들은 다양한 컴퓨터 과학 응용 분야에서 광범위하게 사용되었습니다. 이 응용 프로그램은 영어 알파벳을 가르 칠 수 있습니다. 문법에 의해 생성 된 단어 집합을 해당 문법의 언어라고합니다. 문법은 단어와 그 설명 파생 사이에 일대일 대응이있는 경우 모호하지 않은 것으로 알려져 있습니다. 이 규칙은 그 단어를 파생시키는 데 사용되는 규칙의 확률을 곱하여 각 단어에 우도 값을 할당합니다. 그레 난더,쿠이치,허친스,술 및 기타 파생물의 평균 길이,용량 또는 섀넌의 엔트로피(섀넌 엔트로피)의 수렴과 같은 중요한 특성을 조사했습니다. 2 차 구조 설계도 의 아르 자형 또한 문맥이없는 성격을 가지고 있으므로 그러한 문법에 의해 설명 될 수 있습니다. 2 차 구조는 스미스와 워터맨에 의해 처음 공식적으로 설명되었습니다. 그 후 스타 인과 워터맨에 의해 탐구되었고,이후 비엔노와 보우 하우사드 드 쇼몽,호패커 등에 의해 연구되었다. ,네벨,리아 및 왕,도슬 외. 그리고 다른 사람들은 생성 함수와 확률 생성 함수를 사용합니다.2 차 구조 연구에 큰 영향을 미쳤습니다. 2 차 구조 모델링은 다양한 부류의 비콘틴 코딩 부호와 같은 많은 부호의 기능이 구조와 관련되어 있기 때문에 부호체계 구조와 그 이후의 생물학적 기능에 대한 예측을 하는 데 도움이 됩니다. 일반적으로 2 차 구조 예측은 볼츠만 앙상블과 같은 열역학 기반 폴딩 모델 하에서 시퀀스의 폴딩 에너지를 최소화하여 수행됩니다. 다른 한편으로,공분산 모델은 보다 유연하게 접힘을 모방할 수 있습니다. 이 경우,우도 값은 모든 가능한 폴딩 시나리오에 할당됩니다. 그 후,최대 우도 값을 갖는 구조는 2 차 구조로서 예측된다. 이 알고리즘에 의해 수행 될 수있다. 에너지 최소화와 유사하게,사익 알고리즘은 동적 프로그래밍을 통해 구현된다. 모델 설계의 목표는 가능한 한 알려진 2 차 구조와 유사한 추정치를 얻는 것이므로 규칙에 확률을 할당하는 것이 중요하고 어려운 작업입니다. 리바스는 2 차 구조 모델링의 다양한 측면에 대한 심층적 인 통찰력을 제공합니다.현재 기대 최대화(엠)모델 훈련 접근법은 일반적으로 다음 두 단계로 구성됩니다. 둘째,통계청의 규칙 확률은 예측(추정 단계)에서 발생 횟수나 빈도에 따라 재평가된다. 이러한 추정은 더빈 등에 설명 된 라플라스 이전 접근법을 사용하여 계산할 수 있습니다. 또는 유사한 주파수 기반 접근 방식을 배포합니다. 결과 규칙 확률이 원하는 정확도를 얻을 때까지 반복 엠 프로시저를 계속할 수 있습니다. 모델 훈련 기법은 밀리리터 기준의 정의(공동 대 조건부)또는 규칙 확률 추정 기법에서 다를 수 있습니다. 는 SCFG 기반 RNA 접 모델할 수 있는 하나의 구성 라 SCFG 만 몇 가지 문법 규칙 또는 그것이 될 수 있습 헤비급 문법으로 구성된 많은 규칙과 같은 최고-문법서에서 설명 바스 et al. .문법공간 엔트로피는 분석적으로 계산되어 2 차 구조 모델링에서 중요한 문법 특징으로 소개된다. 제시된 공식은 파생 엔트로피로 알려진 문법 엔트로피의 일반적인 형태와 일치하며 그레 난더 및 술에서 찾을 수 있습니다. 섹션 9.2,제형은 그레 난 더에 제시 된 파생 엔트로피 제형과 일치 하는 구조적으로 모호 하지 않은 문법 모델링 1 의 무한히 큰 확률 공간의 섀넌 엔트로피를 계산 하기 위해 제공 됩니다. 그런 다음 섹션 9.3 의 다른 매개 변수 집합으로 계산됩니다. 9.4 절에서,2 차 구조 모델 훈련을 위한 기준은 엔트로피 엔트로피를 기반으로 제안된다. 마지막으로,섹션 9.5 는 토론과 결론으로 구성됩니다.