å¨æçå°ç¬¬ä¸ç¯Encoder-Decoder模åç论æçæ¶åï¼æå°±è§å¾ç¨è¿ä¸ªæ¥ä½å¯¹èèªå¨çææ¯ååéä¸è¿çäºï¼åè¯è¯åºè¯¥ä¹æ¯æ¯è¾éåçï¼ä½æ¯ç¸å¯¹è¯è¯ï¼ç¨å®æ¥å对èè¯å®æ´åéãä»å¤©çæç« å°±è®²è®²è¿æ¹é¢çå
容ãè¿ç¯æç« ä¸»ä½å
容æ¯2015å¹´åºå½¢æçï¼æ¬æ¥æçæç®æ¯æ¶éäºè®ç»æ°æ®ï¼è®©Encoder-Decoder+Attentionçæäºå¯¹èæè¿ç¯æç« è¡¥å
äºä¾ååååºå»ï¼ä¸è¿å 为精ååå ï¼è¿è¿æ²¡æåè¿ä¸ªå®éªï¼çæå
å¯è½ä¹æ²¡æ¶é´åï¼æ以干èå°±ç°å¨å享åºæ¥ï¼åªä½æç²¾ååå
´è¶£å¯ä»¥å®é
åä¸ä¸è¯è¯ï¼è¿çä¸å»æ²¡å¥å®é
ç¨å¤ï¼ä½æ¯è¿æ¯æºå¥½ç©çä¸ä»¶äºãä¸è¿æ确信ç¨è¿ä¸ªæ¨¡åå对èçæä¸å®å¯ä»¥å好ã
为ä»ä¹è¯´Encoder-Decoder模åéåä½å¯¹èå¢ï¼å 为ç¸å¯¹è¯è¯çä»»å¡æ¥è¯´ï¼å¯¹èè¦æ±ä¸¥æ ¼çä¸ä¸è对ä»ï¼èè¯ä¸æ¯è¯´äºåï¼ä»¥åå¿ç«¥è¯è¯å¯èæ¶é½è¦å¦ä¸äºå¯¹ä»è§åï¼æ¯å¦ï¼å¤©å¯¹å°ï¼é¨å¯¹é£ï¼å¤§é对é¿ç©ºï¼çå
«å¯¹ç»¿è±ï¼å
«æ对æ空ï¼åé¢ä¸¤å¥æ¯æ¬æä½è
è¯æ大åè¡è¯çï¼è¯·æªæå¹´å¿ç«¥åå¿æ¨¡ä»¿æè
å¨æ大人çç£åºæ¯ä¸æ¨¡ä»¿@^^@ï¼ãè¿ç§ä¸¥æ ¼ç对ä»å
³ç³»æå³çæ强çæ å°è§å¾æ§ï¼èè¿ä¸ªç¨RNNåEncoder-Decoderæ¥è¯´æ£å¥½æ¯è½å¤åæ¥å®ä»¬é¿å¤çå°æ¹ï¼æ以说Encoder-Decoderå ä¸RNNé
ç½®æ¯é常éåç¨æ¥å对èçã
对èçä¸¥æ ¼å¯¹ä»æ§å¯ä»¥ç»ä¸ªå°æ
äºï¼å¤§å®¶ç´è§æåä¸ï¼
ç¸ä¼ 解ç¼å°æ¶å®¶è´«ï¼å
¶å®¶æç对çå°ä¸»å®¶çä¸ç竹æï¼äºæ¯ä»ä½äºå¯å¯¹èï¼âé¨å¯¹åæ竹ï¼å®¶èä¸å·ä¹¦âãå°ä¸»å¿è¯´ï¼æå¹¼å¿åèä¸æåï¼ä½ å¨æé¢åä½ è¿ä¹è£
ææå好åï¼äºæ¯ä¸ç½ï¼å½äººæ竹åç çï¼è§£ç¼çµæºä¸å¨æ对èå äºä¸ä¸ªåï¼æ¹æï¼âé¨å¯¹åæ竹çï¼å®¶èä¸å·ä¹¦é¿âãå°ä¸»æ°ä¸æä¸å¤æ¥ï¼æ¾åºå夫çç«æ竹åå
¨åäºï¼è§£ç¼åæ¹å¯¹èï¼âé¨å¯¹åæ竹çæ ï¼å®¶èä¸å·ä¹¦é¿æâãæ°å¾å°ä¸»ç´è·³èéªå¨ã
ä»è¿ä¸ªæ
äºæ们å¯ä»¥å½çº³åºä¸å¿ææ³å°±æ¯ï¼ä»å¤è³ä»ï¼æé±å°±æ¯å¤§ç·ï¼å¯ä»¥é便ç ä¼æ æ¨ç ´åçæèä¸è¢«æ³å¾å¶è£@^^@â¦..ä¸å¯¹ï¼è·åäºï¼ä¸å¿ææ³åºè¯¥æ¯ï¼èä¸çåå¦é½å®¹æåä¸æåï¼æ为æ°æ¶è¾¾çå°ä¸»èè´¢ï¼è好好ä¸å¦ç大é½å
ä¸äºå®¶è´«çç»å±â¦..ä¹ä¸å¯¹ï¼ä½ çæè¿ä¸è§é½æªå°å¼åæ³¢é½è¾¾ä¸å°çå®å®ä¹å¤äºï¼ä¸å¿ææ³æ¯ï¼å¯¹èæ¯ææ强ç对ä»æ§çãèè¿ç§å¯¹ä»æ§ä»£è¡¨äºä»ä¹ï¼ä»£è¡¨äºè¯è¨åå
ä¹é´æ强çè§å¾æ§ï¼èè¿æ¯é常éåéè¿æºå¨æ¥å¦ä¹ 并容æå好çäºæ
ï¼è¿æ¯ä¸ºä½æåä¿¡ç¨Encoder-Decoderå对èä¸å®è½å¤å好çåå ã
|Encoder-Decoder模å
Encoder-Decoderæ¡æ¶å¯ä»¥çä½æ¯ä¸ç§ææ¬å¤çé¢åçç 究模å¼ï¼åºç¨åºæ¯å¼å¸¸å¹¿æ³ãä¸å¾æ¯ææ¬å¤çé¢åé常ç¨çEncoder-Decoderæ¡æ¶ææ½è±¡çä¸ç§è¡¨ç¤ºï¼
å¾1. æ½è±¡çEncoder-Decoderæ¡æ¶
Encoder-Decoderæ¡æ¶å¯ä»¥è¿ä¹ç´è§å°å»ç解ï¼å¯ä»¥æå®çä½éåå¤çç±ä¸ä¸ªå¥åï¼æç¯ç« ï¼çæå¦å¤ä¸ä¸ªå¥åï¼æç¯ç« ï¼çéç¨å¤ç模åã对äºå¥å对<X,Y>ï¼æ们çç®æ æ¯ç»å®è¾å
¥å¥åXï¼æå¾
éè¿Encoder-Decoderæ¡æ¶æ¥çæç®æ å¥åYãXåYå¯ä»¥æ¯åä¸ç§è¯è¨ï¼ä¹å¯ä»¥æ¯ä¸¤ç§ä¸åçè¯è¨ãèXåYåå«ç±åèªçåè¯åºåææï¼
Encoder顾åæä¹å°±æ¯å¯¹è¾å
¥å¥åXè¿è¡ç¼ç ï¼å°è¾å
¥å¥åéè¿é线æ§åæ¢è½¬å为ä¸é´è¯ä¹è¡¨ç¤ºCï¼
对äºè§£ç å¨Decoderæ¥è¯´ï¼å
¶ä»»å¡æ¯æ ¹æ®å¥åXçä¸é´è¯ä¹è¡¨ç¤ºCåä¹åå·²ç»çæçåå²ä¿¡æ¯y1,y2â¦.yi-1æ¥çæiæ¶å»è¦çæçåè¯yi
æ¯ä¸ªyié½ä¾æ¬¡è¿ä¹äº§çï¼é£ä¹çèµ·æ¥å°±æ¯æ´ä¸ªç³»ç»æ ¹æ®è¾å
¥å¥åXçæäºç®æ å¥åYã
|Encoder-Decoderèªå¨çæ对è
æºå¨èªå¨çæ对èè¿ä¸ªäºæ
ï¼å¯ä»¥åæ两ç§æ
åµï¼ä¸ç§æ
å½¢æ¯ï¼å设对èçä¸èæ¯å·²ç»ç¥éçï¼æ¯å¦äººèªå·±æ³çï¼ä»»å¡æ¯ç±æºå¨æ¥èªå¨äº§çä¸èï¼ç¬¬äºç§æ
åµæ¯ï¼å设è¦æ±ä¸ä¸èå
¨é¨é½ç±æºå¨èªå¨çæãææ¾ç¬¬ä¸ç§æ
åµè¦æ±è¾ä½ï¼ç¸å¯¹ç®åï¼ç¬¬äºç§æ
åµè¦æ±è¾é«ï¼ç¸å¯¹å¤æãä¸é¢æ们å述两è
çå¯è½è§£å³æè·¯ã
æ
å½¢ä¸ï¼å·²ç¥ä¸èï¼æºå¨èªå¨çæä¸è
å设æ们已ç»æ¿å°äºä¸èï¼ä¾å¦ï¼âé£äºä¸å°ºåâï¼æ³¨ï¼è¿æ¯ææ¯è¾å欢çä¸å¯å¯¹èçä¸èï¼ä½è
å·¦å
æå
çï¼å¦ææ¯ä½ çè¯ä¼å¯¹ä»ä¹ä¸èï¼ï¼ï¼å¦ä½è®©æºå¨èªå¨çæä¸èï¼
å¾ææ¾ï¼è¿ä¸ªé®é¢ç´æ¥å¯ä»¥ç±Encoder-Decoderæ¡æ¶æ¥è¿è¡ä¸èèªå¨çæãè¿ç§åºæ¯æ¯å
¸åçEncoder-Decoderæ¡æ¶åºç¨é®é¢ãæ们æéè¦åçå°±æ¯é
置好Encoder-Decoderæ¡æ¶çå
·ä½æ¨¡åï¼æ¯å¦EncoderåDecoderé½éç¨RNN模åæ¥åï¼å¾2å±ç¤ºäºç¨Encoder-Decoderæ¡æ¶å对èä¸èèªå¨çæçæ¶æå¾ã
å¾2. Encoder-Decoderçæä¸è
åªéè¦æ¾å°å¤§éç对èæ°æ®å¯¹è¿ä¸ªæ¨¡åè¿è¡è®ç»ï¼é£ä¹å³å¯å©ç¨è¿ä¸ªæ¨¡åï¼è¾å
¥ä¸èï¼æºå¨èªå¨äº§çä¸èäºã
å¼å¾æçä¸ç¹æ¯ï¼å¾ææ¾ï¼å¯¹äºå对èè¿ä¸ªäºæ
æ¥è¯´ï¼Encoder-Decoderæ¡æ¶å ä¸Attentionåºè¯¥ä¼æ¾èæå产çä¸èçè´¨éï¼åå è¿æ¯å 为å®æ¯è¦æ±ä¸¥æ ¼å¯¹ä»çï¼æ以å¨çæä¸èæ个åçæ¶åï¼æ¾å°å¯¹åºä¸èç¸åºåä½ä¸ºçæçéç¹åèä¿¡æ¯æ çæ¯é常éè¦çãæ¯å¦çå°ä¸èçâä¸âåï¼Attention模å使å¾ä¸è产ç对åºåâä¸âçæ¶åéç¹åèä¸èçâä¸âè¿ä¸ªåï¼åºè¯¥ç¥é对åºçåºè¯¥æ¯ä¸ä¸ªæ°ååæ±åãå¾3æ¯å ä¸Attention模åç示æå¾ã
å¾3. Attention模å
è¿éåæä¸ä¸å¥ï¼ä½ä¸ºå¯¹èä¸èçæä»»å¡æ¥è¯´ï¼ä½¿ç¨Encoder-Decoderæ¥åè¿ä¸ªäºæ
ï¼æç¸ä¿¡æ±åä¹é´ç对ä»å
³ç³»åºè¯¥è½å¤å¾å¥½å°è¢«å¦ä¼ï¼ä½æ¯å¦ä½ä¿è¯çæä¸èè¯ä¹è½å¤ä¸è´å
¶å®å¹¶ä¸ä¸å®è½å¤å¾å¥½å°è§£å³ãè¿æ¯ä»ä¹ææå¢ï¼æææ¯å¯è½æºå¨çå°ä¸èâé£äºä¸å°ºåâï¼ææå¯è½å¯¹åºä¸é¢çå
容ï¼âé¨é£ä¸ä¸åâï¼åçæ¯ä¸ªå对ä»çé½å¾å·¥æ´ï¼ä½æ¯ä½ä¸ºä¸ä¸ªæ´ä½ï¼è¯ä¹çä¸å»ä¸é£ä¹åè°ãï¼æ³¨ï¼å
¶å®å¦æç对åºè¿ä¸ªä¸èï¼æ³æ³å
¶å®è¿æ¯æºè±ªæ
ä¸ä¸çï¼æ¯å§ï¼è¿å
¶å®è·äººå¨æè¯ä¸ä¼æè¿ç»åºç°çåéè¿æ³è±¡ç»ååºä¸ç§åçè¯å¢æå
³ãï¼
å½ç¶å¦æè®ç»æ°æ®å¤å¤§çè¯ï¼è¿ä¸ªé®é¢åºè¯¥ä¸ä¼å¤ªå¤§ï¼å 为æ¬è´¨ä¸Encoder-Decoderå¨è§£ç é¶æ®µæ¯è½å¤å¦ä¼è¯è¨æ¨¡åçï¼èå¾ææ¾è¯è¨æ¨¡åçå¼å
¥å¯¹äºçæä¸èçå¯è¯»æ§åè¯è¨ä¸è´æ§æ¯å¾æ帮å©çãä½æ¯å¦æè®ç»æ°æ®ä¸æ¯é£ä¹å¤§ï¼æç¸ä¿¡éè¿ä½¿ç¨å¤§éå¤è¯æ¥è®ç»ä¸ä¸ªè¯è¯è¯è¨æ¨¡åï¼å¨Decoderçæé¶æ®µï¼æ¯ä¸ªæ¶é´èç¹tçæå¾å¤å¯è½çåéæ±åï¼ç¶åå©ç¨è¿ä¸ªè¯è¨æ¨¡å+Beam Searchåºè¯¥è½å¤ä½¿å¾çæç对èä¿è¯ä¸å®çè¯ä¹ä¸è´æ§ã
å°æ¤ä¸ºæ¢ï¼ä½ä¸ºå¯¹èçæå
¶å®è¿æ个é®é¢ï¼å°±æ¯ä¸ä¸è对åºæ±åçå¹³åé®é¢ï¼è¿ä¸ªä¹å¯ä»¥ç±»ä¼¼è¯è¨æ¨¡åä¸æ ·ä½ä¸ºåå¤ççæ¥éª¤è¿è¡çéè¿æ»¤ãä¸è¿æè§å¾Encoder-Decoderä¹ææå¯è½ä¼å¦ä¼è¿ç§å¹³åå
³ç³»ï¼å 为è¿ä¸ªè§å¾è¿æ¯å¾ææ¾çï¼è¿ç¹ä¸ç¡®å®ï¼å¾éè¿å®éªæ¥è¯æè¿ä¸ç¹ã
æ
å½¢äºï¼å¯¹èç±æºå¨å®å
¨èªå¨çæ
ä¸é¢è®²çæ¯å¦æä¸èæ¯äººç»åºçï¼æºå¨å¦ä½èªå¨äº§çå顺çä¸èãé£ä¹å¦æé®é¢é¾åº¦å¢å ä¸ä¸ï¼å¦æä¸èä¹ä¸ç¥éï¼æºå¨è½å¤å®å
¨èªå¨çæå®æ´çä¸å¹
对èåï¼
å¾ææ¾ï¼æ
å½¢ä¸æ¯æ
å½¢äºçåé®é¢ï¼å设æ们å两æ¥æ¥å®å
¨èªå¨å°çæ对èï¼ç¬¬ä¸æ¥æ¯ä¸è®ºç¨ä»ä¹æ¹æ³ï¼å
çæä¸å¥ä¸èã第äºæ¥æ ¹æ®ä¸èèªå¨çæä¸èã第äºæ¥ææ¾å¯ä»¥ä½¿ç¨æ
å½¢ä¸è®ç»åºç模åæ¥åãæ以æ
å½¢äºçå
³é®é®é¢è½¬æ¢ä¸ºï¼å¦ä½å¨ä¸æ æç¥æ
åµä¸çæä¸å¥ä¸èï¼
æè§å¾è¿ä¸ªåé®é¢å¯ä»¥éè¿å¦ä¸æ¹å¼è§£å³ï¼ä½¿ç¨RNNæ建ä¸ä¸ªå¤è¯è¯çè¯è¨æ¨¡åï¼ç¶åä¸èéè¿è¿ä¸ªRNNè¯è¨æ¨¡åèªå¨çæï¼è¿ä»éçä¸æ¯è®²å¾éçãä¹å°±æ¯è¯´ï¼æ´ä½æ¶æå¦å¾4æ示ã
å¾4 å®å
¨èªå¨çæ对è
æ¤å¤ï¼å¯¹äºå¯¹èæ¥è¯´ï¼è¿éçä¸ä¸ªå°é®é¢ï¼å°±æ¯å¯¹èç横æ¹å¦ä½çæçé®é¢ãå 为ä¸è¬å¯¹èè¿éè¦é
ä¸ä¸ä¸ªæ¨ªæ¹æ¥å½çº³ä¸ä¸èç主æ¨ãè¿ä¸ªå
¶å®æè·¯ä¹æ¯ç±»ä¼¼çï¼å¯ä»¥æä¸ä¸èçåä¸ä¸ªæ´ä½ä½ä¸ºEncoderçè¾å
¥ï¼Decoderç¨æ¥çæ横æ¹å³å¯ï¼è¿ä¸ªç±»ä¼¼äºç¨Encoder-Decoder+Attentionåæè¦çæè·¯ãå
³é®æ¯æ没æé£ä¹å¤è®ç»æ°æ®æ¯å¸¦æ¨ªæ¹çï¼æè§å¾è¿ä¸ªæºæ¬çã
好äºï¼éè¿ä»¥ä¸æ¹å¼ï¼æç¸ä¿¡è½å¤æ建ä¸ä¸ªçä¸å»è¿ä¸éç对èèªå¨çæç³»ç»ã
温馨提示:答案为网友推荐,仅供参考