ÒýÑÔ£ºÐ¡Ïï×ÓÄÜ¿´³ö¶¼»áµÄ¡°Âö²«¡±Âð£¿
Õâô˵°É£¬¶¼»áµÄÉú³¤×ÜÊDzØÔÚϸ½ÚÀï¡£ËÞǨ£¬Ò»¸öµÍµ÷ÓÖ³äÂú¹Êʵĵط½£¬ËüµÄ¶¼»áÃæÃ²´Ó»ð³Ã÷ÈÕ¾µ½Ïï×ÓÀï¶¼ÔÚÇÄÇıäÑù¡£ÀÏ»ð³Ã÷ÈÕ¾ºóÃæµÄÏï×Ó£¬¿ÉÄÜÄã²»¾Òâ¼ä×ß¹ý£¬È´Ã»Òâʶµ½Ëü¼ûÖ¤ÁËËÞǨµÄ±äǨ¡£×î½ü£¬Ô½À´Ô½¶àÈËºÃÆæ£ºËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæÏï×Ó½Ðʲô£¿¿´ËƼòµ¥µÄÒ»¸öÎÊÌ⣬ÆäʵÊÇ·¿ª¶¼»áÀúÊ·ºÍÐÐÇéÆÊÎöµÄ´óÃŵÄÒ»°ÑÔ¿³×¡£
ËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæÏï×ӵĹÊÊ£º´ÓÒÑÍùµ½ÏÖÔÚ
ÎÒÃÇÎÞ·ÁÕâÑùÀ´¿´£¬ËÞǨ×÷ΪËÕ±±µØÇøµÄÒ»¿Å¡°ÒþÐÎÃ÷Ö顱£¬ËüµÄÀÏ»ð³Ã÷ÈÕ¾ÔøÊÇÕâ×ù¶¼»áµÄ½»Í¨ÊàŦ£¬Ò²ÊǾ¼ÃÁ÷ͨµÄÖØÒª½Úµã¡£»ð³Ã÷ÈÕ¾ºóÃæµÄСÏ¡ªËäÈ»Ãû×Ö²¢²»ÏÔºÕ£¬È´³ÐÔØÁËÐí¶àËÞǨÈ˵ÄÓ°Ïó¡£´Ó¶¼»á½¨ÉèµÄ½Ç¶È¿´£¬ÕâЩСÏïµÄ±£´æ£¬ÍùÍùÊǽ»Í¨¡¢ÉÌÒµºÍ¾ÓÃñÉú»î½»»ãµÄÏóÕ÷¡£
12ÔÂ2ÈÕ£¬ÓÐÓÑʳƷͨ¸æÏÔʾ£¬Êµ¿ØÈ˹ÓÐÖÒµÄÒ»ÖÂÐиÐÈË¡¢ÆäµÜ¹ÓÐÃ÷¼Æ»®¼õ³Ö²»³¬110Íò¹É£¨Õ¼×ܹɱ¾0.26%£©£¬°´×îÐÂÊÕÅ̼۲âËãÌ×ÏÖÔ¼1460.8ÍòÔª£¬¼õ³ÖÔÒòϵ¸öÈË×ʽðÐèÇó¡£ÖµµÃ×¢ÒâµÄÊÇ£¬´Ëʱ¾à¹«Ë¾Íê³É¶Ê»ỻ½ì½öÔÂÓࡪ¡ª70ËêµÄ¹ÓÐÖÒжÈμæÈεÄ×ܾÀí£¬ÁôÈζʳ¤£¬ÆäÖ¶×Ó¹ÓνӰô×ܾÀí£¬Å®¶ù¹ÐÂÔòÍ˳ö¶Ê»ᡣ¾ÝϤ£¬ÕâÒ»ÏûÏ¢ÔÚÍâµØÒý·¢²»ÉÙÌÖÂÛ£¬ÉõÖÁÓÐÈËÌá¼°ËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæÏï×Ó½ÐʲôµÄÎÊÌ⣬ÕâËÆºõ³ÉΪÁ˾ÓÃñ¼äµÄÈÈÃÅ»°Ìâ¡£
ËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæµÄСÏÓÐÈ˳ÆËüΪ¡°Õ¾ºó·¡±£¬Ò²ÓÐÈËÖ±½Ó½ÐËü¡°ºóÏï×Ó¡±¡£Èç¹ûÄãÎÊÍâµØÈË£¬ËûÃÇ¿ÉÄÜ»á¸æËßÄ㣬ÕâÀïÒ»¾ÊÇСÉÌÆÌÔú¶ÑµÄµØ·½£¬ÂôÔçµã¡¢ÐÞЬ¡¢¿ªÐ¡·¹µê¡¡¼òµ¥ÓÖ½ÓµØÆø¡£Èç½ñ£¬Ëæ×ÅËÞǨÉú³¤µÄÌáËÙ£¬ÕâЩÏï×ÓÒ²¿ªÊ¼ÃæÁÙ¸üиïУ¬Ò»Ð©ÀϵêËÁÖð½¥»»³ÉÁËÏÖ´ú»¯µÄÃÅÃæ£¬µ«ÒÀÈ»ÄܸÐÊܵ½ÄǸö¾Éʱ´úµÄζȡ£
ÐÐÇéÆÊÎö£ºÐ¡Ïï×ÓÕÛÉäµÄËÞǨÉú³¤Ç÷ÊÆ
Õâô¶àÄêÏÂÀ´£¬Ïï×ÓÀïµÄ±ä¸ïÆäʵÊÇËÞǨÉú³¤µÄËõÓ°¡£ÏëÏë¿´£¬»ð³Ã÷ÈÕ¾ÖܱߵĵØÓßλÖã¬ÍùÍùÊǶ¼»á¼Æ»®µÄÖØµã£¬Ïï×ӵľ¼Ã»îÁ¦ºÍÉÌÒµ½á¹¹Ò²ÔÚÒ»¶¨Ë®Æ½ÉÏ·´Ó¦ÁËËÞǨ¶¼»áÐÐÇéµÄ±ä¸ï¡£
´ÓͶ×ʽǶȿ´£¬ÀÏ»ð³Ã÷ÈÕ¾ºóÃæµÄÏï×Ó¿ÉÄܲ»ÊÇ×î¡°¸ß¶Ë¡±µÄµØ¶Î£¬µ«ËüÈ´ÊǽӽüÕæÊµÉú»îµÄµØ·½¡£´ÓСÉÌÆÌµ½ÃñËÞ£¬ÔÙµ½ÌØÉ«²ÍÒû£¬ÕâÀïµÄÉÌÒµÐÎ̬²»¾øµ÷½â£¬ÕâÖÖÁé»îÐÔÕýÊÇСÏï×ÓµÄÒ»´óÌØÉ«¡ª¡ªÊÊÓ¦Êг¡ÐèÇ󣬽ô¸ú¶¼»áÉú³¤¡£
´óÓïÑÔÄ£ÐÍ£¨Large Language Models, LLMs£©×Իعé½âÂëÓÉÓÚÆäµÍÔËËãÇ¿¶È³£·ºÆð·Ã´æ´ø¿íÆ¿¾±²¢ÀË·ÑËãÁ¦¡£ÔÚÑо¿ËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæÏï×Ó½ÐʲôµÄÀú³ÌÖУ¬Í¶»ú½âÂ루Speculative Decoding£©Í¨¹ý¸å±¾Ä£ÐÍÍÆ²âºóÐø token ÒÔÔöÇ¿Ö÷Ä£Ð͵IJ¢ÐÐÐÔ¡£Ä¿Ç°µÄÖ÷ÒªÑо¿ÒªÁìͨ¹ýÀ©³ä¸å±¾ token ÊýÁ¿À´Ôöǿ׼ȷÂÊ£¬ÔÚµ¥Ñù±¾ÏÂÐÐÈ¡µÃÁ˺ܺõÄЧ¹û¡£ºÃ±È£¬Ì½Ë÷ËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæÏï×Ó½Ðʲôʱ£¬Ä£Ð͵ÄÐÔÄÜÓÅ»¯ÏÔµÃÓÈÎªÖØÒª¡£
ʵÓÃСÌùÊ¿£ºÈç¹ûÄãÏëÁ˽âÏï×ӵľßÌåÇé¿ö£¬¿ÉÒÔ´ÓµØÍ¼Èí¼þ×ÅÊÖ£¬ºÃ±È°Ù¶ÈµØÍ¼»ò¸ßµÂµØÍ¼ËÑË÷¡°ËÞǨÀÏ»ð³Ã÷ÈÕ¾¡±£¬ÔÙϸϸ̽Ë÷Öֵܱ߽À¡£»¹¿ÉÒÔ×ÉѯÍâµØ¾ÓÃñ£¬ËûÃÇÍùÍùÖªµÀÏï×ÓµÄ×îж¯Ì¬ºÍÃû×Ö¡£
½áβ£ºÏï×ÓµÄÃû×Ö£¬±³ºóµÄÒâÒå
ËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæÏï×Ó½Ðʲô£¿Õâ¸öÎÊÌâµÄÃÕµ×»òÐí²¢²»ÖØÒª£¬ÖØÒªµÄÊÇ£¬ËüÈÃÎÒÃÇ¿´µ½ÁËÒ»¸ö¶¼»áµÄÓ°ÏóºÍÉú³¤½Ú×à¡£ÕâЩ²»ÆðÑÛµÄСÏ»òÐíÊÇËÞǨ¾¼ÃתÐ͵ÄÒ»¸öССËõÓ°£¬Ò²ÊÇÒ»ÕÅͨÍù¶¼»áÀúÊ·µÄÃÅÆ±¡£
¶ÁÕßÎÊ´ð£ºÎªÊ²Ã´Ðí¶à¶¼»áµÄ»ð³Ã÷ÈÕ¾Öܱ߶¼ÓÐÀÏÏï×Ó£¬ËüÃÇÓÐÊ²Ã´ÌØ±ðÖ®´¦£¿
»Ø¸²£º»ð³Ã÷ÈÕ¾ÖܱߵÄÀÏÏï×Óͨ³£ÔøÊǶ¼»áÔçÆÚµÄ½»Í¨ºÍÉÌÒµ½¹µã¡£ÓÉÓÚÈËÁ÷¼¯ÖУ¬Ïï×ÓÉú³¤ÎªÐ§ÀÍÐÍÉÌÆÌµÄ¾Û¼¯µØ¡£ËäȻʱ´ú±äǨ£¬ËüÃÇ¿ÉÄܱ»¸ïС¢Öؽ¨£¬µ«ÒÀÈ»³ÐÔØ×Ŷ¼»áÉú³¤µÄÂöÂçºÍ¹ÊÊ¡£
Òªº¦´Ê±êÇ©£ºËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæÏï×Ó½Ðʲô, ËÞǨÀúÊ·, ¶¼»áÐÐÇéÆÊÎö, »ð³Ã÷ÈÕ¾¾¼Ã, Ïï×Ó¹ÊÊÂ