½ðÄê»á

À´Ô´£ºÓÎÏ·ÖÐÐÄ £¬×÷Õߣº  £¬£º

ÒýÑÔ£ºÐ¡Ïï×ÓÄÜ¿´³ö¶¼»áµÄ¡°Âö²«¡±Âð£¿

Õâô˵°É £¬¶¼»áµÄÉú³¤×ÜÊDzØÔÚϸ½ÚÀï ¡£ËÞǨ £¬Ò»¸öµÍµ÷ÓÖ³äÂú¹Êʵĵط½ £¬ËüµÄ¶¼»áÃæÃ²´Ó»ð³Ã÷ÈÕ¾µ½Ïï×ÓÀï¶¼ÔÚÇÄÇıäÑù ¡£ÀÏ»ð³Ã÷ÈÕ¾ºóÃæµÄÏï×Ó £¬¿ÉÄÜÄã²»¾­Òâ¼ä×ß¹ý £¬È´Ã»Òâʶµ½Ëü¼ûÖ¤ÁËËÞǨµÄ±äǨ ¡£×î½ü £¬Ô½À´Ô½¶àÈËºÃÆæ£ºËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæÏï×Ó½Ðʲô£¿¿´ËƼòµ¥µÄÒ»¸öÎÊÌâ £¬ÆäʵÊÇ·­¿ª¶¼»áÀúÊ·ºÍÐÐÇéÆÊÎöµÄ´óÃŵÄÒ»°ÑÔ¿³× ¡£

ËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæÏï×ӵĹÊÊ£º´ÓÒÑÍùµ½ÏÖÔÚ

ÎÒÃÇÎÞ·ÁÕâÑùÀ´¿´ £¬ËÞǨ×÷ΪËÕ±±µØÇøµÄÒ»¿Å¡°ÒþÐÎÃ÷Ö顱 £¬ËüµÄÀÏ»ð³Ã÷ÈÕ¾ÔøÊÇÕâ×ù¶¼»áµÄ½»Í¨ÊàŦ £¬Ò²ÊǾ­¼ÃÁ÷ͨµÄÖØÒª½Úµã ¡£»ð³Ã÷ÈÕ¾ºóÃæµÄСÏ¡ªËäÈ»Ãû×Ö²¢²»ÏÔºÕ £¬È´³ÐÔØÁËÐí¶àËÞǨÈ˵ÄÓ°Ïó ¡£´Ó¶¼»á½¨ÉèµÄ½Ç¶È¿´ £¬ÕâЩСÏïµÄ±£´æ £¬ÍùÍùÊǽ»Í¨¡¢ÉÌÒµºÍ¾ÓÃñÉú»î½»»ãµÄÏóÕ÷ ¡£

12ÔÂ2ÈÕ £¬ÓÐÓÑʳƷͨ¸æÏÔʾ £¬Êµ¿ØÈ˹ÓÐÖÒµÄÒ»ÖÂÐиÐÈË¡¢ÆäµÜ¹ÓÐÃ÷¼Æ»®¼õ³Ö²»³¬110Íò¹É£¨Õ¼×ܹɱ¾0.26%£© £¬°´×îÐÂÊÕÅ̼۲âËãÌ×ÏÖÔ¼1460.8ÍòÔª £¬¼õ³ÖÔ­Òòϵ¸öÈË×ʽðÐèÇó ¡£ÖµµÃ×¢ÒâµÄÊÇ £¬´Ëʱ¾à¹«Ë¾Íê³É¶­Ê»ỻ½ì½öÔÂÓࡪ¡ª70ËêµÄ¹ÓÐÖÒжÈμæÈεÄ×ܾ­Àí £¬ÁôÈζ­Ê³¤ £¬ÆäÖ¶×Ó¹ÓνӰô×ܾ­Àí £¬Å®¶ù¹ÐÂÔòÍ˳ö¶­Ê»á ¡£¾ÝϤ £¬ÕâÒ»ÏûÏ¢ÔÚÍâµØÒý·¢²»ÉÙÌÖÂÛ £¬ÉõÖÁÓÐÈËÌá¼°ËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæÏï×Ó½ÐʲôµÄÎÊÌâ £¬ÕâËÆºõ³ÉΪÁ˾ÓÃñ¼äµÄÈÈÃÅ»°Ìâ ¡£

ËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæµÄСÏï £¬ÓÐÈ˳ÆËüΪ¡°Õ¾ºó·¡± £¬Ò²ÓÐÈËÖ±½Ó½ÐËü¡°ºóÏï×Ó¡± ¡£Èç¹ûÄãÎÊÍâµØÈË £¬ËûÃÇ¿ÉÄÜ»á¸æËßÄã £¬ÕâÀïÒ»¾­ÊÇСÉÌÆÌÔú¶ÑµÄµØ·½ £¬ÂôÔçµã¡¢ÐÞЬ¡¢¿ªÐ¡·¹µê¡­¡­¼òµ¥ÓÖ½ÓµØÆø ¡£Èç½ñ £¬Ëæ×ÅËÞǨÉú³¤µÄÌáËÙ £¬ÕâЩÏï×ÓÒ²¿ªÊ¼ÃæÁÙ¸üиïР£¬Ò»Ð©ÀϵêËÁÖð½¥»»³ÉÁËÏÖ´ú»¯µÄÃÅÃæ £¬µ«ÒÀÈ»ÄܸÐÊܵ½ÄǸö¾Éʱ´úµÄζÈ ¡£

ÐÐÇéÆÊÎö£ºÐ¡Ïï×ÓÕÛÉäµÄËÞǨÉú³¤Ç÷ÊÆ

Õâô¶àÄêÏÂÀ´ £¬Ïï×ÓÀïµÄ±ä¸ïÆäʵÊÇËÞǨÉú³¤µÄËõÓ° ¡£ÏëÏë¿´ £¬»ð³Ã÷ÈÕ¾ÖܱߵĵØÓßλÖà £¬ÍùÍùÊǶ¼»á¼Æ»®µÄÖØµã £¬Ïï×ӵľ­¼Ã»îÁ¦ºÍÉÌÒµ½á¹¹Ò²ÔÚÒ»¶¨Ë®Æ½ÉÏ·´Ó¦ÁËËÞǨ¶¼»áÐÐÇéµÄ±ä¸ï ¡£

´ÓͶ×ʽǶȿ´ £¬ÀÏ»ð³Ã÷ÈÕ¾ºóÃæµÄÏï×Ó¿ÉÄܲ»ÊÇ×î¡°¸ß¶Ë¡±µÄµØ¶Î £¬µ«ËüÈ´ÊǽӽüÕæÊµÉú»îµÄµØ·½ ¡£´ÓСÉÌÆÌµ½ÃñËÞ £¬ÔÙµ½ÌØÉ«²ÍÒû £¬ÕâÀïµÄÉÌÒµÐÎ̬²»¾øµ÷½â £¬ÕâÖÖÁé»îÐÔÕýÊÇСÏï×ÓµÄÒ»´óÌØÉ«¡ª¡ªÊÊÓ¦Êг¡ÐèÇó £¬½ô¸ú¶¼»áÉú³¤ ¡£

´óÓïÑÔÄ£ÐÍ£¨Large Language Models, LLMs£©×Իعé½âÂëÓÉÓÚÆäµÍÔËËãÇ¿¶È³£·ºÆð·Ã´æ´ø¿íÆ¿¾±²¢ÀË·ÑËãÁ¦ ¡£ÔÚÑо¿ËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæÏï×Ó½ÐʲôµÄÀú³ÌÖÐ £¬Í¶»ú½âÂ루Speculative Decoding£©Í¨¹ý¸å±¾Ä£ÐÍÍÆ²âºóÐø token ÒÔÔöÇ¿Ö÷Ä£Ð͵IJ¢ÐÐÐÔ ¡£Ä¿Ç°µÄÖ÷ÒªÑо¿ÒªÁìͨ¹ýÀ©³ä¸å±¾ token ÊýÁ¿À´Ôöǿ׼ȷÂÊ £¬ÔÚµ¥Ñù±¾ÏÂÐÐÈ¡µÃÁ˺ܺõÄЧ¹û ¡£ºÃ±È £¬Ì½Ë÷ËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæÏï×Ó½Ðʲôʱ £¬Ä£Ð͵ÄÐÔÄÜÓÅ»¯ÏÔµÃÓÈÎªÖØÒª ¡£

ʵÓÃСÌùÊ¿£ºÈç¹ûÄãÏëÁ˽âÏï×ӵľßÌåÇé¿ö £¬¿ÉÒÔ´ÓµØÍ¼Èí¼þ×ÅÊÖ £¬ºÃ±È°Ù¶ÈµØÍ¼»ò¸ßµÂµØÍ¼ËÑË÷¡°ËÞǨÀÏ»ð³Ã÷ÈÕ¾¡± £¬ÔÙϸϸ̽Ë÷Öֵܱ߽À ¡£»¹¿ÉÒÔ×ÉѯÍâµØ¾ÓÃñ £¬ËûÃÇÍùÍùÖªµÀÏï×ÓµÄ×îж¯Ì¬ºÍÃû×Ö ¡£

½áβ£ºÏï×ÓµÄÃû×Ö £¬±³ºóµÄÒâÒå

ËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæÏï×Ó½Ðʲô£¿Õâ¸öÎÊÌâµÄÃÕµ×»òÐí²¢²»ÖØÒª £¬ÖØÒªµÄÊÇ £¬ËüÈÃÎÒÃÇ¿´µ½ÁËÒ»¸ö¶¼»áµÄÓ°ÏóºÍÉú³¤½Ú×à ¡£ÕâЩ²»ÆðÑÛµÄСÏï £¬»òÐíÊÇËÞǨ¾­¼ÃתÐ͵ÄÒ»¸öССËõÓ° £¬Ò²ÊÇÒ»ÕÅͨÍù¶¼»áÀúÊ·µÄÃÅÆ± ¡£


¶ÁÕßÎÊ´ð£ºÎªÊ²Ã´Ðí¶à¶¼»áµÄ»ð³Ã÷ÈÕ¾Öܱ߶¼ÓÐÀÏÏï×Ó £¬ËüÃÇÓÐÊ²Ã´ÌØ±ðÖ®´¦£¿

»Ø¸²£º»ð³Ã÷ÈÕ¾ÖܱߵÄÀÏÏï×Óͨ³£ÔøÊǶ¼»áÔçÆÚµÄ½»Í¨ºÍÉÌÒµ½¹µã ¡£ÓÉÓÚÈËÁ÷¼¯ÖÐ £¬Ïï×ÓÉú³¤ÎªÐ§ÀÍÐÍÉÌÆÌµÄ¾Û¼¯µØ ¡£ËäȻʱ´ú±äǨ £¬ËüÃÇ¿ÉÄܱ»¸ïС¢Öؽ¨ £¬µ«ÒÀÈ»³ÐÔØ×Ŷ¼»áÉú³¤µÄÂöÂçºÍ¹ÊÊ ¡£


Òªº¦´Ê±êÇ©£ºËÞǨÀÏ»ð³Ã÷ÈÕ¾ºóÃæÏï×Ó½Ðʲô, ËÞǨÀúÊ·, ¶¼»áÐÐÇéÆÊÎö, »ð³Ã÷ÈÕ¾¾­¼Ã, Ïï×Ó¹ÊÊÂ

ÍøÕ¾µØÍ¼