Udemy線上課程 (Ken Cen出品)Generative AI第22部 如何推理 Llama 大語言模型 下部 講師:Ken Cen 影音教學 中文發音 繁體中文(DVD版)
Udemy線上課程(KenCen出品)GenerativeAI第22部如何推理Llama大語言模型下部講師:KenCen影音教學中文發音繁體中文(DVD版)內容說明:
從核心原理到PyTorch高效推理實戰

你是否厭倦了僅僅調用API，卻對大型語言模型(LLM)的內部運作一知半解？
你是否驚嘆於Llama3的強大能力，並渴望深入理解其背後的魔法——那些讓它高效、強大的關鍵技術，如KVCache、GroupedQueryAttention(GQA)、旋轉位置編碼(RoPE)和RMSNorm？
現在，機會來了！本課程將帶你從零開始，一步步揭開Llama3的神祕面紗，不僅讓你理解其核心架構和關鍵組件的理論精髓，更能親手用PyTorch庫編寫、優化並運行你自己的Llama3推理流程！
在本課程中，你將獲得：
深度理解Llama3核心機制：不再是黑箱！我們將深入淺出地講解Llama3相較於原版Transformer的關鍵改進，包括：
KVCache：為何它能讓LLM推理速度產生質的飛躍？如何實現？
GroupedQueryAttention(GQA):在多頭注意力(MHA)和多查詢注意力(MQA)之間取得的精妙平衡，如何在保證質量的同時提升效率？
旋轉位置編碼(RoPE):這種新穎的位置編碼方式是如何工作的？為什麼它比絕對位置編碼更受青睞？
RMSNorm：為什麼Llama選擇它而不是LayerNormalization？它有何優勢？硬核PyTorch推理實戰：我們將基於提供的實戰代碼，帶你：使用Pytorch高效加載預訓練Llama3模型和分詞器。
親手實現逐Token生成循環，掌控文本生成的每一步。
靈活應用KV緩存，體驗推理加速的快感。
掌握Top-P、Temperature、RepetitionPenalty等核心採樣策略，精調你的模型輸出風格。
編寫設備自動檢測代碼(CUDA/MPS/CPU)，讓你的推理代碼適配不同硬件，充分利用加速能力。
學會工程化技巧：處理Padding、實現EOS判斷、優化Prompt等。
從理論到實踐的閉環：完美結合Llama3內部原理講解與動手編碼實踐，讓你知其然，更知其所以然。
使用model.generate()：推導下一個Token及文本生成，真正理解並控制生成過程的每一個細節，為未來更複雜的模型定製和優化打下堅實基礎。

課程內容:
01-介紹
001課程工具準備.mp4
002如何使用uv作為包管理器和項目管理工具.mp4
003如何從Meta官網下載模型權重文檔.mp4

02-如何用Python編寫Llama的架構
001如何接入LlamaTransformerClass的基本參數.mp4
002如何創建Llama3的RMSNorm&FFNSwiGLU.mp4
003如何計算RoPE複數頻率.mp4
004如何實現RoPE旋轉位置編碼複數轉換實數.mp4
005如何創建Attention組合RoPE&GQA&KV緩存.mp4
006如何創建TransformerBlock和組織Llama模型.mp4

03-如何使用LlaMA3模型進行文本生成
001如何導入Llama3權重文檔和Tokenizermodel文檔.mp4
002如何使用Tokenizer進行編碼和解碼.mp4
003如何將特殊ID和Prompt結合在一起.mp4
004如何構建LlaMA3實例.mp4





站內搜索
請輸入軟體名稱或編號functionsubmit_searcher(){searcher_change()vare=document.getElementsByName('keyword2')[0];varu=encodeURI(e.value).split('-').join('[[jianhao]]');window.location='/tag/'+u+'.htm';returnfalse;}購物車functionlar_update_cart(){lch_ajax("/lch_ajax.php?action=cart_get",function(pc){document.getElementById("my_cart").innerHTML=pc;if(document.getElementById("ismenu")){init_disk_list_state();}});}lar_update_cart();functionadd_number_2_cart(number){lch_ajax("/lch_ajax.php?action=cart_add&number="+number,function(pc){document.getElementById("my_cart").innerHTML=pc;});returnfalse;}熱門關鍵字51job前程無憂Frank學院QingmingWpf詳解Zhao工作效率女性領導力三節課下篇六卦詳解王思迅文富打造獨角獸光佑有個小院行銷東東東東好課佳旋易經開門課的環境預備若水美伊思迅星空面對痛苦渡人渡己紫微篇資承遍路文化漢化課程養心養身養神編程入門養體霍大俠觸發器