AI 賦能的編程助手為從學術項目到生產代碼的各種項目提供實時協助,并針對 RTX AI PC 進行了優化。

  編程助手 (AI 賦能的助手,可以建議、解釋和調試代碼) 正在從根本上改變經驗豐富的開發者和新手開發者開發軟件的方式。

  經驗豐富的開發者利用這些助手來專注于復雜的編程任務,減少重復性工作,并更快地探索新想法。新手程序員 (如學生和 AI 愛好者) 也可以受益于編程助手,這些助手可描述不同的實現方法或解釋一段代碼的功能和原理,從而加速學習。

  編程助手可以在云環境或本地運行。基于云的編程助手可以在任何地方運行,但存在一些限制,并且需要訂閱。本地編程助手不存在這些問題,但需要高性能硬件才能良好運行。

  NVIDIA GeForce RTX GPU 可提供高效運行本地助手所需的硬件加速。

  代碼,遇上生成式 AI

  傳統軟件開發包括許多單調乏味的任務,例如審閱文檔、研究示例、設置模板代碼、編寫符合適當語法的代碼、追蹤錯誤和記錄功能。這些任務是必不可少的,但可能會占用解決問題和設計軟件的時間。編程助手有助于簡化這些步驟。

  許多 AI 助手與流行的集成開發環境 (IDE) (如 Microsoft Visual Studio Code 或 JetBrains 的 Pycharm) 相聯,將 AI 支持直接嵌入到現有工作流中。

  運行編程助手有兩種方式:在云端或在本地。

  基于云的編程助手需要將源代碼發送到外部服務器,然后才能返回結果。這種方法可能會產生延遲,并施加使用配額。一些開發者更喜歡將代碼保留在本地,特別是在處理敏感或私有項目時。此外,許多基于云的助手需要付費訂閱才能解鎖完整功能,這對于學生、業余愛好者和需要控制成本的團隊來說可能是一個障礙。

  編程助手在本地環境中運行,可免費提供以下功能:

  在 RTX 上本地運行的編程助手具有眾多優勢。

  開始使用本地編程助手

  可以輕松在本地運行編程助手的工具包括:

  ● Continue.dev — VS Code IDE 的開源擴展,通過 Ollama、LM Studio 或自定義端點連接到本地大語言模型 (LLM)。該工具只需極少設置即可提供編輯器內聊天、自動補全和調試輔助。通過 Ollama 后端進行本地 RTX 加速,開始使用 Continue.dev。

  ● Tabby — 一款安全透明的編程助手,兼容多種 IDE,能夠在 NVIDIA RTX GPU 上運行 AI。該工具提供代碼補全、問答、行內交互編程等功能。在 NVIDIA RTX AI PC 上開始使用 Tabby。

  ● OpenInterpreter — 實驗性但快速發展的界面,將 LLM 與命令行訪問、文件編輯和代理任務執行相結合。是開發者執行自動化任務和 DevOps 式任務的理想選擇。在 NVIDIA RTX AI PC 上開始使用 OpenInterpreter。

  ● LM Studio — 一款基于圖形用戶界面的本地 LLM 運行工具,提供聊天、上下文窗口管理和系統提示詞。最適合在 IDE 部署之前以交互方式測試編程模型。在 NVIDIA RTX AI PC 上開始使用 LM Studio。

  ● Ollama — 一款本地 AI 模型推理引擎,能夠對 Code Llama、StarCoder2 和 DeepSeek 等模型進行快速、私密的推理。它與 Continue.dev 等工具無縫集成。

  這些工具支持通過 Ollama 或 llama.cpp 等框架提供的模型,并且許多工具現已針對 GeForce RTX 和 NVIDIA RTX PRO GPU 進行了優化。

  了解 AI 輔助學習在 RTX 上的實際效果

  Continue.dev 在一臺搭載 GeForce RTX 的 PC 上運行,與 Gemma 12B Code LLM 配合使用,幫助解釋現有代碼、探索搜索算法和調試問題 — 全部都在本地完成。該助手就像一個虛擬助教,提供通俗易懂的指導、上下文感知的解釋、行內注釋以及針對用戶項目量身定制的代碼改進建議。

  該工作流凸顯了本地加速的優勢:助手始終可用、即時響應并提供個性化支持,同時確保代碼在設備上的私密性,使學習體驗身臨其境。

  這種響應速度歸功于 GPU 加速。Gemma 12B 這樣的模型對計算的需求很高,特別是處理長提示詞或跨多個文件工作時。在沒有 GPU 的情況下,在本地運行這些模型可能會感覺很慢,即使是簡單的任務也是如此。有了 RTX GPU,Tensor Core 直接在設備上加速推理,因此助手速度快、響應靈敏,能夠跟上即時的開發工作流。

  基于 Meta Llama 3.1-8B 模型運行的編程助手,在搭載 RTX 的筆記本電腦上的吞吐量比在 CPU 上快 5-6 倍。測試的數據是在 BS = 1、ISL/OSL = 2000/100、Llama-3.1-8B 模型量化為 int4 的情況下,每秒平均 Token 數。

  無論是用于學術工作、編程訓練營,還是個人項目,RTX AI PC 都能讓開發者通過 AI 賦能的工具更快地構建、學習和迭代。

  對于剛入門的用戶,特別是正在培養技能或嘗試生成式 AI 的學生,NVIDIA GeForce RTX 50 系列筆記本電腦采用專業 AI 技術,可獨自勝任學習、創作和游戲的熱門應用的加速。

  加入 NVIDIA 的 Discord 服務器,與社區開發者和 AI 愛好者交流,探討 RTX AI 的無限潛力。

  每周,RTX AI Garage 系列博客都會為那些希望詳細了解 NVIDIA NIM 微服務和 AI Blueprint 以及在 AI PC 和工作站上構建 AI 智能體、創意工作流、數字人、生產力應用等的用戶提供社區驅動的 AI 創新和內容。

  歡迎關注 NVIDIA 在微博、微信和嗶哩嗶哩的官方賬號,獲取最新資訊請訂閱 RTX AI PC 新聞通訊。

  請參閱有關軟件產品信息的通知。