使用 Ollama 和 VS Code 的 Continue 插件在本地实现 AI 辅助代码编写

Ollama 作为一个在本地运行各类 AI 模型的简单工具,将门槛拉到了一个人人都能在电脑上运行 AI 模型的程度,不过运行它最好有 Nvidia 的显卡或者苹果 M 系列处理器的笔记本。

下载安装 Ollama

直接从 https://ollama.com/download 官网下载应用即可,目前平台覆盖比较齐全。

下载后安装,命令行中会增加 ollama 命令,启动后会在系统托盘中出现羊驼图标。

下载模型

我这里依然以 codellama:7b-code-q4_K_M 它是针对编码训练的 Lama 模型,对大部分代码有比较不错的兼容性。

直接在命令行中运行:

ollama pull codellama:7b-code-q4_K_M

然后就会开始下载,在 4G 多。下载完成后可以先启动试试:

ollama run codellama:7b-code-q4_K_M

它会跟你一个 >>> 的命令提示符,然后就可以和它沟通了,一定要描述清晰你的需求,否则就会输出一堆没什么用的东西。:-(

使用 Continue 与 IDE 集成

VSCode 的 Llama 插件目前我觉得 Continue 还算不错,它也提供了 Jetbran 的插件。

截稿时它的自动补齐功能还在 pre-prelease 版本中,所以我这里以它正式版本为主。

安装 Continue 插件

直接从 Extension Marketplace 安装即可 https://marketplace.visualstudio.com/items?itemName=Continue.continue

安装完成后在 VSCode 左侧侧栏中会增加一个 > CD_ 的图标,这就是它的主界面了。

配置本地 AI 模型

Continue 默认只提供了几种线上 AI 模型的试用,如果需要更改,需要在 Continue 主界面中点击右下角的齿轮图标,进入配置界面,会打开 $HOME/.continue/config.json,需要在该文件的字段中增加以下字段:


{

 "models: {

   {

     "title": "Local Ollama",

     "provider": "ollama",

     "model": "codellama:7b-code-q4_K_M"

   },

   // ...

 }

 // ...

}

这样就启用了本地 Ollama,如果未来需要更换别的模型,直接修改 model 字段即可。


使用 Continue 进行 AI 辅助代码编写。

Continue 主要有两种使用方式:


1. ⌘ + L 选中代码

选中需要的代码,按下 ⌘+L 快捷键后,Continue 界面就会弹出来,并将选中的代码插入到聊天框中,这时候你可以让它帮你编写单元测试,或者检查可能存在的 bug。


2. ⌘ + I 插入代码

在代码的任意位置按下 ⌘ + I,会弹出一个小的 prompt 输入框,你可以输入需求让它快速生成。


总结

相对线上的大模型,本地运行的小模型在精准度上还是有些欠缺,不过已经可以代替部分工作,最主要是它依托开源的优势,降低了成本。


Copilot 的免费替代

如果觉得本地 Codellama 模型不够使用,其实还有个 Copilot 的免费替代 - https://codeium.com/ 这个功能我自己试用下来也很不错,目前跟本地 Ollama 交替使用。

本文章由javascript技术分享原创和收集

发表评论 (审核通过后显示评论):