社区所有版块导航
Python
python开源   Django   Python   DjangoApp   pycharm  
DATA
docker   Elasticsearch  
aigc
aigc   chatgpt  
WEB开发
linux   MongoDB   Redis   DATABASE   NGINX   其他Web框架   web工具   zookeeper   tornado   NoSql   Bootstrap   js   peewee   Git   bottle   IE   MQ   Jquery  
机器学习
机器学习算法  
Python88.com
反馈   公告   社区推广  
产品
短视频  
印度
印度  
Py学习  »  Git

Llama Coder:旨在取代Github Copilot,提供更强大且本地化的AI支持

GitHubStore • 5 月前 • 426 次点击  

项目简介

Llama Coder 是 VS Studio Code 的更好的自托管 Github Copilot 替代品。Llama Coder 使用 Ollama 和 codellama 提供在您的硬件上运行的自动完成功能。最适合与 Mac M1/M2/M3 或 RTX 4090 配合使用。



特征

  • 🚀 和副驾驶一样好

  • ⚡️快。在消费级 GPU 上运行良好。建议使用 RTX 4090 以获得最佳性能。

  • 🔐 没有遥测或跟踪

  • 🔬 适用于任何语言编码或人类编码。


推荐硬件

最低所需 RAM:最低 16GB,越多越好,因为即使是最小的型号也需要 5GB RAM。最好的方法:配备 RTX 4090 的专用计算机。在此计算机上安装 Ollama 并在扩展设置中配置端点以卸载到该计算机。第二个最佳方法:在具有足够 RAM 的 MacBooc M1/M2/M3 上运行(更多 == 更好,但额外 10GB 就足够了)。对于 Windows 笔记本电脑:它在 GPU 不错的情况下运行良好,但建议使用具有良好 GPU 的专用机器。如果您有专用的游戏电脑,那就太完美了。


本地安装

在本地计算机上安装 Ollama,然后在 VSCode 中启动扩展,一切都应该按原样运行。


远程安装

在专用计算机上安装 Ollama 并在扩展设置中配置端点。Ollama 通常使用端口 11434 并绑定到 127.0.0.1 ,要更改它,您应该将 OLLAMA_HOST 设置为 0.0.0.0 。


模型

目前 Llama Coder 仅支持 Codellama。模型以不同的方式量化,但我们的测试表明 q4 是运行网络的最佳方式。选择模型时,模型越大,性能越好。始终为您的机器选择最大尺寸和最大可能量化的型号。默认值是 codellama:7b-code-q4_K_M 并且应该在任何地方都有效, codellama:34b-code-q4_K_M 是最好的。

Name 姓名RAM/VRAM 内存/显存Notes 笔记
codellama:7b-code-q4_K_M5GB
codellama:7b-code-q6_K Codellama:7b-代码-q6_K6GBm 米
codellama:7b-code-fp16 Codellama:7b-代码-fp16 14GBg
codellama:13b-code-q4_K_M10GB
codellama:13b-code-q6_K Codellama:13b-代码-q6_K14GBm 米
codellama:34b-code-q4_K_M24GB
codellama:34b-code-q6_K32GBm 米


项目链接

https://github.com/ex3ndr/llama-coder

 关注「GitHubStore」公众号

扫一扫以下微信

1 加入技术交流群,备注开发语言-城市-昵称


Python社区是高质量的Python/Django开发社区
本文地址:http://www.python88.com/topic/165291
 
426 次点击