type
Post
status
Published
date
Feb 8, 2025
slug
gpt-tools-ollama
summary
tags
大模型
category
Tools
icon
password
Link

Ollama介绍

Ollama 是一个让你可以在本地轻松运行大语言模型的工具,以下从特点、使用场景、安装与使用等维度展开介绍:

特点

  1. 易于部署:Ollama 最大的优势之一就是其部署的便捷性。它不需要复杂的服务器配置或云计算资源,用户可以直接在自己的本地机器上运行,无论是个人电脑还是小型服务器,只要满足基本的硬件要求,就可以快速搭建起大语言模型的运行环境。
  1. 支持多模型:它支持多种不同类型的大语言模型,如 Llama 2、Mistral 等。用户可以根据自己的需求和场景,选择合适的模型进行使用。这使得 Ollama 具有很强的通用性和灵活性,能够满足不同用户在不同任务上的需求。
  1. 快速交互:能够在本地实现快速的模型推理和交互。由于模型运行在本地,避免了与远程服务器通信的延迟,用户可以更流畅地与模型进行对话,获取及时的响应,提高工作效率。
  1. 模型管理方便:提供了简单直观的命令行界面,方便用户管理模型。用户可以轻松地下载、更新和删除模型,还可以对模型进行版本控制,确保始终使用到最新和最合适的模型版本。

使用场景

  1. 个人开发与测试:对于开发者来说,Ollama 是一个理想的个人开发和测试平台。他们可以在本地环境中快速验证模型的性能和功能,进行算法调试和优化,而无需依赖昂贵的云计算资源。
  1. 离线应用:在一些网络条件不佳或对数据安全有较高要求的场景下,Ollama 可以发挥重要作用。用户可以在离线状态下使用本地模型进行文本生成、问答系统等任务,确保数据的安全性和隐私性。
  1. 教育与学习:在教育领域,Ollama 可以作为教学工具,帮助学生更好地理解和掌握大语言模型的原理和应用。学生可以通过在本地运行模型,进行实验和实践,提高自己的编程和算法能力。
 

局限性

  • 硬件要求较高:运行大语言模型需要一定的计算资源,特别是对于一些较大规模的模型,可能需要较高配置的显卡和内存。如果硬件性能不足,可能会导致模型运行速度较慢,甚至无法正常运行。
  • 模型更新依赖官方:模型的更新和维护主要依赖于官方提供的支持。如果官方更新不及时,用户可能无法及时使用到最新的模型版本和功能。
 

Ollama客户端安装

1. 访问下载地址

 

2. 选择合适的平台安装(文件大小约700m)

notion image

3. 安装

 

Ollama使用-部署大模型

 

1. 挑选你想安装的模型

notion image

2. 根据电脑性能选择大小合适的模型

大家可以根据自己电脑的性能情况来选择合适的模型版本:
・1.5B:入门级别,硬件配置为“4GB 内存 + 核显”即可运行;
・7B:进阶级别,“8GB 内存 + 4GB 显存”即可运行;
・32B:适合高性能设备,“32GB 内存 + 12GB 显存”是推荐配置。
在这里,我推荐大家选择 7B 版本,因为绝大部分电脑都能运行。如果选择 7B,就复制“ollama run deepseek-r1:7b”。
notion image
 

3. 复制对应的运行命令,在CMD/终端 中执行

notion image
 
作为基层团队长如何做好绩效沟通CodeGPT插件安装及使用