开源模型：阿里通义千问

通义，由通义千问更名而来，是阿里云推出的语言模型，于2023年9月13日正式向公众开放。

地址：https://tongyi.aliyun.com/，https://tongyi.aliyun.com/qianwen

2024年6月7日，阿里巴巴正式开源了大模型：Qwen2。Qwen2一共有5种预训练和指令微调模型，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。

项目地址：https://github.com/QwenLM/Qwen2

Ollama（https://ollama.com/）

Ollama是一个功能强大的开源框架，旨在简化在Docker容器中部署和管理大型语言模型（LLM）的过程。

LLM在人工智能领域代表：“Large Language Model”，即大型语言模型。

Ollama已经支持QWen2，模型页面：https://ollama.com/library/qwen2

Ollama是一个本地运行 LLM 的工具，使用Go语言写的工具，支持：Llama、Gemma、Mistral等大模型，适用于Windows、macOS、Linux 操作系统。

Windows下载，下载完成后：OllamaSetup.exe

下载后直接安装，安装目录为：C:\Users\${user_home}\AppData\Local\Programs\Ollama

默认模型存放路径： C:\Users\${user_home}\.ollama\models

查看版本：ollama -v

使用命令行测试： ollama list

设置环境变量：OLLAMA_MODELS=E:\AppsData\Ollama\Image

命令运行：ollama run qwen2

对话开始：

Ollama可以设置的环境变量：

OLLAMA_HOST：这个变量定义了Ollama监听的网络接口，通过设置OLLAMA_HOST=0.0.0.0，可以让Ollama监听所有可用的网络接口，从而允许外部网络访问。

OLLAMA_MODELS：这个变量指定了模型镜像的存储路径，通过设置OLLAMA_MODELS=F:\Ollama，可以将模型镜像存储在其它盘，避免C盘空间不足的问题。

OLLAMA_KEEP_ALIVE：这个变量控制模型在内存中的存活时间，设置OLLAMA_KEEP_ALIVE=24h可以让模型在内存中保持24小时，提高访问速度。

OLLAMA_PORT：这个变量允许我们更改Ollama的默认端口，设置OLLAMA_PORT=8080可以将服务端口从默认的11434更改为8080。

OLLAMA_NUM_PARALLEL：这个变量决定了Ollama可以同时处理的用户请求数量，设置OLLAMA_NUM_PARALLEL=4可以让Ollama同时处理两个并发请求。

OLLAMA_MAX_LOADED_MODELS：这个变量限制了Ollama可以同时加载的模型数量，设置OLLAMA_MAX_LOADED_MODELS=4可以确保系统资源得到合理分配。

ollama的常用命令：

ollama serve， 启动ollama；

ollama create，从模型文件创建模型；

ollama show，显示模型信息；

ollama run，运行模型；

ollama pull，从注册表中拉取模型；

ollama push，将模型推送到注册表；

ollama list，列出模型；

ollama cp， 复制模型；

ollama rm，删除模型；

ollama help，获取有关任何命令的帮助信息。

API调用：

http://127.0.0.1:11434/api/generate

其他大模型：

ollama run llama2-chinese