Kyligence AI 服务 - 让大模型完成准确、可靠的数值计算和回答! 立即了解更多
AI 数智助理
Kyligence Zen Kyligence Zen
Kyligence Enterprise Kyligence Enterprise
Kyligence Turbo Kyligence Turbo
指标平台解决方案
OLAP 解决方案
行业解决方案
客户总览
金融
零售
制造
医药
其他
云平台
BI
寻求合作
资源
Kyligence Enterprise
Kyligence Zen
培训
Apache Kylin
Byzer
Gluten
博客
关于
市场活动
2025年1月,DeepSeek 正式发布 DeepSeek-R1 推理大模型。DeepSeek-R1 成本价格低廉,性能卓越,在 AI 行业引起了广泛关注。
DeepSeek 提供了多种使用方式,满足不同用户的需求和场景。本地部署在数据安全、性能、定制化、成本、离线可用性和技术自主性方面具有显著优势。
本文详细讲解基于 Ollama+Docker+OpenWebUI 的本地化部署流程,并通过实例代码演示。
1.1 硬件需求
DeepSeek-R1 本地部署的硬件需求如下:
本教程使用的硬件配置为:CPU: Intel i5-12490/3.00GHz,内存: 32GB,存储: 500GB SSD,GPU: NVIDIA GTX 3060。
1.2 软件依赖
DeepSeek-R1 本地部署的软件依赖包括操作系统、容器化工具、编程语言、深度学习框架、数据库、消息队列、Web 服务器、GPU 加速工具、版本控制、包管理工具、监控与日志工具以及安全工具。
本教程采用 macOS 操作版本、Python 3.11 版本、PyTorch 1.7 版本、Ollama。
2.1 Ollama 的下载
Ollama 是一个开源的本地模型运行工具,可以方便地下载和运行各种开源模型,如 Llama、Qwen、DeepSeek 等。Ollama 提供高效、灵活的大模型部署和管理解决方案,可以简化模型的部署流程。支持macOS、Linux、Windows 操作系统。
官网地址:https://ollama.com/
下载地址:https://ollama.com/download
2.2 Ollama 的安装下载完成后直接点击 Download 进行安装(window/linux 雷同)。安装完成后,cmd 打开命令行窗口,输入 “ollama -v” 测试,显示 ollama 的版本为 “0.5.7”,表明安装成功。
2.3 Ollama 的运行
Ollama 没有用户界面,在后台运行。
打开浏览器,输入 “http://localhost:11434/”,显示 “Ollama is running”。
3.1 Ollma 安装 DeepSeek-R1 模型
1. 从 ollama 官网 查找 DeepSeek-R1 模型。
2.点击进入DeepSeek-R1模型,可以选择不同版本的模型(1.5b/7b/14b/32b/70b/671b)。
DeepSeek-R1 提供多个版本,参数量越大,模型的性能越强大,但也需要更多的存储和计算资源。1.5b 模型参数为15亿/1.1GB,7b 模型参数约为 70亿/4.7GB,14b 模型参数约为 140亿/9GB。
DeepSeek-R1 不同版本模型的执行命令不同:1.5b 的命令为:“ollama run deepseek-r1:1.5b”7b 的命令为:“ollama run deepseek-r1:7b”14b 的命令为:“ollama run deepseek-r1:14b”
DeepSeek-R1 不同版本模型的执行命令不同:
1.5b 的命令为:“ollama run deepseek-r1:1.5b”
7b 的命令为:“ollama run deepseek-r1:7b”
14b 的命令为:“ollama run deepseek-r1:14b”
3. 本教程选择选择 7b 模型,在命令行窗口运行安装命令 “ollama run deepseek-r1”(默认 7b),程序会自动下载和安装运行。
4. 安装完成后显示 “success”,表明安装成功。
3.2 使用 Deepseek-R1 模型
1. 输入 “/?”,可以获得帮助。
2. 在命令行窗口运行命令 “ollama run deepseek-r1”,就可以在提示行输入,与 DeepSeek-R1 进行聊天。
通过本地命令行窗口可以使用 DeepSeek-R1,但这让人回到了 DOS 年代,交互体验很差。接下来我们按照 Docker 和 Open WebUI 用户界面,可以更便捷地使用 DeepSeek-R1。
Open WebUI 是一个可扩展、功能丰富、用户友好的自托管 WebUI,旨在完全离线操作。它支持各种LLM运行程序,包括 Ollama 和 OpenAI 兼容的 API。Open WebUI 适配了 Ollama 接口,提供了 web 的方式来访问 Ollama API。
4.1 安装和启动 open-webui (python 环境)
1.打开 open-webui 项目的 Github 仓库 https://github.com/open-webui/open-webui:
2. 从 README 的安装指南找到用于 Ollama 的安装命令(本地有 Python3.11 的环境)
# Install Open WebUI: Open your terminal and run the following command to install Open WebUI: pip install open-webui # Running Open WebUI: After installation, you can start Open WebUI by executing: open-webui serve # This will start the Open WebUI server, which you can access at http://localhost:8080
3. 执行完运行脚本,可以直接通过 http://localhost:8080 访问界面,按照引导注册账号,就可以使用了。
4. 如果下载好了 ollama 的模型,在上面可以选择到对应的模型进行对话:
5. 下拉可以选择安装过的所有大模型。
6. 可以添加多个大模型进行比较。
Open WebUI 也支持 docker 安装,如果喜欢容器化的方式,可以按照 README 的说明尝试。
4.2 安装 OpenWebUI 以提供 Web 界面(Docker 方式)
1. 安装 Docker
2. 配置 Docker(可选)
3. 下载并运行 OpenWebUI
docker pull ghcr.io/open-webui/open-webui:main
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
关于 Kyligence
跬智信息(Kyligence)由 Apache Kylin 创始团队于 2016 年创办,是领先的大数据分析和指标平台供应商,提供企业级 OLAP(多维分析)产品 Kyligence Enterprise 和智能一站式指标平台 Kyligence Zen,为用户提供企业级的经营分析能力、决策支持系统及各种基于数据驱动的行业解决方案。
Kyligence 已服务中国、美国、欧洲及亚太的多个银行、证券、保险、制造、零售、医疗等行业客户,包括建设银行、平安银行、浦发银行、北京银行、宁波银行、太平洋保险、中国银联、上汽、长安汽车、星巴克、安踏、李宁、阿斯利康、UBS、MetLife 等全球知名企业,并和微软、亚马逊云科技、华为、安永、德勤等达成全球合作伙伴关系。Kyligence 获得来自红点、宽带资本、顺为资本、斯道资本、Coatue、浦银国际、中金资本、歌斐资产、国方资本等机构多次投资。
近年来,随着商业环境的竞争日益激烈,企业对于实时数据服务的需求急剧增加。Kyligence 在服务众多客户的过
数据要素在银行各业务领域和流程中发挥着至关重要的作用,面对激烈的市场竞争和客户需求,银行越来越注重从数据管理中
作为一名消费者,炎热的夏天我们会走进一家便利店,从冰柜中选出一瓶汽水;下午工作有点累了,我们会在公司的自动贩卖
2024 年伊始,Kyligence 联合创始人兼 CEO 韩卿(Luke)分享了对 AI 与数据行业的一些战
房地产行业是我国国民经济中的重要支柱产业之一,在房地产市场供求关系发生重大变化的当下,房企面临多重挑战。Kyl
今年年初,Kyligence 高级副总裁兼合伙人葛双寅(Silas Ge)受邀在阿斯利康“跃行致远三十周年年会
2024 年伊始,Kyligence 联合创始人兼 CEO 韩卿在公司内部的飞书订阅号发表了多篇 Rethin
400 8658 757
工作日:10:00 - 18:00
已有账号? 点此登陆
预约演示,您将获得
完整的产品体验
从数据导入、建模到分析的全流程操作演示。
行业专家解惑
与资深行业专家的交流机会,解答您的个性化问题。
请填写真实信息,我们会在 1-2 个工作日内电话与您联系。
全行业落地场景演示
涵盖金融、零售、餐饮、医药、制造等多个行业,最贴合您的业务需求与场景。
Data + AI 应用落地咨询
与资深技术专家深入交流,助您的企业快速落地 AI 场景应用。
立即预约,您将获得
精准数据计算能力:
接入高精度数值计算大模型服务,为您的企业级AI应用提供强大支持。
个性化业务场景解决方案:
量身定制的计算模型和数据分析服务,切实贴合您的业务需求和应用场景。
Data + AI 落地应用咨询:
与资深专家深入探讨数据和 AI 如何帮助您的企业加速实现应用落地,构建更智能的数据驱动未来。
申请体验,您将获得
体验数据处理性能 2x 加速
同等规模资源、同等量级数据、同一套数据处理逻辑,处理耗时下降一半
专家支持
试用部署、生成数据、性能对比各操作环节在线支持