前言   在学习 PyTorch 的过程中，发现资料里面经常提到乘法、点积（ *、 mul()、multiply()、mm()、bmm()、mv()、dot()、matmul()、@）等等，总是傻傻的弄不清，总是不明白资料里面的结果是如何计算出来的，于是就找点资料研究一下，这里做一下记录。 对位相乘（mul 、multiply 、*）   mul 、multiply 、*，这三者效果是...

前言   部署了一个私有化模型 Stable Diffusion ，在部署的时候总是报一个错误，Can't load tokenizer for 'openai/clip-vit-large-patch14'，查了一下，是因为网络原因，clip-vit-large-patch14 这个下载失败。然后手动下载，发现这个很大。下载完成后又下载模型文件，也很大。于是就有一个问题：这个文件是啥？经...

前言   随着 ChatGPT 的出现，AI 变得异常火爆，如果你不知道 AI ，好像就和这个高速发展的时代脱节了。所有最近也一直在研究 AI 相关的技术，之前也做过 私有化部署Llama，用来生成文本，部署过程很简单的，增加了不少信心，今天打算再部署一个 Stable Diffusion，用于生成图片。 环境   部署之前看了不少资料，都是说可以不用显卡，只使用CPU也可以，就是生成...

介绍   Conda 是一个开源的软件包管理系统和环境管理系统，用于安装多个版本的软件包及其依赖关系，并在它们之间轻松切换。Conda 是为 Python 程序创建的，适用于 Linux，OS X 和Windows，也可以打包和分发其他软件。类似的软件包管理器还有 venv， pyenv ，virtualenv 等。 venv：Python 3.3及更高版本内置的模块，用于创建虚拟...

介绍   PromQL是Prometheus的自定义查询语言。通过PromQL用户可以非常方便地对监控样本数据进行统计分析，PromQL支持常见的运算操作符，同时PromQL中还提供了大量的内置函数可以实现对数据的高级处理。被广泛应用在Prometheus的日常应用当中，包括对数据查询、可视化、告警处理当中。 类型   PromQL支持以下四种类型： Instant vecto...

样本   Prometheus会将所有采集到的样本数据以时间序列（time-series）的方式保存在内存数据库中，并且定时保存到硬盘上。time-series是按照时间戳和值的序列顺序存放的，我们称之为向量(vector). 每条time-series通过指标名称(metrics name)和一组标签集(labelset)命名。Prometheus采集到的数据称为样本(sample)，一...

介绍   Prometheus是一个用Golang语言编写的开放性的监控解决方案，用户可以非常方便的安装和使用Prometheus并且能够非常方便的对其进行扩展。为了能够更加直观的了解Prometheus Server，接下来我们将在本地部署并运行一个Prometheus Server实例，通过Node Exporter采集当前主机的系统资源使用情况。 并通过Grafana创建一个简单的可...

Modelfile   在Ollama中，模型文件（Model File）是一个蓝图，它用于创建和共享模型。 实例 FROM ./Llama3-8B-Chinese-Chat.q6_k.GGUF TEMPLATE """{{ if .System }}<|start_header_id|>system<|end_header_id|> {{ .System ...

开篇   最近一直研究各种AI，也尝试了很多，今天想自己深入研究一下，从在 Ubuntu 上私有化部署一个AI开始。 Ollama   Ollama 是一个本地部署的大模型运行框架，它提供了一个简单的命令行工具来帮助用户在本地运行大模型。Ollama 支持多个大模型，包括 运行Llama 3、Phi 3、Mistral、Gemma和其他型号和定制并创建您自己的模型。Ollama 支持 ...

开篇   随着2022年年底chatGPT的发布，人工智能已经成为目前最热门的词语。接踵而至的是各个公司都推出了自己的人工智能，这其中包括微软、谷歌、亚马逊、百度等，同时也有不少开源的大模型。好像一下子这个世界就是AI的世界，我对AI产生了浓厚的兴趣。   可能是我看多了科幻片，对AI的想象太过于复杂了。我一直觉得人工智能会最终代替人类，当然这是一个漫长的过程，但是也可能不是那么的漫长。...