说明 Idea中可以直接通过Spring initializr创建srping boot项目，但如果想要添加spring web的支持还需要配置别的选项。 在摸索了一阵后，本文把需要的步骤记录下来，以供同样被困扰的同学参考。 环境准备 本文使用的是idea 2023.1版本。 新建项目 通过File->New->Project弹出新建项目框 在弹出的新建框中选择或填...
如何利用SFT训练出自己的Mistral 7B大模型
说明 利用huggingface的transformers包提供各种API，我们能在消费级显卡，比如3090，很容易的就微调出自己的大模型。比如本文就利用SFT（Supervised fine-tuning）微调出一个自己的模型。 环境准备 在开始之前首先要准备一台带有3090显卡的主机，且主机内存必须>64G。在机器准备完毕后就可以安装所需要的各种包了。 conda create...
如何从huggingface上下载数据集和模型
说明 从huggingface上下载文件有2种方式，一种是直接登录后在网页上下载；一种是通过huggingface-cli命令下载。本文介绍的是第二种下载方式。 安装 对于huggingface-cli命令的下载直接通过pip命令安装即可： pip install -U huggingface_hub[hub_transfer] 对于国内用户还可以通过设置镜像网站的方式加速下载： ...
windows中如何安装jdk并配置环境变量
下载安装包 打开链接jdk下载链接，可以看到当前最新的版本是jdk22. 本文演示采用的是jdk17版本。 安装 在下载完成后，双击exe文件即可开始安装。在弹出的安装路径中，记得选择自己容易找到的路径，以防将来忘记找不到了。 配置环境变量 在系统的左下角，对着windows的图标右键选择system： 在弹出的页面中选择高级系统设置->高级->环境变量....
FFMPEG读取视频流
平时都用opencv来解析视频流，但opencv集成的ffmpeg对比如h.264格式确不支持，因而还得使用ffmpeg。下面列出几种实用的用法： ffmpeg工作流程： _______ ______________ | | | | | input | demuxer | encoded dat...
pytorch中如何持久化保存和加载模型
pytorch中保存和加载离线模型是常见的操作，相信很多读者和我一样平时多是直接调用方法，少有关心内部实现。这种习惯往往会使得对方法的理解不透彻进而印象不深，本文将深如的探讨下torch.save()和torch.load()方法，以便加深印象和理解。 几个核心知识点： torch.save:基于pickle包将Module，tensor,dict等类型的对象序列化到本地...
RK3568之更新rknn_server
1.引言 之前一直使用的是pc端的环境，但为了校验RKNN模型的真机推理结果和实际的推理结果的差异，因而不得不连真机来检验检测结果。 2.准备工作 2.1 下载RKNN环境文件 安装RKNN环境可以选择whl的安装方式，也可以选择docker的安装方式。两种方式的安装文件可以通过百度云盘下载： 下载链接：https://eyun.baidu.com/s/3eTG3VsY 密码： rk...
yolov7之二：如何将COCO数据集转换为YOLOv7所需的格式
1.准备工作 如果不看分析可以直接跳到最末尾直接拷贝代码，然后配置好路径即可完成转换。 在本文开始前，需要准备好coco数据集 也可以直接使用如下脚本下载： #!/bin/bash # COCO 2017 dataset http://cocodataset.org # Download command: bash ./scripts/get_coco.sh # Download/u...
chatgpt之一：让ChatGPT教会你如何在Ubuntu安装Docker、Nvidia驱动
1.引言 语言模型一直都是近10年来的热点，从最早的n-gram到大放异彩的word2vector，再到transformer，直至最近的ChatGPT。ChatGPT的火出圈一方面说明语言模型近年来确实取得了比较好的效果，一方面也说明其他行业对于模型能力的认可。笔者最早在17年开始做chatbot,但有感于公司投入有限，所以改为计算机视觉方向。如今看到ChatGPT效果这么好，因而赶紧凑...
yolov7之一：初探YOLOv7
1.引言 从YOLOv1、YOLOv2、YOLOv3-6，以及各个变种YOLOR、YOLOX，YOLO系列的目标检测器一只都是学界和工程界的热点。最近YOLOv7被CVPR2023收录再次使得YOLO系列目标检测器得到了大家的关注。从放出来的结果来看，YOLOv7不仅MAP还是推理时延都超越了当前以往各种YOLO系列的检测器，也超过了以Dual-Swin-T为代表的transformer系列...