VAST 开源项目安装与使用指南
1. 项目目录结构及介绍
VAST 是一个基于多模态的视觉-音频-字幕-文本基础模型及其数据集。其项目结构精心组织，便于开发者快速上手。以下是其主要目录结构概览：
根目录下重要组件：
config: 包含了各种配置文件，用于控制模型训练和评估过程的参数。data: 存放处理过的数据或者指向外部数据的路径。evaluation 和 evaluation_tools: 提供评估模型性能的脚本和工具。img: 可能存放项目相关的图像资源。model: 模型架构定义的代码。scripts/vast: 包含多个脚本，如模型微调、预训练等操作。utils: 辅助函数和工具集合。LICENSE, README.md, THIRD_PARTY_LICENSES.md: 分别是许可证文件、项目读我文件和第三方库许可文件。
关键子目录说明:
pretrained_weights: 预训练权重的存储位置，包括EVA-CLIP、BEATs、BERT等模型的权重。output: 存放模型训练结果、标注数据和微调后的模型。datasets: 下载并存放下游任务的数据集注释文件。
2. 项目的启动文件介绍
初始化环境与下载依赖
首先，通过以下步骤设置开发环境：
使用Python 3.9和Cuda 11.7（或其他兼容版本）。创建一个名为vast的Conda虚拟环境并激活它。运行preinstall.sh脚本来安装项目所需的包。
主要执行脚本
预训练模型: 要进行模型的预训练，运行位于scripts目录下的pretrain_vast.sh脚本。
微调任务:
例如，对于检索任务，使用scripts/vast/finetune_ret.sh。对于captioning（标题生成），则使用scripts/vast/finetune_cap.sh。QA任务，则执行scripts/vast/finetune_qa.sh。
测试已训练模型:
修改上述微调脚本中的命令，添加--mode 'testing'和指定模型检查点的路径来测试模型。
3. 项目的配置文件介绍
配置文件位于config目录下，这些.json文件控制着训练和评估的各种参数，包括但不限于学习率、样本数量、任务类型、是否启用检查点保存等。每个具体任务通常对应一个或多个配置文件，例如，finetune_cfg子目录下包含了用于不同下游任务的配置文件。
修改配置示例:
在微调或预训练之前，可以通过编辑相应的JSON配置文件来调整实验设置，比如调整学习率、批次大小等。
核心配置项:
learning_rate: 学习率设定。train_batch_size 和 test_batch_size: 训练和测试时的批次大小。train_epochs: 总训练轮次。config: 引用了特定的配置设置，对模型行为有直接影响。
确保在进行任何微调或预训练前详细阅读这些配置文件，并根据实际需求进行适当的调整。
以上即是对VAST项目的基本导航和使用说明，根据这些步骤，您可以顺利搭建和使用这个多模态的基础模型。