https://github.com/PKU-Alignment/align-anything

Align-Anything旨在使任何模态的大型模型（任意对任意模型）与人类的意图和价值观对齐，包括LLMs、VLMs等。有关大型模型对齐的定义和里程碑的更多细节，请参见AI对齐。总体而言，此框架具有以下特点：

高度模块化的框架。其多样性源于不同算法类型的抽象和精心设计的API，使用户能够轻松修改和定制代码以适应不同任务。
支持各种模型微调。该框架包括对LLaMA3.1、LLaVA、Gemma、Qwen、百川等模型的微调能力（请参见模型库）。
支持跨任何模态的微调。它支持针对不同模态模型的微调对齐，包括LLMs、VLMs和其他模态（请参见开发路线图）。
支持不同的对齐方法。该框架支持不同的对齐算法，包括SFT、DPO、PPO等。

本来我觉得好像还不错，但在今天的2024生成式AI大会上，看了项目介绍人说到某价值观，才发现没那么简单。

AI 未来如何，大自然自有其安排。谁说的都不好使。

#ccc;font-size:1rem; color: currentColor;border-radius:8px;display:flex;text-decoration:none" >

github.com

GitHub - PKU-Alignment/align-anything: Align Anything: Training All-modality Model with Feedback

Align Anything: Training All-modality Model with Feedback - PKU-Alignment/align-anything