Proj.Yo2loRA

【建设中】

将Yolo与LoRA进行结合，面向通用模型针对特殊场景（如阳影、暗光、单色等）的非侵入式适应训练。通过“外挂”低秩矩阵，使得通用模型在不失去原有知识的前提下完成类MoE架构。

应用场景#

目标检测的场景迁移适应。

针对目标检测场景进行训练应用时，目标的检测效果往往会受到检测场景的影响，如在含有阳影与暗光的环境中。为了适应这些环境，我们往往需要再进行数据采集与训练。然而，该种场景的数据存在两个特点：

• 误导。在一些情况下，模型权重会大量的受到新训练数据的影响，导致新的模型在非特殊光线场景下的表现下降，甚至出现误检问题。
• 样本少。此类场景的样本采集难度必然高于普通场景的采集难度，特别是这类场景的数据还会出现难以标注的问题，场景迁移数据的收集效率必然要低于普通场景的数据。

第一个问题可以基于MoE（多专家系统）去进行解决。在通用方法中，我们或许需要完整训练（微调）出多个不同的模型去适应不同的场景。