from local

This commit is contained in:
dohe0342 2023-05-26 12:18:21 +09:00
parent 71d9672bc8
commit fff0a8c425
3 changed files with 4 additions and 4 deletions

View File

@ -162,10 +162,10 @@ class LoRAModule(nn.Module):
self.reset_parameters()
def reset_parameters(self):
#nn.init.zeros_(self.lora_B.weight.data)
#nn.init.zeros_(self.lora_B.bias.data)
nn.init.normal_(self.lora_B.weight.data)
nn.init.normal_(self.lora_B.bias.data)
nn.init.zeros_(self.lora_B.weight.data)
nn.init.zeros_(self.lora_B.bias.data)
#nn.init.normal_(self.lora_B.weight.data)
#nn.init.normal_(self.lora_B.bias.data)
nn.init.normal_(self.lora_A.weight.data)
nn.init.normal_(self.lora_A.bias.data)