from local

This commit is contained in:
dohe0342 2023-05-25 21:04:36 +09:00
parent 8ea8568507
commit 684cfbf63f
2 changed files with 4 additions and 4 deletions

View File

@ -162,10 +162,10 @@ class LoRAModule(nn.Module):
self.reset_parameters() self.reset_parameters()
def reset_parameters(self): def reset_parameters(self):
#nn.init.zeros_(self.lora_B.weight.data) nn.init.zeros_(self.lora_B.weight.data)
#nn.init.zeros_(self.lora_B.bias.data) nn.init.zeros_(self.lora_B.bias.data)
nn.init.normal_(self.lora_B.weight.data) #nn.init.normal_(self.lora_B.weight.data)
nn.init.normal_(self.lora_B.bias.data) #nn.init.normal_(self.lora_B.bias.data)
nn.init.normal_(self.lora_A.weight.data) nn.init.normal_(self.lora_A.weight.data)
nn.init.normal_(self.lora_A.bias.data) nn.init.normal_(self.lora_A.bias.data)