from local

This commit is contained in:
dohe0342 2023-05-25 01:05:38 +09:00
parent 39eceb3edc
commit 81d533d29d
2 changed files with 4 additions and 4 deletions

View File

@ -162,10 +162,10 @@ class LoRAModule(nn.Module):
self.reset_parameters() self.reset_parameters()
def reset_parameters(self): def reset_parameters(self):
#nn.init.zeros_(self.lora_B.weight.data) nn.init.zeros_(self.lora_B.weight.data)
#nn.init.zeros_(self.lora_B.bias.data) nn.init.zeros_(self.lora_B.bias.data)
nn.init.normal_(self.lora_B.weight.data) #nn.init.normal_(self.lora_B.weight.data)
nn.init.normal_(self.lora_B.bias.data) #nn.init.normal_(self.lora_B.bias.data)
nn.init.normal_(self.lora_A.weight.data) nn.init.normal_(self.lora_A.weight.data)
nn.init.normal_(self.lora_A.bias.data) nn.init.normal_(self.lora_A.bias.data)