from local

This commit is contained in:
dohe0342 2023-05-25 17:24:43 +09:00
parent 9b1c9001b2
commit b878e5d6c1
3 changed files with 4 additions and 4 deletions

View File

@ -162,10 +162,10 @@ class LoRAModule(nn.Module):
self.reset_parameters() self.reset_parameters()
def reset_parameters(self): def reset_parameters(self):
nn.init.zeros_(self.lora_B.weight.data) #nn.init.zeros_(self.lora_B.weight.data)
nn.init.zeros_(self.lora_B.bias.data) #nn.init.zeros_(self.lora_B.bias.data)
#nn.init.normal_(self.lora_B.weight.data) nn.init.normal_(self.lora_B.weight.data)
#nn.init.normal_(self.lora_B.bias.data) nn.init.normal_(self.lora_B.bias.data)
nn.init.normal_(self.lora_A.weight.data) nn.init.normal_(self.lora_A.weight.data)
nn.init.normal_(self.lora_A.bias.data) nn.init.normal_(self.lora_A.bias.data)