正守は細川正義の次男で文政五年十月十九日の生まれ。天保十四年十一月二十二歳の時に江戸へ出て父の指導を受けることとなる。これにより技術が上達し、さらに江戸の風で感性が磨かれ、精良な地鉄に溌剌たる丁子乱刃の冴えた作風は父を凌ぐ程であり、父と同様作州津山藩工となる。