細川正義の次男として江戸で生まれた忠義は、早くに母を亡くして野州鹿沼の叔父細川正平に預けられ、この地にて鍛冶を修業。二十一歳の時に出府して父正義に就き、やがて津山藩松平家に抱えられ、父と同じく同藩の下屋敷鍛冶細工所詰めとなる。嘉永二年には異母弟の細川正守に津山藩工を譲り、自らは佐倉の瑳玖に移住、長男忠正、三男義則の協力を得、藩主堀田正睦が老中主座となって意気高揚する佐倉藩士の佩刀を鍛え、明治三年七月六日、奇しくも庶民帯刀禁止令発布の年に五十九歳で没している。