В большинстве случаев эти термины взаимозаменямы.
Однако если различать эти понятия, то "plant" можно назвать более широким термином, обычно в качестве исходного материала там используются сырьё или различные виды энергии. "Factory" - несколько более узкое понятие, здесь сосредоточено именно производство и имеется в виду и сам комплекс зданий, что-либо производящих (чаще всего - товары массового потребления).