Le film s'ouvre avec Edie (Miller) arrivant à New York depuis sa riche maison de Boston. Elle rencontre Andy Warhol (Pearce) et fait partie de sa scène Factory, un groupe d'artistes, musiciens et interprètes qui ont vécu et travaillé ensemble dans le studio de Warhol. Edie devient rapidement la muse de Warhol et apparaît dans plusieurs de ses courts métrages et œuvres d'art.
À mesure que l'étoile d'Edie grandit, elle s'implique de plus en plus dans le milieu de la drogue et sa relation avec Warhol commence à se détériorer. Elle commence également à sortir avec Billy Quinn (Christensen), un musicien charismatique, mais leur relation est tumultueuse et finit par se terminer. Le déclin d'Edie se poursuit et elle finit par mourir d'une overdose de drogue en 1971 à l'âge de 28 ans.
Factory Girl est une histoire tragique sur l'ascension et la chute d'une jeune femme à la fois belle et talentueuse mais finalement détruite par ses démons. Le film offre un aperçu du monde d'Andy Warhol et de la Factory et capture l'esprit des années 1960.
Le film a reçu des critiques mitigées de la part des critiques, qui ont loué la performance de Miller mais ont critiqué la représentation de Warhol et de l'usine dans le film. Cependant, le film fut un succès commercial et rapporta plus de 12 millions de dollars dans le monde.