Olsen comenzó a actuar cuando tenía cuatro años de edad y coprotagonizó en seis de las producciones de Mary-Kate y Ashley; también audicionó para la película Spy Kids. Ella casi dejó la actuación en 2004 por el frenesí mediático que rodeó el desorden alimenticio de Mary-Kate.
El primer papel importante de Olsen vino en 2011, cuando ella apareció en la críticamente aclamada película Martha Marcy May Marlene. Olsen fue nominada y ganó numerosos premios de la crítica por su interpretación del personaje titular Martha, una muchacha que sufre de paranoia y delirios después de huir a una secta y volver con su familia. A continuación apareció en el remake de la película de horror Silent House, en la que interpretó el papel de Sarah. Olsen filmó la película Red Lights durante mediados de 2011, y fue lanzada en Estados Unidos el 13 de julio de 2012. Protagonizó la película de Josh Radnor Liberal Arts, que fue lanzada el 22 de enero de 2012. Ella y Dakota Fanning protagonizaron Very Good Girls, lanzada en 2013.
En enero de 2013, Olsen fue nominada para el Premio BAFTA a la estrella emergente. Ella coprotagonizó en 2013 el remake estadounidense de la película surcoreana de 2003 Oldboy; ella interpretó a Marie, una joven trabajadora social quien desarrolla una relación con el protagonista, interpretado por Josh Brolin. Olsen interpretó a Edie Parker, la primera esposa de Jack Kerouac y autora de las memorias de la generación beat «You'll Be Okay», en Kill Your Darlings (2013).
Olsen protagonizó el remake de Godzilla en 2014, junto a Bryan Cranston y Aaron Taylor-Johnson.2 Olsen interpretó a la Bruja Escarlata en Avengers: Age of Ultron, la secuela de 2015 de The Avengers. Ella apareció como el personaje por primera vez en una escena en los créditos de la película Captain America: The Winter Soldier, otra vez junto a su coestrella de Godzilla Taylor-Johnson, quien interpretó a su hermano Quicksilver. Ella repitió su papel de Bruja Escarlata en la película de 2016 Captain America: Civil War