Ерофеев вырос в семье офицера, лётчика морской авиации. В Военно-Морском Флоте он с 1957 года. В 1961 году окончил Каспийское высшее военно-морское училище имени С. М. Кирова. Затем последовательно прошёл обучение на Высших специальных офицерских классах ВМФ, в Военно-морской академии, с отличием и в Военной академии Генерального штаба, с золотой медалью.
Службу начал на Северном флоте: командир рулевой группы дизельной подводной лодки С-14, затем командир электронавигационной группы и штурманской боевой части на атомных подводных лодках К-50 и К-14. В 1966 году в качестве штурмана участвовал в одном из первых переходов атомных подводных лодок подо льдами Арктики с Северного флота на Тихоокеанский.
С 1969 года Ерофеев служил на Тихоокеанском флоте: помощник командира, старший помощник, командир ракетного подводного крейсера стратегического назначения, начальник штаба дивизии, командир дивизии атомных подводных лодок. В 1981 году он впервые в истории Советского ВМФ руководил переходом атомной подводной лодки К-255 с Тихоокеанского на Северный флот подо льдами Арктики. С 1982 года — начальник штаба флотилии атомных подводных лодок ТОФ.
В 1987 году Ерофеев вернулся на Северный флот. Сначала командовал флотилией атомных подводных лодок, затем стал начальником штаба — первым заместителем командующего Северным флотом. В марте 1992 года его назначили командующим Северным флотом с присвоением звания адмирала. На этом посту он оставался до января 1999 года.
За годы службы Ерофеев лично совершил 15 походов на боевую службу, был допущен к самостоятельному управлению подводными лодками семи проектов. Под его руководством выполнялись стрельбы баллистическими ракетами с Северного полюса полным боекомплектом с атомного ракетного подводного крейсера стратегического назначения, совместные стрельбы крылатыми ракетами.
Под командованием Ерофеева морская авиация осваивала полёты с первого отечественного авианосца. В 1994 году он имел опыт взлёта и посадки на корабль в качестве второго пилота на Су-25УТГ.
Олег Александрович Ерофеев награждён орденами Ленина, Октябрьской Революции, «За военные заслуги» и медалями. Кандидат военных наук, Заслуженный специалист Вооружённых Сил СССР. Скончался 24 декабря 2022 года в Москве на 83-м году жизни.