Флотилия создавалась на основе Беломорской военно-морской базы Северного флота. Её корабельный состав более чем на 90 процентов состоял из бывших гражданских судов. Ядро флотилии составили переоборудованные морские рыболовные траулеры, ставшие тральщиками и сторожевыми кораблями. Из грузопассажирских пароходов Северного морского пароходства сделали минные заградители и санитарные транспорты.
К началу 1942 года БВФ насчитывала 40 кораблей и до 100 катеров, а всего в её состав входили дивизион эсминцев и сторожевых кораблей, дивизион минных заградителей, бригада траления, Беломорский сектор береговой обороны и Иокангская военно-морская база.
Первым командующим флотилией стал контр-адмирал Михаил Михайлович Долинин. Он руководил БВФ с 4 августа по 7 октября 1941 года. Впоследствии флотилию возглавляли вице-адмиралы Г. А. Степанов, С. Г. Кучеров и Ю. А. Пантелеев.
Для обороны проливов Карские Ворота и Югорский Шар, портов и полярных станций в конце августа 1941 года в составе флотилии был создан Северный отряд. Его базами стали посёлки Амдерма и Диксон. В состав отряда, помимо сторожевых кораблей и береговых батарей, входили авиагруппа и отряд ледоколов. В 1942 году была сформирована Новоземельская военно-морская база в губе Белушья, а в 1944-м — Карская военно-морская база на острове Диксон.
Задачи флотилии выходили далеко за рамки охраны побережья. Беломорцы обеспечивали проводку до Архангельска транспортов из состава внешних конвоев, обороняли Белое море и новоземельские проливы, осуществляли войсковые переброски по внутренним морским коммуникациям.
За время войны БВФ обеспечила проводку более 2500 транспортных судов, осуществила минные постановки в Горле Белого моря и несла дозорную службу. В зоне ответственности флотилии прошло около 700 союзных транспортов, доставивших два миллиона тонн грузов — почти половину всего импорта, принятого через северные порты СССР.
Беломорская военная флотилия была расформирована в апреле 1945 года, выполнив свою задачу по защите арктических рубежей и обеспечению жизненно важных морских коммуникаций в годы Великой Отечественной войны.