Phan Văn Vĩnh sinh ngày 19 tháng 5 năm 1955 tại thị trấn Ngô Đồng, huyện Giao Thủy, tỉnh Nam Định.
Ngày 16 tháng 9 năm 1978, ông gia nhập Đảng Cộng sản Việt Nam.
Năm 2000, khi đang là Phó Giám đốc Công an tỉnh Nam Định, ông được Chủ tịch nước Việt Nam phong tặng danh hiệu Anh hùng lực lượng vũ trang nhân dân.[3]
Có nhiều giai thoại về việc Phan Văn Vĩnh “mưu trí” phá án giai đoạn trước năm 2000, như việc ông cho đốt đống rơm nhà kẻ tình nghi trộm thóc hợp tác xã, lợi dụng chữa cháy để tìm tang vật vụ án; bắt cóc tội phạm trùm bao giải rút lên đầu và đặt anh ta nằm ngang trên đường ray xe lửa để buộc anh ta phải cung khai, hay đưa tiền cho đầu gấu giang hồ để chúng dạt sang vùng khác tạm lánh khỏi tỉnh Nam Định (3 nhà văn Minh Chuyên, Nguyễn Kế Nghiệp, Nguyễn Hồng Lam làm chứng).[4]
Tháng 5 năm 2005, ông là Đại tá Công an nhân dân, Anh hùng lực lượng vũ trang nhân dân, Phó Giám đốc Công an tỉnh Nam Định.[5]
Ngày 25 tháng 4 năm 2007, Đại tá Phan Văn Vĩnh, Giám đốc Công an tỉnh Nam Định, được Thủ tướng Chính phủ Việt Nam Nguyễn Tấn Dũng thăng quân hàm Thiếu tướng.[6]
Từ năm 2007 đến năm 2011, Phan Văn Vĩnh là đại biểu Quốc hội Việt Nam khóa XII thuộc đoàn đại biểu Quốc hội tỉnh Nam Định.[7]
Tháng 1 năm 2012, Phan Văn Vĩnh là Thiếu tướng, Tổng cục trưởng Tổng cục Cảnh sát Phòng chống tội phạm, Bộ Công an (Việt Nam) (Tổng cục VI).[8] Trong thời gian này, ông là Trưởng ban chỉ đạo chuyên án điều tra vụ thảm sát do Lê Văn Luyện gây ra tại Bắc Giang.[7]
Phan Văn Vĩnh cũng là Trưởng ban chuyên án vụ bắt giữ “bầu” Kiên.[9]
Tháng 5 năm 2012, Phan Văn Vĩnh là Trung tướng Công an nhân dân Việt Nam, Tổng cục trưởng Tổng cục Cảnh sát phòng chống tội phạm, Bộ Công an.[10]
Từ tháng 12 năm 2014 đến tháng 4 năm 2017, ông là Trung tướng Công an nhân dân Việt Nam, Tổng cục trưởng Tổng cục Cảnh sát, Bộ Công an Việt Nam.[11]
Tháng 4 năm 2017, Phan Văn Vĩnh nghỉ hưu.[11]
Ngày 06 tháng 4 năm 2018, Phan Văn Vĩnh bị bắt tạm giam 4 tháng vì liên quan tới đường dây đánh bạc trên Internet.[7] Cùng ngày, Chủ tịch nước Trần Đại Quang ký quyết định tước danh hiệu Công an nhân dân đối với ông
Phan Văn Vĩnh cũng bị khai trừ ra khỏi Đảng Cộng sản Việt Nam.
Sáng ngày 30 tháng 11 năm 2018, Phan Văn Vĩnh bị Tòa án nhân dân tỉnh Phú Thọ tuyên án (sơ thẩm) phạt 9 năm tù và 100 triệu đồng với tội “Lợi dụng chức vụ, quyền hạn trong khi thi hành công vụ” trong vụ án đường dây đánh bạc ngàn tỉ xuyên Việt Nam trên mạng Internet sau 13 ngày xét xử sơ thẩm công khai và 5 ngày nghị án.[12]
Ngày 10/9/2019, Cơ quan điều tra VKSND tối cao đã tống đạt quyết định khởi tố bị can đối với ông Phan Văn Vĩnh, nguyên Thủ trưởng Cơ quan Cảnh sát điều tra Bộ Công an về tội “Ra quyết định trái pháp luật” theo quy định tại Khoản 2 Điều 371 Bộ luật hình sự năm 2015. Quyết định khởi tố bị can trên đã được VKSND tối cao (Vụ 6) phê chuẩn.