Từ mùa thu năm 1945, có khoảng 5.000 quân Nhật ở lại Đông Dương, một số sử gia gọi họ là kẻ đào ngũ, nhưng có lẽ họ ở lại chiến đấu vì lí tưởng giải phóng châu Á khỏi thực dân phương Tây. Và trong thời gian đầu, họ đã giúp Việt Minh hiểu biết hơn về chính phủ và chiến tranh.
Sau chiến tranh, Việt Nam bị chia đôi theo vĩ tuyến 16 với miền Bắc do Trung Quốc kiểm soát, và miền Nam do Anh kiểm soát. Trong khi Trung Quốc sẵn sàng đối thoại hòa bình để thống nhất Việt Nam, Anh khá là e dè về việc này.
Những người lính Nhật đầu tiên đã được Đại tướng Võ Nguyên Giáp chiêu mộ và trang bị vũ khí của Nhật hoặc Pháp mà Việt Minh thu được, và trong một thời gian ngắn, một lượng lớn cựu binh và sĩ quan Nhật đã gia nhập lực lượng Việt Minh. Đối với họ, việc quay lại Nhật là không thể vì họ không còn gì nữa, không gia đình, người thân, bị người Nhật hắt hủi. Vì thế, một số người Nhật đã ở lại và kết hôn với con gái Việt Nam.
Vào tháng 9/1945, sau một nỗ lực chiêu mộ của Việt Minh, có khoảng 50.000 binh sĩ và thường dân Nhật tại Đông Dương gia nhập hàng ngũ Việt Minh. Tuy nhiên, vào tháng 12/1946, 32.000 người đã được hồi hương, 3.000 người chạy sang đảo Hải Nam nên con số ấy giảm xuống còn 2600 người (ước lượng, và thực tế chỉ là 1000).
Ở Thái Nguyên, người Nhật điều hành một nhà máy chuyên sản xuất vũ khí cho Việt Minh. Cá biệt, có ông Kiyoshi Komatsu, một trí thức Tây học đã lãnh đạo Hội đồng Quốc tế về tiếp viện và hỗ trợ cho chính phủ Việt Minh tại Hà Nội.
Tại Quảng Ngãi, một trường quân sự của Việt Minh đã được mở và 36 trên 50 hướng dẫn viên tại đây là cựu sĩ quan Nhật.
Thiếu tá Ishii Takuo, một sĩ quan trẻ của Sư đoàn 55 tại Miến Điện, người đã đào ngũ sang Campuchia vào năm 1945 đã đến Việt Nam cùng những người đồng chí và được phong hàm Thiếu tá, đồng thời được giao cho việc quản lí trường quân sự Quảng Ngãi, sau đó là “cố vấn cấp cao” cho du kích Việt Minh.
Tại Huế, vào năm 1947, Pháp đã đánh nhau với 150 quân Nhật đột kích vào căn cứ. Cũng vào năm 1947, Ishii đã tổ chức một cuộc mai phục và tiêu diệt 50 lính Pháp.
Vào năm 1949, Koshiro Iwai đã dẫn đầu một nhóm lính Việt Minh đột kích phía sau phòng tuyến Pháp, sau đó Iwai đã trở thành chiến lược gia của Trung đoàn 147 Việt Minh và giúp Việt Minh sử dụng những khẩu pháo mới mua từ Trung Quốc.
Năm 1951, những người “cố vấn” Nhật bắt đầu được hồi hương thông qua ngả Trung Quốc, nhưng số đông họ vẫn ở lại Việt Nam chiến đấu và hòa nhập vào cuộc sống tại Việt Nam, vì đối với họ – những Ronin hiện đại, Việt Nam là gia đình mới của họ.
