大岛浩1886年4月19日,大岛浩生于名古屋,其父大岛建一是军人出身,年轻时曾留学德国,对德军的训练教育感受很深,他生得鼻直口方,很是英武。大岛健一教育儿子完全是德国式教育。他命令大岛浩每天必须记住10个德语单词,晚饭前进行背诵。每逢星期日和冬夏两个假期,大岛浩又被送到德国驻日使馆人员的家里,在思维、游戏、生活等方面进行全方位式德式化熏陶。因此,大岛浩从小就争强好胜,脾气暴躁。
大岛浩和东条英机关系很好,如果不是因用功过度而患胸膜炎休学一年的话,他和东条英机就是同班同学。
1905年,大岛浩从陆军士官学校毕业。他的要塞炮兵课程成绩名列榜首,因此被分配到东京湾要塞炮兵队服役。
1908年,大岛浩晋升为中尉;1915年,又拿到陆军大学的毕业证书,毕业成绩名列14;1916年升为上尉,从此他步步高升,青云直上;1921年出任驻德大使馆副武官。
大岛浩踏上德国的土地之后,受到了像返回祖国般的热情款待。因为他的父亲大岛健一在担任陆军大臣时,对第一次世界大战中的德军俘虏非常照顾,父亲的好名声使儿子得到了好处。
大岛浩把自己完全德国化了。他的军服都要在德国军官常去的服装店制作;帽子也是德国陆军的样式,帽檐儿很高;大衣也是开胸很大的德国式。总之,除他的个头比较矮小之外,简直跟德国军官一模一样。
大岛浩晋升为少校后,立即于1933年调任驻奥地利兼匈牙利公使馆武官;一年半后回国,先后担任了第8野战重炮团营长、第10野炮重炮团团长、参谋本部处长等职。1934年3月,他正式出任驻德大使馆武官。之后10余年,他一直为日德军事同盟而奔波,出谋划策,搜集情报,极尽外交家兼谍报人员之能事。