黄家早年间也只算得上一个中等人家，经过几代人的努力，家中开了个不大不小的商号做买卖，基本上能够维持温饱。

黄以声自小聪明好学，家中长辈望子成龙，就将其送进张大帅开办的免费学堂上学，黄以声也没辜负家里人的厚望，学习成绩一直非常优秀，后来更是考入了东北大学就读，在大学里的成绩和品行都获得了师生的赞誉，被张大帅所看重。

这里就不得不说一下东北的张大帅，由于他从小就是个没读过几天书的孩子，教育一直以来成为他的心结，他认为要想国家强大，就要学习文化知识。

当年他没有条件读书学习，在他成为东北第一大军阀时，他最先开始关注当地的教育，当时的各路军阀，都在扩大自己的兵力和地盘，而张大帅却在教育上投入大量财力物力，他要求东北各地区教育经费一定要占总支出4成，各项费用不得挪用教育经费，其他经费可以适当缩减。

当时东北出现许多高等师范类院校，在那里学习，不用交学费还给发伙食费，一天免费三餐非常丰盛，而这些费用全由奉天政府买单。

后来，他又于1923年创办了全国一流的东北大学，他还自掏腰包，花大价钱，从全国各地请一些优秀的教育家在东北大学任教。

在当时东北大学规模巨大，功能齐全，师资力量雄厚，在国内亦是首屈一指，当时的教学水平已经比肩清华北大，差点就成为中国第一大学。

张大帅还不仅仅满足于自己培养人才，他还在大学里挑选优秀尖子，自己出资送到国外去留学，学习西方列强先进的科学知识和技术。

黄以声就有幸被选中并送到法国留学化工专业，学成归国后直接就被任命为沈阳兵工厂的工程师。

黄以声也很为大帅争气，第二年就带领研发小组为兵工厂研制出了黄色火药并投入生产，从此沈阳兵工厂的枪弹火药再也不用依赖从日本进口，相当于解开了日本人套在东北军脖子上的一道枷锁，这也增加了日本人对越来越不受控制的张大帅的忌惮和恨意，为后面的皇姑屯事件埋下了伏因。

张大帅为此还重奖了黄以声并将他提拔为少将参事，全面负责沈阳兵工厂的生产管理工作。