一家三代，奠定家族发达基础
明初，一支黄姓人迁到南充境内。由于缺失明确的史料，这支黄姓人入川后的数代人至今难以考证，只追溯到黄辉曾祖父黄铣泽一代。
黄辉家族的兴盛发端，是从黄铣泽开始的。黄铣泽通过发奋读书，考取了一等秀才，也就是廪生，每月能得到官府廪膳补助六斗米。黄铣泽一生没有做过官，但他培养出了儿子黄廷珍。李德先考证说，黄廷珍是正二品京官，曾任江南按察使司，巡按苏州、湖州、河阳州，黄廷珍奠定了黄氏家族发达的基础。
黄廷珍的儿子，也就是黄辉的父亲黄希正(字子元，号春亭)读书很厉害。嘉靖19年(1540)，黄子元在四川乡试中，考取了解元(举人第一名)。此后，黄子元当过知县、同知(副知府)、知府、御史、按察使司等。
因黄子元清廉稳练，严于律己，仁慈爱人，宽厚惠民，隆庆帝朱载垕敕授他为王府长史、翰林院谕德，黄子元由此进入翰林院。翰林院谕德的职责，是专门负责对太子进行道德教育。
1572年，10岁的太子朱翊钧即位，年号万历。因工作干得出色，按照首辅张居正规定的教学内容，黄子元继续担任万历帝的谕德老师。
1582年，张居正去世。20岁的万历帝，不仅废止了“万历新政”，还对张居正进行了清算。曾经对万历帝进行过严格教育的黄子元，“失业”了。
黄子元赋闲回到老家，把黄家沟的老宅重新进行修整，在南充县境内选择自然条件好的多个地方购置田产，颐养天年，直到去世。黄家老宅，至今仍住着他的后裔。
黄子元有黄光、黄辉、黄耀、黄韑、黄烨5个儿子，以及一个女儿。5个儿子中，最有出息的是黄辉。
15岁那年，黄辉考中四川解元
黄辉，字平倩(昭素)，号慎轩，又号无知居士、云水道人。黄辉出生在黄家沟的黄家老宅，7岁时，进入顺庆府金泉书院读书，拜任瀚为师。任瀚也是西充人，嘉靖8年(1529)考中进士，官至翰林院侍讲，是“嘉靖八才子”、“西蜀四大家”(杨慎、任瀚、赵贞吉、熊过)之一。
万历元年(1573)，15岁的黄辉参加四川乡试，一举夺得解元，比父亲黄子元厉害多了。万历17年(1589年)，黄辉进京赴考，考中进士，次年被万历帝选为庶吉士，进翰林院做编修。
后来，黄辉先后升任右中允、礼部右侍郎，主管教育训导太子朱常洛的詹事府，兼翰林院侍读学士，担任东宫日讲官，给朱常洛讲课。
万历帝一直不喜欢朱常洛，专宠郑贵妃。黄辉与时任给事中的老乡王德完合计，由黄辉起草奏章，王德完呈进，“欲主上笃厚中宫。”结果，王德完被革职还乡。黄辉看破世事，万历30年(1602)，他辞去职务，请了长假，回到老家。
万历48年(1620)初秋，万历帝驾崩，39岁的朱常洛继位，是为明光宗，改年号为泰昌。朱常洛雄心勃勃，上位后就大刀阔斧进行改革，起用一批被万历帝打压的忠良大臣。其中，王德完被任命为太常少卿，黄辉为少詹事兼侍读学士。
为表彰黄子元、黄辉父子两代帝师，朱常洛叫人制作了“父子承恩”匾和“无死牌”(俗称免死牌)，送往黄辉老家。没想到的是，刚当上皇帝29天的朱常洛，暴病驾崩了，成为中国历史上倒数第二的短命皇帝。
正在老家赋闲的黄辉，先后接到这一喜一悲的消息。悲喜交加中，黄辉病倒了。明朝内外交困，国势堪忧，更加剧了黄辉的病情。第二年，天启元年(1621)，黄辉在无限遗憾中去世。
李德先说，关于黄辉的去世年份，如今有1612年和1621年的说法，仍需要进一步考证确定。
