自1997年6月6日起，经过20年时间的艰苦创业、矢志耕耘，中国银行间市场已经成为覆盖债券、外汇、同业拆借、票据、黄金等业务的机构间市场，成为我国金融市场的重要名片。
根据国务院统一部署，以中国人民银行《关于各商业银行停止在证券交易所证券回购及现券交易的通知》（银发﹝1997﹞240号）为标志，银行间债券市场破壳于1997年上半年。
按照业内通常的说法，由于上述通知于1997年6月6日公布，商业银行撤出交易所的首日也在这一天，银行间债券市场的成立时点也由此上溯至这一天。在此以前，银行间市场的外汇、同业等业务最早起步于1994年，但直至银行间债券市场成立后才有了“银行间市场”的说法。
事实上，中国债券市场起步于更早的1981年国债的恢复发行。80年代中后期形成了很多地方性债券交易中心及柜台交易中心。1995年，武汉、天津证券交易中心以及全国证券交易自动报价系统的债券交易均出现巨大风险而停止交易。业内人士认为，这一阶段，由于债券市场建设方面存在制度性缺陷，我国债券市场总体发展非常缓慢。
自1997年6月6日起，经过20年时间的艰苦创业、矢志耕耘，中国银行间市场已经成为覆盖债券、外汇、同业拆借、票据、黄金等业务的机构间市场，成为我国金融市场的重要名片。
推倒重来：二次创业后的顶层设计
商业银行在1997年全部退出交易所市场，这是国务院为建立信贷资金与资本市场适度隔离的风险防范机制所作出的重大决策。与此同时，1997年亚洲金融危机爆发后，亚洲各国普遍对债券市场发展的重要性有了新的认识，着力发展本国债券市场。
1997年年底，我国召开首次全国金融工作会议，明确提出要发展资本市场，扩大直接融资。
在此背景下，相关部门总结教训、参考国际经验，加强债券市场顶层设计，对原来债券市场的模式与理念推倒重来，遵循市场发展客观规律，以面向合格机构投资者（QIB）和场外市场（OTC）模式建立了银行间债券市场，推动中国债券市场改革发展。1997年至2004年，银行间债券市场经由顶层设计步入健康发展阶段，基础设施建设得到加强，债券市场化程度得到较大提高。
1997年，全国金融工作会议召开后，经过几年的发展，银行间市场和交易所市场的定位逐渐清晰。银行间债券市场是定位于机构投资者，通过一对一询价方式进行交易的场外批发市场；交易所债券市场是定位于个人和中小机构投资者，通过集中撮合方式进行交易的场内零售市场。2001年，银行间债券市场的发行量、交易量和托管量首次超过交易所市场。
在此过程中，债券市场的基本制度相继建立。2000年发布了《银行间债券市场债券交易管理办法》，并按照国际成熟债券市场的经验，逐步引入了做市商、结算代理、货币经纪等制度安排，提高二级市场流动性。
与此同时，投资主体类型进一步丰富。1999年和2000年，基金、证券公司以及财务公司开始投资银行间债券市场。2002年，银行间债券市场实行准入备案管理，各类金融机构均可以备案的方式进入银行间债券市场。
2002年，为方便个人投资者买卖记账式国债，推出了商业银行柜台记账式国债交易。2003年，全国人大修订《中华人民共和国中国人民银行法》，将监督管理银行间债券市场确定为人民银行的法定职能之一。
市场化路径：银行间债市步入健康发展轨道
同样是在1997年至2004年这一阶段，针对中国仍处于市场化转轨、市场参与主体公司治理尚不完善的基本国情，同时利用后发优势，债券市场建立了相对较为集中的债券市场基础设施。
基于当时金融机构等参与者公司治理结构不完善、参与机构数量不多等现实情况，银行间债券市场建立了与现实需求相适应的统一债券托管结算平台，实行实名制中央一级托管，建设了一对一询价的电子交易系统，以加强信息集中监测、杜绝挪用债券等违规行为，并为参与者提供透明、规范的交易平台。推动信息系统建设，强化市场透明度与投资者教育。
在此期间，债券发行的市场化程度得到很大提高。1998年亚洲金融危机以后，为了保持经济的持续快速增长，我国确定了扩大内需的方针，实行积极的财政政策，国债和政策性金融债发行大量增加。为保证相关政策的落实，大力推动国债和政策性金融债券发行的市场化。
1998年和1999年，政策性金融债和国债分别实现了市场化招标发行。市场化的发行方式使发行更加公开和公平，降低了发债成本，有力地保证了国债和政策性金融债的顺利发行，也为债券流通创造了良好的条件。
以此为契机，宏观经济调控也开始更多地以市场为基础。1998年，我国取消了信贷规模控制，中央银行的宏观调控方式也开始从直接调控向间接调控转化，更多地运用公开市场操作、利率政策等市场化手段。2003年，中央银行通过发行中央银行票据的方式来对冲外汇占款带来的基础货币投放，调节市场流动性。
由于上述几方面的改革，中国债券市场快速发展。截至2004年，中国债券市场余额5.2万亿元，占GDP的比重为33%；2004年全年交易量17.8万亿元。以债券市场余额计算，2004年年末，中国债券市场总规模居世界第11位。
2003年,全国人大修改《中华人民共和国中国人民银行法》，将监督管理银行间债券市场作为中央银行的法定职责。不过，业内人士认为，这一阶段债券市场发展中还是存在两个突出问题，一是交易所债券市场标准券回购的制度缺陷集中暴露，二是公司信用类债券市场发展依然缓慢，规模较小。
信用债突起：债市步入快速发展阶段
在公司信用类债券市场发展依然缓慢的背景下，2004年，《关于推进资本市场改革开放和稳定发展的若干意见》（“国九条”）发布后，人民银行、发展改革委、证监会等相关部门按照市场化方向，大力减少不必要的行政管制、完善市场化管理机制，积极推动公司信用类债券市场深入发展。
随着市场化改革持续深入，为落实政府转换职能的行政改革要求，推动直接融资发展，人民银行推动银行间市场机构投资者于2007年成立了中国银行间市场交易商协会（NAFMII），授权交易商协会对非金融企业债务融资工具发行进行自律管理并实行注册制，人民银行不再参与行政审批。
交易商协会发挥自律组织在贴近市场需求、推动市场创新发展方面的优势，根据市场需求在银行间债券市场相继推出短期融资券、中期票据、中小企业集合票据、超短期融资券、非公开定向工具、资产支持票据等创新产品，推动公司信用类债券市场取得跨越式发展，拓宽了企业融资渠道，优化了社会融资结构，支持实体经济发展需要。
2012年，国务院批复同意成立了人民银行牵头、发展改革委和证监会参加的公司信用类债券部际协调机制，进一步加强监管协调。
