中国银行业协会的最高权力机构是会员大会，由全体会员组成，每个会员享有投票权，每年召开一次，特殊情况可召开临时大会，需三分之二以上会员出席并过半数票通过决议。
理事会作为执行机构，由会员理事和非会员理事组成，负责日常管理工作。理事每届任期两年，理事会在闭会期间负责协会运营，并需向会员大会报告工作和财务情况，执行大会决议，监督会员行为，制定计划和预算等。
常务理事会是理事会闭会期间的执行机构，由会长、专职副会长、副会长和秘书长组成，每季度召开会议，同样需三分之二以上成员出席并过半数票通过决定。
监事会由监事长和监事组成，主要职责包括监督协会财务和业务活动，向会员大会报告，处理投诉，并有权提议召开理事会临时会议。
协会设有会长、专职副会长、副会长和监事长等职位，他们分别负责主持会议、检查决议执行、签署文件和领导各项重大工作。副会长在会长缺席时可代行职责。
此外，协会还设有专业委员会，如法律、自律、资格认证、农村合作金融等，由专职副会长提名并经理事会聘任主任，各委员会下设办公室负责日常工作。
最后，协会设有秘书处作为日常办事机构，秘书长负责主持日常工作，协调各部门，并提名部门负责人经会长或专职副会长决定。
中国银行业协会成立于2000年，是由中华人民共和国境内注册的各商业银行、政策性银行自愿结成的非盈利性社会团体，经中国人民银行批准并在民政部门登记注册，是我国银行业的自律组织。该协会及其业务接受中国人民银行的指导、监督和民政部的管理。2003年中国银监会成立后，中国银行业协会主管单位由中国人民银行变更为中国银监会。