1958年，中国科学技术大学在北京成立之时，所建立的13个系中与物理直接相关的有7个系，其中原子核物理和原子核工程系、技术物理系及物理教研室是现在物理学院的主体源头。1964年，学校以学科为基础将全校合并成6个系，原子核物理和原子核工程系更名为近代物理系，技术物理系吸纳了生物物理系、地球物理系而更名为物理系。1994年，学校成立了以加强学术交流为目标的理学院，涵盖数学、物理、化学、天文、地学、生物众多学科。 2000年，在化学与材料科学、生命科学、地球与空间科学等系先后建成实体学院后，理学院成为实体学院，包括数学、物理、近代物理、天文与应用物理等4个系。2009年，数学系析出，理学院更名为物理学院。
中国科学技术大学物理学院现有科研教学岗位人员185人，其中教授92人，副教授71人。教授中有中国科学院与中国工程院院士10人，国家级教学名师3人，“千人计划”学者7人，教育部“长江计划特聘教授”5人，国家杰出青年基金获得者21人，中国科学院“百人计划”学者32人。 物理学院设有“严济慈大师讲席”和“赵忠尧大师讲席”，并聘请国内外近百名学者为兼职和客座教授。
中国科学技术大学物理学院内建有核探测与核电子学国家重点实验室，量子信息、基础等离子体物理、星系与宇宙学、光电子技术、物理电子学等5个中国科学院及安徽省重点实验室。同时，物理学院还紧密依托合肥微尺度物质科学国家实验室、同步辐射国家实验室以及中国科学院强磁场科学中心开展研究工作。物理学院的学科领域涵盖物理学、天文学、电子科学与技术、光学工程4个一级学科，包含光学、凝聚态物理、理论物理、粒子物理与原子核物理、等离子体物理、原子分子物理、天体物理、物理电子学、微电子与固体电子学、光学工程等10个二级学科。物理学为国家一级重点学科，天体物理为国家二级重点学科，物理电子学、微电子与固体电子学、光学工程为安徽省重点学科。
中国科学技术大学物理学院以培养从事前沿和交叉科学的基础研究、应用研究和研制开发的领军人才为目标，注重对学生的物理素质和创新精神的培养。学院的物理学和天文学均为国家理科基础科学研究和教学人才培养基地，物理实验教学中心为国家首批国家级示范教学中心。本科生前期主要进行系统的基础理论教学和严格的实验动手能力训练，后期可根据自己的志趣爱好分别在10个二级学科范围内自主选择专业。
中国科学技术大学物理学院每年招收本科生和研究生各约300名。2012年在校学生2267人，其中本科生1123人，硕士研究生389人，博士研究生455人，基础课代培研究生300人。 物理学院本科毕业生约80%进入国内外大学或研究院所继续深造，博士毕业生约3/4继续从事学术研究工作，已经成为国际知名的物理学人才培养重镇。在我国学位制度建立最初10年（1990年前）所授予的454名物理学博士中，物理学院培养了51位，其中范洪义博士是首批获学位的18位博士之一。 我国改革改革开放初期施行的“中美联合招收物理研究生项目（CUSPEA）”10年共选拔919人，中国科学技术大学的毕业生最多，达219人。 自1999年教育部组织全国优秀博士论文评选以来，物理学院共有11篇物理学与天文学博士论文入选，占此两学科入选总数的1/9。半个世纪以来，中国科学技术大学物理学院已经培养了一大批不同领域的杰出人才，包括赵忠贤、朱清时、何多慧等16名中国科学院和中国工程院院士，王子义、常永福等多名从事国防事业的将军，以及文小刚、周冰、谢心澄、林海青、许怒、赵政国、侯建国、翁征宇、王力军、斯其苗、崔伟、赖东、陈仙辉、毛淑德、常进、杜江峰、葛健、潘建伟、庄小威、段路明、李巨、封东来、李传锋等众多活跃在国际科学研究前沿的中青年学者。
中国科学技术大学物理学院积极参与国家基础及应用研究领域的重大研究课题以及大科学工程建设，承担了大量国家级科研项目，2011年获得竞争性研究经费1.5亿元。 2002-2011年10年间，学院在物理学重要的学术期刊《Physical Review Letters》上共发表论文474篇，其中第一作者单位论文115篇。近两年在《Nature》及其子刊上发表论文20余篇。根据基本科学指标数据库（ESI）最新统计，中国科学技术大学物理学科的论文引用数在世界所有研究单位中列第56位，在世界所有大学中列第39位，在两岸三地大学中处于首位。2002年以来，学院有4项成果获国家自然科学二等奖，11项成果18次入选国际物理学重大年度进展、国家科技部年度基础科学研究十大新闻和中国高校科技十大进展。
中国科学技术大学物理学院具有优质的人才资源、勤奋的师资队伍、自由的学术环境、均衡的学科布局、坚实的研究基地，通过持之以恒的努力，在未来若干年内，有望发展成为国际一流的物理学人才培养基地、活跃的科学研究和学术交流中心。