一九四九年秋，開國大典的禮炮聲中，北京城里一片歡騰，清查特務(wù)的工作也在緊張地進(jìn)行。土刀唐胡同里，剛剛接管了舊警察局的年輕派出所所長(zhǎng)肖大力正忙著維持群眾游行的秩序，偶遇一個(gè)熟知兵器的教書匠馮靜波，這引起了他的懷疑。為了查清馮靜波的身份，肖大力搬進(jìn)了土刀胡同十五號(hào)院，與馮靜波做了街坊。馮的真實(shí)身份確實(shí)是國民黨的潛伏特務(wù)，代號(hào)"5182"。惡霸四閻王為他發(fā)了委任狀，接受"白眼鏡"的命令。深夜，"白眼鏡"前來交待任務(wù)，馮的特務(wù)生涯從此拉開了序幕。"白眼鏡"為馮送電臺(tái)時(shí)被肖大力等人擊成重傷，臨死前只說出5182幾個(gè)字。肖大力認(rèn)為馮有重大嫌疑，讓他注意四閻王的行蹤，借此對(duì)馮旁敲側(cè)擊。曾在妓院做使喚丫頭的大眉子參加了夜校掃盲班，她愛慕馮老師的才華，常主動(dòng)為他做家務(wù)。馮為了掩護(hù)自己的身份，請(qǐng)大力保媒娶大眉子為妻。大力找大眉子談心，拐彎抹角說馮是特務(wù)，可大眉子自覺出身下賤，婚事全憑大力做主。
肖大力偶然聽到從馮家傳出用作聯(lián)絡(luò)暗號(hào)的樂曲，便也買了一臺(tái)短波收音機(jī)，煞費(fèi)苦心地進(jìn)行研究，吃飯睡覺都不忘琢磨那首名為《展覽會(huì)上的圖畫》的曲子，在大家眼里他似乎是著了魔。馮從大力的妻子劉亞琴那里聽說此事，不禁暗暗心驚，深知自己處境艱難，只得不動(dòng)聲色地應(yīng)付這一切。他假稱挖出一夜壺金子，將活動(dòng)經(jīng)費(fèi)充了公，被評(píng)為抗美援朝積極分子。滿腹經(jīng)綸的馮靜波邂逅了校長(zhǎng)的女兒徐小妤，兩人一見如故。小妤仰慕馮的才華，馮也傾心于美麗又有知識(shí)的小妤。二人蕩舟湖上，面對(duì)小妤熾熱的目光，馮在歡樂之余也深感痛苦，心情沉痛地說自己是負(fù)罪之人，準(zhǔn)備自首，但在大力面前卻欲言又止。晚上，馮突然不見了蹤跡，大力緊張地認(rèn)為他是畏罪潛逃。敏感的亞琴直奔小妤的宿舍，正好撞見這對(duì)偷情的戀人。東窗事發(fā)，馮家亂成一團(tuán)。大眉子不依不饒，要跟那個(gè)破壞她家庭的女人"撞頭"。馮終于鼓起勇氣提出和她離婚，不料受到大力等人的指責(zé)與阻撓。校長(zhǎng)更以開除作威脅，不許他離婚。氣憤的大力把馮反鎖在廁所里，讓他好好反省歷史問題。靜波與小妤迫于壓力，只得黯然分手。
馮靜波在學(xué)校從未有過激言行，是個(gè)人人稱贊的好老師，大力挑不出他的毛病，無可奈何。街道組織大家學(xué)習(xí)憲法，請(qǐng)馮為眾人講解。馮對(duì)鎮(zhèn)壓反革命的條文心有余悸。特務(wù)身份的重壓使馮隱忍地生活著，這竟使他在歷次運(yùn)動(dòng)中躲過了劫難，并且由于他為人和善，處處助人，竟被評(píng)為區(qū)勞模。而堅(jiān)信馮是特務(wù)的肖大力卻被誣以"特務(wù)"的罪名送進(jìn)了勞改農(nóng)場(chǎng)，亞琴自殺身亡。大眉子意外地發(fā)現(xiàn)馮的委任狀，偷偷地?zé)袅恕?br/> 四十年過去了，肖大力重又穿上了警服，他依舊執(zhí)迷不悔地監(jiān)視著馮的一舉一動(dòng)。此時(shí)的馮已由一位好老師變成好校長(zhǎng)，他確實(shí)感到坦蕩做人的快感，同時(shí)也更感到自己心底那塊石頭的沉重。肖大力的兒子新桅和馮靜波的女兒抗美青梅竹馬，卻因父輩的恩怨無法走到一起。昔日給馮發(fā)委任狀的四閻王已成了海外合作項(xiàng)目的投資者，這令馮驚訝不解。肖大力的錚錚鐵骨令馮自慚形穢，也正是肖大力的所作所為，讓馮了解了共產(chǎn)黨。馮終于幡然悔悟，給大力寫了自首信，請(qǐng)他寬恕"昨天的敵人"，并在女兒的攙扶下走進(jìn)了公安部的大門。
