正大街是睦城最主要的商业街，在正大街边上，有一条潘家弄，解放前，这条弄堂，都属于一户姓潘的大户人家。
潘默存和他的哥哥潘默然，就是从这条弄堂走出来的。他哥哥十几岁就离开睦城，去上海读大学，读大学的时候，就和左联的人在一起，他也喜欢动动笔杆子。
上海解放的前一年，他还加入了地下党。上海解放的时候，他加入了上海军管会新闻出版处，负责接收和管理上海的报社、通讯社、出版社和广播电台。后来他调去BJ，成为了郭沫若的秘书，自己本人，也成为国内颇有造诣的文艺评论家。
睦城人家，大都有一个习惯，就像许昉他们家一样，家里要是有两个儿子或几个儿子，大的那个或几个，家里会让他们出去闯荡世界，毕竟在这个闭塞的山沟沟里，大家都知道不会有什么出息。
从睦城出去很方便，搭上一条船，顺着新安江富春江钱塘江走，一天的时间，就到杭州南星桥码头，更大的世界就展现在眼前。
而家里最小的儿子，总是会留在睦城，准备承继家产。外面的世界很大，但也有各种不测，睦城虽小，却也足够安身立命。包括大儿子们要是在外面，遇到什么迈不过去的槛，也还有退路，可以回到睦城休养生息，舔舔伤口，这就像是一个大家庭的双保险。
潘默存因此和许昉一样，也留在了睦城，一直没有出去，等到睦城解放，他们家算不上是罪大恶极的资本家，但也定了个城镇小业主。家产是没有多少可以承继的了，成份却给他定了终身，这对潘默存的前途还是有影响。
他没有和老莫许昉一样，出去读大学，而是被分配到了江对面，离睦城坐船，需要两个多小时的一个公社，成为了一名公社供销社的营业员，还在当地成了家。
潘默存在三阳不合群，不喜欢和其他人一起打牌喝酒，而是喜欢画画，写书法，拿着石头和刀刻印章，还喜欢看一些别人都看不懂的书。加上他又戴着一副瓶底厚的眼镜，让他在那个乡村，显得有些特立独行，大家都叫他书呆子。
既然都已经是呆子了，其他的人能欺负的时候，就要欺负欺负他。别以为广大的乡民会很淳朴，更现实的是，当他们发现一个人可以欺负的时候，从来都是欺负你没有商量。老实人只是被看不起，不会赢得别人的尊重。
加上这个书呆子，要是还有点傲气，对别人的欺负没有逆来顺受，甘之如饴，那欺负他的人，更会觉得是对自己的不尊重和侮辱，只会加倍地欺负你。
潘默存对自己的状态很清楚，他每次来老莫家里的时候，就会大骂，这个时候，他用的都是乡村俚语，一点书呆子的样子都没有。
“嚎嚎，妈了个匹，我是一离开三阳就嗓门开始大了起来，一回去，声音就开始瘪下去，妈了个匹，供销社的那些个畜生，每天想到的，就是怎么调败（捉弄）我。”
三阳就是潘默存工作的那个公社，他没说错，每次他离开三阳，到了睦城，他的嗓门就真的很大。在回三阳的船上，他就开始有虎落平阳的感觉，碰到熟人，嗓门都会低下去。
三阳供销社两层楼，一楼是供销社的门市部，二楼是供销社的宿舍，潘默存和他的老婆小孩，就住在二楼的一间宿舍里。
有一年春节，潘默存写了一副自嘲的对联，贴在家门口，他自己还很得意。对联写的是“两本破书财产，一个笨人当家。”结果这一副对联在他们那个楼道一出现，就石破天惊，掀起轩然大波。
人家的家门口，贴的都是“听毛主席话，跟共产党走”，或者“深挖洞广积粮不称霸，鼓干劲争上游永向前”，你来个破书和笨人什么意思？
有人和他们供销社主任挑拨说，潘这副对联是在骂你，我们供销社你说了算啊，他这是在骂你是一个笨人。
供销社主任已经看潘默存不顺眼好久，潘默存也不买他账好久。主任眼睛一转，勃然大怒，他一拍办公室的桌子，站起来说，姓潘的这哪里是在骂我，他这是在恶毒攻击我们伟大领袖毛主席，他说毛主席是笨人，毛选四卷是破书。
听的人吓了一跳，接着就觉得主任说的有道理，越想越有道理。一帮人当场就准备搞一个批斗会，把潘默存绑起来，好好批斗一番。
一帮人敲开潘默存家的门，潘默存看到门外站着这么多人还莫名其妙，主任气势汹汹地和他说：
“潘默存，你这个现行反革命，你现在要老实交待。”
潘默存一脸的错愕，他说：“我说你作风不正派，和夏海珍扎姘头，就是现行反革命？你就是革命？”
主任一脸的冷笑，他说：“现在证据确凿，潘默存，你想抵赖，是抵赖不掉的。”
潘默存问：“什么证据，证据在哪里？”
主任指着门口的那副对联，和他说，证据就在这里，这个就是证据。