最开始的时候这三男一女也没说什么，只是在寒暄问候，说了些万宣道暴打宇文成龙的事情，但随后宇文管家就转达了宇文化及的要求，要求宇文氏把李元吉找来，说是有要事相商。
宇文氏当然不会拒绝哥哥的安排，欣然走了一趟，不多时就把李元吉带了回来。
在宇文氏离开的过程中，红拂和绿扇没敢轻举妄动，因为她们发现跟随在宇文管家身边的那名武士是个高手。若是从房顶离去，极有可能会被这人察觉。
等到李元吉跟着宇文氏回来，宇文氏自回寝居之后，屋里的四人就开始商议“正事”，这“正事”却是一桩阴谋。
这是一桩针对李渊的庶子李智云的阴谋——栽赃！
宇文管家转达的计划是这样的，由李元吉指路，再由那名武士高手负责盗窃，盗窃窦氏、宇文氏、郑观音（李建成的妻子）和观音婢的珠宝首饰、私房金银以及贴身衣物，而后藏在李智云的房间里。
这桩栽赃计划操作起来并不困难，只要有内应引路，再由武林高手去偷几个女人的东西，不过是举手之劳。
李元吉就是内应的最佳人选。
宇文化及并不担心李元吉不肯配合，因为他手里捏着李元吉的把柄——二十天前观音婢洗澡被偷看一事的真相。
真相就是偷看观音婢洗澡的是李元吉，李智云只是在前往李世民住所时撞见了这一幕，当时李智云也不知道李元吉扒着窗缝往屋里看什么，就喊了一声“三哥”。
这声三哥把李元吉吓得魂飞魄散，只不过他却是练过轻功的，当即就施展轻功跑到了李智云的身后，演出了一幕贼喊捉贼。
作为被偷窥的受害者，观音婢在室内浴桶里并没有听到李智云先喊的那一声“三哥”，她只听到了李元吉的怒喝——“李智云，你这个无耻之徒，焉敢偷看二嫂沐浴？”
等到她穿好了衣物走出去时，李智云已经被李元吉和闻声赶来的李建成、李世民兄弟揍得不省人事了。
原本这桩事情的真相就只有李元吉和李智云两个当事人知道，但是李元吉做梦也没想到李智云竟然会在三天之后失忆。
李元吉觉得一旦李智云苏醒过来，就一定会把这件事的真相说出来，所以他也就不把这事儿当成绝对的秘密来保守了，半是炫耀半是求助的、把这事儿告诉了好朋友宇文成祥。