带着杖伤和怨愤，王守仁终于辗转到达了指定的戍所龙场驿。
龙场在贵州西北的宣州修文县，深山丛棘，十分闭塞。山高路险，蛇虺魍魉遍布，蛊毒瘴疠弥漫。居住在这里的主要是苗、瑶等族，语言不通，风俗迥异；另有少数同样被谪贬而来的犯官；偶尔才有商贩领着马帮路过。刘瑾等人将王守仁困囚在这样的绝地，迫使他退出政坛。
龙场驿本来是从西南边陲北上的一站，规模很小。按照规定，本应设置驿丞一人，书吏一人，马二十三匹，铺陈二十三副，驿卒若干名。但是到了正德年间，由于官役商旅等先后寻找到另外捷径，大多绕过了这里，驿站早已废颓，房屋倒塌，马匹也多倒毙，驿卒纷纷亡故或者逃散，实际上已经成为一个空壳。
王守仁出身进士，屡任刑部和兵部主事，又升职为郎中，正五品官阶，现在急降为不入流的驿丞，却不计荣辱，仍然尽心职务，先后修复了房舍，招回逃散的驿卒，接待好过往的吏役，体恤被谪戍在这里的犯官，特别和当地苗、瑶等族人民保持十分良好的关系。苗瑶的土司头人，经常来驿站探访他，给他介绍当地的风俗民情，守仁也用浅白的语言，为他们讲解中原文化，教导他们的子弟学习一些文字礼仪。修文县和邻近州县一些士子，素仰他的声名，也经常前来求教，聆听他讲授知行合一的道理，“岂不桑梓怀，素位聊无悔”。
守仁的身体本来单薄，到龙场驿后，每年秋冬，都患严重的哮喘，时有盗汗昏厥。但每当病情消减，他便坚持读书办事，并不讳言有可能客死在龙场。当地多出石头，他初到时居住在石洞里，其后才由苗瑶人民帮助搭成一间草庵，不论石洞或者草庵都是潮湿阴冷。当地日用的器物都是用石块做成，守仁干脆准备好一口石棺，表示不计生死，决不改变反对邪恶的决心，说：“某之居盖瘴疠虫毒之与处，魃魅魍魉之与游，日有生死焉。”
刘瑾等人知道守仁在龙场仍然志坚行苦，动忍增益，总是放心不下，一再派出侦伺人员，化装成过路的马帮商贩，打听他的动向，又唆使当地的官吏爪牙，对他严密监视，而且无事生非，制造事端，对守仁寻衅找碴儿，意图采用欺侮凌辱的做法，迫使他心力交瘁。守仁心知肚明，在一首杂诗中自言：“危机断我前，猛虎尾我后。倒崖落我左，绝壑临我右。我足复荆棘，雨雪更纷骤。”又说：“贵州三年，百难备当，横逆之加，无月无有。”
其中有一桩事件却大出他的意外。
守仁在刑部任职时，曾被派往山西，会同当地巡抚、巡按御史审决重囚，处理过山西太谷县官吏书役串同贪赃枉法、共受贿赂、滥用酷刑、草菅人命的重大案件。守仁虽然官职不高，但具有朝廷刑部派出的身份，有判决之权。他秉公执法，判处知县死刑，佐贰和吏役等人分别下狱徒杖。当已初步定案，待报上司批准执刑之际，守仁注意到犯人中有左捷福其人，举人出身，职任八品县丞，本来也是受贿的要犯，按律可以处以徒刑。但此人知机，发觉案情将近告破，难再狡辩，便先行出首，揭破实情，当庭指证知县等人的罪行，按照法律，符合减刑免罪之条。守仁为慎重起见，在定案之前，传讯左捷福。
左被押入庭来，痛哭流涕，伏地不起，辩称经手受贿实因不敢违忤知县之命，而且从中并无私饱，还知道戴罪立功，揭发贪腐，等等。此人能言善辩，连声呼求：“犯官自知罪犯刑条，应受惩治，但请体念身为佐贰，情非得已，只能唯主官之命是从。似符合自首立功之条，恳求给犯官超生之路……”
王守仁细听陈诉，沉思未语，一时拿不定主意，犹豫之态略有表露。左捷福察言观色，借题发挥说：“犯官近年熟读王大人的著作，譬如在《陈言边务疏》中提请先帝和群臣注意‘遇灾能警，临事而惧’这样的卓识警句，确是精髓深湛之言；反思犯官罹犯国法，与知县等人同流合污，没有遵照王大人的教诲做人处世，痛悔不及。”
守仁申斥道：“今日传讯，是质询你犯法之事，不可涉及其他。”
左捷福继续说：“犯官记得，王大人前年被派到山东主持乡试，回京后在奏文中曾有几句话，就是‘官司评骘，送科复阅，各以虚心平心，从公从实’。这不但对科举选才是至理名言，也完全适用于问案决囚的原则，犯官笃信王大人必能公正处理本人案件的……”
守仁一方面认为此人放肆，但又觉得他年未三十，能够关心时务，博闻强记，似亦难得。于是打断他的辩诉之词，当庭严肃谕知：“你涉案甚深，虽有检举揭发之功，情况仍然复杂，下去写一份事实清楚的禀状送来，如有隐瞒歪曲、避重就轻之处，就是增加罪责，本官必然从重加刑。”
第二天，狱官转送左捷福新撰的诉状，其中缕分细析，力陈自己不能自拔之痛，又引律援例，哀求宽缓。守仁反复审读，觉得此案实处于可宽可严的中线，终于动了爱才之心，想留给此人一条自新之路，于是在上禀呈时，建议对左捷福仅是革去县丞之职，严加申斥后释放，恩免判刑，也未再咨告本省学政，没有革去他的举人功名。
结案之后，左捷福连续上书，称王守仁是他的“救命恩人”。守仁对左的来书一概置之不复。
左捷福幸得免狱，又保住了功名，离开了山西，却未稍有收敛。未及一年，他便前去北京，一方面捏造情节，打着王守仁的幌子，谎称自己清廉守法，因王守仁的明察，已经申雪冤狱，借以取得信任；另一方面，又用行贿手段买通吏部司官，让他复职，分发到贵州，又在贵州官场巧为逢迎，不二年，便由八品州丞擢升为七品恩州知州，居然做了正印官。而修文县龙场驿就是他管辖之地。
王守仁刚到龙场，也听到本州知州就是左捷福，认为各安职分，没有和他取得任何联系的必要，也从未念及曾经的渊源。
一日，守仁正在山间空旷之处，给来访的士子讲授儒学，区分“君子之儒”和“小人之儒”的界线，宣扬“万物皆备于我”的心学。师生正在热烈讨论，忽见山下走上来一队官差，大模大样地吆喝让路，径直走到守仁讲学的场所。守仁注意到，为首的是一个头戴瓜皮帽，身穿竖领灰色直裰长袍，腰缠佩带的人，显然是书吏打扮；随行的是两个手持水火棍的衙役和两个轿夫。师徒并不理会他们，继续论学。
书吏突然自报家门：“我是恩州衙门的刑房总目韩道明，今奉州主左大人之命，前来了解王守仁以谪戍钦犯之身，作为驿丞，竟然继续招摇，引诱一些不明真相的人，搞什么讲学。奉左大人谕示，前来严加申饬。着立即散场罢讲，如敢不遵宪谕，讲者听者一律拘捕定罪！”
师生纳闷骇然。守仁不理会，继续宣讲。