来俊臣出身低微，他的父亲来操是赌徒，靠诈取他人钱财糊口，这样的家庭当然带不来正向的引导，自少年时起，来俊臣干些就偷鸡摸狗、敲诈勒索的事儿。成年后，他因盗窃被官府缉拿，几次入狱却仍不知悔改。
武则天称帝之初，朝堂动荡，李唐旧臣心怀不满，各地海有叛乱。为稳固统治，武则天颁布诏令，鼓励天下人“告密”，凡告密者，官府需供给车马饮食，即便农夫樵夫，也能直达洛阳面见皇帝，若所言属实，还能获官赏；即便不实，也不会被治罪。这道诏令，给来俊臣命运带来了转折。
天授年间，，来俊臣因另一桩盗窃案被关押在贝州（今河北清河）监狱。得知告密可免罪甚至得势，他立刻抓住机会，在狱中上书，诬告当时的刺史李续有“谋反”言行。这封诬告信很快传到洛阳。武则天当即下令彻查，李续百口莫辩，最终被押赴洛阳处死。来俊臣因“告密有功”，不仅被赦免了所有罪行，还被征召入京，授予了侍御史的官职。
武则天需要有人替她清除异己，尤其是那些对武周政权心怀不满的李唐宗室和旧臣。而来俊臣擅长“构陷”，恰好成了最合适的人选。他上任不久，便向武则天进言，称“天下谋反者尚多，若不重刑震慑，恐生祸乱”，请求设立专门的审讯机构，武则天欣然应允，命他掌管“推事院”。
推事院设立后，来俊臣第一件事便是网罗党羽。他从市井无赖、狱中囚徒中挑选了百余人，这些人大多与他一样，品行低劣却擅长钻营。来俊臣将他们派往全国各地，专门负责“罗织罪名”——即先确定要诬告的对象，再编造谋反、通敌等罪状，然后由不同地方的人同时告密，形成“众口一词”的假象，让被诬告者无从辩驳。为了让这套流程更“规范”，来俊臣还编撰了一本《罗织经》。此书虽已失传，但据《旧唐书》《新唐书》记载，书中详细记载了如何物色诬告对象、如何编造罪状、如何串联告密者、如何用刑逼供等内容，甚至还列出了数十种“审讯技巧”，堪称当时的“构陷指南”。武则天曾亲自翻阅《罗织经》，阅后竟对左右说：“如此心思，朕亦不及。”有了最高统治者的认可，来俊臣的胆子愈发大了起来。
推事院的刑讯手段，异常残酷。来俊臣为了逼供，发明了数十种酷刑，每一种都以恐怖的名称命名：“突地吼”，是让囚徒戴上厚重的铁枷，然后被铁链拴在柱子上，来回拖拽，直到皮肉磨烂；“死猪愁”，是将囚徒的手脚捆绑后，扔进盛满泥水的地窖里；“定百脉”，则是用细麻绳将囚徒的四肢勒紧，直到血脉不通，四肢麻木肿胀；更有“求即死”，是将铁钉钉入囚徒的指甲缝中，剧痛之下，许多人宁愿立刻去死。除此之外，还有“驴驹拔橛”“凤凰晒翅”等酷刑，每一种都能让人求生不得、求死不能。
这样的酷刑，几乎无人能承受。许多官员被押入推事院后，不等用刑，便会主动承认“谋反”罪名——因为他们知道，即便不承认，最终也会在酷刑下屈打成招，反倒要多受皮肉之苦。而来俊臣要的，正是这份“认罪书”。只要有了认罪书，他便能将案件上报武则天，从而获得封赏。
长寿元年（692年），来俊臣将目标对准了时任宰相的狄仁杰。当时狄仁杰因平定越王李贞叛乱有功，深得武则天信任，这让来俊臣心生嫉妒。于是，来俊臣授意手下诬告狄仁杰与任令晖、袁智弘等六位大臣“共谋反叛”，将他们一并逮捕入狱。
狄仁杰入狱后，深知来俊臣的手段，也明白此时硬抗只会遭来酷刑，便对狱卒说：“大周革命，万物惟新，我乃李唐旧臣，谋反属实。”来俊臣见狄仁杰轻易认罪，心中得意，便放松了对他的看管。可他没想到，狄仁杰用藏在被褥中的笔，在一块布帛上写下自己的冤情，然后将布帛缝进棉衣里，借口天气转暖，让家人将棉衣带回家中。狄仁杰的儿子狄光远发现布帛后，立刻入宫面见武则天，呈上冤状。
武则天得知后，亲自召来俊臣询问。来俊臣谎称：“狄仁杰认罪后，我并未对他用刑，怎么会有冤情？”为了自证清白，他还伪造了一份狄仁杰的“谢死表”，呈给武则天。武则天半信半疑，亲自前往推事院提审狄仁杰。见到狄仁杰后，武则天问道：“你既已认罪，为何又让人呈递冤状？”狄仁杰答道：“臣若不认罪，早已死于酷刑之下，何来机会向陛下辩白？”武则天又看了看那份“谢死表”，发现字迹与狄仁杰平日的笔迹不符，才知是来俊臣伪造。最终，狄仁杰等六位大臣被赦免。
来俊臣的权力在延载元年（694年）达到顶峰。这一年，他诬告宰相李昭德“谋反”。李昭德向来刚正不阿，曾多次在朝堂上弹劾来俊臣，两人积怨已久。来俊臣编造“李昭德欲扶持李唐宗室复位，谋害陛下”的罪状。武则天本就对李昭德的直言敢谏有所不满，再加上来俊臣的添油加醋，竟下令将李昭德处死。李昭德临刑前，长安百姓纷纷涌上街头，为他送行，许多人痛哭流涕，骂来俊臣是“国之妖孽”。可来俊臣对此毫不在意，反而因扳倒李昭德，被武则天晋升为左台御史中丞。
此后，来俊臣的胃口越来越大。他不仅诬告大臣，还将目光投向了李唐宗室。皇嗣李旦（即后来的唐睿宗）的妃子刘氏、窦氏，都因被来俊臣诬告“使用巫蛊之术诅咒陛下”而被秘密处死，李旦自身也多次遭到来俊臣的构陷，险些被废黜皇嗣之位。除此之外，韩王李元嘉、鲁王李灵夔等数十位李唐宗室，也都被来俊臣罗织罪名，最终满门抄斩。据《新唐书》记载，仅在来俊臣掌权的数年里，因他诬告而被灭族的官员百姓，就多达数千家，长安城内人人自危，即便好友相见，也不敢多说一句话，生怕被来俊臣的人听到，扣上“谋反”的罪名。
权力的膨胀，让来俊臣变得愈发狂妄。神功元年（697年），来俊臣竟暗中策划，诬告武氏诸王（武则天的侄子武承嗣、武三思等）和太平公主（武则天的女儿）“谋反”。
为了实施这个计划，来俊臣暗中联络了一些心腹，让他们编造武氏诸王与太平公主“私通外敌、意图篡位”的罪状。可他没想到，他的一个心腹因害怕事情败露后被灭族，竟提前将计划告知了武承嗣。武承嗣得知后大怒，立刻联合武三思、太平公主等人，一同入宫面见武则天，告发来俊臣“意图谋反，欲诛杀宗室及公主”。
武则天起初并不愿处置来俊臣——毕竟来俊臣为她清除了许多异己，是她巩固政权的“工具”。可武承嗣等人却跪在地上，哭着说：“来俊臣狼子野心，今日敢诬告我们，明日便敢对陛下不利！若不除他，恐生大患！”此时，宰相吉顼也趁机进言：“来俊臣掌权以来，滥杀无辜，天下人早已对他恨之入骨。若陛下再包庇他，恐会失去民心，动摇社稷根基。”
武则天沉默良久，最终意识到，来俊臣已犯众怒，站在了武氏宗族和太平公主的对立面——这些人是她政权的核心支柱，她不能为了一个酷吏，而失去这些人的支持。于是，武则天下令将来俊臣逮捕入狱，交由刑部审讯。
最终，刑部判定来俊臣“谋反罪成立”，请求武则天将其处死。武则天犹豫了三日，最终还是下了一道敕令：“来俊臣滥杀无辜，罪大恶极，着即处斩，家产抄没，家人流放岭南。”
神功元年六月初三，来俊臣被押赴长安西市斩首。消息传出后，长安百姓纷纷涌上街头，争相前往西市观看。当来俊臣的头颅落地时，百姓们欢呼雀跃，甚至有人冲上前去，割下他的肉生吃，以泄心头之恨。《资治通鉴》记载，来俊臣死后，“士民莫不称庆，脔其肉，斯须而尽，仇家争食其心肝”。