在明朝很多人看来，虽然内阁首辅也是皇帝的第一侍郎，其职权似乎和以前的宰相、宰相差不多，但在真正明眼人看来，内阁首辅在制度设置、机构运作、责任定位，尤其是权力性质上，与宰相制度完全不同。内阁记录不能等同于宰相，内阁记录不能冒充宰相。

据史书记载:“今无丞相之职，内阁大臣不得有丞相之权。”“祖上不设宰相一职，具体职责隶属六院，内阁大臣只有顾问之权。”

明朝皇帝朱迪在靖南之战后第一次建立内阁，这是在明朝皇帝朱元璋废除宰相制度后不久。朱元璋曾经有这样一句祖训:“凡文武百官，可立即破例，在京南元年直接处决此人，全家皆诛。”所以朱迪只能绕过总理制，建立内阁制。

明宪宗即位后，特别强调“内阁大臣”与驻外政务官的权限界限，认为内阁大臣不应过多参与外交事务。如果说明宪宗和的“内阁无相论”只是强调内阁没有行政执行权，表述是含蓄的，那么这种说法大规模出现的直接契机就是明朝中后期严嵩、张等“权力相”的出现。

“内阁无相论”划定了内阁制和宰相制的边界，对现在的内阁大臣形成了约束和警示:内阁最初不是相，也不能改成相；如果你以内阁大臣的名义担任首相，那就是非法侵入。

嘉靖三十二年(1553年)，兵部选兵司外交大臣杨继绳对名记严嵩说:“凡政府或部级的政策，必须先呈皇上，再在内阁起草。这是我们祖先的法律，但严嵩没有向皇帝提交就起草了。虽然他没有宰相的名号，但他有当宰相的权利。总理的现实”。

据荀云贵的御史赵进说，他与杨继绳遥相呼应，特别指出严嵩如何越权内阁，使其宰相权力滔天:“天下之事，如任用文官，用兵之宅，须由尚书呈严嵩，经其许可，始可有所质疑。”

内阁记录没有具体的权力来领导官员，这使得内阁制度与总理制度有着本质的区别。

赵进认为，严嵩对六院事务的强力干涉，使内阁助理的权力扩大到了宰相的层面:“因此，我认为，今天的内阁，虽然没有宰相之名，但有宰相之实，这不是太祖不设宰相的初衷。”

当时明朝人对“内阁制”的表述，基于对明初历史和太祖祖上制度的回顾，表明内阁制和宰相制的性质本来就是不同的，应该是不同的。

万历时期，“内阁无相”论更多地体现在对著名的内阁辅佐人、改革家张以“自居宰相”的激烈批判中。

万历四年(1576年)，据辽东御史刘太尚说:“自内阁首辅张掌权后，总说‘我是实世，能有什么办法？谁不能辞职？文武百官，无论大小，都不怕自己的权力，反而以自己的德行为荣。张是的实权宰相。"

在当时的文武官员看来，张已经骄傲地以当时的宰相自居，把六院当成自己的属下，把官吏和官员当成自己的奴隶。

无论是台湾谏臣史梦麟批评张的“阁臣侵六院之权”，还是杨思之指责张的“抑官”，都是因为当时的内阁首辅不是真正的宰相，没有权力领导书院的行政机构和书院的监察组织。

张死后，万历皇帝和当时的明朝官员继续强调“内阁异化”的观点。“大权在握”的局面成为人们直观清晰记忆的阴影，张的“宰相”事实构成了“内阁不相”的重要否定论据。

万历十三年(1585年)，南靖户部山东部部长王丰上奏皇帝:“自高拱、张任内阁侍郎以来，朝廷诸人皆研究其喜好，意在进其所喜，退其所讳。但台湾负责谏诤的官员看风而收，所以投其所好，弹劾其所讳，推荐其所喜。”

东方党领袖顾宪成从权力分配的角度进一步论述了宰相制度与内阁制的区别，认为在宰相制度下，“宰相的权力过于集中，造成独裁制度，官员不得履职，是真正的右相”；所以“我***为怕宰相权力过于集中而不分散，设立除中书省外的六院”，内阁制只是使“权力分散而又互相牵制，有权有势的官员不能各行其事，这才是真正的国家利益”。因此，顾宪成认为要坚持“内阁不相”的原则，谨防其向宰相制度转化，称之为基本国策。

可以看出，“内阁对首相论”不仅通过回顾祖先制度，分析内阁与首相的权力差异，从正面说明了内阁与首相制度的区别，而且通过批评现实中“彼此一样”的内阁大臣，表达了内阁“本来”就不是首相，现任内阁大臣也不应该是首相的观点。