1804年，两淮盐市发生了一起与歙县商人有关的“抗旨误税”案。故事的主角是刚刚去世三年的两淮总商鲍志道的弟弟鲍芳陶。他一直在淮南业盐，1803年他被两淮巡盐御史佶山强制派往淮北办理盐务。
此时，淮北盐务已经难以为继，积压的盐引到1799年时已经达30多万引。1802年，商人主动请领的盐量才400引。可以说，淮北盐场基本被盐商所抛弃。鲍芳陶也不看好淮北盐务，便称病不愿听命。
两淮盐业的“落魄”
如果大家都效仿鲍芳陶，那么这一年的盐税任务肯定完不成。佶山大怒，就拿鲍芳陶开刀，上奏告发。此事惊动了嘉庆帝，他责成两江总督、总理盐法大臣、新授兵部尚书陈尚文到扬州查办案情，并在一个多月内连下了三道上谕。
淮南很多盐商都出面为鲍求情，情愿摊付盐课，风波才算平息。有人说，鲍家朝中有人为官，之后才不了了之，但不论如何，经历这件事情之后，鲍氏子弟基本绝迹两淮。
盐业官盐的摊派等浮费太多，且淮南运费较高，增加了业盐的成本和销售价格，而私盐泛滥，价格低廉，对被摊高的官盐冲击很大，再加上清朝盐场销盐的区域划界，并未斟酌得尽善尽美，像江南的镇江府，规定必须吃浙盐，但两淮的盐就近可得，价亦甚优，却不准市民买浙盐。也有一些盐商钻缝子，窜货走私私盐到镇江府。各个盐场都存在类似的情形，盐商无利可图，自然不想干。
早在1704年，江南总督阿山就对两淮盐场多收的浮费进行了调查，发现多达13项浮费应该禁收，譬如赏差役银、送远近别敬银、馈送官员及过往程仪杂费、盐院书差解带盐收银等项。以两浙盐场为例，1726年户部调查发现，两浙应纳盐课不到29万两，但每年收取的浮费却高到42万多两。在三年半的时间内，三任盐臣先后收取的浮费就高达71.2万两。其中，34.2万两落入三人的腰包。盐政官阿克当受贿100余万两，被称做“阿财神”。
1768年，两淮盐政官高恒、普福、卢见曾三人，因受贿被判处死刑。侍读学士纪晓岚因给亲戚卢见曾私通信息，被革职发配到乌鲁木齐。在过去20多年的时间内，高恒等三人先后收受贿赂近百万两白银，他们对商人的越轨行为睁一只眼闭一只眼，致使两淮盐商销售私盐，偷漏盐课多达1000多万两白银，而定额官盐无商问津、无民愿购，出现滞销。
平时徽州盐商对于朝廷用兵、接驾、赈灾等都很舍得花钱，可以说是一掷千金。就仅军需报效来说，在乾隆、嘉庆两朝，因朝廷用兵，淮商就先后7次捐银2100万两，浙商才捐540万两。
其实，这些银两并非完全是从盐商自己腰包里掏出来的。两淮盐务总商可以在盐务实践中转嫁或消化这些费用，譬如，通过摊高盐价，或者将官盐通过私盐渠道流入市场。
随后，一批两淮大盐商被清政府整肃。曾经显赫一时的几大盐商家族成员黄源德、徐尚志、黄殿春、程谦德、江启源等被逮捕，革去职衔。尽管江春被赦免，但也被抄了家。曾经飞黄腾达的他，到此时连生活都难以为继，乾隆从库银中借了30万两，“令其作本生息，以为养赡之计”。1789年，江春病死。他没有亲生儿子，唯一的过继之子江振鸿，生计窘迫。
1832年，两江总督陶澍再次改革盐政，将纲盐制变为票盐制，此时徽商已经风光不再。票盐制的实施，等于剥夺了两淮盐商的盐务垄断特权，盐商手中掌握的银票顿成一堆无用废纸。
陶澍变法之前，先以私书征求重臣曹振镛的意见。在曹振镛点头后，改革才得以实行。曹振镛一生经历乾隆、嘉庆、道光三朝，为官长达52年，清朝官宦几乎无人能及。当时，曹家亲属也反对盐法变革，纷纷反馈到曹振镛处，曹振镛以“焉有饿死之宰相家”，把亲属的声音挡了回去。
之后，清政府为了追缴盐商历年所欠下的旧额盐课，采用抄家没产的办法，使得许多大盐商遭到空前的沉重打击而破产，或者顿变贫户。过去的高堂曲榭，第宅庄云，“改票后小及十年，高台倾，曲池平，子孙流落有不忍言者。旧日繁华，剩有寒菜一畦，垂杨几树而已”。
扬州因盐商而出名而繁华，也因盐商衰落而成过眼云烟。王振忠在《徽州社会文化史探微：新发现的16～20世纪民间档案文书研究》中借用臼井佐知子的话说：“乾隆末年以后，有关徽商的记载减少了……这个变化主要是当时有相当多的徽州人向以江、浙为中心的各客商地移居，并在那里定居下来。”
1850年以前，盐商是徽商的中坚。以盐业来说，徽商主要集中于两淮盐场，尤以扬州为中心。1832年票盐法实施前后，徽州盐商一败涂地。
盐、茶、木、典是徽商所涉及的大宗行业。道光（1821～1850）以后，茶商支撑着徽商的贸易残局。徽商主要收购安徽、江西两地名茶，内销以川、赣、皖、苏等地为重，但外销茶占据80%～90%的比重。茶由江西运至广州，更多是水运到杭州，再转运到上海，售给茶栈和洋行。1891年12月28日出生在上海的徽州人胡适，祖上就是经营茶庄的。
18世纪初，一首民谣袅绕在徽州的山间小路上，反映了盐业衰败后徽州人去处的微妙变化，歌词这样写道：
前世不曾修，出世在徽州。年到十三四，便多往外溜。雨伞挑冷饭，背着甩溜鳅。过山又过岭，一脚到杭州。有生意就停留，没生意，去苏州。转来转去，到上海，求亲求友寻路头。同乡多顾爱，答应肯收留。两个月一过，办得新被头。半年来一过，身命都不愁。逢年又过节，寄钱回徽州。爹娘高兴煞，笑得眼泪流。
茶业倒退，徽商的下坡路
“徽杭锁钥”，人称“江南第一关”，位于绩溪伏岭，翻过这一条崎岖的山道，徽州人就可以来到浙江，这是徽州人去杭州、苏州的一条陆地交通要道。徽商中的许多人都是通过丝布贸易发财致富的。杭州是丝业中心，徽州与杭州一水相连，地相邻，习相近，人相亲，作为江南两大都会、丝织业中心之一和两浙盐运司所在地，杭州成为很多徽州人闯天下的第一站。
当时苏州是布业中心，而且还是办铜官、民商局之所在地。从16世纪初到18世纪末，苏州西北边的“金门”和“阊门”，以及城门附郭的南濠一带，始终是米豆、丝织绸缎、加工棉布和种种海外之货的集散地。经销绸缎的杭州商人也是以苏州为最重要的绸缎转运市场，然后将绸缎发售到河北、山东、陕西、山西、两湖地区、四川、云南、福建、广东等地。在苏州经营徽菜的徽馆，在清朝同治年间就有数十家，其中以绩溪伏岭下人最多，在商界闻名的苏州“状元潘”、“酱园潘”，几乎是歙县大阜潘氏家族在苏州兴隆的标志。
1843年12月，上海开埠，这让苏杭两座城市的命运从此不再掌握在自己手中，广州茶叶外销市场则遭遇重挫。19世纪50年代中期以后，我国生丝出口几乎全部通过上海运往世界各地，仅从上海运往美国一地的茶叶，就比广州出口的全部茶叶还多。从广州北上上海，很快成为很多徽州茶商的战略选择。
徽州到上海，较之到广州，距离更近，徽州茶商在上海延续了其茶叶的生意并扩大了规模，但徽州茶商的声势和影响，远不及山西茶商对俄的贸易，在海外贸易方面，他们又赶不上临江靠海的江苏、福建商人，而太平天国运动更是让苏杭迅速衰落。2004年12月25日，周武在东华大学以《近代史上的江南与上海》为题的演讲中指出：
作为太平军与清军搏杀的疆场，苏州遭受了前所未有的破坏，经济上的富庶与繁华随风而逝，文化上的精致与优雅亦如梦幻般消失了。原先异常喧闹的城西一带，以及通和坊东口至瓣莲巷北一带，战后已繁华不再，一派寥落，沦为荒郊。到20世纪20年代，郁达夫从上海到苏州旅游，他所看到的苏州已变成夸示“颓废美”的“sleepy town”（沉睡的古镇）。
和苏州的命运相似，杭州从19世纪中叶开始加速走向衰落。1853年太平军“闯入”江南后，封锁了大运河上的交通运输，切断了贯通南北的经济大动脉，清政府和商人只好发展途经上海的海上运输，杭州因此丧失了以京杭大运河为南北命脉的古老商业网络中的战略地位。不仅如此，战争让1860年年初号称天堂的杭州，城市人口从80余万骤减至20万，一度仅剩下数万人。
不仅如此，茶叶在出山之前的出山税也逐年递增。1853年，每引茶的出山税在9钱3分，1862年已经提高到每引2两零8分，1863年后则达2两4钱8分。并且，外销用茶还要收取每100斤2两5钱的关税，而洋商运茶交纳的子口半税，远低于徽州茶商所交之厘税，茶商隐受亏损，但却无可奈何。
更为致命的是，光绪（1875～1908）年间，竞争者出现了。这些竞争者不是来自国内，而是来自印度、锡兰和日本。这些地区大面积引种茶叶成功。为提高竞争力，印度、日本对茶叶免税，锡兰不仅免税，而且还有补贴，以推广种茶量，从而对中国茶叶在国际市场上的地位发出了挑战。
更为不利的是，中国茶叶质量下降，让中国茶叶的销售价格大幅降低，最高降幅达50%以上。在19世纪七八十年代，江西婺源、浙江天台、绍兴平水、安徽徽州等地成为上海出口绿茶的主要货源地，所占比例分别为35%、25%、15%、15%。这些茶叶2/3运往美国，原本途经钱塘江、大运河直达上海，但茶叶经过杭州时要增收“海塘捐”或“提防税”，茶商为了避开杭州的关卡，便绕道九江或宁波等地运到上海，从而使运费和出口成本增加。
1874年宁波岸出口茶叶上升到9556吨，也就是这一年，宁波绿茶因茶叶色泽问题，受到英国检验部门的非议，宁波口岸的绿茶出口增长势头开始减退。
到光绪（1875～1908）中叶以后，中国的茶叶出口额跌到了空前的最低点。对此，前来中国考察的英国海军少将、下议院议员贝思福在其《保华全书》中直言不讳地说，中国对出口茶加重税率，无异于自弃其土产，自绝其利源。而且外国炒茶用机器，让手工操作的中国茶了无效率的缺点一览无遗。1896年，两江总督刘坤一意欲借鉴外国机械制茶经验，明确下令以机器制造外销茶，但徽州茶商害怕费多效微，增加资本投入，望而却步，甚至激烈反对，此事最后只得作罢。故缺乏适应工业化进程的开拓意识，也是徽商倒退很重要的原因之一。
就这样，在生产方式无可比较、洋茶倾销、税收有所区别等情况下，欧阳昱在其《见闻琐录·后集》中写道：“二十年来，以业茶起家者，十仅一二；以业茶破家者，十有八九。”
与盐、茶一样，徽商木业和典当业的经营重点也基本集中在长江中下游地区。19世纪50～60年代的战乱，打乱了徽州木商、典当商再次复苏的可能。19世纪80年代，茶商由盛而衰，作为徽商标志性人物的胡雪岩在丝织领域的完败，标志着徽商开始走下坡路，但晚清安徽高官子弟孙多森和周学熙的表现，则让我们依稀看到了徽州这片土地上曾经受世族影响的痕迹。