4年后的蒙特利尔奥运会由于策划失误，摊子过大，欠下了巨额债款。在申办1976年的第二十一届奥运会时，蒙特利尔市长吉恩·德拉保申明说，“奥运会主办者不应该象是一个花费天文数额金钱的企业。我们保证在加拿大、在蒙特利尔，本着奥林匹克精神将奥运会办得朴素而又庄严。”德拉保市长最初估算蒙特利尔奥运会只需要1．2亿美元，这样就不会让加拿大纳税人负担一分钱。可他大错特错了，比赛结束后经过专家核算，本届奥运会总花费达到12．7亿美元，是原估计预算的10倍多。严重超支给蒙特利尔纳税人带来了近十年的恶梦，直到1985年蒙特利尔市才偿清这笔高额债务。
  最重要的是，这些不幸事件所造成的恶劣影响已经大大超过了事件本身所造成的破坏，使后人把奥运会看成了一件如临大敌的事情。
  时事艰难方显出英雄本色，美国加利福尼亚州洛杉矶市挺身而出。它是第23届奥运会的唯一申办者。国际奥委会在感叹奥运会时运不佳的同时，又对山姆大叔的魄力和胆识深表钦佩。否则，无人申办奥运会的窘况会令国际奥委会尴尬无比。
  1978年10月，洛杉矶正式获得了第23届奥运会主办权。
  不料，当国际奥委会委员们微笑的嘴还未合拢时，一个不幸的消息就传来了，洛杉矶市民坚决反对市政府拨款筹办奥运会。在当时人们的印象里，奥运会已经成了桩赔本赚吆喝的买卖。蒙特利尔奥运会使该市市民当了多年债民，洛杉矶市民可不愿背负这样的负担。
  如果奥运会亏损，包袱就要转嫁到市民身上。那样，税收将增加，失业率可能上升，犯罪率也会相应提高。主办奥运会的一系列恶果让洛杉矶人感到不寒而栗。
  1978年11月，洛杉矶获得主办权后仅一个月，市议会就通过了一项不准动用公共基金筹办奥运会的市宪章修正案。洛杉矶只好把求援之手伸向美国政府。也许是对奥运会不屑一顾，也许是已经意识到在美国举行奥运会将会遭到苏联报复性的抵制，美国政府对洛杉矶奥运组委会冷若冰霜，明确表示不能提供一分钱。
  巧妇难为无米之炊。洛杉矶市已经走投无路，只好向国际奥委会申请，要求允许以民间方式由私人主办奥运会。
  这个请求太意外了。国际奥委会还从来没有想过由私人主办奥运会。万一这个人感到力不从心，半途而废怎么办？万一他筹办过程中提出经费不足怎么办？偌大的奥运会交由私人主办，国际奥委会的面子置于何处？更何况《奥林匹克宪章》已明确规定只能由城市主办奥运会。
  如果这个时候国际奥委会还有一条路可走，如果还有一个城市申办，国际奥委会就有了回旋的余地。然而，回旋的余地一点儿都没有。《奥林匹克宪章》的这条规定第一次失效了。
  于是，一位来自南加利福利亚洲的旅游业巨子彼得·尤伯罗斯接过了这个摊子，并出任奥运会组委会主席。
  第23届奥运会有了主办者，但抵制问题又在预料之中地呈现出来。
  在国际奥委会讨论第23届奥运会主办城市时。国际奥委会的苏联籍委员就表现出不快。尽管《奥林匹克宪章》规定国际奥委会成员不是该国在国际奥委会的代表，而是国际奥委会在该国的代表，但是本国的政治意识不可能不影响到国际奥委会成员的思想意识。
  苏联藉国际奥委会委员对于选择洛杉矶作为奥运会主办城市从最初只是表示不满，继而转到公开反对。国际奥委会决定由洛杉矶主办奥运会时，苏联藉委员公开表示要抵制洛杉矶奥运会。
  苏联抵制洛杉矶奥运会的行动又让维克多·路易斯再度露脸。
  维克多·路易斯是苏联塔斯社的一名老牌记者，许多重大消息都出自他手。他持外交护照周游列国，而且来去极为方便。他会见过许多国家的领导人，因此被人们视为苏联政府的特使。但同时，人们对于他的特殊地位提出置疑，认为他是克格勃的一名重要成员。
  苏联籍委员公开宣称要抵制洛杉矶奥运会时，维克多·路易斯发表文章说，苏联运动员在洛杉矶奥运会的人身安全不能得到保证，已经有一伙恐怖分子准备在奥运会期间袭击苏联运动员。另外还有一些人准备在奥运会期间策反苏联运动员。
  维克多·路易斯并不讳言一些苏联高级领导人主张对洛杉矶奥运会实行抵制，以回报美国抵制莫斯科奥运会的一箭之仇。而且苏联奥委会领导人也同意苏联国家领导人要抵制洛杉矶奥运会的意见。
  出于策略考虑，维克多·路易斯宣称苏联领导人一直主张选择某个特定地点，如雅典或奥林匹亚，作为奥运会的永久会址。
  不久，以康斯坦丁·契尔年柯为首的苏共中央做出了抵制洛杉矶奥运会的决定。
  在苏联政府正式宣布这个决定的前几天，萨马兰奇通过国际奥委会在苏联奥委会安插的内线获悉了这一消息。
  尽管萨马兰奇对这一情况的出现已有一定的思想准备，但当他面对这一现实时，仍然不由自主地产生了一阵彷徨。1980年以美国为首的数十个国家抵制莫斯科奥运会时，他还是国际奥委会副主席。当时他主要考虑的是自己能否当选国际奥委会主席的问题，不必为奥运会本身而过分操心。现在，他已经是国际奥委会主席了，如果他就任后的第一届奥运会仍然摆脱不了遭抵制的厄运，这不能不说是一种悲哀。
  在维迪堡的办公室里，萨马兰奇经过仔细的斟酌，决定尽早开展工作，最好赶在苏联政府宣布不参加洛杉矶奥运会之前说服有关各方，以免苏联碍于面子死不改口。
  先从哪一步开始呢？直接同苏联领导人谈，显然不会有任何结果。苏联人不会仅仅因为碍于他的面子而改变自己的决定。再说会谈总不能空手去，总得给苏联人带点儿什么。可带什么呢？对，最好是美国人的什么诺言或者一些让步，也只能如此了。
  刻不容缓，萨马兰奇让秘书立即订第二天去华盛顿的头等舱机票。好在航空公司售票处的小姐对萨马兰奇的这种临时决定的举动已经习以为常，马上准备好了机票。
  抵达华盛顿后，萨马兰奇立即求见里根。白宫办公室同意予以安排。不久，白宫办公室通知萨马兰奇，他同里根的会见定在5月8日，星期二。
  在等待的时间里，萨马兰奇仔细考虑了将同里根讨论的内容，其中包括对苏联提出的要求做些让步，特别是对苏联奥委会主席叶尔米奇金给予签证。美国中央情报局曾指责叶尔米奇金是克格勃的高级官员，因此美国方面拒绝给他办理入境签证。还有其它一些具体问题。萨马兰奇相信，只要苏联的这些要求美国方面能够满足，苏联就没有理由拒绝参加奥运会了。
  5月8日，星期二。萨马兰奇如约来到白宫，但却碰了钉子。白宫办公室的一位秘书小姐通知萨马兰奇，里根总统当天不能会见他，理由是“天气不好”。
  萨马兰奇莫名其妙地回到了饭店。
  进入房间以后，萨马兰奇随手打开电视，打开一瓶矿泉水慢慢喝着。蓦地，电视中的一条新闻使他把本想放到茶几上的水杯停在了空中。
  “苏联领导人今天宣布，由于美国政府不能保证苏联运动员的人身安全，苏联将不派运动员参加1984年在洛杉矶举行的奥运会。”
  萨马兰奇怔住了，苏联人为什么这样匆忙地宣布要抵制洛杉矶奥运会呢？下面的另外一条消息似乎无意中解开了萨马兰奇心中的谜团。
  这一天是5月8日。1945年的今天，苏联与同盟国其它国家一起打败了纳粹德国，德国无条件投降。这是苏联值得骄傲的日子，是苏联向全世界显示其力量的日子。它选择在今天宣布这个决定，无疑是在向美国发出挑战。
  显然，问题的严重性已经超出了萨马兰奇想象的程度。他现在才明白，为什么里根不愿意会见他。这是完全可以理解的。即使里根会见了他，也不会同意对苏联人提出的要求做出让步。作为美国总统，他不会做出任何可能被理解为屈服于苏联压力的姿态。同时，他也知道，美国的总统虽然在世界上可说是威震四方，但对于国内的许多行政事务，还不是他说了就能算数的。
  但是萨马兰奇并没有就此却步，他还要继续努力。他立即拨通了尤伯罗斯的电话。尤伯罗斯在空中他的私人直升飞机上同萨马兰奇交谈。他告诉萨马兰奇，当天他是无论如何抽不出哪怕是1分钟时间来同萨马兰奇讨论问题，最好次日上午他到旅馆来同萨马兰奇面谈。
  翌日，尤伯罗斯如约来到饭店，同萨马兰奇交换了意见。尤伯罗斯同意萨马兰奇的看法，即首先由美国政府做出些让步，再去争取苏联方面改变态度。
  尤伯罗斯同萨马兰奇来到白宫，再次求见里根。他们等了将近两个小时，才得到了里根同意会见他们的答复，但时间限定在一刻钟内。
  里根穿着一身深蓝色的西服，脸上带着明显的倦容，嘴角两侧的几道坚纹显得更加突出。他静静地听萨马兰奇阐述自己的想法，过了一会儿，忍不住打断了他的话：“我认真聆听了您的意见，萨马兰奇先生。但是这些愿望的实现不能建立在一厢情愿的基础上。即使我们做出了让步，苏联领导人还会找出其它新的借口。我能对您说的就是，如果苏联运动员能够参加洛杉矶奥运会，我们将保证他们的人身安全，而且我们将在比赛中完全遵守《奥林匹克宪章》的各项规定，除此之外，恕我爱莫能助。”
  里根说着站起身来，伸出右臂同萨马兰奇握了握手，又同尤伯罗斯握手，然后转身离去。
  里根的疑虑不无道理。萨马兰奇对此也不怀疑。苏联人常常出尔反尔，使萨马兰奇也陷入尴尬境地。1980年莫斯科奥运会召开之前，当时的苏共中央总书记勃列日涅夫曾宣布苏联以后绝不会像美国一样对奥运会采取抵制态度，因为奥运会就像和平一样，是一项非常重要的事业。而且，在洛杉矶取得奥运会主办权之后，1982年，萨马兰奇曾秘密前往苏联，劝说勃列日涅夫的继承人安德罗波夫不计前嫌。安德罗波夫被说服了，同意派运动员参加洛杉矶奥运会。谁知安德罗波夫突然去世后，继任者契尔年柯对4年前的耻辱仍然耿耿于怀，节外生枝地通过维克多·路易斯之笔说什么美国政府在加利福尼亚州豢养了一批苏联和其它一些国家的流亡分子，企图在奥运会期间策动苏联运动员叛逃，并准备组织反对苏联运动队参加洛杉矶奥运会的游行。
  其实苏联宣布不参加洛杉矶奥运会不仅仅是对卡特政府带头抵制莫斯科奥运会的报复，也是对所有与苏联为敌的国家的一次警告。就在苏联5月8日宣布抵制洛杉矶奥运会前不久，里根刚刚访问过中国，罗马教皇也曾访问韩国。两位世界巨头都在访问中发表了猛烈抨击苏联的讲话。
  尽管苏联领导人的这一决定有如此复杂的政治背景，萨马兰奇仍然不准备放弃最后的努力。同里根的会谈毫无成果，萨马兰奇又飞赴苏联。
  在莫斯科，萨马兰奇同契尔年柯进行了长谈。也许他以为有时候个人的感情可以起到更大的说服作用，萨马兰奇提到筹办1980年莫斯科奥运会时，自己作为国际奥委会副主席对苏联的友好态度。而且，在自己担任西班牙首任驻苏大使3年多的时间里，已经同苏联人民结下了深厚的友谊。他希望苏联能够从整个奥林匹克运动的利益出发，停止这种无休止的互相抵制的行为。
  然而契尔年柯并未为之所动，他认为，奥林匹克运动的利益应当考虑，但是作为苏联的最高领导人，他考虑更多的，应当是苏联的利益。苏联感谢萨马兰奇为1980年莫斯科奥运会所做出的努力，但是那次奥运会最终还是受到了抵制。苏联绝不会在任何反对苏联的逆流面前做出任何让步。
  萨马兰奇无可奈何地回到洛桑。此路不通，另辟它径。苏联肯定不会参加这届奥运会了，现在的问题是争取尽可能多的国家参加奥运会，减少抵制国家的数量。
  国际奥委会开始积极活动、游说。为了能够使非洲42个国家全部参加奥运会，增加参赛国的数量，国际奥委会决定出资，承担每个非洲国家6名运动员的全部费用，并且给每个国家6000美元的置装费。
  奥运会参赛国的数字可能不少，但是就如同美国不参加莫斯科奥运会，莫斯科奥运会的竞赛水平大大降低一样，没有苏联、东德等国家的参加，洛杉矶奥运会的水平自然会大大降低。