Несколько раз пытался начать ответ, но все никак не удавалось сформулировать.

В разные периоды существования СССР дефицит возникал о разным причинам, вернее по разному комплексу причин. В СССР первых лет существования недостаток товаров объяснялся тем, что организация новых форм хозяйствования и планирования. После второй мировой страна быстро восстанавливалась, и в определенный период даже достигла того, что производила основные товары в достаточном для удовлетворения спроса количестве, и даже постепенно снижала цены. В "хрущевский" период в стране начинают часто приниматься очень странные решения, типа повсеместного выращивания кукурузы, что очень сильно бьет по экономике.Но по этим периодам очень мало информации, поэтому судить сложно.

В дальнейшем, в Брежневский период, сначала "жизнь начинает налаживаться", но потом наступает эпоха тотального дефицита. Этот период помню, она "на моей памяти".

Первые признаки наступающей эпохи дефицита появились в конце 70-х, когда ввели первые талоны. Но не везде, а только в некоторых городах. В Казани первые талоны, как помню, были на масло и колбасу. Страна тогда строила КАМАЗ, и хоть и строили всем миром, но тогдашней ТАССР доставалось с лихвой. Сыграло и то, что руководство ТАССР, выслуживаясь перед центром постоянно принимала на себя нереальные обязательства. В итоге, недостаток продуктов ощущался, и чем дальше, тем сильнее. Помню, в 80-х был момент, когда "по талонам" были уже больше 20-и видов товаров. Народ эти талоны называл портянками.

В тот же период появилась загадка: "Мчится бешено, мясом обвешана. Угадай что это?". Ответ: "Скорый поезд Татарстан возвращается из Москвы". Мы уезжали вечером, в субботу, из Казани, утром воскресения прибывали, в течении дня затаривались продуктами, вещами, и вечером снова садились в поезд, чтоб к утру понедельника быть в Казани и успеть на работу. А мясо, чтоб оно не портилось, в холодное время года вывешивали за окно, на холод. Представляете картину, мчится скорый, а по бокам висят баулы, рюкзаки, мешки с мясом ?

Как, в ТАССР, которую имела развитое сельское хозяйство, не хватало той продукции, которая там же и производилась? А причины очень просты. Все свозилось в Москву, в выполнение огромных разнарядок. А еще нужно было передавать много в строящийся КАМАЗ. И в итоге, в Казани продуктов не хватало. Народ решил проблему сам..., хоть и решать его на уровне правильного планирования было бы намного разумнее.

И еще о планировании. В те годы у нас начали активно культивировать сахарную свеклу. И вот в колхоз спускается план, посеять свеклу на Н гектарах. Главный агроном в ужасе, при ьаком количестве он никак не может обеспечить севооборот, придется сеять эту свеклу год за годом на одних и тех же полях. Он пытается объяснить, что это пагубно для земли, надо соблюдать севооборот. Ему отвечают, партия приказала Н гектаров. Значит Н гектаров. А твой севооборот партию не волнует.

Что порождало, на мой взгляд" тотальный дефицит в СССР ?

ошибки планирования, а скорее даже невозможность детального планирования в таких огромных масштабах;
неумение партийной номенклатуры, которая диктовала все и вся, разбираться в хозяйстве, что часто приводило к серьезным проблемам (кстати, в народе Н.С.Хрущева прозвали "кукурузный король");
чрезмерная централизация (на эти грабли, похоже, собирается наступать и РФ, с все более "костенеющей" административной вертикалью);
Есть и другие причины, среди которых "оказание помощи братским странам", необходимость поддерживать оборонную промышленность, содержать гигантскую армию. Нужно не забыть и то, что продуктивность труда к концу 70-х сильно падает, что объясняется многими причинами.

Комплекс таких причин привел к тому, что в СССР, стране, которая имела гигантские запасы всего, огромный людской потенциал, возникало такое "удивительное" явление, как дефицит.