Давай посчитаем динамику:

dp[i][j][k] — ответ для i — коробок, где в данный момент осталось j красных и k синих шаров.

Тогда персчитывается вот таким образом:

Переберем двумя циклами числа x, y. x — означает количество красных шаров, которые мы положим в i-ю коробку, а y количество синих шаров, которые мы положим в i-ю коробку.

Тогда в состояние dp[i][j][k] мы приходим из состояния dp[i - 1][j + x][k + y].

Код:

dp[0][a][b] = 1;
    for (int i = 1; i <= n; i++) {
        for (int j = 0; j <= a; j++) {
            for (int k = 0; k <= b; k++) {
                for (int t = 0; t <= a; t++) {
                    for (int p = 0; p <= b; p++) {
                        if (j + t <= a && k + p <= b)
                            dp[i][j][k] += dp[i - 1][j + t][k + p];
                    }
                }   
            }
        }
    } 
    BigInt ans; ///используем длинную арифметику
    for (int i = 0; i <= a; i++)
        for (int j = 0; j <= b; j++)
            ans += dp[n][i][j];

1) Синие шары никак не зависят от красных. Посчитаем, сколькомя способами можно разложить красные шары, сколькомя способами можно разложить синие шары, перемножим результаты. Это и будет ответ.

2) Посмотрим сколькомя способами можно разложить не более чем A шаров в N коробок. Утверждение: есть ровно C(N+A,A) различных разложений. Доказательство: Допустим, нам нужно разложить ровно A шаров. Тогда есть ровно C(N+A-1,N-1) способов добится этого. Как это получить: представим себе N+A-1 предмет. Каждый предмет это или шар, или перегородка между коробками. Заметим, что различные расположения перегородок однозначно определяют различные разложения шаров по коробкам. Всего есть C(N+A-1,N-1) способов выбрать перегородку.

Нам же нужно разложить не более чем A шаров. Для этого просто добавим фиктивную N+1-ую коробку, в которую пойдут все не разложенные ранее шары. Получим формулу C(N+A, A).

Код