Empezaré por decir que para llevar a cabo las operaciones que tú indicas es necesario que A y B sean matrices cuadradas. Sabiendo esto, es necesario estudiar la forma de cada uno de los elementos ij de tus matrices, y después de hacer un pequeño análisis, llegas a la siguiente expresión (no daré todos los pasos porque YR no se presta para ello):
A_ikA_kh + 2A_ikB_kj + B_ikB_kj = A_ikA_kj + A_ikB_kj + B_ikA_kj + B_ikB_kj
Lo cual, tras la eliminación de los términos semejantes, nos lleva a la siguiente condición:
A_ikB_kj = B_ikA_kj
que inmediatamente, tras hacer la suma sobre k, nos lleva a la conclusión de que A y B deben ser matrices que conmutan entre sí, y esa es la condición que deben de cumplir tus matrices para que obtengas la igualdad (AB)² = A²+2AB+B²
Te dejo el siguiente ejemplo:
Sea A la siguente matriz:
|1 0|
|0 2|
y sea B esta otra
|2 0|
|0 3|
puedes comprobar que AB=BA que es igual a
|1 0| |2 0| = |2 0|
|0 2| |0 3| |0 6|
Es decir, las matrices A y B conmutan, por lo que según dije arriba, cumplirán la condición que pides. Entonces:
A² es
|1 0|² = |1 0|
|0 2| . . |0 4|
B² es
|2 0|² = |4 0|
|0 3| . . |0 9|
2AB es
2*|2 0| = |4 0 |
. .|0 6| . .|0 12|
Con esto podemos ver que A² + 2AB +B² es
|9 0 |
|0 25|
Ahora calculemos A+B:
|1 0|+|2 0| = |3 0|
|0 2| |0 3| . .|0 5|
y al elevar al cuadrado nos queda:
|9 0 |
|0 25|
y como vez, cumple con la condición dada.
Sólo como aclaración, y contrario a lo que dice un usuario: no es que el producto de matrices no sea conmutativo; eso es cierto en general, y totalmente cierto cuando las matrices no son del mismo tamaño; pero hay condiciones que nos permiten tener matrices que conmuten (y el que las matrices sean cuadradas y del mismo tamaño es una de ellas, aunque puede no ser suficiente), así que afirmar tan a la ligera que el producto de matrices no es conmutativo es un error.
Tampoco es necesario que una de las matrices sea la identidad, eso es un error inaceptable. No hay que limitarnos a lo más sencillo, es por eso que puse un ejemplo con una matriz distinta de la identidad.