“Ayer” es un concepto resbaladizo. Lo que llamas “ayer” puede estar “presente” para algún otro observador que está separado espacialmente de ti y se mueve porque el conjunto de puntos que atribuyes al mismo tiempo (que yo llamo “plano ahora”) está sesgado con respecto al Plano de otro observador. Por lo tanto, la pregunta correcta debería ser por qué recuerdas solo esos eventos de tu pasado cono de luz.
La respuesta tiene que ver tanto con la neurología como con la causalidad. Las únicas señales que su cerebro posiblemente puede recibir son aquellos eventos que han viajado a velocidades de luz desde puntos en su cono de luz anterior. Luego, transformó y almacenó esas señales en forma físico-química creando nuevos enlaces sinápticos en el cerebro y afectando a los neurotansmitters. No es posible ninguna comunicación de eventos que se encuentren fuera del cono de luz anterior (espacial o temporal), a menos que tenga una hipótesis acerca de los taquiones (que nunca se han encontrado experimentalmente). Rompe la relación causal entre los acontecimientos. Por lo tanto, ninguna señal para el procesamiento neuronal se traduce en no memoria, como no tiene memoria de cómo era antes de nacer.