Los investigadores presentaron ReBA routing, un esquema de enrutamiento de tokens guiado por la geometría que mantiene equilibrados los tokens visuales y textuales en modelos multimodales de mezcla de expertos (MoE). Los primeros experimentos demostraron que el método estabilizó el entrenamiento cuando se aumentó la resolución de la imagen, un escenario en el que los enrutadores convencionales suelen fallar.

Por qué los modelos de visión y lenguaje necesitan un nuevo enrutador

Los modelos de visión y lenguaje procesan dos flujos muy diferentes: parches de imagen que pueden contarse por cientos y un puñado de tokens de palabras. Los enrutadores MoE estándar tratan cada token como si fuera el mismo tipo de dato, por lo que los parches de imagen inundan a unos pocos expertos mientras que los tokens de texto permanecen inactivos. Los trabajos existentes intentan corregir la carga mediante una pérdida auxiliar que solo iguala el número total de tokens asignados a cada experto. Debido a que la enorme carga de las imágenes puede anular la pequeña carga de texto, la pérdida enmascara el desequilibrio real hasta que el rendimiento se degrada.

Cómo ReBA cambia las reglas del enrutamiento

ReBA añade un límite de modalidad (modality boundary) al proceso de enrutamiento. En lugar de un único grupo que mezcla parches y palabras, construye rutas separadas que respetan la disposición geométrica de los tokens de imagen. Cada instancia de imagen recibe el mismo peso general, evitando que un solo experto se convierta en un cuello de botella. Guiado por la disposición espacial de los parches, el sistema se mantiene estable incluso cuando cambia la resolución de entrada.

Ventajas clave reportadas por los autores:

  • Impone una división clara entre los tokens visuales y lingüísticos.
  • Garantiza una contribución equitativa de cada imagen en un lote (batch).
  • Evita que los expertos se vean abrumados por una sola modalidad.
  • Mantiene el equilibrio cuando aumenta el número de parches de imagen.

En diversos entornos de referencia (benchmarks), ReBA mantuvo el grupo de expertos utilizándose de manera uniforme, independientemente de cuántos parches se añadieran a un lote, superando el enfoque tradicional de pérdida auxiliar.

Límites y preguntas abiertas

El estudio no proporciona cifras sobre la velocidad o el consumo de memoria, por lo que no sabemos si la lógica de enrutamiento adicional añade costes ocultos. Los autores también asumen que todos los parches de una sola imagen actúan como una unidad única; esa suposición podría fallar en lotes que mezclen imágenes de diferentes resoluciones o que contengan regiones parcialmente enmascaradas.

Qué observar a continuación

  • Compromisos entre rendimiento y eficiencia: los trabajos futuros deberán cuantificar cualquier sobrecarga (overhead) que añada ReBA.
  • Comportamiento en lotes mixtos: las pruebas en lotes que combinen imágenes de alta y baja resolución revelarán si el límite de modalidad se mantiene.
  • Adopción en flujos de trabajo (pipelines) a gran escala: si la estabilidad del enrutamiento se traduce en mejores tareas posteriores (downstream)—como el subtitulado de imágenes o la respuesta a preguntas visuales—los desarrolladores podrían sustituir la pérdida auxiliar estándar por ReBA.

Si está construyendo un flujo de trabajo (pipeline) de MoE de visión y lenguaje, sustituir el enrutador predeterminado por ReBA podría proporcionarle un patrón de uso de expertos más uniforme a medida que aumenta la resolución de la imagen. Esté atento a las métricas de distribución de tokens tras el cambio; una distribución más plana indica que el límite de modalidad está cumpliendo su función.