Metodologías de construcción de índices compuestos: aportes a partir del Índice de Potencial Competitivo Departamental para Uruguay
Methodology for composite index construction: contributions from the Departmental Competitive Potential Index for Uruguay.
Roberto Horta
Universidad Católica del Uruguay (Uruguay)
https://orcid.org/0000-0001-5138-2377
Micaela Camacho
Universidad Católica del Uruguay (Uruguay)
https://orcid.org/0000-0001-9137-8399
Luis Silveira
Universidad Católica del Uruguay (Uruguay)
https://orcid.org/0000-0001-9506-256X
Lucía Ferreira
Universidad Católica del Uruguay (Uruguay)
https://orcid.org/0000-0002-3602-6195
RESUMEN
El objetivo del artículo es realizar una revisión de la temática de los indicadores compuestos, en especial lo relacionado con el proceso metodológico asociado a su construcción, detallando y discutiendo los diversos pasos vinculados a dicho proceso, utilizando como referencia la construcción del Índice de Potencial Competitivo Departamental (IPCD), indicador que mide el potencial competitivo de los Departamentos (regiones administrativas) en Uruguay, con la finalidad de mostrar un caso concreto y las opciones que se tomaron en su construcción, sin entrar en la explicación detallada de dicho indicador. La principal reflexión que debe destacarse es la necesidad de la transparencia en la construcción del índice. Esto es, la solidez del índice compuesto y su utilidad a futuro dependerá directamente de la calidad de la información y la justificación brindada sobre cada una de las decisiones que tome el investigador (o equipo de investigación) a cargo del armado del índice.
PALABRAS CLAVE
SUMARIOs compuestos; Metodología; Competitividad; Uruguay.
ABSTRACT
The objective of the article is to carry out a review of the subject of composite indicators, especially that related to the methodological process associated with their construction, detailing and discussing the various steps linked to said process, using the construction of the Competitive Potential Index Departmental (IPCD) as a reference., an indicator that measures the competitive potential of the Departments (administrative regions) in Uruguay, in order to show a specific case and the options that were taken in its construction, without going into the detailed explanation of said indicator. The main reflection that should be highlighted is the need for transparency in the construction of the index. That is, the strength of the composite index and its usefulness in the future will depend directly on the quality of the information and the justification provided for each of the decisions made by the researcher (or research team) in charge of building the index.
KEYWORDS
Composite indicators; Methodology; Competitiveness; Uruguay.
Clasificación JEL: C38, C43
MSC2010: 91B82
1. Introducción
Al momento de evaluar el desempeño de regiones, países o ciudades en diversas temáticas sociales, económicas, ambientales, u otras relacionadas con fenómenos complejos que no son directamente medibles y/o no están definidos de manera única, los indicadores compuestos se vuelven una herramienta útil que ha adquirido cada vez más popularidad (Becker et al., 2017). Ejemplos de los fenómenos que se han intentado evaluar con índices compuestos son el desarrollo humano, la innovación, la corrupción, la competitividad, la gobernabilidad, el nivel educativo, entre otros. De esta manera, y con el objetivo de medirlos, en las dos últimas décadas han surgido diversos rankings que agrupan en un único indicador un conjunto de variables relacionadas, buscando simplificar la información para contribuir a la comparación y la evaluación, debido a que son, en definitiva, herramientas que “pueden impulsar cambios en las políticas públicas” (Kelley & Simmons, 2015).
Con este marco, el presente artículo tiene por objetivo realizar una revisión de la temática de los indicadores compuestos, en especial lo relacionado con el proceso metodológico asociado a su construcción, detallando y discutiendo los diversos pasos vinculados a dicho proceso, utilizando como referencia la construcción del Índice de Potencial Competitivo Departamental (IPCD), indicador que mide el potencial competitivo de los Departamentos (regiones administrativas) en Uruguay.
Corresponde aclarar que el estudio no tiene por objeto exponer exhaustivamente todas las opciones metodológicas existentes para la construcción de un índice compuesto, siendo su principal aporte brindar un contexto de base para la justificación de las decisiones metodológicas de los investigadores en la construcción de un indicador agregado y multidimensional. A su vez, las referencias al IPCD a lo largo del artículo tienen la finalidad de mostrar un caso concreto y las opciones que se tomaron en su construcción, sin entrar en la explicación detallada de dicho indicador.
Luego de esta introducción, en el apartado 2 se realiza una revisión de la literatura sobre el concepto de indicadores compuestos para, a continuación, desarrollar en el apartado 3, los diferentes pasos o etapas necesarios en la construcción de un índice compuesto, utilizando como ejemplo ilustrativo el IPCD que busca medir el potencial competitivo de los departamentos en Uruguay. Finalmente, se presentan las principales conclusiones.
2. El concepto de indicadores compuestos: una breve revisión de literatura
Los indicadores o índices compuestos sintetizan la información de un conjunto seleccionado de indicadores y variables (Nardo & Saisana, 2009). Son instrumentos muy conocidos para evaluar y clasificar países e instituciones en términos de desempeño (por ejemplo, ambiental, sustentabilidad) y de otros conceptos complejos que no son fácilmente medibles (Becker et al., 2017), por lo que son cada vez más reconocidos como una herramienta útil en las políticas de análisis y comunicación pública. Hay autores que los han desarrollado para tomar decisiones más o menos urgentes (Curchod & Alberto, 2021). De acuerdo con Curchod y Alberto (2021), este tipo de indicadores tienen la ventaja de poder interpretarse rápidamente y dar a quien toma las decisiones una orientación inmediata sobre los procedimientos a seguir. Proporcionan comparaciones simples de unidades que se pueden utilizar para ilustrar la complejidad de nuestro entorno dinámico en una amplia gama de áreas como competitividad, gobernanza, ambiente, desarrollo, turismo, economía, dado que pueden resumir conceptos complejos y elusivos (Kuc-Czarnecka, Lo Piano & Saltelli, 2020). En pocas palabras, puede decirse que son “índices sintéticos de múltiples indicadores individuales” (Freudenberg, 2003).
En términos generales, un indicador es una medida cuantitativa o cualitativa derivada de una serie de hechos observados que pueden revelar posiciones relativas de una unidad de análisis (país, ciudad, región, o inclusive industrias, empresas y hasta trabajadores individuales), con respecto a otra de iguales características en un área de estudio determinada. De esta manera, un indicador compuesto se logra cuando un conjunto de indicadores se compila en un solo índice en la base de un modelo subyacente. Idealmente, los indicadores compuestos deberían medir conceptos multidimensionales que no pueden ser captados por un solo indicador (OCDE, 2008). Además, deberían de ayudar a reducir la subjetividad asociada a su construcción, ser fáciles de interpretar y no ser demasiado complejos de operacionalizar (Domínguez Serrano et al., 2011).
Si bien no existe una “definición oficial” de lo que es un indicador compuesto, entre las diferentes definiciones propuestas puede decirse que, esencialmente, un indicador compuesto refleja un “sistema complejo” que consiste en numerosos componentes, haciendo más fácil de entender el sistema en su conjunto en lugar de reducirlo a sus partes separadas (Greco et al., 2018). En este sentido, los índices compuestos son más fáciles de interpretar que encontrar una tendencia común en muchos indicadores separados (Nardo & Saisana, 2009). Generalmente, los índices compuestos, se utilizan para la comparación de diversos “asuntos” entre países, regiones, ciudades, etc.
Por otra parte, el uso de los indicadores compuestos también es criticado por algunos investigadores. De acuerdo con Sharpe (2004), existe una división en la literatura sobre indicadores, entre aquellos que agregan variables en un indicador compuesto, a los que llama “agregadores”, y aquellos que no, a los que llama “no agregadores”. El primer grupo apoya la construcción de índices compuestos para describir fenómenos complejos, mientras que el segundo grupo los considera estadísticamente no significativos. Los “agregadores” creen que existe valor en combinar indicadores por dos motivos; en primer lugar, porque consideran que una medida como el indicador compuesto puede capturar la realidad y tiene significado por sí misma; en segundo lugar, porque enfatizan que los “bottom lines” (resultados últimos) son extremadamente útiles en atraer el interés de los medios y, por lo tanto, la atención de los hacedores de política.
Por su parte, los “no agregadores”, creen que el análisis debe detenerse cuando se han encontrado un conjunto apropiado de indicadores y no ir un paso más allá. La mayor crítica que hacen los “no agregadores” a los índices compuestos es la naturaleza arbitraria de los procesos de ponderaciones a través de los cuales las variables son combinadas (Sharpe, 2004). A pesar de ello, es un debate que sigue vivo e, inclusive, opositores de este tipo de índices se han vuelto con el tiempo defensores de los mismos (de acuerdo con Sharpe, 2004, Amartya Sen, es un ejemplo 1), en la base que es la aceptación general y social lo que termina dándole la importancia y la relevancia necesaria al concepto (Greco et al., 2018; Nardo et al., 2005). Inclusive, se ha afirmado que es difícil imaginar que dicho debate se pueda resolver (Saisana, Saltelli & Tarantola, 2005).
Nardo y Saisana (2009) y Saisana y Tarantola (2012) exponen ventajas y desventajas de los indicadores compuestos. Entre los aspectos positivos destacan que pueden resumir conceptos complejos o multidimensionales, siendo más sencillos de interpretar, apoyando así a los tomadores de decisiones y facilitando la comunicación al público general. Además, facilitan la tarea de construir rankings de unidades de análisis en asuntos complejos, permitiendo comparar de forma efectiva dimensiones complejas unas con otras. Por otro lado, dentro de las desventajas, encuentran que, en el caso de estar mal construidos o interpretados, pueden enviar mensajes erróneos o engañosos, pudiendo disimular serios problemas en algunas dimensiones e incrementando la dificultad de identificar las acciones adecuadas para remediarlos.
Uno de los puntos esenciales en la temática de los índices compuestos, y que es levantado recurrentemente en la literatura, es la necesidad de que exista absoluta transparencia en la metodología seguida para la construcción del índice. Cada una de las decisiones metodológicas que deben tomarse para la construcción tiene efectos sobre el resultado final del índice. En este sentido, si no se justifica adecuadamente cada paso, surge un espacio considerable para la manipulación de los resultados (Greco et al., 2018). Esto es especialmente relevante dado que, como se mencionó, uno de los usos más frecuentes de los índices compuestos es la comparación entre unidades de análisis, sean países, regiones, ciudades, localidades, etc. A este respecto, por ejemplo, Jiang y Shen (2013) estudian cómo el uso de diferentes técnicas de ponderación en las dimensiones de la competitividad urbana, terminan arrojando diferentes resultados en lo que respecta a los rankings de ciudades.
El desarrollo de un marco de calidad para indicadores compuestos no es una tarea fácil. De hecho, la calidad general del indicador compuesto depende de varios aspectos relacionados tanto con la calidad de los datos como con la solidez de los procedimientos utilizados en su construcción. Por lo tanto, la calidad de un indicador compuesto depende esencialmente de dos aspectos: (i) la calidad de los datos básicos que intervienen en su construcción y (ii) la metodología empleada en la construcción y divulgación del índice o indicador compuesto.
La calidad relacionada con los indicadores compuestos va más allá de la calidad generalmente definida en las estadísticas, donde se equipará mucho con precisión. En el caso de estos indicadores, el concepto de calidad es más amplio pues hay que considerar otras dimensiones que son también importantes. Aunque los datos sean precisos, no se puede decir que sean de buena calidad si se producen demasiado tarde para ser útiles a los usuarios, no son de fácil acceso o parecen entrar en conflicto con otros datos. Por lo tanto, la calidad de los indicadores compuestos es un concepto multifacético. Las características de calidad más importantes dependen de las distintas perspectivas, necesidades y prioridades, que varían según los grupos de usuarios (OCDE, 2008).
Teniendo en cuenta las prácticas estadísticas más comunes en los organismos internacionales, como por ejemplo el Código Europeo de Prácticas Estadísticas (Eurostat, 2018), es posible establecer una serie de criterios que identifican la calidad de los indicadores compuestos, especialmente en lo referente al manejo de datos. En primer lugar, es clave la relevancia de los datos para cumplir con los objetivos del indicador y las necesidades de los usuarios. También deben ser exactos, referido a la precisión de los datos para estimar correctamente aquello que se quiere medir, debiendo ser fiables y precisos con la realidad. Para ello, los datos deben ser, por un lado, actualizados para minimizar la necesidad de estimación de datos faltantes y mantener coherencia temporal y, por otro, accesibles, referido a la facilidad con la que se puede ubicar y acceder a los datos originales. Es fundamental que los datos sean interpretables, reflejando la facilidad con la que el usuario puede entender, utilizar y analizar correctamente los datos básicos. Por último, se resalta la importancia de la coherencia, debiéndose mantener los mismos conceptos, definiciones y metodologías en el tiempo, así como los mismos conceptos, definiciones y clasificaciones entre países, regiones y/o unidades de análisis. Cualquier cambio que se incorpore al indicador debe ser explicado.
En lo que respecta a los aspectos metodológicos, para abordar el análisis de los indicadores compuestos, siguiendo a Munda y Nardo (2009) y Nardo y Saisana (2009), se debe hacer referencia y conceptualizar los diferentes elementos que los componen (dimensiones, indicadores, variables y objetivos). Dentro de un indicador compuesto, en primer lugar, se encuentran las llamadas dimensiones. Las dimensiones son el nivel de análisis superior (o inferior inmediato al índice compuesto global), e indican el ámbito de acción de cada uno de los indicadores individuales que se agregarán al índice. En otras palabras, cada una de las dimensiones intenta captar un aspecto del fenómeno complejo que se intenta medir y anida en su interior el conjunto de indicadores individuales que ayudan a medir ese aspecto específico. De esta manera, en segundo lugar, o en un segundo nivel analítico, dentro de cada una de las dimensiones podemos encontrar los indicadores individuales. Cada conjunto de indicadores individuales aporta a la evaluación de cada una de las dimensiones del índice compuesto. Estos son los dos niveles básicos estructurales dentro de un índice compuesto. Lógicamente, pueden establecerse más niveles, en caso de ser necesario, pero debe recordarse que la simplicidad del indicador global debe ser uno de los elementos a cuidar. Junto con los indicadores individuales cobran relevancia dos elementos importantes de los índices compuestos: las variables y los objetivos. Las variables son directamente la medida del indicador. En otras palabras, es una medida que representa en un momento dado del tiempo y el espacio el estado real del indicador.
Una vez determinado el conjunto de indicadores necesario para captar cabalmente cada una de las dimensiones del índice, es necesario definir con qué variable será medido cada indicador. Puede suceder que cada indicador pueda ser aproximado por distintas variables, pero siempre deberá elegirse una de ellas para ejecutar la construcción del índice. La elección de la variable a utilizar puede depender de muchos factores, tanto a nivel de la disponibilidad y calidad de los datos, como en relación con aspectos estadísticos que se abordarán más adelante. En definitiva, puede decirse que cada indicador es la conceptualización teórica de lo que se quiere medir y la variable es el dato específico con el que se hará la medición.
El último elemento clave de los indicadores compuestos es el objetivo. Este elemento está también intrínsecamente relacionado con cada indicador y, por ende, cada variable utilizada. El objetivo establece en qué dirección se desea que cambie cada indicador individual para considerar una variación positiva o negativa para el indicador global. Esta definición no siempre es sencilla y clara, estando estrechamente ligada a lo que se desee medir. Un caso frecuente de ejemplo es la movilidad internacional de los investigadores, que, visto desde un país puede ser un indicador negativo, tomándose como proxi de pérdida de capital humano, pero, desde una región o grupo de países, puede ser un indicador positivo si se relaciona con un acercamiento al aprendizaje entre pares. Esto pone de relieve la importancia de la correcta conceptualización del fenómeno a medir y su posterior modelización, lo que dará el marco para la construcción del índice compuesto. Cuanto más clara la conceptualización y mejor adaptado el modelo a la idea, más fácil será la identificación de las dimensiones, indicadores individuales y, luego, cada una de las variables y objetivos asimilables a cada indicador. Estos temas se verán en la siguiente sección.
De forma gráfica los distintos elementos de un índice compuesto pueden visualizarse tal como se muestra en la Figura 1.
Figura 1: Elementos de un índice o indicador compuesto
Fuente: Elaboración propia
El indicador compuesto, o índice sintético es un agregado ponderado de todas las dimensiones e indicadores individuales, con sus variables y objetivos correspondientes. De forma matemática estándar, un índice compuesto adquiere la siguiente forma (1):
Donde Di representa cada una de las N dimensiones y zi es el peso asignado a cada dimensión para su agregación (en regla general las dimensiones suelen tener asignado igual peso por lo que la agregación de las dimensiones para el cálculo del índice final se realiza por un cálculo de promedio simple). El cálculo de cada una de las dimensiones puede verse de forma estándar con la siguiente fórmula matemática (2):
Donde 𝑥𝑖 es una variable ajustada a escala y normalizada (más adelante se abordan estos temas metodológicos) y 𝑤𝑖 es el peso asignado a la variable i (nótese que en este caso la formulación del indicador supone una agregación lineal de las variables, que es uno de los métodos de agregación más utilizados, pero no el único). En los siguientes apartados se profundiza en este tema.
3. Metodología para la construcción de un indicador compuesto
De acuerdo con el manual de OCDE para la construcción de indicadores compuestos (OCDE, 2008) la metodología para su construcción comprende una secuencia de nueve etapas: (i) construcción del marco teórico; (ii) selección de variables; (iii) imputación de datos faltantes; (iv) preparación de los datos; (v) análisis multivariado; (vi) normalización de variables; (vii) ponderación; (viii) agregación; (ix) análisis de sensibilidad y robustez. En base a esto, en la presente sección se describen cada uno de estos pasos incorporando las eventuales decisiones metodológicas que pueden necesitar tomarse en ellos, sin pretender ser exhaustivos en las posibilidades. Se utiliza, para poder ejemplificar la práctica de la metodología, la construcción del Índice de Potencial Competitivo Departamental, realizado por el Instituto de Competitividad de la Universidad Católica del Uruguay en el año 2021. Este índice busca medir el potencial competitivo de los 19 departamentos de Uruguay entre los años 2010-2019 con el objetivo de apoyar la formulación de políticas públicas de estrategias de actores privados, e impulsar acciones que promuevan la descentralización y el desarrollo regional.
Es importante tener en cuenta que, además de cada una de las decisiones que se toman en cada etapa, es muy importante la coherencia en el proceso global. En este sentido, las decisiones que se tomen en cada etapa pueden tener implicancias para las restantes. Pero más allá de las decisiones específicas que se tomen, el elemento que cobra mayor relevancia en el proceso de construcción de indicadores compuestos, según establece la literatura y todos los manuales consultados, es la transparencia de todo el ejercicio. Esto significa que, explicitar cada una de las decisiones metodológicas, resulta esencial para construir indicadores creíbles.
3.1 Marco teórico
Los indicadores compuestos pueden considerarse “modelos” si se los analiza desde el sentido matemático del término. Estos modelos se inspiran en distintos sistemas (naturales, biológicos, sociales) que se desean comprender. Por lo tanto, cuando se formaliza un sistema, se genera una imagen, un “marco teórico” que solamente es válido en un espacio de información dado. Entonces, las elecciones realizadas sobre cómo observar la realidad van a impactar en cómo el modelo refleja las características del sistema real (Nardo et al., 2005).
La elección de qué dimensiones y qué indicadores individuales utilizar, qué método de normalización se usará para las variables, el método de ponderación y cómo se agrega la información, se desprenden, de alguna manera de los elementos clave del modelo.
La elaboración del marco teórico involucra dos actividades fundamentales que cobran una relevancia clave puesto que serán las que luego guíen cada una de las etapas subsiguientes de construcción del índice: (i) la definición o conceptualización del fenómeno a ser medido y (ii) la modelización del fenómeno.
En la práctica, un marco teórico debe definir claramente el fenómeno a ser medido de manera que cada subcomponente del fenómeno establezca las dimensiones del indicador compuesto. Asimismo, el marco teórico debe asistir a seleccionar los indicadores individuales, el objetivo de cada uno (la dirección deseable para aportar a la mejora del índice), así como los pesos a asignar a cada uno, para que reflejen su importancia relativa en la dimensión y en el compuesto en su conjunto. Idealmente este proceso se basará en lo que es deseable de ser medido y no en los indicadores que están disponibles.
Para el caso del IPCD, dado que el fenómeno a medir era el potencial competitivo departamental en Uruguay, primero se buscó una conceptualización de la competitividad y de potencial competitivo que permitiese definir un modelo sobre el que trabajar. De esta manera, siguiendo a Camacho (2020), la competitividad se definió como “el proceso a través del cual, a partir de un conjunto de recursos y capacidades que son fuente de ventajas competitivas, un territorio puede alcanzar objetivos de bienestar y desarrollo sostenible previamente establecidos”.
A partir de esta definición y de los desarrollos teóricos sobre competitividad de diversos autores, en especial, Porter (1990), Aiginger (2006), Aiginger y Firgo (2015, 2017) y Huggins, Izushi y Thompson (2013), se construyó un modelo conceptual siguiendo el esquema propuesto en Camacho (2020). Como puede observarse en la Figura 2 el modelo de competitividad está conformado por cuatro niveles: potencial competitivo, desempeño, resultados, y felicidad (inputs, outputs, outcomes y objetivos de bienestar).
Figura 2: Modelo de construcción competitiva
Fuente: Instituto de Competitividad
En dicho modelo, el potencial competitivo (que es lo que se intentará medir en el índice compuesto) es el conjunto de los insumos (inputs) del proceso de construcción de competitividad. Este conjunto de insumos está compuesto por tres subniveles, dependiendo del grado en que pueden ser afectados por decisiones de política (Camacho, 2020). Estos niveles son: (i) fundamentos, (ii) insumos de base y (iii) insumos de acción directa (Figura 2). Los fundamentos son insumos muy difíciles de cambiar, pero a pesar de ello, tienen un rol clave en el proceso de construcción competitiva, debido a que muchas veces determinan las fortalezas y debilidades del territorio. Entre estos factores se encuentran la localización geográfica, el clima, la historia, etc. Los insumos de base corresponden a elementos temporales, o a elementos dados para el territorio o la unidad de análisis, pues se deciden a un nivel superior, por ejemplo, corresponden a una estrategia a nivel de gobierno nacional y no departamental. Finalmente, los insumos de acción directa son aquellos sobre los que el territorio puede influir de forma directa y obtener cambios observables en el corto o mediano plazo.
Dado dicho marco teórico, y considerando el objetivo del Índice a construir, que pretende aportar a la planificación y seguimiento de políticas, se definió que la construcción del Índice de Potencial Competitivo abarque solamente los insumos de acción directa. Estos insumos de acción directa, tal como puede observarse en la Figura 3, están categorizados en cuatro ambientes.
Figura 3: Ambientes del Potencial Competitivo
Fuente: Instituto de Competitividad
El IPCD buscó, entonces, medir el potencial competitivo, dividiéndolo en cuatro ambientes (Camacho, 2020): (i) ambiente social, (ii) ambiente físico, (iii) ambiente económico y (iv) ambiente institucional. El ambiente social, comprende aquellos aspectos relacionados a la sociedad en que están inmersos los habitantes de esa región, incluyendo temas de equidad, educación, seguridad, pobreza, salud, etc. En el caso del ambiente físico, busca capturar aquellos elementos que hacen a la infraestructura y soporte del territorio, tanto de manera física como intangible, como lo son la conectividad, instituciones educativas y de salud, servicios a los que se tiene acceso, etc. Por otro lado, el ambiente económico se relaciona con aquellas variables vinculadas a la economía del territorio como, por ejemplo, el tamaño del mercado, turismo, exportaciones, etc. Por último, el ambiente institucional, se relaciona con la fortaleza de las instituciones y la manera que está organizada la sociedad, relevando, por ejemplo, el compromiso electoral, eficiencia financiera de los gobiernos, organizaciones de la sociedad civil, entre otros.
Los cuatro ambientes citados pasaron a conformar cuatro dimensiones del IPCD, a las que se le asignan indicadores individuales, buscando captar de la mejor manera posible el concepto de cada dimensión.
A priori, se decidió que las cuatro dimensiones, de acuerdo con el modelo teórico subyacente, pesan de igual manera a la hora de su aporte al Potencial Competitivo. Por lo tanto, se procedió a calcular cuatro sub-indicadores compuestos (uno por ambiente o dimensión), que luego fueron agregados con igual ponderación. Teniendo en cuenta las ecuaciones 1 y 2, la formulación del IPCD podría aproximarse de la siguiente manera ((3) y (4)):
Donde a𝑖 es el ambiente (económico, social, físico, institucional), 𝑥𝑖 es una variable (cada indicador tiene asignada una variable de medición, con su objetivo incorporado) y 𝑤𝑖 es el peso asignado a la variable.
Una vez conceptualizado el índice por dimensiones, en el paso siguiente, se procede a la elección de los indicadores y variables que compondrán cada dimensión. Debe tenerse en cuenta que la selección de datos (variables), es un proceso que depende no solo del marco teórico sino de los datos disponibles, pudiendo haber más de un conjunto de datos válido o ningún conjunto de datos que exprese el indicador que se desea medir.
3.2 Variables Seleccionadas
Las fortalezas y debilidades de los indicadores compuestos se derivan largamente de la calidad de las variables subyacentes asociadas a cada indicador. Idealmente, las variables deben ser seleccionadas en base a su relevancia, robustez analítica, secuencia en el tiempo, accesibilidad, etc.
Mientras que la elección de los indicadores debe ser guiada por el marco teórico, la selección de los datos (variables) puede ser muy subjetiva ya que, a priori, puede haber más de un conjunto de datos válidos. Por otra parte, la falta de datos relevantes limita la habilidad del constructor de crear indicadores compuestos firmes.
Para el IPCD, partiendo del modelo teórico y de las dimensiones propuestas anteriormente, se realizó una búsqueda exhaustiva de variables para formar los cuatro ambientes que conforman el potencial competitivo departamental: Ambiente Físico, Ambiente Institucional, Ambiente Social y Ambiente Económico. El primer conjunto de indicadores y variables resultado de la búsqueda inicial se encuentra en el anexo A.
Dado que las variables e indicadores finales a ser utilizados en el modelo, dependerá de aspectos estadísticos, en la construcción del IPCD se optó por seleccionar un conjunto amplio de variables para conformar la base de datos, de forma de que existieran opciones para el armado final de los ambientes, en caso de que alguna de las variables presentara problemas tanto de forma independiente como en relación con el resto de las variables.
3.3 Imputación de faltantes
Frecuentemente en la elección de las variables, aparecen series donde existen datos faltantes. Dependiendo del marco teórico elegido, muchas veces estas series no pueden ser obviadas para la construcción del índice, o no pueden identificarse proxis adecuados. Los datos faltantes son un problema común en las series socioeconómicas, especialmente cuando se trabaja con regiones subnacionales y, particularmente, cuando se trabaja con datos de Latinoamérica.
Si la variable no puede ser obviada para la construcción del índice, es necesario hacer frente al problema de los datos faltantes. Según la bibliografía hay tres métodos para lidiar con este problema: (i) eliminar el caso; (ii) imputación individual; (iii) imputación múltiple. En el caso de la imputación tanto simple como múltiple, existen diversos métodos para hacerlo (media/mediana/moda, regresión, algoritmos en el caso de imputación múltiple, etc.).
En el caso del IPCD, para cada variable que contenía datos faltantes, se realizó un análisis independiente para comprobar si era necesaria o deseable de acuerdo con el marco teórico y la definición de cada dimensión (ambiente). Luego, el criterio de imputación de datos faltantes fue el siguiente: para aquellas variables en las que existían casos anteriores y posteriores se utilizó el promedio, si solo existían variables posteriores o anteriores se utilizó el valor más cercano. En tres variables se debió realizar una imputación especial debido a que no existían datos para el departamento de Montevideo (el departamento más pequeño en superficie, pero el de mayor población, pues allí está radicada la capital del país), el método fue analizado en específico para cada variable 2.
3.4 Preparación de los datos
Una vez que la base queda completa, es importante estudiar las características de los datos para identificar posibles “luces rojas” que puedan representar problemas a posteriori. Uno de los análisis que se recomienda realizar es el de sesgo y asimetría de las variables. Siguiendo a Saisana y Saltelli (2011), aquellas variables con una combinación de sesgo mayor a 1 y curtosis mayor a 3,5 deben ser señaladas como potencialmente problemáticas. En el caso del IPCD se detectaron 18 variables de este tipo.
Para eliminar esta problemática, siguiendo a la literatura, pueden aplicarse diversas transformaciones monótonas (raíz cuadrada, raíz cúbica y logaritmo, por orden de preferencia). Este fue el criterio seguido para la construcción del IPCD, logrando eliminar el problema de sesgo y curtosis de las variables en 10 de ellas. Las 8 variables en las que no se pudo solucionar el problema estadístico se optó por eliminarlas de la base.
El último paso para la preparación de la base de datos corresponde a la asignación del objetivo correcto a cada variable. Esto es, de acuerdo con el marco teórico y la definición de la dimensión, para cada variable correspondiente a cada indicador individual debe especificarse si es deseable que aumente o disminuya para la mejora del índice compuesto en su conjunto.
En el caso del IPCD para tener en cuenta este elemento, para cada indicador se indicó si es un “activo” o un “pasivo” para la dimensión específica, siguiendo el enfoque propuesto en la investigación de Deas y Giordano (2001). De esta manera, para aquellos indicadores que sean “activos”, se estimará como bueno un cambio positivo y lo contrario para los “pasivos”.
El criterio metodológico que se siguió para el tratamiento de las variables con objetivo negativo (pasivo) fue transformarlas en sus inversos. Esta transformación permite que las variables puedan ser adicionadas directamente en la construcción final del índice (aunque con posibles distintas ponderaciones). A pesar de que existen diversos métodos de transformación (cálculo del inverso, distancia a una meta, etc.), en este caso se optó por la metodología utilizada por el Instituto Mexicano de Competitividad en su Índice de competitividad urbana 2018 (IMCO, 2018). La transformación se realiza siguiendo la fórmula (5):
Donde:
es el valor normalizado y “directo” del indicador q, para el departamento c, en el año t.
es el valor original del indicador q, para el departamento c, en el año t.
es el valor mínimo el indicador q entre todos los departamentos para todos los años.
es el valor mínimo el indicador q entre todos los departamentos para todos los años.
Es importante mencionar que la elección de este procedimiento metodológico implica que las variables de “pasivo” quedarán normalizadas. Esta decisión metodológica tiene impactos sobre los próximos pasos, ya que las variables de pasivo no será necesario normalizarlas en la etapa (vi). Aquí se ve de manera clara un asunto mencionado anteriormente, en el que cada una de las decisiones que se van tomando en cada etapa, impactan en las etapas subsiguientes.
3.5 Análisis multivariante
El análisis multivariante está orientado a observar si la estructura anidada de los indicadores es coherente tanto conceptual como estadísticamente. Diferentes enfoques estadísticos pueden ser utilizados, como el análisis de las correlaciones entre las variables, el Análisis de Componentes Principales (ACP), el Análisis Factorial (AF) y el alfa de Cronbach, que ayudan a explorar si las dimensiones del fenómeno están estadísticamente bien balanceadas en el indicador compuesto.
Dado que para la construcción del IPCD se optó por aplicar el análisis factorial para el análisis multivariante, fue necesario estandarizar las variables previo al análisis. La opción escogida en el IPCD fue la estandarización de las variables siguiendo el criterio Z-score, obteniendo variables con media 0 y varianza unitaria, siguiendo el criterio propuesto por el manual de la OECD.
El análisis exploratorio se realizó a través del análisis factorial con el método de extracción por componentes principales, para cada uno de los ambientes (social, físico, económico e institucional). Se estudiaron distintos estadísticos, como: la matriz de covarianzas que es también la forma de matriz de correlaciones por estar estandarizadas las variables; la medida de adecuación muestral Kaiser-Meyer-Olkin (KMO) y el test de esfericidad de Barlett. Para el análisis de correlaciones, se buscó que estas fueran significativas entre las variables incluidas por ambiente. En segundo lugar, se buscó que la medida KMO fuera mayor a 0,6 en conjunto, siguiendo la literatura referente en el tema (OCDE, 2008). A su vez, a través de la prueba de esfericidad de Barlett, se verificó que el p-valor fuera inferior a 0,05 %, dando como resultado que puede rechazarse la hipótesis nula de que los indicadores individuales no están correlacionados (la matriz de correlaciones es la matriz de identidad). Finalmente, se verificó la adecuación de cada una de las variables basada en la Medida de Adecuación de Muestreo (MSA). Si el valor de MSA para cada variable se aproxima a 1, la variable será adecuada para su tratamiento en el análisis factorial con el resto de las variables. Las variables utilizadas para el cálculo del IPCD cumplieron dicho criterio.
Los resultados del análisis multivariante permiten indicar al investigador cuál es el mejor conjunto de variables a seleccionar para cada dimensión (ambiente). En este sentido, cada variable incorporada debe ser significativa por sí misma para la dimensión en su conjunto y, a la vez, funcionar bien con el resto de las variables seleccionadas.
Para el caso del IPCD, se eligió el conjunto de variables por ambiente que obtuviera un buen resultado estadístico pero que, a su vez, fuera significativo a nivel de construcción de potencial competitivo, debido a que, como se expresó en la revisión de literatura y en el marco teórico, es fundamental la consistencia no solo de los datos, sino también del modelo en su conjunto (ver anexo B).
3.6 Normalización
Dado que los indicadores compuestos son una manera de resumir un fenómeno complejo, la mayoría del tiempo, las variables individuales que forman los compuestos están medidas en unidades diferentes. Existen varias técnicas para normalizar los datos que van a resultar en diferentes resultados (ranking, z-scores, min-max, distancia a una referencia, escalas categóricas, valores cercanos a la media, etc.). La normalización de los datos debe tener en cuenta las propiedades de los datos y los objetivos del índice compuesto a ser construido.
Si bien las variables se deben normalizar en el paso anterior (análisis multivariante), en este paso de la construcción del indicador compuesto, puede elegirse otra técnica de normalización. Esto puede resultar razonable si no se posee, a priori, una técnica de normalización preferida. La ventaja de utilizar criterios de normalización diferentes permite comparar distintos cálculos de índices compuestos lo que, a su vez, permite realizar a posteriori una elección sobre el índice que mejor se ajuste a los objetivos propuestos para su construcción.
En el caso de la construcción del IPCD, no se optó a priori por un único método de normalización, sino que se procedió a realizar la normalización de las variables siguiendo dos técnicas diferentes, min-max y z-score. Esta decisión metodológica, unida con la que se tomó en el paso siguiente (de ponderación) implica una novedad para la construcción del indicador, ya que significó obtener finalmente varias medidas del índice global que pudieron ser comparadas. Como se explicará a continuación, la utilización de dos técnicas distintas de normalización y dos técnicas distintas de ponderación significó el cálculo del índice con cuatro criterios distintos, que, en definitiva, permitió obtener información adicional sobre el índice en sí. La comparación final entre las distintas medidas del índice permite extraer conclusiones sobre la fortaleza del indicador para la medición del fenómeno modelizado, ya que, si las respuestas que pueden extraerse del análisis de los resultados del indicador son similares con independencia de los criterios de normalización y ponderación elegidos por el constructor del índice, podría decirse que el modelo teórico ha quedado correctamente representado por el índice calculado.
3.7 Ponderación
Un asunto central en la construcción de los indicadores compuestos es cómo combinar en una forma con sentido diferentes variables que aportan todas a un mismo concepto complejo. Por lo tanto, un elemento clave de la metodología es decidir de qué manera se van a ponderar los diferentes indicadores individuales al interior de cada dimensión y cómo se agregarán las diferentes dimensiones para la construcción del indicador final. La determinación del esquema de ponderación en los indicadores compuestos sigue siendo uno de los temas más preocupantes en su construcción (Jiménez-Fernández, Sánchez & Ortega, 2022).
La mayoría de los indicadores utilizan “pesos iguales”, esto es, a todas las variables normalizadas se les asigna el mismo peso (Greco et al., 2018; Nardo & Saisana, 2009). Vale mencionar que utilizar este método no significa no utilizar pesos, sino que implícitamente los pesos asignados son iguales. Adicionalmente, cuando se trabaja con indicadores que tienen subgrupos al interior del constructo (dimensiones) y cada subindicador comprende indicadores simples, el peso final de cada indicador en el índice total puede ser diferente de acuerdo con el criterio que se siga (i.e. si se asigna el mismo peso a cada indicador dentro de un subgrupo, pero cada subgrupo tiene distinta cantidad de indicadores, cada indicador individual terminará teniendo, al final, distinto peso en el índice sintético). Uno de los problemas que puede encontrarse al utilizar este criterio, es cuando dos indicadores están estrechamente relacionados (con una alta correlación) lo que puede llevar potencialmente a problemas de doble conteo. Sin embargo, según plantea Greco et al. (2018) el método es comúnmente utilizado debido a (i) la simplicidad de su construcción, (ii) una posible falta de estructura teórica para justificar un esquema de ponderación diferencial, (iii) falta de consenso entre los tomadores de decisiones, (iv) conocimiento estadístico o empírico inadecuado, (v) objetividad.
En el otro extremo de la “escala de objetividad”, otro procedimiento utilizado es la asignación de pesos por parte del constructor del índice, sin embargo, si bien es un método muy utilizado, tiene amplias críticas ya que es el método que más subjetividad involucra en el análisis. Como paso intermedio, están los métodos participativos, en los que se involucran diferentes actores relacionados con la temática (expertos, políticos, ciudadanos en general, hacedores de política, etc.) para asignar los pesos. Desde un punto de vista social, este podría ser un enfoque teóricamente ideal, pero es viable solamente si existe un modelo bien definido de política. Sin embargo, si el objetivo de política no está bien definido (por ejemplo, al comparar regiones unas valúan más lo ambiental que otras), o si el número de indicadores es muy grande, haciendo difícil alcanzar el consenso, los métodos participativos no se vuelven la mejor opción (Greco et al., 2018).
Dentro de los métodos participativos, puede mencionarse el método de la asignación de presupuesto “Budget Allocation Process” (BoP). Este método implica “otorgarle” a los expertos un total de “puntos” (presupuesto) para distribuir entre las distintas dimensiones e indicadores del índice compuesto. Según Saisana y Saltelli (2011) este tipo de métodos es ideal para un número de indicadores de entre diez y doce, y para Greco et al. (2018) no debe pasar de diez. Dos métodos similares al BoP son los del “proceso analítico jerárquico” y el “análisis conjunto” (frecuentemente usado en investigaciones sobre el consumidor y en la disciplina del mercadeo). Según Greco et al. (2018) estos procedimientos pueden verse como opuestos, ya que el primero asigna los pesos de los indicadores hacia un objetivo general y el segundo parte de una prioridad general y va desagregando los pesos de cada indicador.
Otro grupo de procedimientos para ponderar que limitan la subjetividad, son los métodos de ponderación estadísticos. De acuerdo con Domínguez-Serrano et al. (2011), las técnicas de análisis multivariante resultan más adecuadas para los casos en que se necesite un procedimiento que permita la obtención en forma objetiva y endógena de las ponderaciones. Estas técnicas son llamadas “data-driven” (manejadas por los datos), ya que surgen, como lo indica el nombre, de los datos mismos. Esta denominación fue presentada por Decancq y Lugo (2013), quienes categorizaron procedimientos de ponderación de los índices compuestos en tres grupos: “data-driven”, “normativos” e “híbridos”. Los procedimientos normativos son los que fueron presentados anteriormente y son los que dependen de los juicios sea del constructor o de los actores relevantes para el índice. Los “híbridos” como lo indica la palabra, son métodos que combinan ambos enfoques y utilizan información tanto sobre los juicios de valor como de los datos. Finalmente, las técnicas “data driven”, o dirigidas por los datos, basan los pesos a asignar en las características estadísticas de los propios datos.
Según plantean Decancq y Lugo (2013), los procedimientos “data-driven” se distinguen de los que se basan en los juicios de valor (“normativos”) haciendo eco de la distinción filosófica “ser-deber” introducida por David Hume. Según este filósofo no pueden deducirse expresiones normativas a partir de expresiones descriptivas. El deber ser no se deduce del ser. Por lo tanto, los métodos dirigidos por los datos caen en el problema de lo que se conoce como “la guillotina de Hume”, donde los pesos o “lo que debería ser” es derivado de lo que se observa, “lo que es”. Esta es una de las mayores críticas que reciben los procedimientos de ponderación basados en los datos.
Dentro de los métodos estadísticos o “data-driven” pueden citarse: el análisis de correlaciones, que se usa como método exploratorio en el paso que fue llamado “análisis multivariado”; modelos de regresión múltiple, que necesitan una variable dependiente contra la cuál regresar los indicadores; el análisis envolvente de datos cuyo principal método es el del Beneficio de la Duda (BoD); el análisis factorial; o el análisis de componentes principales.
En el caso de los modelos de regresión múltiple, éstos pueden usarse sólo cuando existe una variable dependiente. En este sentido, se regresa un conjunto de indicadores contra una variable que se supone es una medida objetiva y efectiva del constructo que quiere medirse. La lógica en contra del uso de este método y, por lo tanto, la mayor crítica que recibe es que si existe una variable dependiente contra la cual regresar los indicadores, ¿cuál sería el sentido de construir un índice compuesto? (Greco et al, 2018; Saisana y Tarantola, 2002).
El análisis envolvente de datos emplea herramientas de programación lineal para estimar la frontera de eficiencia para ser usada como un benchmark contra el cual medir el desempeño relativo de la unidad de análisis (país, región, ciudad). El método más conocido es el del “Beneficio de la Duda” (BoD). Este método, si bien tiene la bondad de que cada unidad de análisis pueda elegir contra quien compararse y, por ende, fije sus propios “pesos”, esto al mismo tiempo es una limitante puesto que dificulta la comparación entre unidades (Greco et al., 2018). Una investigación reciente de Lafuente, Araya y Leiva (2022) que mide la competitividad de los condados en Costa Rica y que aplica este método concluye que los resultados de la aplicación empírica revelan el poder informativo superior del indicador compuesto BoD propuesto, en relación con los modelos que usan restricciones de igual peso o pesos estimados a través del análisis de componentes principales.
Por su parte, tanto el análisis de componentes principales (ACP) como el análisis factorial (AF), son enfoques estadísticos con el objetivo de reducir las dimensiones debido a que, estas técnicas buscan capturar la mayor varianza posible en las variables originales (estandarizadas) con la menor cantidad de componentes (Greco et al., 2018). ACP y AF son técnicas comúnmente utilizadas. Más específicamente, la conjunción de ambas técnicas (el análisis factorial con la técnica de extracción realizada a través de los componentes principales, AF/ACP) es comúnmente utilizada en la literatura de indicadores compuestos para la medición de fenómenos complejos. Esto se debe a que esta técnica puede usarse para seleccionar un subconjunto de variables para incluir en la construcción de un índice compuesto que pueda explicar la variación de todo el conjunto de datos de forma satisfactoria. De esta manera, sirve como una herramienta de asistencia, ayudando al desarrollador del índice a obtener un mejor entendimiento de la dimensionalidad del fenómeno considerado o de la estructura de los indicadores (Greco et al., 2018).
Existen algunos asuntos que es importante tener en cuenta sobre el AF/ACP: (i) involucra el supuesto de tener indicadores continuos y una relación lineal entre ellos (supuestos que usualmente no son tenidos en cuenta en la construcción de indicadores compuestos (OCDE, 2008)); (ii) la naturaleza y la filosofía de estas técnicas se basan en las propiedades estadísticas de los datos, lo que puede resultar en ventajas y desventajas ya que, por un lado, el reduccionismo es útil para disminuir los problemas del “doble conteo” pero, por otro lado, si no existe correlación entre los indicadores o si la varianza de una variable es muy pequeña, estas herramientas pueden fallar; (iii) los pesos asignados por esta técnica pueden no corresponder con los enlaces reales entre los indicadores, por lo que se debe tener cuidado al interpretar los resultados; (iv) los pesos obtenidos no son consistentes en el tiempo y el espacio, por lo que la comparación puede resultar difícil (Greco et al., 2018). Este último punto representa un elemento importante a tener en cuenta. Dado que al utilizar la técnica del ACP se utiliza el conjunto de datos para un período de tiempo dado, cuando el índice quiera ser “actualizado” agregando datos más cercanos en el tiempo, se deben volver a encontrar los ponderadores de acuerdo con un nuevo conjunto de datos, pudiendo resultar en una variación de las ponderaciones. En este sentido, se debe tener mucha cautela a la hora de la actualización de los índices y de la comparación.
De acuerdo con Jiménez-Fernández, Sánchez y Ortega-Pérez, (2022), el enfoque matemático en el que se basan las técnicas más utilizadas no permite el benchmarking entre indicadores de una manera confiable. Estos autores usan el espacio vectorial formado por todas las observaciones, y proponen un nuevo método para construcción de indicadores compuestos: la distancia o métrica que considera el concepto de proximidad entre unidades. Este enfoque permite comparaciones entre las unidades que se estudian, que son siempre cuantitativas. Con este fin, toman como punto de partida el método P2 Distancia de Pena Trapero y lo mejoran. Según los autores su propuesta metodología elimina la dependencia lineal del modelo y encuentran relaciones funcionales que permiten la construcción de un modelo más eficiente. Concluyen que este enfoque reduce la subjetividad del investigador al asignar la ponderación a través de técnicas de aprendizaje automático no supervisado. Las simulaciones de Monte Carlo confirman que su propuesta metodológica es robusta.
Otros enfoques mencionados en la literatura son el de asignar mayor peso a aquellas variables que sean más confiables o robustas estadísticamente y el enfoque del componente no observado, que es similar a la regresión lineal pero no exige variable dependiente.
Para la construcción de IPCD la elección del método de ponderación implicó dos decisiones metodológicas con implicancias para las etapas de construcción subsiguientes. En primer lugar, tal como se mencionó anteriormente, las ponderaciones de los cuatro ambientes (dimensiones) se eligieron iguales (0,25 cada uno), para conformar el índice global. En segundo lugar, en lo que respecta a las ponderaciones a utilizar para los indicadores al interior de cada ambiente, no se optó por un único método de ponderación a priori, sino que se eligieron dos métodos distintos pero complementarios a la vez. Se eligió ponderar los indicadores, por un lado, con el método de “iguales ponderaciones” (IP) y, por otro, con el método de “análisis de componentes principales” (ACP). De esta manera, la comparación de las ponderaciones obtenidas mediante ACP con la de iguales ponderaciones permite obtener información sobre la mayor o menor importancia relativa que los propios datos le dan a cada variable (peso por ACP) con relación al promedio (peso por IP). Esto se puede ver en el anexo C.
La decisión metodológica de utilizar dos métodos de normalización (ver sección anterior) y dos métodos de ponderación, implicó la obtención de cuatro mediciones para cada uno de los ambientes y, finalmente, dado que la agregación de ellos se eligió sea lineal (ver sección siguiente), se obtuvieron cuatro resultados para el IPCD. Esta metodología permitió realizar controles sobre la robustez del índice, al permitir observar si los resultados obtenidos sobre el nivel de potencial competitivo de los departamentos en Uruguay se mantenían de forma independiente a la elección metodológica (tipo de normalización y ponderación) de la construcción del índice. Este análisis se aborda en la sección de robustez y resultados.
Para la aplicación del método ACP para la extracción del peso de las variables, se utilizó el criterio de Kaiser, en donde se extrajeron aquellos factores con autovalores (eigenvalues) mayores a 1, es decir, que explican al menos la varianza contenida en un indicador individual (OCDE, 2008). Se utilizó para la construcción de los ponderadores la metodología propuesta por el manual de la OCDE (2008), asignándole un peso igual a la proporción de la varianza explicada a cada indicador. Para ello, se utilizó las cargas factoriales rotadas (método de rotación varimax) estandarizadas.
En otras palabras, para cada ambiente se extrajeron aquellos componentes con autovalores mayores a 1 (la cantidad de componentes extraídos puede variar en cada caso). A través de la matriz rotada de cargas factoriales, pudo observarse el peso que tenía cada indicador en cada componente extraído. De esta manera, cada indicador quedó asignado a aquel componente en el que tuviera el mayor peso. La ponderación de cada indicador por ACP queda, entonces, determinada por el peso que tenga según el componente que le quede asignado. Para obtener las ponderaciones finales para la construcción del IPCD, se escalan los pesos de los indicadores obtenidos por las cargas factoriales rotadas para que en conjunto lleguen al 100 %.
3.8 Agregación
La ponderación y la agregación son dos procesos que están íntimamente relacionados. Existen diferentes métodos para la agregación: los indicadores individuales pueden ser sumados, multiplicados o agregados usando técnicas no lineales. Cada técnica conlleva distintos supuestos y tiene distintas consecuencias.
Por ejemplo, la agregación lineal es útil cuando todos los indicadores individuales tienen la misma unidad de medida y se han neutralizado las ambigüedades de los efectos de la escala. Por su parte, la agregación geométrica (en la que los indicadores se multiplican y los pesos aparecen en los exponentes) son apropiados cuando los indicadores individuales no son comparables, son estrictamente positivos y están expresados en diferentes escalas de ratios. La agregación lineal “premia” los indicadores base de forma proporcional a los ponderadores, mientras que la agregación geométrica “premia” a las unidades de análisis (países, ciudades, regiones, etc.) con mayores puntuaciones de forma exponencial, lo que hace las diferencias aún más notorias. En ambos tipos de agregaciones, los pesos expresan los trade-offs entre los indicadores.
En este sentido, la idea es que los déficits en una dimensión puedan ser contrarrestados por un superávit en otras. En las agregaciones lineales, los pesos actúan en la práctica como tasas de sustitución. Por ejemplo, de acuerdo con la notación de la ecuación (3), donde 𝑤𝑖 es el ponderador de la variable 𝑥𝑖, se puede definir Sjr = 𝑤j /𝑤r como el ratio de sustitución o compensación del indicador r con respecto al indicador j (Munda & Nardo, 2009). Sin embargo, cuando múltiples objetivos son igualmente legítimos e importantes, este efecto de trade-off puede ser visto como una importante limitante de los indicadores compuestos, en el sentido de que una disminución en un indicador no debería poder ser compensado por un aumento en otro, ya que ambos son importantes y necesarios. En estos casos, una lógica no compensatoria puede ser necesaria.
Cuando se utiliza el indicador sólo como criterio de comparación entre unidades de análisis, el procedimiento multicriterio (PMC) trata de resolver este conflicto. El Gibari, Gómez y Ruiz (2019) realizaron una revisión bibliográfica de los trabajos publicados después de 2002 en revistas internacionales líderes indexadas en una base de datos reconocida (JCR), para identificar los diferentes PCM utilizados para agregar indicadores únicos en compuestos. Su revisión ha mostrado una clara tendencia hacia un número creciente de artículos que utilizan este tipo de métodos para construir indicadores compuestos desde 2014.
El PCM consiste en la creación de un ranking entre las unidades de análisis (ciudades, países, regiones, etc.), a través de un criterio de comparación entre dos de ellas. Por ejemplo, si consideramos que la unidad de análisis son países, cada comparación medirá cuánto mejor se desempeña un país X en relación con un país Y en un conjunto de indicadores n. Cada comparación, llamada eij equivale a la suma de las ponderaciones de aquellos indicadores en las que un país X es mejor que el país Y (si dos países igualan en el indicador el ponderador se divide entre los dos países). A partir de estos cálculos, se computa para cada ranking posible (permutaciones dentro de la lista) la suma de las distintas comparaciones entre pares, y se toma como el ranking final la suma más alta (Nardo & Saisana, 2009). Una de las limitantes del PMC es que no permite el cálculo de un índice sino de un ranking entre las unidades de análisis. La otra limitante es el costo en términos de tiempo de construcción, especialmente cuando hay muchas unidades de análisis en la muestra, dado que las permutaciones a calcular crecen exponencialmente.
En el caso de la construcción del IPCD, para la agregación de los cuatro subíndices correspondiente a los cuatro ambientes (Ambiente Económico, Ambiente Social, Ambiente Físico y Ambiente Institucional) se utilizó la agregación lineal. Así se llegó a tener un índice compuesto como indicador del potencial competitivo de los diferentes departamentos de Uruguay.
Para obtener los subíndices de cada ambiente, se combinaron dos metodologías de normalización (min-max y z-score) y dos formas de ponderación (Análisis de Componentes Principales e Iguales Ponderaciones). De esta manera, agregando en forma lineal las dimensiones (ambientes) se obtuvieron cuatro versiones diferentes del índice de potencial competitivo: (i). IPCD con min-max y ACP, (ii). IPCD con min-max e IP, (iii). IPCD con z-score y ACP, (iv). IPCD con z-score e IP.
3.9 Robustez y Sensibilidad
La construcción de indicadores compuestos involucra etapas en las que deben hacerse juicios y tomar decisiones como en la selección de los datos y su tratamiento, los métodos utilizados de normalización, ponderación y agregación, etc. En este sentido, es importante realizar chequeos de robustez y sensibilidad.
En el caso del IPCD, las decisiones metodológicas tomadas en los pasos de normalización y ponderación, de no elegir un método a priori, permitió obtener resultados que por sí mismos permitieron los controles. Dado que se calculó el índice por cuatro métodos alternativos, la comparación de los resultados obtenidos en cada uno permite observar si el índice computado es razonablemente independiente de los métodos estadísticos elegidos por el constructor del índice, dado el objetivo original para la construcción del índice.
Un punto que resulta fundamental para probar la coherencia y utilidad del índice compuesto calculado es el objetivo de investigación que se persigue al construirlo. En este caso, el objetivo era el de determinar el nivel de potencial competitivo de los departamentos en Uruguay. Dado que los cuatro resultados obtenidos por los cuatro métodos elegidos arrojan los mismos resultados en lo que respecta a los grupos de departamentos por nivel de potencial competitivo, puede inferirse que el marco teórico y el modelo elegido son relativamente robustos para asistir en la determinación de políticas.
Tal como se puede ver en el anexo D (se toma como ejemplo el último año disponible), con independencia del método de cálculo del índice, pueden observarse cinco grupos de departamentos con diferentes niveles de potencial competitivo, donde cada grupo mantiene el mismo posicionamiento. En algunos grupos se mantiene, a su vez, el posicionamiento de los departamentos y en otros, hay algunos cambios dentro del grupo.
4. Reflexiones finales
El objetivo de este artículo fue realizar una revisión de las metodologías utilizadas para la construcción de indicadores compuestos, incorporando consideraciones que deben ser tenidas en cuenta dependiendo del tipo de indicador a ser construido, del objetivo que se persiga con su elaboración y del uso que se le piensa dar. No pretendió ser un estudio exhaustivo, sino brindar lineamientos de base para la justificación de las decisiones metodológicas a ser tomadas por los investigadores que pretendan construir un indicador agregado y multidimensional. Para ello, se tomó como ejemplo práctico la construcción del Índice de Potencial Competitivo Departamental (IPCD) para Uruguay.
Para ordenar los aportes, el proceso de construcción fue abordado en nueve pasos, que pueden servir de guía para cada una de las decisiones. Más allá de las consideraciones particulares de cada una de las etapas del proceso, la principal reflexión que debe destacarse es la necesidad de la transparencia en la construcción del índice. Esto es, la solidez del índice compuesto y su utilidad a futuro dependerá directamente de la calidad de la información y la justificación brindada sobre cada una de las decisiones que tome el investigador (o equipo de investigación) a cargo del armado del índice.
Con respecto al IPCD, dado su marco teórico, contó con cuatro dimensiones (denominadas ambientes). Para cada una de ellas se calculó un índice compuesto, que posteriormente se agregaron con iguales ponderaciones. La novedad que presenta la metodología utilizada para el IPCD es que para el cálculo de cada subíndice (dimensión, ambiente), no se eligieron a priori métodos definitivos de normalización y ponderación. Cada subíndice fue calculado utilizando dos métodos de normalización (z–score y min-max) y dos métodos de agregación (ACP e Iguales Ponderaciones). Esto permitió obtener cuatro mediciones del IPCD que pudieron ser evaluadas y comparadas a posteriori. Lo que pudo observarse es que el IPCD se comportaba muy similar con independencia del método estadístico utilizado. Es decir, a través del IPCD se obtuvieron grupos de departamentos con potencial competitivo similar, que se mantenían con independencia del método de cálculo. Esto permitió comprobar la solidez del marco conceptual utilizado para el cálculo del índice.
Finalmente, hay que destacar que se considera que este artículo se constituye en un aporte para los investigadores interesados en la construcción de indicadores compuestos, al resumir los principales pasos metodológicos necesarios para dicho objetivo y referenciarlos a un caso particular de indicador sintético.
Agradecimientos
La investigación que da origen a este documento se financió con recursos aportados por la Vicerrectoría de Investigación e Innovación de la Universidad Católica del Uruguay.
REFERENCIAS
(2006). Competitiveness: from a dangerous obsession to a welfare creating ability with positive externalities. Journal of Industry, Competition and Trade, 6(2), 161-177.
y (2015). Regional competitiveness under new perspectives. Recuperado de: https://ideas.repec.org/b/wfo/wstudy/58501.html
y (2017). Regional competitiveness: connecting an old concept with new goals. En R. Huggins y P. Thompson (Eds.), Handbook of Regions and Competitiveness: Contemporary Theories and Perspectives on Economic Development (pp. 155-191). Northampton: Edward Elgar Publishing, Inc.
, , y (2017). Weights and importance in composite indicators: closing the gap. Ecological Indicators, 80, 12-22. https://doi.org/10.1016/j.ecolind.2017.03.056
(2020). Competitividad, bienestar y ciudades. Pontificia Universidad Católica Argentina. Buenos Aires.
y (2021). Cálculo de un indicador multicriterio para la gestión de recursos humanos y tecnológicos en un servicio de hemodiálisis. Revista de Métodos Cuantitativos para la Economía y la Empresa, 32, 49-65. https://doi.org/10.46661/revmetodoscuanteconempresa.4195
y (2001). Conceptualizing and measuring urban competitiveness in major English cities: an exploratory approach. Environment and Planning A, 33(8), 1411-1429.
y (2013). Weights in multidimensional indices of wellbeing: An overview. Econometric Reviews, 32(1), 7-34.
, , y (2011). Una revisión crítica para la construcción de indicadores sintéticos. Revista de Métodos Cuantitativos para la Economía y la Empresa, 11, 41-70. Recuperado a partir de https://www.upo.es/revistas/index.php/RevMetCuant/article/view/2094
, y (2019). Building composite indicators using multicriteria methods: a review. Journal Business of Economics, 89, 1-24. https://doi.org/10.1007/s11573-018-0902-z
EUROSTAT (2018). European Statistics Code of Practice. EUROSTAT.
(2003). Composite indicators of country performance: A critical assessment. OECD Science, Technology and Industry Working Papers. Paris: OECD Publishing.
, , y (2019). On the methodological framework of composite indices: A review of the issues of weighting, aggregation, and robustness. Social Indicators Research, 141, 61-94. https://doi.org/10.1007/s11205-017-1832-9
, y (2013). Regional competitiveness: theories and methodologies for empirical analysis. Journal of CENTRUM Cathedra: The Business and Economics Research Journal, 6(2), 155-172.
IMCO (2018). Califica a tu alcalde: Manual urbano para ciudadanos exigentes. Índice de Competitividad Urbana. Instituto Mexicano para la Competitividad (IMCO). Recuperado de: http://imco.org.mx/indices/calificaa-tu-alcalde/
y (2013). Weighting for what? A comparison of two weighting methods for measuring urban competitiveness. Habitat International, 38, 167-174.
, y (2022). Dealing with weighting scheme in composite indicators: An unsupervised distance-machine learning proposal for quantitative data. Socio-Economic Planning Sciences, 83, 1-11. https://doi.org/10.1016/j.seps.2022.101339
y (2015). Politics by number: Indicators as social pressure in international relations. American Journal of Political Science, 59 (1), 55-70.
, y (2020). Quantitative Storytelling in the Making of a Composite Indicator. Social Indicators Research, 149, 775-802 https://doi.org/10.1007/s11205-020-02276-0
, , (2020). Assessment of local competitiveness: a composite indicator analysis of Costa Rican counties using the “Benefit of the Doubt” model. Socio-Economic Planning Sciences, 81, Article 100864, 10.1016/j.seps.2020.100864
y (2009). Noncompensatory/nonlinear composite indicators for ranking countries: a defensible setting. Applied Economics, 41(12), 1513-1523.
y (2009). Handbook on constructing composite indicators. Putting theory into practice. OECD.
, , , , y (2005). Tools for Composite Indicators Building. EUR 21682 EN. 2005. JRC31473.
OCDE (2008). Handbook on constructing composite indicators: methodology and user guide: OECD publishing. OECD.
(1990). The competitive advantage of nations. Harvard business review, 68(2), 73-93.
y (2011). Rankings and Ratings: Instructions for use. Hague Journal on the Rule of Law, 3(2), 247-268.
y (2002). State-of-the-art report on current methodologies and practices for composite indicator development. ISSN 1018-5593, EU-NA-20408-EN-C.
, y (2005). Uncertainty and sensitivity analysis techniques as tools for the quality assessment of composite indicators. Journal of the Royal Statistical Society: Series A (Statistics in Society), 168(2), 307-323.
(2004). Literature review of frameworks for macro-indicators. Center for Study of Living Standards, Research Report 03.
ANEXOS
Anexo A – Tabla de indicadores y variables seleccionados para cada Ambiente del IPCD
Fuente: Elaboración propia
Anexo B – Variables utilizadas para el IPCD, según ambiente y objetivo
Fuente: Elaboración propia
Anexo C – Ponderaciones de cada variable por ambiente, según análisis ACP e IP
Fuente: Elaboración propia
Anexo D – IPCD según los cuatro modelos utilizados (Año 2019)
Fuente: Elaboración propia
1 Sen cambia su postura al respecto de los índices compuestos al ver la atención que reciben los aspectos relativos al desarrollo humano, luego de la construcción y dispersión del Índice de Desarrollo Humano (IDH), elaborado por el Programa de las Naciones Unidas para el Desarrollo desde 1990, sobre las bases conceptuales del mencionado autor.
2 Para la “electrificación rural” se utilizó el promedio entre los dos departamentos más próximos; en el caso de conectividad con Montevideo se le colocó el valor del departamento más alto y por último, en el caso de asociados a centros comerciales el valor imputado fue el promedio de los otros departamentos.