Sección o Parte de un Documento 1995 es 382.3 B584L(58739) Corden, W. Max Coediciones NAFTA AMERICA LATINA LIBERALIZACION DEL INTERCAMBIO NEGOCIACIONES COMERCIALES TRATADOS ZONAS DE LIBRE COMERCIO FREE TRADE AREAS LATIN AMERICA TRADE LIBERALIZATION TRADE NEGOTIATIONS TREATIES NAFTA Una zona de libre comercio en el Hemisferio Occidental: posibles implicancias para América Latina Incluye Bibliografía En: La liberalización del comercio en el Hemisferio Occidental - Washington, DC : BID/CEPAL, 1995 - p. 13-40 Proyecto Apoyo al Proceso de Liberalización Comercial en el Hemisferio Occidental http://hdl.handle.net/11362/1510 2014-01-02T14:51:16Z 2014-01-02T14:51:16Z Made available in DSpace on 2014-01-02T14:51:16Z (GMT). No. of bitstreams: 0 Previous issue date: 1995 POLÍTICA COMERCIAL Y ACUERDOS COMERCIALES TRADE NEGOTIATIONS COMERCIO INTERNACIONAL E INTEGRACIÓN INTERNATIONAL TRADE AND INTEGRATION Texto 16 Modelo multi-dimensional de medición del gobierno electrónico para América Latina y el Caribe Mayo de 2007 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… El presente documento fue realizado por Ramón Gil-García y Luis Felipe Luna Reyes, junto al director de investigación Hernán Moreno Escobar a requerimiento de la División de Desarrollo Productivo y Empresarial de CEPAL, en el marco de las actividades del proyecto CEPAL / Unión Europea: “@LIS - Alianza para la Sociedad de la Información. Acción 1: Diálogo político y regulatorio entre América Latina y Europa”. Las opiniones expresadas en este documento, que no ha sido sometido a revisión editorial, son de exclusiva responsabilidad del autor y pueden no coincidir con las de las Organizaciones, involucradas. Tampoco refleja la opinión oficial de la Unión Europea quien ha colaborado con ayuda financiera para la elaboración de este documento. Este documento puede ser bajado en línea en http://www.cepal.org/SocInfo Publicación de las Naciones Unidas LC/W.124 Copyright © Naciones Unidas, mayo de 2007. Todos los derechos reservados Impreso en Naciones Unidas, Santiago de Chile La autorización para reproducir total o parcialmente esta obra debe solicitarse al Secretario de la Junta de Publicaciones, Sede de las Naciones Unidas, Nueva York, N. Y. 10017, Estados Unidos. Los Estados miembros y sus instituciones gubernamentales pueden reproducir esta obra sin autorización previa. Sólo se les solicita que mencionen la fuente e informen a las Naciones Unidas de tal reproducción. CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Índice Resumen .................................................................................................................................. 5 I. Introducción .................................................................................................................................. 9 1.1. Objetivo general ............................................................................................................... 9 1.2. Objetivos específicos ..................................................................................................... 10 1.3. Implementación .............................................................................................................. 11 1.4. Delimitación del proyecto ............................................................................................... 11 1.5. Organización del documento ......................................................................................... 12 II. Gobierno electrónico: determinantes, características y resultados........................................... 13 2.1. Introducción.................................................................................................................... 13 2.2. Metodología.................................................................................................................... 13 2.3. Resultados de la revisión de literatura........................................................................... 14 2.3.1. Definiendo el gobierno electrónico .............................................................................. 15 2.3.2. Resultados del gobierno electrónico............................................................................ 17 2.3.3. Determinantes del gobierno electrónico ...................................................................... 19 2.3.4. Medición y evaluación del gobierno electrónico .......................................................... 21 2.4. Construyendo un modelo conceptual de medición integral del gobierno electrónico................23 2.4.1. Definiendo gobierno electrónico .................................................................................. 23 2.4.2. Medición integral del gobierno electrónico .................................................................. 24 III. Revisión de marcos de medición y principales indicadores..................................................... 27 3.1. Introducción.................................................................................................................... 27 3.2. Reportes e Índices comparativos y esfuerzos de asociaciones y fundaciones............. 27 3.2.1. Reporte de gobierno electrónico a nivel global de la Universidad de Brown ..........................29 3.2.2. Reporte de gobierno electrónico de la Organización de las Naciones Unidas ........... 30 3.2.3. Eurostat........................................................................................................................ 31 3.2.4. Gobierno electrónico en los estados miembros de la Unión Europea ........................ 33 3.2.5. Indicador de la Sociedad de la Información ............................................................... 34 3.2.6.Índice Norteamericano de Satisfacción del Cliente ..................................................... 34 3.2.7. Estados digitales ......................................................................................................... 36 3.2.8. Liderazgo en gobierno electrónico .............................................................................. 36 3.2.9. Creando gobierno electrónico basado en medidas de desempeño ............................ 37 3.2.10. Índices de e-Readiness ............................................................................................. 38 1 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 3.2.11. Indicadores clave de las tecnologías de la información y la comunicación ............. 40 3.2.1.2. Manual de Lisboa...................................................................................................... 41 3.3. Modelos de revistas académicas ................................................................................... 42 3.3.1. Midiendo el desempeño del e-gobierno ..................................................................... 42 3.3.2. Marco de evaluación de gobierno electrónico ............................................................ 45 3.3.3. Mediciones comparativas (benchmark) de servicios de gobierno .............................. 46 3.3.4. Evaluación multidimensional de portales estatales en los Estados Unidos ............... 48 3.3.5. Uso de herramientas de diagnóstico automático para analizar aplicaciones de gobierno electrónico ................................................................................................... 49 3.3.6. Benchmarking de sitios web como herramienta de evaluación y mejora.................... 50 3.4. Experiencias de países .................................................................................................. 50 3.4.1. Brasil: Estado de Sao Paulo ........................................................................................ 50 3.4.2. Colombia: modelo de medición de las TIC.................................................................. 51 3.4.3. Chile ............................................................................................................................ 52 3.4.4. México.......................................................................................................................... 54 3.5. Comparaciones entre los reportes explorados .............................................................. 55 3.5.1. Definiciones de gobierno electrónico........................................................................... 56 3.5.2. Nivel de análisis ........................................................................................................... 57 3.5.3. Enfoque principal de los reportes ................................................................................ 58 3.5.4. Variables incluidas en los marcos de medición........................................................... 59 3.6. Conclusiones.................................................................................................................. 60 IV. Descripción conceptual del modelo ......................................................................................... 61 4.1. Introducción.................................................................................................................... 61 4.2. Descripción general del modelo..................................................................................... 62 4.3. Fuentes de información y construcción de los indices................................................... 64 4.4. Variables e indicadores del modelo ............................................................................... 66 4.4.1. Calidad de la información y datos existentes .............................................................. 66 4.4.2. Infraestructura tecnológica y compatibilidad ............................................................... 67 4.4.3. Características organizacionales y gerenciales .......................................................... 68 4.4.4. Marco legal e institucional ........................................................................................... 69 4.4.5. Demanda potencial ...................................................................................................... 70 4.4.6. Calidad de la información disponible en los sitios y sistemas..................................... 71 4.4.7. Servicios ...................................................................................................................... 72 4.4.8. Interacción ................................................................................................................... 74 4.4.9. Integración ................................................................................................................... 75 4.4.10. Personalización.......................................................................................................... 76 4.4.11. Seguridad................................................................................................................... 77 4.4.12. Privacidad .................................................................................................................. 78 4.4.13. Accesibilidad .............................................................................................................. 79 4.4.14. Usabilidad y utilidad ................................................................................................... 80 4.4.15. Estadísticas de uso de los sistemas.......................................................................... 80 4.4.16. Calidad de los servicios públicos............................................................................... 81 4.4.17. Eficiencia y productividad .......................................................................................... 82 4.4.18. Eficacia de programas y políticas .............................................................................. 83 4.4.19. Transparencia y rendición de cuentas....................................................................... 84 4.4.20. Participación ciudadana............................................................................................. 85 4.4.21. Cambios en el marco regulatorio............................................................................... 86 4.5. Usos del modelo............................................................................................................. 87 4.5.1. Datos usados para el ejemplo numérico ..................................................................... 87 4.5.2. Usando el modelo como herramienta de descripción de la situación de un país..................87 4.5.2. Usando el modelo como herramienta de comparación ............................................... 89 4.5.4. Usando el modelo como herramienta de apoyo a las decisiones ............................... 90 4.5.5. Relaciones causales entre determinantes, características y resultados del gobierno electrónico...................................................................................................................................92 4.6. Consideraciones finales en la aplicación del modelo .................................................... 95 2 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… V. Consideraciones finales y pasos a seguir................................................................................. 97 Bibliografía ................................................................................................................................ 99 Anexos .............................................................................................................................. 105 Índice de cuadros Cuadro 3.1 Cuadro 3.2 Cuadro 3.3 Cuadro 3.4 Reportes, índices y documentos revisados............................................................. 28 Elementos incluidos en la valoración de la Universidad de Brown ......................... 29 Etapas de desarrollo de gobierno electrónico ......................................................... 30 Indicadores y servicios incluidos en la medición de gobierno de Eurostat electrónico por parte................................................................................................32 Cuadro 3.5 Información incluida en las fichas de país del IDABC ............................................. 33 Cuadro 3.6 Categorías y variables incluidos en el cálculo del ISI.............................................. 34 Cuadro 3.7 Categorías de medición de gobierno electrónico .................................................... 38 Cuadro 3.8 Categorías e indicadores básicos sobre ICT........................................................... 39 Cuadro 3.9 Lista de Indicadores de tecnologías de información y comunicaciones.................. 40 Cuadro 3.10 Medidas de desempeño en gobierno electrónico.................................................... 44 Cuadro 3.11 Concentrado de los elementos del marco de medición del gobierno electrónico de Gupta y Jana......................................................................... 46 Cuadro 3.12 Lista de las dimensiones funcionales y los servicios incluidos en el Benchmarking realizado por Kaylor et al. ................................................................ 47 Cabla 3.13 Dimensiones de calidad y funcionalidad de portales de gobierno de acuerdo con Gant y Gant..................................................................... 48 Cuadro 3.14 Herramientas utilizadas para el diagnóstico automático de sitios web de gobierno........ 49 Cuadro 3.15 Mediciones usadas en el Benchmark de sitios web ................................................ 50 Cuadro 3.16 Indicadores de evaluación de gobierno electrónico en Sao Paulo.......................... 51 Cuadro 3.17 Modelo de medición de las TIC en Colombia.......................................................... 52 Cuadro 3.18 Indicadores de evaluación de gobierno electrónico en Chile .................................. 53 Cuadro 3.19 Reportes, índices y documentos revisados............................................................. 55 Cuadro 3.20 Definiciones de gobierno electrónico encontradas en los reportes......................... 56 Cuadro 3.21 Niveles de análisis de los reportes analizados........................................................ 57 Cuadro 3.22 Enfoque principal seguido en los reportes analizados ............................................ 58 Cuadro 3.23 Mapeo de los marcos de medición con los determinantes, características y resultados encontrados en la literatura.................................................................... 59 Cuadro 4.1 Variables modelo conceptual de evaluación del desempeño de gobierno electrónico ....63 Cuadro A2.1. Matriz de variables e indicadores del modelo de medición .................................. 109 Índice de gráficos Gráfico 2.1 Gráfico 3.1 Gráfico 4.1 Gráfico 4.2 Gráfico 4.3 Gráfico 4.4 Gráfico 4.5 Gráfico 4.6 Gráfico 4.7 Gráfico 4.8 Modelo teórico-conceptual de medición integral de gobierno electrónico............... 25 Modelo de medición de servicios de gobierno utilizado para obtener el ACSI ....... 35 Proceso de construcción del Índice para cada variable del modelo. ...................... 65 Ejemplo numérico del tablero de control para el caso de México. .......................... 88 Tabla comparativa entre países con los índices para las 3 dimensiones. .............. 90 Ejemplo en el que se desagrega la variable “Privacidad” en sus componentes o subcategorías................................................................................. 91 Ejemplo del tablero de control mostrando los valores de una de las subcategorías para cada una de las unidades de observación. ............................. 92 Cadena causal simple entre determinantes, características y resultados del gobierno electrónico .........................................................................................................93 Relaciones entre determinantes, características y resultados del gobierno electrónico ..............................................................................................................................93 Ejemplo modelo causal (variable dependiente: eficiencia y productividad) ............ 94 3 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 4 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Resumen El presente documento constituye el informe parcial del proyecto “Hacia un modelo multidimensional para la medición del gobierno electrónico en América Latina y el Caribe”. El modelo consiste en 21 variables agrupadas en tres dimensiones (determinantes, características y resultados), así como indicadores específicos para la medición de cada variable. El modelo de medición puede ser considerado como un marco general que señala dimensiones y variables a considerar en esfuerzos de evaluación a nivel nacional, en una sola dependencia, proyecto o portafolio de proyectos. Dado que la utilidad de un modelo puede ser evaluada mejor en función de un objetivo claramente definido, para efectos de este reporte se ha seleccionado la aplicación del modelo para la evaluación a nivel país, ilustrando sus usos potenciales como herramienta descriptiva, de comparación y, aunque más limitado, de soporte potencial en la identificación de problemas. Adicionalmente, se presenta la posibilidad de utilizar los datos recolectados a través del modelo para explorar relaciones causales entre las variables o dimensiones del modelo e incrementar el entendimiento del fenómeno en la región. El modelo preliminar que se presenta en este documento se construyó con base en dos fuentes principales. La primera fuente está constituida por los avances teóricos en el área de gobierno electrónico, que se obtuvieron a través de la revisión sistemática de los últimos 7 años (1999-2005) de las 10 principales revistas académicas de administración pública y políticas públicas, una selección de libros y reportes de investigación de alto impacto, y una revisión selectiva de revistas en campos complementarios como Gerencia de Sistemas de Información, Ciencias de la Información y Gerencia Estratégica, entre otras. Como resultado del proceso de revisión se encontraron 73 artículos con temas relacionados al uso de tecnologías de información y comunicación en el gobierno. Los libros y reportes seleccionados constituyen una muestra representativa de autores, posturas teóricas y aproximaciones metodológicas desarrolladas en años recientes (primordialmente entre 1990 y 2005). En segundo lugar, se consideraron las prácticas actuales en evaluación de gobierno electrónico y tecnologías de información a través de la revisión de 22 reportes, algunos de ellos desarrollados por fundaciones privadas y organismos internacionales, un segundo bloque obtenido de la literatura académica, y ejemplos de esfuerzos de evaluación de gobierno electrónico en países de América Latina. 5 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Como resultado de este primer esfuerzo se obtuvieron las tres dimensiones del modelo, que fueron inferidas de la literatura como aspectos importantes a observar para evaluar gobierno electrónico: determinantes, características y resultados. Este modelo teórico-conceptual, construido con base en estudios anteriores, representa el punto de partida para el modelo de medición propuesto, y está vinculado con una definición explícita de gobierno electrónico. Si bien esta definición es susceptible de mejora, partir de una base conceptual mejora otros esfuerzos de medición de gobierno electrónico que no hacen explícitos los supuestos básicos sobre el fenómeno a medir. El modelo teórico-conceptual provee los fundamentos teóricos y empíricos para la inclusión de variables. Debido a su naturaleza conceptual, es una imagen de alto nivel que no contiene elementos suficientes para la operacionalización de cada una de estas variables. Con la finalidad de identificar posibles indicadores para cada una de las variables incluidas en el modelo, se identificaron y revisaron los principales métodos, modelos o índices que se han utilizado para la medición del gobierno electrónico. Los 22 documentos identificados pertenecen a 3 diferentes conjuntos. Un primer conjunto contiene reportes con índices comparativos de gobierno electrónico a nivel país o en algunos casos a nivel estatal en países específicos como los Estados Unidos. Un segundo grupo de documentos incluye modelos y reportes que se encuentran en revistas académicas, y finalmente, se incluyen algunas evaluaciones o documentos desarrollados por países específicos en la región de América Latina y el Caribe. Algunos de los estudios incluidos en esta sección no analizan directamente el fenómeno, pero son incluidos por considerar variables de las dimensiones de determinantes o resultados del gobierno electrónico. En base a esta segunda revisión, se incluyen una serie de comparaciones que permitieron refinar y revisar las variables incluidas en el modelo, así como ampliar el universo de posibles indicadores para operacionalizar cada una de las variables. Esta revisión, particularmente las revisiones de propuestas de medición integrales de gobierno electrónico, contribuyeron a confirmar la utilidad de las tres categorías identificadas en la revisión de literatura. El modelo que se presenta en este documento constituye un primer esfuerzo por operacionalizar en la práctica mediciones asociadas de forma balanceada e integral con los determinantes, las características y los resultados del gobierno electrónico que se documentan en la literatura académica como elementos importantes en el entendimiento y medición de este fenómeno. Es claro que el modelo propuesto constituye sólo una alternativa entre una diversidad de posibilidades. Llegar a un modelo consensuado involucra el esfuerzo colaborativo de los actores en la región. No obstante, se considera que el modelo propuesto constituye una herramienta robusta para iniciar esta conversación. Como se mencionó anteriormente, el modelo desarrollado de esta manera incluye 21 variables a observar, agrupadas en tres dimensiones (determinantes, características y resultados) que surgieron tanto de la revisión de literatura como de los modelos de evaluación existentes. Las dimensiones son categorías que agrupan variables que son conceptualmente similares tanto en su contenido como en la forma en que se relacionan con otras variables. Las variables son conceptos que están relacionados con gobierno electrónico y que se han encontrado como elementos importantes a considerar para entender el fenómeno. Finalmente, con la finalidad de operacionalizar cada variable se identificaron indicadores, que son medidas específicas que representan un aspecto de cada variable. A través del uso de fórmulas, los indicadores de cada variable se agregan en índices que toman valores en una escala de 100 puntos. A continuación se explican los principales elementos del modelo propuesto. Las tres dimensiones representan variables que miden cosas distintas. Los determinantes miden los factores que se han identificado como causas o variables que afectan tanto a las características como a los resultados de iniciativas de gobierno electrónico. Las características 6 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… representan la funcionalidad y aspectos técnicos de los sistemas. Finalmente, los resultados representan los beneficios que se han identificado como efectos o impactos del gobierno electrónico. Las primeras cinco variables están asociadas con los determinantes de éxito de iniciativas y proyectos de gobierno electrónico, nueve variables más se asocian con características del gobierno electrónico, y siete variables se asocian con resultados intermedios y finales del gobierno electrónico. Las variables del modelo se enlistan a continuación. Determinantes del gobierno electrónico • Calidad de la información y datos existentes para alimentar los sistemas • Infraestructura tecnológica y compatibilidad • Características organizacionales y gerenciales • Marco legal e institucional existente • Demanda potencial Características del gobierno electrónico • Calidad de la información disponible en los sitios y sistemas • Servicios • Interacción • Integración • Personalización • Seguridad • Privacidad • Accesibilidad • Usabilidad y utilidad Resultados del gobierno electrónico • Estadísticas de uso del sistema • Calidad de los servicios públicos • Eficiencia y productividad • Programas y políticas más eficaces • Transparencia y rendición de cuentas • Participación ciudadana • Cambios en el marco regulatorio El modelo considera el uso de diversas fuentes de información para conformar los índices de las 21 variables incluidas en el mismo. En general, los índices de cada variable del modelo incorporan información de indicadores nacionales asociados con tecnologías de información y comunicaciones, indicadores presupuestales y organizacionales de diferentes dependencias o poderes gubernamentales (ejecutivo, legislativo y judicial) en cada uno de los países, datos sobre la calidad de portales de Internet representativos de cada uno de estos ministerios y poderes, y datos obtenidos a través de una encuesta a los responsables de las áreas de tecnologías de información y comunicación en las mismas unidades de estudio (dependencias y poderes gubernamentales). 7 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Los indicadores nacionales se han obtenido preliminarmente de organizaciones como la Unión Internacional de Telecomunicaciones, la Organización Mundial de la Salud, el Foro Económico Mundial (World Economic Forum), el Banco Mundial, la UNESCO, Transparencia Internacional, y las oficinas de estadística de cada país (hasta ahora hemos consultado principalmente las bases de datos de INEGI en México). Estos datos serán enviados al Coordinador Nacional de Gobierno Electrónico en cada país para ser validados y/o actualizados. La información sobre indicadores presupuestales y organizacionales, así como los datos subjetivos asociados a cada variable, se obtendrán a través de un cuestionario que se enviará a cada uno de los ministerios o poderes que serán utilizados como unidades de análisis. Finalmente, una de las preguntas en el cuestionario para cada uno de los responsables de tecnología en los ministerios y poderes propuestos solicita que nos proporcionen las direcciones de cinco páginas de Internet que ellos consideren las más representativas de su dependencia o poder gubernamental. Estas páginas serán evaluadas por los investigadores-consultores, y las observaciones obtenidas de esta manera se incorporarán a algunas de las variables en el modelo. Para continuar con el proceso, las variables e indicadores propuestos para cada variable requieren ser validados en una primera instancia con los funcionarios de la CEPAL con los que se ha colaborado hasta ahora, para conformar los cuestionarios finales que se harán llegar a los contactos en Chile, Colombia y México, donde se aplicará un segundo filtro para valorar la relevancia, pertinencia y factibilidad de obtención de los indicadores propuestos para cada variable. 8 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… I. Introducción Recientemente, el uso de tecnologías de información y comunicación (TIC) se ha expandido de forma importante en diversos aspectos de la vida social. La aplicación de TIC en el gobierno --o gobierno electrónico-- ha sido considerada una estrategia importante de reforma gubernamental. El gobierno electrónico tiene el potencial de transformar las relaciones fundamentales entre el gobierno, los ciudadanos, las empresas y otros grupos de interés en muchos de los países de América Latina y el Caribe. Sin embargo, no existe hasta el momento una metodología que permita medir de forma flexible y comparable los determinantes, características y resultados del gobierno electrónico en estos países. Los esfuerzos existentes (a nivel de países individual o realizados por organismos internacionales) ofrecen resultados difíciles de comparar, ya que tanto sus objetivos como sus indicadores responden a intereses y realidades muy diversas. Más aún, países en la región perciben que esfuerzos internacionales de evaluación no reflejan de una manera adecuada su posición o nivel de desarrollo en el área de gobierno electrónico. De este modo, el propósito del presente estudio consiste en analizar el estado actual de la medición del gobierno electrónico y proponer un “Modelo multi-dimensional de medición del gobierno electrónico para América Latina y el Caribe”. Este modelo intenta incorporar de forma balanceada los enfoques de medición utilizados por y para países desarrollados, países en vías de desarrollo y organismos internacionales, de modo que sirva de base para evaluar el gobierno electrónico, de forma flexible y comparable. El modelo resultante, tiene como objetivo el facilitar la medición del gobierno electrónico en los países de América Latina y el Caribe, incluyendo de forma integral sus determinantes, características y resultados. 1.1. Objetivo general Desarrollar un modelo teórico multi-dimensional para la evaluación y medición del gobierno electrónico cuya aplicación: (1) permita la comparación entre países de América Latina y el Caribe y (2) ayude a los responsables de gobierno electrónico a tomar mejores decisiones, basadas en información más completa sobre los determinantes, las características y los resultados del gobierno electrónico en su respectivo país. El modelo consiste en una serie de variables, agrupadas en tres categorías o dimensiones (determinantes, características y resultados), así como sugerencias de indicadores específicos para la medición de cada variable. 9 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… El modelo de medición puede ser considerado como un marco general que señala dimensiones y variables a considerar en esfuerzos de evaluación a nivel nacional, en una sola dependencia, proyecto o portafolio de proyectos. Dado que la utilidad de un modelo puede ser evaluada mejor en función de un objetivo claramente definido, para efectos de este reporte se ha seleccionado la aplicación del modelo para la evaluación a nivel país y se muestra su utilidad como herramienta de descripción y de soporte en la identificación de problemas. Más aún, se muestra su uso potencial como herramienta en la identificación de factores críticos en el desarrollo de gobierno electrónico y el impacto del mismo en los países de América Latina y el Caribe. 1.2. Objetivos específicos Los objetivos específicos del proyecto son los que se enlistan a continuación. Este reporte parcial cubre ya los primeros cinco objetivos, y plantea la forma en la que se dará seguimiento a los tres últimos. 1. Revisar la literatura existente sobre el concepto de gobierno electrónico, los resultados de las TIC en el gobierno (ej. eficiencia, eficacia, calidad, transparencia, participación ciudadana), sus principales determinantes, y la necesidad de desarrollar metodologías de medición y evaluación. 2. Analizar enfoques de medición de Gobierno Electrónico desarrollados tanto en países latinoamericanos como en otras regiones del mundo. 3. Analizar enfoques de medición elaborados por organismos internacionales, organizaciones no gubernamentales e investigadores independientes. 4. Organizar los marcos de medición identificados de acuerdo a los objetivos para los que fueron desarrollados (ej. funcionalidad, servicios, calidad, proceso), así como al tipo de iniciativa que fue evaluada a través de ellos (ej. país, estado, ciudad, proyecto/portal, genérico). El modelo desarrollado en este reporte se centrará en la medición del gobierno electrónico en un país. 5. Crear un modelo que identifique variables y las clasifique en determinantes, características y resultados del gobierno electrónico. El modelo incluirá propuestas de indicadores para cada variable, especificando el tipo de información que se requiere para cada uno de ellos. 6. Proponer líneas generales para el desarrollo de una agenda del trabajo a ser desarrollada por la CEPAL para la difusión del modelo de medición. 7. Aplicar el modelo a tres países de América Latina con datos obtenidos a través de CEPAL (México, Colombia y Chile). El propósito de la aplicación no sólo es ilustrar el uso del modelo, sino además ajustarlo o adaptarlo de acuerdo con las experiencias en su uso. 8. Evaluar el modelo de medición a través de las opiniones de administradores de proyectos y/o responsables de gobierno electrónico en los tres países seleccionados. Los datos serán obtenidos a través de visitas a los países, y los resultados serán utilizados para ajustar y adaptar el modelo inicial. 10 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 1.3. Implementación Para enriquecer la solidez teórica y relevancia práctica derivadas de la revisión de literatura y de marcos de medición existentes, el modelo que se presenta en este reporte parcial será evaluado a través de su aplicación en tres países en la región de América Latina y el Caribe: México, Colombia y Chile. Los encargados de gobierno electrónico en estos tres países obtendrán la información sugerida en el modelo, la que será utilizada para evaluar el estado del gobierno electrónico a nivel nacional, en términos de determinantes, características y resultados. Para incrementar los beneficios de este ejercicio, se incluyen tres visitas in situ para obtener retroalimentación sobre el marco de medición por parte de los responsables de gobierno electrónico en los tres países seleccionados. Se requerirá de una persona que funja como contacto operativo en cada país y que ayude a coordinar las actividades relacionadas con las visitas, principalmente la programación de entrevistas y recopilación de documentación relevante. 1.4. Delimitación del proyecto Un punto de partida importante en el desarrollo de este trabajo es el establecimiento de definiciones asociadas con el concepto general de modelo. El concepto de modelo usado en este documento tiene sus fundamentos en el área de la ciencia administrativa. Una forma común de definir un modelo en esta área es que “un modelo es una representación externa y explícita de una parte de la realidad como es vista por las personas que desean usar el modelo para entender, cambiar, administrar y controlar esa parte de la realidad” (Pidd, 1998). Esta definición es muy amplia, y da cabida a representaciones tanto cuantitativas o cualitativas, descriptivas o normativas, estocásticas o determinísticas, estáticas o dinámicas, etc. Aunque se consideró el uso de modelos matemáticos dinámicos como los usados en dinámica de sistemas y modelos estadísticos multi-variados, se decidió utilizar un modelo de carácter descriptivo y estático, que pretende describir la situación del gobierno electrónico en los países de América Latina en base a tres dimensiones utilizadas en la literatura de gobierno electrónico: determinantes, características y resultados. No se utiliza un modelo estadístico multivariado, dado que al final del proyecto no se contará con la cantidad de observaciones que permitan desarrollar el modelo estadístico. No obstante, se sugieren posibles modelos que podrán ser probados empíricamente cuando se cuente con todos los datos de la región. No se utilizó un modelo dinámico porque, a pesar de que este tipo de modelo puede ayudar a comprender los efectos de procesos de rendimientos crecientes asociados con la economía de la información, los procesos necesarios para la construcción de modelos de dinámica de sistemas no son consistentes con los requerimientos establecidos para el presente proyecto. Una reflexión que surge al hacer explícita la definición de modelo es que los autores fueron inicialmente muy ambiciosos al desarrollar los términos de referencia de este proyecto, en el sentido de que un modelo está desarrollado para un propósito específico. Al tratar de desarrollar un modelo que atienda a múltiples propósitos, será difícil atender a todos ellos de forma perfecta, y será necesario hacer concesiones entre objetivos. Así, será posible al finalizar el proyecto mostrar el uso del modelo para comparación y como ayuda para la toma de decisiones a nivel de país. Con los datos que se obtendrán de los países, será muy difícil poder mostrar su uso para evaluar proyectos o portafolios de proyectos. Otra reflexión importante relacionada con la definición de modelo que presentamos es que un modelo es una representación de una parte de la realidad “como es vista por las personas que desean usar el modelo”. Así, el modelo, las dimensiones y variables incluidas en este reporte no pueden ser consideradas un producto terminado, sino el punto de partida para iniciar una 11 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… conversación con otras agencias internacionales, agencias de estadística en los países, responsables de gobierno electrónico, etc. que permita lograr un acuerdo en los mejores indicadores a incluir y la forma de institucionalizar su recolección en los países. Un ejemplo de este proceso de desarrollo de indicadores y dimensiones es el Manual de Lisboa (RICYTCYTED, UMIC, ISCTE, 2006), documento de indicadores de la sociedad de la Información resultado de una serie de talleres, y que sigue en proceso de revisión y de consenso para que el documento “refleje acabadamente la pluralidad de enfoques y permita alcanzar consensos bien sustentados” (p.2). De esa forma, consideramos que el documento y ejemplos servirán para que CEPAL tenga un punto de partida sólido con el cual iniciar la conversación con los actores relevantes, pero definitivamente no es, ni queremos que sea “El Modelo”. Es posible que la selección de algunos indicadores en el modelo parezcan simplistas para el lector. Estos indicadores fueron seleccionados pensando en que fueran fáciles de obtener para los países de la región, de modo que se pudiera desarrollar un prototipo que permitiera valorar la utilidad del modelo. Si el modelo se considera útil, es posible utilizar las dimensiones y variables del modelo para seleccionar mejores indicadores y diseñar estrategias para institucionalizar su recolección. Esta decisión está fundamentada en el principio propuesto por Herbert Simon en los años 50’s, el que sugiere que es mucho mejor contar con una solución “satisfactoria” que con la “óptima” (que de hecho considera imposible de obtener). Esta solución siempre puede ser mejorada. La selección de indicadores fue guiada también por otro principio básico sugerido por otro gran creador de modelos quien sugiere que dejar de incluir alguna variable importante porque no se cuenta con indicadores o datos perfectos es la única decisión que él sabe que está equivocada desde el principio (Sterman, 2000). Así, se incluyen indicadores imperfectos asociados a variables importantes para las que no se encontró otro indicador mejor y que al mismo tiempo fuera fácil de obtener para los países de la región. 1.5. Organización del documento Después de esta introducción, el documento se encuentra organizado en cuatro diferentes secciones conceptualmente interrelacionadas. Ninguna de las secciones ha sido desarrollada como un documento independiente. De este modo, se recomienda realizar una lectura secuencial del mismo. En la siguiente sección se realiza una revisión de la literatura existente sobre gobierno electrónico, como base conceptual y teórica para el desarrollo del modelo, la selección de las variables y su agrupación en tres dimensiones: determinantes, características y resultados. La tercera sección presenta una revisión de los modelos de medición más importantes que existen, relacionándolos con los elementos conceptuales de la revisión de literatura y complementando el modelo teórico. La cuarta sección incluye una descripción conceptual del modelo propuesto. En esta sección hemos agregado un poco de redundancia con la revisión de literatura, de modo que sea más fácil comprender las conexiones entre ambas secciones. La descripción del modelo propuesto incluye todos los requerimientos de información para cada país en términos de los indicadores que se proponen para integrar el índice asociado a cada variable. La última sección presenta un resumen y algunas consideraciones finales, así como los pasos a seguir en el proceso de desarrollo del modelo, que incluye su aplicación en Colombia, Chile y México. El documento contiene además dos apéndices. El primero de ellos describe en términos muy generales el proceso de operacionalización de las variables y de construcción de los índices. El segundo apéndice contiene un resumen tabular del modelo y sus componentes. 12 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… II. Gobierno electrónico: determinantes, características y resultados 2.1. Introducción Como punto de partida para el desarrollo de este trabajo, y dado que una debilidad identificada en índices de medición es la carencia de un marco conceptual sólido (Minges, 2005), se ha encontrado la necesidad de entender el fenómeno denominado “gobierno electrónico” con mayor detalle y precisión. Para ello, en esta sección se lleva a cabo una revisión de la literatura académica existente y se desarrollan directrices generales sobre la definición de gobierno electrónico, sus características, resultados esperados, determinantes y mecanismos de medición. Parece ser claro que no se puede desarrollar un modelo de medición del gobierno electrónico si no se tiene un entendimiento detallado de lo que representa o debiera representar este concepto. Estudios desarrollados con anterioridad han encontrado que no existe una definición generalizada de gobierno electrónico (GilGarcía Luna-Reyes, 2003; Prins, 2001; Schelin, 2003). Esta situación no permite una comunicación clara entre estudiosos del tema, administradores de proyectos y tomadores de decisiones, debido a que el término puede involucrar significados muy diversos, y por tanto características diferentes, dependiendo del contexto y el grupo de actores sociales que participan en la iniciativa. La presente revisión de literatura busca entender qué se ha escrito sobre gobierno electrónico y desarrollar un marco conceptual que sirva como guía en la construcción del modelo de medición. La revisión intenta dar respuestas preliminares a preguntas como: ¿Qué es el gobierno electrónico y cuales son sus características? ¿Cuáles son los principales resultados esperados del gobierno electrónico? ¿Qué factores afectan el éxito o fracaso de iniciativas de gobierno electrónico (determinantes)? Esto es, ¿Qué se está tratando de medir? 2.2. Metodología Con la finalidad de analizar las bases conceptuales del término “gobierno electrónico” se realizó una revisión sistemática de las 10 revistas académicas más importantes en las disciplinas de 13 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Administración Pública y Políticas Públicas1 en los últimos 7 años (1999-2005). Las revistas de administración pública consultadas fueron: Public Administration Review, Journal of Public Administration Research and Theory, American Review of Public Administration, Administration and Society, y Public Performance and Management Review. Con respecto a políticas públicas se consultaron las siguientes revistas académicas: Journal of Policy Analysis and Management, Journal of Public Policy, Policy Sciences, Policy Studies Journal, y Policy Studies Review. Como resultado de esta revisión se encontraron 73 artículos con temas relacionados al uso de tecnologías de información y comunicación en el gobierno. Los artículos escogidos no necesariamente contenían el término “gobierno electrónico” (o alguna de todas sus formas en inglés como e-government, e-gov, eGov, digital government) en el título o resumen, sino que se buscó tener la mayor variedad de artículos con la finalidad de capturar un espectro amplio de estudios sobre gobierno y el diseño, uso, implementación y evaluación de tecnologías de información y comunicación. Para complementar esta revisión inicial y tomando en consideración que parte de los avances en gobierno electrónico no se han reportado en revistas académicas, se realizó una selección de libros y reportes de investigación. Los libros y reportes seleccionados constituyen una muestra representativa de autores, posturas teóricas y aproximaciones metodológicas desarrolladas en años recientes (primordialmente entre 1990 y 2005). Finalmente, ideas importantes sobre gobierno electrónico y tecnologías de información en el gobierno se han derivado de estudios desarrollados en organizaciones privadas. Estos estudios se encuentran diseminados en revistas académicas correspondientes a las áreas de negocios, gerencia de sistemas de información, ciencias de la información y gerencia estratégica, entre otras. Se realizó una revisión selectiva de revistas en estos campos de estudio y se incorporaron algunos artículos relevantes que enriquecen la exposición sobre los determinantes, características o resultados del gobierno electrónico. 2.3. Resultados de la revisión de literatura Como resultado de la propia revisión surgieron tres temas que de forma importante informan el desarrollo de un modelo de medición del gobierno electrónico: (1) ¿Qué es el gobierno electrónico? ¿Cuáles son sus principales CARACTERISTICAS? ¿Cuáles son las fronteras conceptuales de este fenómeno?, (2) ¿Cuáles son los beneficios o RESULTADOS del gobierno electrónico? y (3) ¿Cuáles son los principales DETERMINANTES o factores de éxito del gobierno electrónico? Este apartado desarrolla respuestas preliminares a estas tres preguntas mediante la exposición de temas relevantes encontrados en la revisión de la literatura académica existente. Es muy importante aclarar que la revisión no está organizada por autor, sino por tema. Ello debido a que el principal objetivo es proveer una visión general de la investigación que se ha realizado hasta el momento sobre los determinantes, las características, y los resultados del gobierno electrónico y no una crítica de los postulados de cada autor. Consideramos que esta estrategia es mucho más útil para aportar las bases teóricas y conceptuales que serán usadas en la construcción del modelo de medición. 1 Forrester, J. P. Watson, S. S. (1994). An Assessment of Public Administration Journals: The Perspective of Editors and Editorial Board Members, Public Administration Review, 54 (5): 474-482. 14 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 2.3.1. Definiendo el gobierno electrónico Una de las actividades más importantes en el desarrollo de un modelo de medición es entender qué se está midiendo. Desafortunadamente, en el caso del gobierno electrónico, esta pregunta no tiene una respuesta simple, consensuada y directa. De hecho como se mencionó anteriormente, para algunos estudiosos de este fenómeno, es todavía prematuro el poder dar una definición generalizada y estable de gobierno electrónico (Prins, 2001). Otros investigadores han derivado diferentes formas de entender y definir el gobierno electrónico basados en la literatura existente hasta el momento (Gil-García Luna-Reyes, 2003; Schelin, 2003). En este apartado se presentan diferentes definiciones de gobierno electrónico y se analizan con respecto a su uso como guía de estudios futuros, pero también como punto de partida para entender qué es el gobierno electrónico y por tanto cuáles serían áreas clave a ser incluidas en el modelo de medición. 2.3.1.1. Definiciones de gobierno electrónico En la actualidad existe un gran número de definiciones de gobierno electrónico. El espectro va desde conceptualizaciones que presentan al gobierno electrónico únicamente como la provisión de servicios públicos mediante aplicaciones en Internet hasta definiciones que caracterizan al gobierno electrónico como el uso de cualquier tecnología de información y/o comunicación (incluyendo faxes o teléfonos) en el gobierno (Gil-García Luna-Reyes, 2003). Este apartado presenta algunas definiciones de gobierno electrónico, siendo únicamente una pequeña muestra del gran número encontrado en la literatura reciente. Gil-García Luna-Reyes (2006) resumen las principales características encontradas en varias definiciones de gobierno electrónico y proponen algunas formas de clasificarlas. La definición que será usada para este estudio se presenta al final de la sección 2.4.1. “En los términos mas simples, e-gobierno es gobierno electrónico, o el uso de tecnología digital en la administración y prestación de servicios públicos, predominantemente a través de Internet” (Edmiston, 2003: 20). “…nosotros definimos e-gobierno simplemente como la prestación de servicios e información gubernamental de forma electrónica, 24 horas al día, los siete días de las semana” (Holden, Norris, Fletcher, 2003: 327). “E-gobierno, una palabra que se refiere al uso de Internet por el gobierno para la provisión de servicios, recolección de datos y la mejora de procesos democráticos, se ha convertido en la innovación tecnológica del momento” (Bretschneider, 2003: 738). “E-gobierno corresponde al uso de tecnología, en particular aplicaciones basadas en Internet, por dependencias gubernamentales para mejorar el acceso y la provisión de servicios públicos” (Mary M. Brown Brudney, 2004: 96). “Gobierno electrónico (e-gobierno) está a la vanguardia de los esfuerzos gubernamentales por proveer información y servicios a ciudadanos, empresas, empleados públicos, otras dependencias gubernamentales y organizaciones del sector terciario” (Chen Perry, 2003: 404). “El paradigma del e-gobierno enfatiza la construcción coordinada de redes, colaboración exterior y servicios al cliente” (Ho, 2002: 434). “En años recientes los gobiernos han adoptado la idea de usar tecnologías de información para mejorar los servicios, una tenencia que se conoce como e-gobierno” (Moynihan, 2004). “...e-gobierno, en el sentido más amplio, se refiere a una reconfiguración del sector público basada en tecnologías de información—y como el conocimiento, el poder y el propósito son redistribuidos a la luz de nuevas realidades tecnológicas” (Roy, 2003). 15 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… “E-gobierno se refiere a la prestación de información y servicios gubernamentales en línea a través del Internet u otros medios digitales” (West, 2004a). 2.3.1.2. Componentes del gobierno electrónico Una forma diferente de caracterizar el gobierno electrónico es listando una seria de aplicaciones, componentes o elementos que lo integran. Dentro de esta perspectiva se ha desarrollado una gran diversidad de términos en idioma inglés. Algunos ejemplos son “e-services”, “e-management”, “e-democracy”, “e-policy”, “e-transparency”, “e-voting, “e-procurement”, “e-rulemaking”, “ecommerce”, “e-participation” y “e-governance”. No todos estos términos tienen traducciones consensuadas al español. Este apartado resume algunas de las formas en que estudios anteriores han presentado estos elementos como constitutivos del gobierno electrónico. Servicios electrónicos (e-services) se refiere a la prestación de servicios públicos por medio de tecnologías de información y comunicación, especialmente Internet y otras aplicaciones de red (Cook LaVigne, 2002; Edmiston, 2003; Galindo, 2002; Gil-García Luna-Reyes, 2006; Hiller Bélanger, 2001; Holmes, 2001; LaVigne, 2002; Moon, 2002; OECD, 2003; UN ASPA, 2002; UNPAN, 2002). Gerencia electrónica (e-management) es el uso de tecnologías de información y comunicación para el mejoramiento de las operaciones gubernamentales, eficiencia interna y todas las labores de administración y reforma gubernamental (Cook LaVigne, 2002; Galindo, 2002; Gil-García Luna-Reyes, 2006; Hiller Bélanger, 2001; Holmes, 2001; LaVigne, 2002; Moon, 2002; OECD, 2003; UNPAN, 2002). Democracia electrónica (e-democracy) se refiere al uso de tecnologías de información y comunicación para promover la participación ciudadana en sus diversas manifestaciones y sustentar las relaciones democráticas entre el gobierno, los ciudadanos y otros “stakeholders” (Cook LaVigne, 2002; Galindo, 2002; Gil-García Luna-Reyes, 2006; Hiller Bélanger, 2001; OECD, 2003). Políticas públicas electrónicas (e-policy) es la creación (no necesariamente usando tecnologías de información y comunicación) de un marco legal y regulatorio que facilite iniciativas de gobierno electrónico y fomente un ambiente propicio para la sociedad de la información (6, 2001; Finger Pécoud, 2003; Gil-García Luna-Reyes, 2006). 2.3.1.3. Una definición multi-dimensional de gobierno electrónico Partiendo del análisis de las definiciones y componentes encontrados en la literatura existente, en este apartado se argumenta que el fenómeno “gobierno electrónico” es multi-dimensional y por tanto es necesario conceptualizarlo como una amalgama de elementos y aplicaciones interrelacionados, los cuales no necesariamente tienen los mismos objetivos, prioridades y/o “stakeholders”. Basados en la revisión y de forma similar a Gil-García y Luna-Reyes (2006), se sugiere que los componentes principales de esta definición multi-dimensional deben ser: servicios electrónicos (e-services), gerencia electrónica (e-management), democracia electrónica (edemocracy), y políticas públicas electrónicas (e-policy). Por tanto una definición de gobierno electrónico que pueda ser utilizada para entender y medir este fenómeno de forma clara y sistemática debe considerar al menos los cuatro elementos mencionados anteriormente. De forma adicional, para que una definición de gobierno electrónico sea realmente útil debe facilitar el entendimiento entre investigadores y funcionarios públicos, es decir, debe tener bases teóricas sólidas, pero al mismo tiempo debe tener relevancia práctica. 16 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 2.3.2. Resultados del gobierno electrónico Una forma complementaria de entender qué se puede medir y cómo se puede medir, es revisando cuáles son los impactos potenciales o beneficios que se esperan del gobierno electrónico. Resultados como mejoramiento de la calidad en la prestación de servicios públicos, eficiencia, eficacia, y transparencia, entre otros, son mencionados tanto en la literatura académica como entre funcionarios públicos de distintos niveles. Estos beneficios están en muchas ocasiones ligados a las metas y objetivos de los proyectos de gobierno electrónico y por tanto constituyen una forma de entender el impacto potencial de este tipo de iniciativas. Para su análisis, los resultados o beneficios pueden ser clasificados de distintas formas (Gil-García Helbig, 2006). Sin embargo, teniendo en consideración que el objetivo de esta revisión es la construcción de un modelo de medición, una forma útil de presentar los beneficios es entendiéndolos como resultados de ciertas acciones e iniciativas de gobierno electrónico (Garson, 2004; OECD, 2003). 2.3.2.1. Mejoramiento de la calidad de los servicios públicos Uno de los principales resultados potenciales del gobierno electrónico que se ha identificado en estudios previos es el mejoramiento de la calidad en los servicios públicos (Mary M. Brown Brudney, 2004; Dawes Prefontaine, 2003; Gant, Gant, Johnson, 2002; OECD, 2003; West, 2004a). Esto no sólo se refiere a la conveniencia de tener acceso a información y servicios gubernamentales 24 horas del día los 7 días de la semana, sino también al mejoramiento substancial de los productos, procesos y atención a los ciudadanos. 2.3.2.2. Eficiencia y productividad en los procesos y operación gubernamental Las labores gubernamentales son muy diversas y los recursos siempre son escasos. Una de las promesas del gobierno electrónico es elevar la productividad de las organizaciones públicas y eficientar los procesos y acciones desarrolladas por entidades gubernamentales (Mary Maureen Brown, 2001; Heintze Bretschneider, 2000; Klein, 2000; Lee Perry, 2002; OECD, 2003). Para algunos estudiosos estos beneficios están ligados a transformaciones estructurales y cambios substanciales en los procesos que actualmente son utilizados. Sin embargo, algunos estudios han encontrado que la introducción de tecnologías de información tiene efectos directos en el desempeño o productividad, pero no necesariamente en las estructuras organizacionales (Heintze Bretschneider, 2000). 2.3.2.3. Programas y políticas más eficaces En un gran número de casos, mejorar la calidad de los servicios o eficientar las operaciones gubernamentales son sólo pasos intermedios, pues los objetivos más importantes del gobierno electrónico tienen que ver con lograr políticas públicas y programas gubernamentales más eficaces (6, 2001; M. M. Brown Brudney, 2003; Dawes, 1996; Kellogg Mathur, 2003; Landsbergen Wolken, 2001; OECD, 2003). Este beneficio es tal vez uno de los más importantes y al mismo tiempo uno de los más difíciles de medir, pues presupone la existencia de buenos indicadores de desempeño para la política o programa objetivo (Ej., salud, educación, combate a la pobreza, etc.). Estos indicadores son necesarios, pues la intención sería tener una medición base, antes de la implementación de la iniciativa del gobierno electrónico, que se pueda comparar con los resultados alcanzados con la utilización del sistema. Sin embargo, aún con estos indicadores de política pública, todavía se tiene que pensar cuidadosamente en el periodo más adecuado para realizar la medición, pues periodos muy cortos pueden no encontrar resultados debido a que el proyecto de gobierno electrónico no ha estado en funcionamiento por suficiente tiempo. De forma similar, periodos de evaluación muy largos, no permiten aislar los efectos del 17 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… proyecto de gobierno electrónico, pues muchos otros factores pueden afectar los resultados de la política o programa en cuestión. 2.3.2.4. Transparencia y rendición de cuentas Un beneficio potencial, especialmente interesante para países con problemas de corrupción, es que las tecnologías de información y comunicación pueden fomentar y facilitar la transparencia de las labores gubernamentales y los procesos de rendición de cuentas (Gil-García Luna-Reyes, 2006; OECD, 2003; Rocheleau, 2003; Eric W. Welch, Hinnant, Moon, 2005; Eric W Welch Wong, 2001). El acceso y disponibilidad de información relevante sobre finanzas, recursos humanos y otros temas que hasta hace algunos años eran sólo accesibles para un selecto grupo de actores sociales, tiene el potencial de transformar radicalmente las relaciones entre el aparato administrativo del gobierno, los ciudadanos y sus representantes políticos. Sin embargo, estudios sobre votación electrónica han encontrado que las tecnologías de información pueden también tener efectos contrarios y disminuir la transparencia en procesos democráticos que solían ser realizados con poca intervención tecnológica (Moynihan, 2004). 2.3.2.5. Participación ciudadana Para que un gobierno democrático funcione, es necesario que los ciudadanos tengan oportunidades de participar de forma real y efectiva en las decisiones públicas. Las tecnologías de información y comunicación tienen el potencial de facilitar esta participación (Fountain, 2003; Kellogg Mathur, 2003; Todd M La Porte, Demchak, Friis, 2001; West, 2004a). Algunos mecanismos específicos son foros virtuales y “chats”, en donde los ciudadanos pueden externar sus opiniones en la comodidad de sus hogares. Procesos de participación que solían ser para una minoría selecta de grupos de interés como “comentarios a regulaciones” (e-rulemaking) han comenzado a beneficiarse con opiniones de una base ciudadana más amplia (Fountain, 2003). Sin embargo, las dependencias gubernamentales no siempre están preparadas para los cambios derivados de estos innovadores sistemas de participación ciudadana (Ej. el gran volumen de comentarios recibidos) y su capacidad de respuesta es limitada. 2.3.2.6. Marco regulatorio que respalde el gobierno electrónico Los gobiernos no son únicamente usuarios de tecnologías de información y comunicación, sino que tienen la capacidad formal de crear normas y reglamentos que respalden y fomenten la implementación de proyectos de gobierno electrónico (Andersen Dawes, 1991; Dawes Nelson, 1995; Gil-García, 2004). Así, un beneficio adicional del gobierno electrónico es precisamente la creación de un marco regulatorio que respalde y sustente el diseño, implementación, uso y evaluación de tecnologías de información y comunicación al interior del propio gobierno y en sus relaciones con otros actores sociales. Un importante ejemplo de este tipo de regulaciones son las leyes de acceso a información gubernamental que recientemente están siendo impulsadas en un gran número de países, incluyendo a países latinoamericanos como México y Colombia. Otro ejemplo son reglamentos y normas que facilitan el uso de tecnologías de información y la colaboración e intercambio de información entre diferentes dependencias gubernamentales, compañías privadas y organizaciones no gubernamentales. 18 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 2.3.2.7. Marco legal y regulatorio que fomente la Sociedad de la Información De forma similar al punto anterior, el gobierno tiene la capacidad de regular algunas de las acciones que respecto al uso de tecnologías de información y comunicación realicen otras entidades, incluyendo tanto a empresas privadas como a organizaciones no gubernamentales (GilGarcía Luna-Reyes, 2006; Helbig, Gil-García, Ferro, 2005; Rogers Kingsley, 2004). Por tanto un beneficio más del gobierno electrónico puede ser la promulgación de leyes (si el poder legislativo está involucrado), reglamentos y políticas que fomenten el uso y difusión de tecnologías de información y comunicación en el marco de lo que se ha denominado la sociedad de la información. Leyes y reglamentos referentes al uso de firmas digitales y programas que impulsan la penetración de computadoras e Internet en lugares remotos o de difícil acceso constituyen ejemplos de este tipo de beneficios. Ejemplo de este tipo de políticas de gobierno pueden encontrarse de forma abundante en el programa e-México, que incluye políticas para incrementar la cobertura de Internet en el país, políticas para fomentar el desarrollo de la industria de Tecnologías de Información, etc. 2.3.2.8. Transformación de las estructuras gubernamentales En algunas ocasiones relacionados con otros beneficios, como eficiencia y calidad en el servicio, se considera que las tecnologías de información y comunicación pueden inducir profundos cambios en las estructuras gubernamentales existentes. Por ejemplo, algunos autores comentan que debido a las capacidades de Internet y las tecnologías de red, se espera que las organizaciones se vuelvan más flexibles y horizontales; en contraste con las organizaciones burocráticas existentes que son altamente jerárquicas y formalizadas (Garson, 2004). Sin embargo, investigación reciente ha encontrado que los efectos de las tecnologías de información y comunicación en las estructuras organizacionales del gobierno no son tan significativos como se esperaba (Heintze Bretschneider, 2000). De forma adicional, otros estudios argumentan que el hecho de que se den o no cambios estructurales, así como otro tipo de cambios, derivados del uso de tecnologías de información en el gobierno, está en función de los intereses de quienes impulsaron la iniciativa, pues uno de los principales factores a considerar es si el sistema redistribuye el poder en la organización o mantiene las estructuras de autoridad prevalecientes (Fountain, 2001; Kraemer, King, Dunkle, Lane, 1989). 2.3.3. Determinantes del gobierno electrónico La capacidad de las tecnologías de información y comunicación para generar los beneficios mencionados en el apartado anterior dependen, al menos de forma parcial, de la existencia de ciertos factores o requisitos (Gil-García Pardo, 2005). Estos factores tecnológicos, gerenciales y de política pública tienen un importante impacto tanto en la calidad de las iniciativas de gobierno electrónico como en los beneficios obtenidos por los gobiernos, ciudadanos y otros grupos de interés (Andersen Dawes, 1991). 2.3.3.1 Calidad de la información y datos existentes El insumo primordial de cualquier sistema de información gubernamental es precisamente la información o datos existentes. La calidad de las estructuras y definiciones de estos datos tiene una gran influencia en el tipo de sistema que se puede desarrollar (Ambite et al., 2002; Dawes, 1996). Esta calidad se puede evaluar tomando en consideración qué tan exacta, completa y consistente es la información (Redman, 1998). Los efectos de tener información de baja calidad se ven reflejados en la poca utilidad de los mismos para apoyar procesos y decisiones al interior de la organización, así como para realizar reportes y evaluar impactos ante entidades externas 19 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… (Kaplan, Krishnan, Padman, Peters, 1998). En el caso específico de desarrollo de sistemas de información, uno de los principales costos en procesos de integración o desarrollo de sistemas para el soporte a las decisiones está en la limpieza y acondicionamiento de los datos (Dawes Pardo, 2002; Dawes, Pardo, Cresswell, 2004). 2.3.3.2. Infraestructura tecnológica adecuada y compatibilidad Un determinante importante en proyectos de gobierno electrónico es la disponibilidad de infraestructura tecnológica adecuada. Dos de las principales características de la tecnología que impactan su éxito es su utilidad para los objetivos concretos de la organización y el grado de dificultad que presenta para los usuarios (Davis, 1989; Mahler Regan, 2003). En algunos casos existe la tecnología necesaria, pero ésta no es necesariamente compatible entre departamentos o dependencias gubernamentales lo que limita la utilidad y éxito del proyecto (M. M. Brown, 2000; Dawes, 1996). Otro factor de gran relevancia es la disponibilidad de recursos humanos con los conocimientos y las habilidades tecnológicas necesarias (Caffrey, 1998; Dawes Pardo, 2002). 2.3.3.3. Características organizacionales y gerenciales Como en muchos otros proyectos que involucran cambio organizacional, ciertas características de la estructura organizacional o del estilo gerencial son importantes factores de éxito o fracaso para iniciativas de gobierno electrónico. Algunos de los factores identificados en los estudios existentes son el tamaño del proyecto, la diversidad de usuarios, la resistencia al cambio y la compatibilidad entre los objetivos del proyecto y las metas organizacionales (Barki, Rivard, Talbot, 1993; Barrett Greene, 2000; Dawes Pardo, 2002; Edmiston, 2003; Jiang Klein, 2000). Por otro lado, en el caso de iniciativas que involucran la participación de varias dependencias, existen otros factores que deben ser considerados: la heterogeneidad de las organizaciones involucradas, la complementariedad o grado de conflicto existente entre sus metas y tensiones de poder entre las distintas organizaciones (Caffrey, 1998; Dawes Nelson, 1995; Dawes Pardo, 2002; Rocheleau, 2003). 2.3.3.4. Marco legal e institucional A diferencia de organizaciones privadas, el gobierno es creado y opera bajo un marco legal que promueve ciertas acciones y prohíbe otras. El marco legal no solo promueve directrices, sino que determina y enmarca totalmente lo que hace el gobierno, es obligatorio. Las iniciativas de gobierno electrónico no están exentas de este tipo de influencias y las leyes y reglamentos se pueden convertir en grandes incentivos y catalizadores, pero también, en circunstancias menos afortunadas, en poderosas barreras y retos muy difícil de ser superados (Bajjaly, 1999; M. M. Brown Brudney, 2003; Dawes Nelson, 1995; Fountain, 2001; Harris, 2000; Landsbergen Wolken, 2001). Algunos ejemplos de este tipo de determinantes son: los ciclos anuales de presupuestación; las relaciones intergubernamentales y entre los poderes ejecutivo, legislativo y judicial; y la relativa autonomía con la que operan las dependencias, derivada de la escasez de incentivos para la colaboración inter-organizacional (Bellamy, 2000; Caffrey, 1998; Dawes Pardo, 2002; Harris, 2000). Las iniciativas de gobierno electrónico se deben evaluar teniendo en consideración esta y otras diferencias con respecto al sector privado. 2.3.3.5. Contextos político, económico y social Los gobiernos y las iniciativas de gobierno electrónico no se encuentran en el vacío, sino que operan en contextos sociales, económicos y políticos concretos (Dawes Pardo, 2002; Fountain, 20 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 2001; Kraemer et al., 1989). Estas condiciones contextuales también afectan las iniciativas de gobierno electrónico, si bien los impactos no son necesariamente directos (Gil-García, 2005). Hay dos importantes ejemplos de determinantes contextuales del gobierno electrónico. El primero lo constituyen las presiones políticas y de agenda gubernamental, que tienen un impacto tanto en la selección como en la implementación y evaluación de iniciativas de gobierno electrónico (Bellamy, 2000; Fountain, 2001; Rocheleau, 2003). El segundo determinante son las expectativas ciudadanas por servicios de gobierno electrónico (Gil-García, 2005; Todd M. La Porte, Demchak, de Jong, 2002; Thomas Streib, 2003; Eric W. Welch et al., 2005; West, 2004a). Las expectativas que los ciudadanos, las empresas y otros grupos de interés tienen sobre el gobierno electrónico y sus aplicaciones específicas tienen un impacto en las decisiones sobre el uso de tecnologías de información y comunicación, así como en los criterios utilizados para evaluar los resultados de estas iniciativas.2 2.3.4. Medición y evaluación del gobierno electrónico Finalmente, hay algunos estudios que deliberadamente buscan analizar diferentes formas de medir o evaluar proyectos de gobierno electrónico. Aunque relativamente escasos en la literatura académica, esta línea de investigación provee, al igual que la revisión de modelos de medición previamente usados, un punto de partida para el desarrollo del modelo de medición del gobierno electrónico materia de este reporte. El análisis de la investigación que se ha llevado acabo con respecto a medición y evaluación del gobierno electrónico, tiene el potencial de ayudar a minimizar los problemas y desventajas, así como capitalizar en las fortalezas ya identificadas. 2.3.4.1. Medición y evaluación al inicio del proyecto La medición y evaluación del gobierno electrónico puede y, en general, debe comenzar antes del inicio formal del proyecto (análisis de requerimientos y diseño). Existen técnicas analíticas que permiten llevar a cabo una evaluación de los objetivos, metas, “stakeholders”, costos, beneficios, riesgos y resultados potenciales de una iniciativa de gobierno electrónico (Dawes, Pardo, Simon et al., 2004). Algunas herramientas están primordialmente basadas en análisis de tasa de retorno (ROI, por sus siglas en inglés) y toman en consideración las particularidades del sector público (Cresswell, 2004; Cresswell LaVigne, 2003). Otra forma de evaluar un proyecto de tecnologías de información es el uso de instrumentos y técnicas de planeación estratégica (Andersen, Belardo, Dawes, 1994; Dawes, Pardo, Simon et al., 2004; Holley, Dufner, Reed, 2002, 2004; Smith, Campbell, Subramanian, Bird, Nelson, 2001). En los últimos años se han estudiado otras formas de evaluar, no sólo los posibles beneficios de un proyecto de gobierno electrónico, sino también las capacidades de la organización u organizaciones que participan en este tipo de iniciativas (Cresswell, Pardo, Canestraro, Dawes, Juraga, 2005; Dawes, Pardo, Cresswell, 2004; Melitski, 2003). 2.3.4.2. Medición y evaluación al final del proyecto La medición o evaluación al final de un proyecto de gobierno electrónico no es una práctica tan frecuente como debiera ser. Heeks (2005) menciona que existen varias razones por las cuales una vez implementado un proyecto de gobierno electrónico no se lleva a cabo una evaluación 2 En la mayoría de los casos, los autores han usado análisis estadístico para dar sustento a sus conclusiones. Por ejemplo, en el caso de las expectativas ciudadanas o demanda del gobierno electrónico, la mayoría de los autores han usado información disponible de encuestas realizadas por ellos mismos o por alguna organización. La demanda ha sido operacionalizada usando indicadores como ingreso, educación, acceso a computadoras y acceso a Internet, entre otras. 21 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… sistemática: (1) irrelevancia de los resultados, (2) miedo a la exposición pública, (3) ausencia de los “stakeholders” originales, (4) el proyecto es propiedad de actores externos, (5) inestabilidad del ambiente político, económico y/o social. Cuando la evaluación se lleva a cabo, Heeks (2005) menciona que al menos debe incluir dos aspectos, además de la comparación con los objetivos iniciales del proyecto: (1) evaluación del sistema de información y (2) evaluación de la calidad de la información. Finalmente, el proyecto puede ser evaluado tomando en cuenta sus impactos o resultados, los cuales normalmente son particulares para cada iniciativa y contexto, pero que en general se pueden relacionar con los objetivos de reforma del sector público y la creación de valor público (Heeks, 2005). 2.3.4.3. Medición y evaluación periódica (monitoreo de avance) Una de las actividades de administración de proyectos es monitorear el avance de las acciones necesarias para completar una iniciativa de gobierno electrónico (Ej., un sistema de información). Especialmente en proyectos de gran envergadura, los cuales involucran no sólo una gran inversión, sino también un periodo muy largo de implementación, las actividades de monitoreo se pueden facilitar con el uso de buenos indicadores de desempeño (Heeks, 2005; Stowers, 2004). A una escala diferente, gobiernos nacionales pueden usar indicadores para entender la dinámica de sus iniciativas de gobierno electrónico. En estos casos, la medición llevada a cabo una sola vez, no es suficiente para lograr mejores decisiones. El mayor valor se encuentra en la comparación entre varias evaluaciones periódicas (Ej., varios trimestres o varios años). Mediante el análisis cuidadoso de los resultados en distintos periodos, los responsables de gobierno electrónico pueden encontrar áreas que requieren de mayor atención, entender tendencias generales de desarrollo y tomar decisiones mejor informadas y compatibles no sólo con los objetivos y metas nacionales, sino con la realidad concreta y el contexto específico de cada país. Por tanto, los indicadores necesarios para estas situaciones deben incluir tanto las generalidades de la iniciativa de gobierno electrónico como particularidades que sean especialmente importantes para el país, estado o localidad en cuestión. 2.3.4.4. Medición y evaluación periódica (comparabilidad) En algunas ocasiones, el objetivo principal de la medición o evaluación no es un país o iniciativa en particular, sino un conjunto de países, estados o localidades que se considera son comparables y debieran tener ciertos aspectos básicos de gobierno electrónico. La mayor ventaja de este tipo de mediciones es que permiten comparar fácilmente el estado del gobierno electrónico en un gran número de países (UN ASPA, 2002; West, 2005a), estados (Alcazar Díaz de Léon, Castillo Camacho, Luna-Reyes, 2006; Edmiston, 2003; Gant et al., 2002; Gil-García, 2005; Sandoval Gil-García, 2005; West, 2005a) o localidades (Edmiston, 2003; Ho, 2002; Holden et al., 2003). Sin embargo, estos instrumentos generales tienen una capacidad muy limitada para capturar y ponderar de forma adecuada particularidades de ciertas iniciativas y de sus contextos. Si como se ha mencionado anteriormente, un determinante importante de la calidad y beneficios obtenidos del gobierno electrónico es el contexto en el que las iniciativas se desarrollan (Andersen Dawes, 1991; Dawes, Pardo, Simon et al., 2004; Gil-García Pardo, 2005), estos instrumentos generales proveen poca guía para los tomadores de decisiones y administradores de proyecto. 22 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 2.4. Construyendo un modelo conceptual de medición integral del gobierno electrónico En general, es claro que gobierno electrónico es un fenómeno complejo que se puede conceptualizar y medir de muy diversas maneras. En nuestra opinión, un modelo teóricoconceptual que pudiera servir de fundamento para la medición integral del gobierno electrónico debe partir de una caracterización amplia de este fenómeno e incluir una gran variedad de variables que capturen diversos aspectos relevantes. Esta sección primero propone una definición de gobierno electrónico que consideramos tiene relevancia teórica y práctica, y partiendo de ello y de la revisión de literatura llevada a cabo, desarrolla un modelo teórico-conceptual que incluye un total de 21 variables organizadas en 3 dimensiones: determinantes, características y resultados del gobierno electrónico. 2.4.1. Definiendo gobierno electrónico Como se mencionó anteriormente, el espectro de definiciones va desde sólo la provisión de servicios a través de Internet hasta el uso de cualquier tipo de tecnología de información y comunicación en el gobierno. En nuestra opinión, las implicaciones para fines de medición son claras, pues dependiendo de la definición adoptada, los indicadores necesarios para entender el estado del gobierno electrónico en un país serán diferentes. Consideramos que la conceptualización del gobierno electrónico define los límites no sólo del concepto a estudiar, sino también del fenómeno bajo observación y, por tanto, de la gama de variables necesarias para medirlo. Por tanto, la conceptualización del gobierno electrónico es muy importante, pues ello definirá las fronteras del objeto de estudio (ej., únicamente aplicaciones en Internet versus cualquier sistema de información usado por un gobierno versus cualquier tecnología de información o comunicación usada en el sector público) y proveerá las bases teóricas para seleccionar las variables a ser incluidas en cada una de las tres dimensiones (determinantes, características y resultados). Por ejemplo, si el gobierno electrónico se define sólo como la provisión de servicios electrónicos usando aplicaciones en Internet, entonces los sistemas que tienen como finalidad mejorar los procesos administrativos internos de las organizaciones gubernamentales no serán necesariamente incluidos. De forma similar, las estadísticas de visitas a sitios en Internet o de formatos que han sido “bajados” de las páginas en Internet tendrían una ponderación mayor, si el gobierno electrónico es definido únicamente como aplicaciones en Internet. Por otro lado, estudios anteriores han encontrado que la evaluación que los funcionarios tienen de cierta organización o programas gubernamentales, así como las decisiones que toman sobre los problemas respectivos, dependen de las variables utilizadas en la medición o evaluación de los mismos (Nicholson-Crotty, Theobald, NicholsonCrotty, 2006). De alguna forma, la selección de buenas variables, puede entonces apoyar un mejor entendimiento de las iniciativas de gobierno electrónico. Dado que muchas variables utilizadas en contextos organizacionales representan conceptos abstractos (por ejemplo, calidad de los servicios), es posible encontrar diferentes indicadores para representar un mismo concepto o variable. En estos casos la evaluación de los indicadores para su selección estará influenciada por las prioridades, intereses y posición política de los actores involucrados. Usando como base una definición integral de gobierno electrónico, la selección de los indicadores será más consistente, sistemática y holística. Por tanto, para los objetivos de este trabajo consideramos que la conceptualización del gobierno electrónico debe ser tan amplia e integradora como sea posible. Una definición amplia permitirá una medición más comprensiva del fenómeno y por tanto la derivación de mayor utilidad de los resultados de la medición y las comparaciones entre 23 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… países. Para este trabajo, “gobierno electrónico es la selección, implementación y uso de tecnologías de información y comunicación en el gobierno para la provisión de servicios públicos, el mejoramiento de la efectividad gerencial, y la promoción de valores y mecanismos democráticos, así como el desarrollo de un marco regulatorio que facilite iniciativas que usan información de forma intensiva y fomente la sociedad del conocimiento” (Gil-García Luna-Reyes, 2003, 2006). 2.4.2. Medición integral del gobierno electrónico En resumen, y en base a la revisión de literatura, se pueden inferir tres dimensiones importantes usadas para entender y medir el gobierno electrónico: determinantes, características y resultados. A continuación se presenta modelo teórico-conceptual de medición integral del gobierno electrónico derivado de la revisión de literatura y nuestra interpretación de los elementos que deben ser considerados. Nuestra propuesta plantea que para lograr medir o evaluar el gobierno electrónico de forma integral y comprensiva es necesario seleccionar indicadores que representen los determinantes, las características y los resultados del gobierno electrónico, así como cada una de las variables que constituyen estas tres dimensiones (ver gráfico 2.1). Características. Las características representan los niveles de funcionalidad y aspectos técnicos de los sistemas y aplicaciones de gobierno electrónico. En nuestra opinión, las características proporcionan una forma de medición del éxito de los sistemas en términos de su cumplimiento con requerimientos técnicos como usabilidad, calidad de información, privacidad o seguridad. Adicionalmente, reflejan el nivel de sofisticación de estos sistemas, diferenciando, por ejemplo, entre aplicaciones que sólo proporcionan información y aquéllas que sirven para la realización de trámites o servicios públicos asociados con la obtención de financiamientos para proyectos productivos, salud o educación, entre otros. Resultados. Los resultados representan los beneficios que se han identificado como efectos o impactos del gobierno electrónico. Los resultados proveen una forma simplificada del estado en que se encuentra el gobierno electrónico en un país. Sin embargo, ello no necesariamente implica que la iniciativa tenga un objetivo único, pero sí ayuda a ponderar la importancia relativa de ciertos objetivos, especialmente en casos donde pudieran existir contradicciones o las acciones necesarias compiten por los mismos recursos escasos (Ej., eficiencia versus transparencia). De forma similar, conociendo los resultados potenciales, los tomadores de decisiones y administradores de proyectos pueden reflexionar sobre los objetivos y metas últimas del proyecto (educación, salud, etc.) y decidir cual(es) de estos resultados potenciales son los más adecuados para guiar los esfuerzos de gobierno electrónico. 24 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… GRÁFICO 2.1 MODELO TEÓRICO-CONCEPTUAL DE MEDICIÓN INTEGRAL DE GOBIERNO ELECTRÓNICO Determinantes del gobierno electrónico Características del gobierno electrónico Calidad de los servicios públicos Calidad de la información Infraestructura tecnológica Gerencia electrónica Servicios electrónicos Eficiencia y productividad Programas y políticas eficaces Transparencia y rendición de cuentas Características organizacionales Marco legal existente Resultados del gobierno electrónico Políticas públicas electrónicas Democracia electrónica Demanda potencial Participación ciudadana Marco regulatorio adecuado Otros resultados INDICADORES Fuente: elaboración propia. Determinantes. Entender las características y los resultados del gobierno electrónico es un paso necesario para decidir qué se quiere medir, pero no suficiente para tomar decisiones que influyan en la situación actual. Es decir, se pueden tener indicadores de los resultados, pero un entendimiento muy limitado de cuáles serían los cursos de acción necesarios para mejorar esos resultados. De tal forma que una vez que se ha decidido la ruta a seguir, se tengan los conocimientos necesarios para influir los factores relevantes (determinantes) y cambiar la situación. Los determinantes miden los factores que se han identificado como causas o variables que afectan las características y resultados de iniciativas de gobierno electrónico. Finalmente, es importante destacar que la medición y evaluación del gobierno electrónico es también compleja y multidimensional. Su complejidad no sólo se deriva de que el fenómeno es en sí complejo, sino también del hecho de que muchos actores están involucrados y en muchas ocasiones algunos de ellos tendrán puntos de vista diferentes o contradictorios. De forma adicional, una iniciativa de gobierno electrónico se puede medir o evaluar de muchas formas (como sistema de información, contra objetivos iniciales, en términos de eficiencia, etc.), considerando distintas fases (inicio, implementación, producción, etc.) y con diferentes objetivos (comparación, detección de necesidades, soporte a las decisiones, comprensión de un fenómeno, etc.). Así, cualquier modelo de evaluación sacrifica un poco de su utilidad para cumplir un objetivo a cambio de constituirse en un mejor modelo para otro objetivo. El reto que se toma en este proyecto es el tener una primera aproximación a un modelo de medición que pueda satisfacer hasta cierto punto más de uno de estos objetivos. Estamos concientes que por tratarse de una 25 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… primera aproximación no es perfecto, pero consideramos que tiene el potencial de sentar las bases para esfuerzos similares en el futuro. Para efectos de este reporte, el modelo teórico conceptual se aplicará a la medición del gobierno electrónico en países como un todo y con fines de comparabilidad. Se espera que el resultado tenga también cierta utilidad para la toma de decisiones, pero esta será limitada. 26 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… III. Revisión de marcos de medición y principales indicadores 3.1. Introducción Esta tercera sección del documento tiene como finalidad revisar los principales métodos, modelos o índices que se han utilizado para la medición del gobierno electrónico. Los 22 documentos identificados pertenecen a 3 diferentes conjuntos. Un primer conjunto contiene reportes con índices comparativos de gobierno electrónico a nivel país o en algunos casos a nivel estatal en países específicos como los Estados Unidos. Un segundo grupo de documentos incluye modelos y reportes que se encuentran en revistas académicas de administración pública, y finalmente, se incluyen algunas evaluaciones o indicadores propuestos por países específicos en la región de América Latina y el Caribe. Algunos de los estudios incluidos en esta sección no analizan directamente el fenómeno de gobierno electrónico, pero son incluidos por considerar algunos de los determinantes o resultados del gobierno electrónico. La sección finaliza con una serie de comparaciones de los diferentes documentos revisados contrastando estos indicadores con algunos de los elementos incluidos en la revisión de literatura, identificando de esta manera las fortalezas y limitaciones de los modelos existentes. 3.2. Reportes e índices comparativos y esfuerzos de asociaciones y fundaciones En este apartado se incluye una descripción de los principales índices comparativos considerados en el análisis para la creación de la propuesta inicial de un modelo de medición del gobierno electrónico en América Latina y el Caribe. Los reportes incluidos en la sección muestran la diversidad de enfoques que se han utilizado para medir gobierno electrónico o alguna dimensión asociada al mismo. El cuadro 3.1 incluye una relación de los reportes incluidos en esta sección del documento. 27 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… CUADRO 3.1 REPORTES, ÍNDICES Y DOCUMENTOS REVISADOS ID Nombre Abreviatura Referencias 1 Reporte Global de Gobierno Electrónico de la Universidad de Brown [BROWN] (West, 2001, 2002, 2003, 2004b, 2005b) 2 Reporte de Gobierno Electrónico de las Naciones Unidas [UNPAN] (UN ASPA, 2002; UNPAN, 2003, 2004, 2005) 3 Eurostat [EUROSAT] (Eurostat, 2005; Reis, 2005) 4 Reporte de Gobierno Electrónico en Europa del Observatorio para la Interoperabilidad en la entrega de servicios de e-gobierno para la Administración Pública, los Negocios y los ciudadanos [IDABC] (Chevallerau, 2005) 5 Indicador de la Sociedad de la Información [ISI] (CELA-IESE DMR Consulting, 2005) 6 Índice Norteamericano de Satisfacción del Cliente [ACS] (ACSI, 1994) 7 Estados Digitales [ESTDIG] (Lassman, 2001) 8 Liderazgo en Gobierno Electrónico [ACCENT] (Accenture, 2004) 9 Gobierno Electrónico basado en desempeño [DESEM] (DeMaio et al., 2002) 10 Índices de e-readiness [MINGUES] (Minges, 2005) 11 Indicadores clave de las TIC [PARTNER] (ONU, 2005) 12 Manual de Lisboa [LISBOA] (RICYT-CYTED et al., 2006) 13 Desempeño de e-Gobierno de la Fundación para el Negocio de Gobierno [STOWERS] (Stowers, 2004) 14 Marco de Evaluación de Gobierno Electrónico [GUPTAJ] (Gupta Jana, 2003) 15 Benchmark de Servicios de Gobierno [KAYLOR] (Kaylor, Deshazo, Van Eck, 2001) 16 Evaluación multidimensional de portales de gobierno [GANT] (Gant et al., 2002) 17 Diagnóstico automático para analizar aplicaciones de gobierno [CHOUD] (Choudrie, Ghinea, Weerakkody, 2004) 18 Benchmark de sitios Web [MISJOHN] (Misic Johnson, 1999) 19 Sao Paulo [BRASIL] (ESTADO DE SÃO PAULO, 2005) 20 Colombia [COLOMBIA] (DANE, 2003) 21 Chile [CHILE] (Sepúlveda T., Gutiérrez G., Vásquez V., 2006) 22 México [MEXICO] (OECD, 2005) Fuente: elaboración propia. 28 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 3.2.1. Reporte de gobierno electrónico a nivel global de la Universidad de Brown [BROWN] La Universidad de Brown realiza desde el año 2001 un análisis comparativo de gobierno electrónico a nivel global (West, 2001, 2002, 2003, 2004b, 2005b). En el quinto reporte se analizaron 1,797 sitios de Internet de 198 países. El análisis se realizó durante el verano del 2005. De acuerdo con el autor, se observa progreso incremental. De acuerdo con la interpretación del mismo autor, el cambio no ha sido mayor debido a cuestiones de presupuesto, así como fuerzas burocráticas e institucionales que limitan el uso de las tecnologías de información y comunicación (TIC) en el gobierno. Los principales resultados del ranking del 2005 son: • 19% de los sitios de gobierno ofrecen servicios 100% ejecutables en línea. • 89% de los sitios proveen acceso a publicaciones, y 53% tienen vínculos a bases de datos. • 18% incluyen políticas de privacidad, mientras que 10% cuenta con medidas de seguridad. • 19% ofrecen algún tipo de acceso para personas con capacidades diferenciadas (discapacidades). • El desempeño varía de una región a otra de forma importante. En general, los países de América del Norte tienen los puntajes más altos, seguidos por Asia, Europa del Oeste, Islas de la cuenca del Pacífico, Medio Este, Europa del Este, América del Sur, Asia central, América Central y África. Para obtener el puntaje por cada país, el grupo de esta Universidad analiza varios sitios dentro de cada país (9 en promedio). Los sitios analizados incluyen los de la oficina de la presidencia, los del poder legislativo, las oficinas del poder judicial, oficinas de ministerios o secretarías de salud, impuestos, educación, economía, administración, etc. El estudio excluye oficinas regionales o municipales. CUADRO 3.2 ELEMENTOS INCLUIDOS EN LA VALORACIÓN DE LA UNIVERSIDAD DE BROWN Área Elementos Información Contacto Telefónico, dirección terrestre, vínculos a otros sitios, publicaciones, bases de datos, clips de audio y video. Servicios electrónicos Conteo de servicios (sólo cuentan servicios que se pueden realizar por completo en línea) Privacidad y seguridad Políticas de seguridad publicadas, políticas de privacidad publicadas Accesibilidad Resultados de Análisis Bobby sobre el cumplimiento de las recomendaciones del Consorcio del World Wide Web (W3C) Acceso a personas que hablan lengua extranjera Financiamiento Anuncios, cuotas de uso, cuotas de servicios Premium Alcance al público Correo electrónico, búsquedas en el sitio, comentarios, noticias por e-mail, transmisión de radio por Internet, personalización, acceso vía asistente digital (PDA) Fuente: elaboración propia. 29 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Los sitios de Internet son evaluados en función de la presencia o ausencia de funcionalidades relacionadas con la disponibilidad de información, entrega de servicios y acceso. Cuando los sitios de gobierno están en un idioma diferente al inglés, el grupo se apoya en lectores que comprenden el idioma del sitio. Los elementos incluidos se resumen en el cuadro 3.2. El reporte no describe la forma en la que se agregan los datos de los sitios Web observados para obtener el puntaje de cada país. 3.2.2. Reporte de gobierno electrónico de la Organización de las Naciones Unidas [UNPAN] La División para la Administración Pública y del Desarrollo del Departamento de Asuntos Económicos y Sociales de la Organización de las Naciones Unidas realiza año con año una evaluación del estado del gobierno electrónico en los 191 países miembros de las Naciones Unidas (UN ASPA, 2002; UNPAN, 2003, 2004, 2005). Desde el punto de vista de los autores del reporte, gobierno electrónico es un gobierno que utiliza las TIC para transformar relaciones internas o externas. A través de la aplicación de las TIC, un gobierno no altera sus funciones ni su obligación de permanecer útil, legítimo, transparente y responsable en el rendimiento de cuentas. De acuerdo con la última encuesta realizada en el año 2005, 94% de los países miembros de la ONU tienen presencia en la Web. Los países más desarrollados son Estados Unidos, Dinamarca, Suecia y el Reino Unido, aunque Corea, Singapur, Estonia, Malta y Chile se encuentran en los primeros 25 puestos. Se observa un incremento tanto en el desarrollo de capital humano como en el uso de las TIC para promover la participación. México, Chile y Colombia aparecen como países líderes en participación entre los países en desarrollo. Cincuenta y cinco de los 179 países buscan que los ciudadanos participen en discusiones de asuntos de política, aunque sólo 28 de ellos aseguran que los comentarios se incorporarán al proceso de toma de decisiones. CUADRO 3.3 ETAPAS DE DESARROLLO DE GOBIERNO ELECTRÓNICO 1. Presencia emergente: Consiste en tener cualquier tipo de presencia en Internet a través de un Web Site oficial del estado o dependencia. La información presentada es limitada y estática. 2. Presencia mejorada: Cuentan con información ampliada sobre leyes, servicios y transacciones con el gobierno. El usuario puede localizar información a través de mapas del sitio o un menú de opciones. 3. Presencia interactiva: Los servicios siguen ofreciéndose principalmente de forma tradicional, pero los ciudadanos pueden obtener formatos en línea u obtener algún pre-procesamiento del servicio a través de teléfono o correo electrónico. Los funcionarios o servidores públicos pueden ser contactados vía e-mail, fax o teléfono. El sitio se actualiza con regularidad. 4. Presencia transaccional: Los usuarios pueden realizar transacciones en línea, tales como pago de multas, impuestos o trámite de licencias u otros documentos. Existen también recursos para la realización de contratos públicos a través de una vía segura. 5. Presencia de red: Las relaciones de entidades gubernamentales y ciudadanos están basadas en una red integrada de dependencias públicas para la provisión de información, conocimiento y servicios. El énfasis está en el rediseño del gobierno y la forma en la que provee servicios. El gobierno solicita retroalimentación en línea a través de encuestas o foros de discusión. Fuente: elaboración propia. 30 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Metodológicamente, el reporte busca responder a la pregunta ¿Qué tan listos están los países para tomar ventaja de las oportunidades ofrecidas por las TIC? De este modo, el Índice de preparación para el gobierno electrónico es una medida que busca medir tanto la capacidad como la intencionalidad de tomar ventaja de las TIC. Así, se calcula a través de un promedio ponderado de tres índices complementarios, el índice de presencia en Web, el índice de infraestructura de telecomunicaciones, y el índice de capital Humano. Adicionalmente, y dada la importancia que la ONU asigna al gobierno electrónico como instrumento de promoción de la democracia, se calcula un índice de participación electrónica o e-participación. El índice de presencia de Web se obtiene a través de un cuestionario donde se registran la presencia o ausencia de un conjunto de funcionalidades de los sitios Web públicos asociados con un modelo de desarrollo de gobierno electrónico de 5 etapas (ver cuadro 3.3). Para cada país se selecciona, además del sitio principal del gobierno del país, el sitio de cinco secretarías o ministerios públicos. Un grupo de expertos participa en la selección de cada sitio y en la observación de los mismos. El índice de Infraestructura tecnológica es el resultado de calcular un promedio ponderado de 6 indicadores de infraestructura, que son número de PC’s por cada 1000 personas; usuarios de Internet por 1000 personas; líneas telefónicas fijas por cada 1000 personas, población en línea; Teléfonos móviles por cada 1000 personas y televisiones por cada 1000 personas. Cada indicador se normaliza utilizando como referencia los valores máximo y mínimo entre los países observados. Una vez normalizados, el índice se obtiene a través de un promedio ponderado en el que se asigna un peso de 0.2 para cada uno de los primeros 4 indicadores, y 0.1 para los dos últimos (teléfonos móviles y televisiones). El índice de capital humano agrega el porcentaje de adultos alfabetizados de los del país con la razón de la población inscrita en niveles de educación primaria, secundaria y terciaria, ponderando con 2/3 el porcentaje de adultos que saben leer y escribir y con 1/3 la matrícula escolar. El índice de e-participación trata de detallar y obtener información cualitativa que extiende la valoración de los expertos de la etapa de presencia de red en la creación del índice de presencia Web. La valoración cualitativa y cuantitativa comprende tres aspectos fundamentales einformación, e-consultas y e-toma de decisiones. 3.2.3. Eurostat [EUROSTAT] Los esfuerzos de Eurostat para medir el avance del Gobierno Electrónico en los países de la Unión Europea está fundamentado en dos tipos de indicadores, algunos de ellos se asocian con el lado de la oferta de gobierno electrónico y otros con la demanda de gobierno electrónico (Eurostat, 2005; Reis, 2005). Por el lado de la oferta, el Consejo de la Unión Europea seleccionó en el 2001 un conjunto de 20 servicios básicos a ofrecerse a través de Internet, 12 de estos servicios están dirigidos al ciudadano en general, y 8 a las empresas (ver cuadro 3.4). Por el lado de la demanda, Eurostat utiliza indicadores de uso de tecnologías por parte individuos y empresas, específicamente aquellos usos relacionados con los servicios de gobierno. En términos de la oferta de servicios, los 20 servicios que se encuentran en el cuadro 3.4 se califican de acuerdo a la siguiente escala: Etapa 0 – No existe el servicio en Internet Etapa 1 – Existe información en línea acerca del servicio Etapa 2 – Es posible descargar formas asociadas al servicio Etapa 3 – Interacción de dos sentidos procesando formas e incluyendo autenticación Etapa 4 – Toda la transacción se realiza en Internet incluyendo el pago 31 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Cada uno de los servicios se califica utilizando esta escala, y se obtiene un promedio normalizando la escala para presentar los resultados en una escala de 0 a 100. En el lado de la demanda, la información se obtiene a través de encuestas a hogares y empresas, preguntando sobre el uso de páginas de gobierno o Internet para obtener información sobre servicios de gobierno, descargar formatos, o procesar formatos utilizando Internet. El reporte que Eurostat realiza, presenta un comparativo de los diferentes aspectos de la oferta y la demanda (uso de servicios por parte de individuos, uso de servicios por parte de empresas, nivel de desarrollo de servicios a individuos y nivel de desarrollo de servicios a empresas) sin obtener un índice agregado por país. CUADRO 3.4 INDICADORES Y SERVICIOS INCLUIDOS EN LA MEDICIÓN DE GOBIERNO ELECTRÓNICO POR PARTE DE EUROSTAT Servicio Al Ciudadano Declaración de impuestos al ingreso Búsqueda de trabajo en secretarías o ministerios del trabajo Contribuciones de seguridad social Documentos personales Registro de autos Solicitud de permiso de construcción Declaración a la policía Bibliotecas públicas Solicitud y entrega de certificados (nacimiento, matrimonio) Inscripción en educación superior Cambio de domicilio Servicios asociados a la salud (ej. Cita en hospital) A Empresas Contribuciones sociales de los empleados Declaración de impuestos corporativa Declaración de impuesto al valor agregado Registro de una nueva empresa Envío de datos a oficinas de estadística Declaración de aduanas Permisos relacionados con el medio ambiente Abastecimiento/Procuración pública Fuente: elaboración propia. 32 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 3.2.4. Gobierno electrónico en los estados miembros de la Unión Europea [IDABC] El Observatorio para la Interoperabilidad en la Entrega de Servicios de e-Gobierno para la Administración Pública, los Negocios y los Ciudadanos (IDABC) mantiene una serie de fichas descriptivas con información sobre los estados miembros de la Unión Europea (Chevallerau, 2005). Cada ficha tiene el propósito de presentar el avance en materia de gobierno electrónico en cada país, y ofrece información tanto cuantitativa como cualitativa de la situación de cada Estado miembro. El detalle de la información que se mantiene de cada país se detalla en el cuadro 3.5. El objetivo de este reporte no es obtener un índice agregado por país, sino tener una descripción amplia de la situación en cada uno de ellos. Así, cada país se presenta como una viñeta o pequeño caso con la información que se muestra en la cuadro 3.5. Aunque este enfoque da una visión más amplia y provee información importante del contexto de gobierno electrónico en cada país, resulta más complicado hacer comparaciones entre países, ya que la valoración recae en el lector del informe, quien deberá seleccionar los criterios de comparación, sus ponderaciones y la forma de agregarlos. CUADRO 3.5 INFORMACIÓN INCLUIDA EN LAS FICHAS DE PAÍS DEL IDABC Apartado de Información Elementos Perfil del país Área, población, capital, idioma, moneda, tasa de desempleo, PIB, PIB per cápita, tasa de crecimiento, inflación, Deuda/PIB, Déficit/PIB, estructura política, jefe de estado, jefe de gobierno Indicadores de la Sociedad de la Información Proporción de personas que usan computadoras, porcentaje de personas que usan Internet, porcentaje de empresas con Internet, Porcentaje de hogares y empresas con Internet de alta velocidad, uso de Internet como medio de compra de bienes y servicios (excluyendo servicios financieros), empresas que han comprador a través de Internet, empresas que han recibido órdenes por Internet, uso individual de Internet para interacción con autoridades públicas para obtener: información, formatos, enviar formatos, uso empresarial de Internet para interacción con autoridades públicas para obtener: información, formatos, enviar formatos Historia del e-gobierno Estrategia del e-gobierno Cronología con noticias y hechos importantes iniciando con el más reciente. Visión, objetivos, principios, procesos de colaboración Marco Legal para el e-gobierno Listado y descripción de todas las leyes relevantes como podrían ser Ley de eGobierno, Ley de Acceso a la Información, Ley de Protección de Datos, Ley de E-Commerce, Ley de Firma electrónica, Ley de Compras Públicas, etc. Actores Narrativa que describe dependencias o poderes gubernamentales que: desarrollan política, coordinan, planean, implementan, dan soporte, auditan o participan de alguna otra forma en el ámbito de gobierno electrónico, tanto a nivel nacional como regional o local Quién es quién Datos personales y posiciones de los principales tomadores de decisiones Infraestructura de e-gobierno Narrativa describiendo los principales componentes como portales, redes, sistemas y mecanismos de autenticación e-servicios Descripción narrativa de los 20 servicios (12 para ciudadanos y 8 para empresas) seleccionados por el Consejo de la Unión Europea, calificándolos de acuerdo con su nivel de sofisticación Fuente: elaboración propia. 33 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 3.2.5. Indicador de la Sociedad de la Información [ISI] El propósito del indicador elaborado de forma conjunta por el Centro para la Empresa Latinoamericana y DMR Consulting es dar seguimiento al desarrollo de la sociedad de la información en América Latina (CELA-IESE DMR Consulting, 2005). El índice se obtiene a través de indicadores en 5 diferentes categorías asociadas con los factores de desarrollo de infraestructura, y con factores estructurales e institucionales que favorecen el aprovechamiento de las TIC (ver cuadro 3.6). Para obtener el índice, los valores de cada indicador se normalizan asignando 10 al mejor valor en cada categoría y 1 al peor, intrapolando el resto de los valores. Finalmente, el índice se obtiene a través del promedio simple de las categorías. CUADRO 3.6 CATEGORÍAS Y VARIABLES INCLUIDAS EN EL CÁLCULO DEL ISI Categoría Variable Tecnologías de la información y comunicaciones 1. Número de teléfonos móviles en funcionamiento cada 1.000 habitantes. 2. Número de computadores cada 1.000 habitantes. 3. Número de usuarios de Internet cada 1.000 habitantes. 4. Gasto en TIC como proporción del PIB. Entorno económico 5. Producto Interior Bruto por habitante expresado en dólares corrientes. 6. Crecimiento real del Producto Interior Bruto. 7. Índice de Libertad Económica (Index of Economic Freedom), de la Heritage Foundation Entorno institucional 8. Calificación de riesgo soberano de la agencia Standard Poor’s. 9. Diferencial de tipo de interés (“riesgo país”). 10. Índice de Percepción de Corrupción (CPI – Corruption Perception Index), de Transparency International. Entorno social 11. Tasa de desocupación. 12. Tasa bruta de participación en la educación terciaria. Infraestructura 13. Consumo de electricidad por habitante. Fuente: elaboración propia. 3.2.6. Índice norteamericano de satisfacción del cliente [ACS] El índice norteamericano de satisfacción al cliente (ACSI) fue establecido en 1994. El ACSI es una medición de la experiencia de consumo en los hogares norteamericanos (ACSI, 1994). El índice se obtiene a través de encuestas telefónicas o a en línea realizadas trimestralmente, registrando así tendencias en la satisfacción del cliente. Los resultados de las encuestas se agregan para obtener un índice por compañía o servicio evaluado, ofreciendo comparativos de las percepciones de los consumidores para la industria y el gobierno. El índice se produce en la Escuela de Negocios de la Universidad de Michigan, en colaboración con la Sociedad Norteamericana para la Calidad, y la firma consultora CFI group. ForeSee Results patrocina mediciones asociadas al comercio y negocios electrónicos La encuesta incluye la evaluación de servicios de gobierno desde 1999, y la de servicios de gobierno electrónico desde el año 2003. Las encuestas incluyen una serie de preguntas para evaluar dimensiones asociadas a la satisfacción del cliente. Aunque similares, los modelos utilizados para medir a la industria privada y a los servicios de gobierno son ligeramente diferentes. En caso de los servicios de 34 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… gobierno y gobierno electrónico, las dimensiones son: Expectativas del cliente, calidad percibida, satisfacción del cliente, quejas y resultados (ver gráfico 3.1). Las expectativas del cliente combinan su experiencia con un producto o servicio, y la información obtenida de los medios o de otros clientes. Esta expectativa influye en la evaluación de la calidad y en el pronóstico de qué tan bien satisfará las necesidades del cliente. La calidad percibida se mide con tres preguntas, la calidad general, la confiabilidad, y qué tan bien el producto satisface las necesidades del cliente. Este factor es el que consistentemente ha mostrado tener más impacto en la satisfacción del cliente. La satisfacción del cliente se evalúa también a través de tres preguntas, la satisfacción en general, la confirmación o desconfirmación de la expectativa del cliente y comparaciones de la satisfacción de cada servicio o producto particular con el ideal. La actividad de quejas de los clientes se mide como el porcentaje de individuos que reporta un problema con el servicio dentro de un tiempo determinado. La satisfacción mantiene una relación inversa con las quejas de los clientes. La dimensión resultados sustituye a la medida de lealtad del cliente usada en el sector privado, y está orientada a valorar los resultados obtenidos a través del servicio. GRÁFICO 3.1 MODELO DE MEDICIÓN DE SERVICIOS DE GOBIERNO UTILIZADO PARA OBTENER EL ACSI P1 Actividad 1 P2 Personalización Confiabilidad P3 Actividad 2 P4 Quejas de los clientes Calidad Percibida Quejas Satisfacción del cliente P5 Actividad 3 P6 R1 Expectativas del cliente Satisfacción Comparación con el ideal (Des)confirma expectativas Personalización a2 Confiabilidad Resultados R2 a1 Fuente: elaboración propia. La forma en la que los resultados se agregan para obtener el índice de satisfacción del cliente está protegida por una patente que pertenece a la Universidad de Michigan. Vale la pena mencionar que aunque el índice se calcula de forma independiente por la Universidad de Michigan, el Federal Consulting Group del Departamento del Tesoro da seguimiento a los resultados trimestrales como parte de su estrategia.3 3 Los resultados se mantienen en http://www.fcg.gov/acsiresults.shtml 35 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 3.2.7. Estados digitales [ESTDIG] La Fundación para el Progreso y la Libertad ha conducido una encuesta para valorar el avance en gobierno electrónico de los estados de los Estados Unidos de Norteamérica (Lassman, 2001). La fundación realiza una encuesta entre los Directores de Informática de cada estado, haciendo preguntas sobre el nivel de desarrollo y uso de tecnologías de información en 8 áreas que se describen a continuación: • Comercio electrónico y leyes de Negocio: Uso de Internet para ubicar y realizar trámites. • Impuestos e Ingresos: Uso de Internet para ofrecer información de impuestos, formas y pagos. • Servicios sociales: Uso de Internet para dar información sobre beneficios, elegibilidad, procesos de solicitud y pagos. • Policía y Cortes: Uso de Internet para aplicaciones multimedia que tengan un impacto en el cumplimiento de la ley, trabajo en la corte y provisión de información pública. • Democracia digital: Acceso al Internet y participación en procesos electorales. • Administración: Arreglos institucionales, toma de decisiones y administración de infraestructura en el largo plazo. • Educación: Uso de TIC para educación, incluyendo consulta de registros. • GIS/Transportes: Uso de información geográfica y arreglos institucionales para hacerla pública. La encuesta incluye 45 indicadores, el índice global se obtiene a través del promedio de las 8 categorías. En 7 de las 8 categorías anteriores, el enfoque es muy parecido al sugerido por Eurostat, en el que se consideran diferentes áreas de servicios y su nivel de desarrollo en una escala de 4 puntos. El área de administración, no obstante, incluye indicadores que no hacen referencia directa a áreas de servicios, sino a factores organizacionales y de infraestructura como contar con un CIO, un comité de estrategia de TIC, mecanismos de colaboración o una plataforma tecnológica común. 3.2.8. Liderazgo en gobierno electrónico [ACCENT] Desde el año 2000, Accenture ha realizado encuestas para ofrecer un panorama del desarrollo de gobierno electrónico a nivel internacional (Accenture, 2004). Una constante observada por este grupo de especialistas es el interés de los gobiernos por ofrecer valor público a través de la oferta de servicios utilizando recursos finitos, y el cambio de procesos obsoletos por procesos facilitados por el uso de tecnologías. Accenture realiza su estudio sobre la calidad y madurez de 206 servicios ofrecidos en 22 países. Los sectores evaluados fueron agricultura, defensa, democracia, educación, servicios sociales, inmigración, justicia y seguridad, correos, procuración, regulación, participación, ingresos y tarifas, y transportes. El estudio se concentra en la administración central, dejando los esfuerzos regionales y locales fuera del enfoque del estudio. Los principales resultados observados en la encuesta del 2004 son los siguientes. Primero, se observa que el nivel de desarrollo de los países encuestados está alcanzando un nivel de equilibrio, y la mayoría de los países encuestados se ubican en niveles similares dentro del ranking. En segundo lugar, se observa que los países encuestados están observando finalmente ahorros en costos en la oferta de servicios. Un tercer resultado observado es la necesidad de mercadear los servicios para incrementar los niveles de adopción, aunque en los países encuestados, esta actividad ha dejado de ser prioritaria. La cuarta observación es que los países 36 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… encuestados están cambiando sus prioridades hacia la integración horizontal de servicios. Finalmente, la quinta observación general es que la oferta de servicios personalizados está cobrando importancia entre los países encuestados. El estudio mide la madurez en la oferta de servicios combinando un indicador de la madurez de los servicios con prácticas de administración de relaciones con el ciudadano. La madurez de los servicios se valora en términos de una escala de 3 niveles. El primer nivel incluye servicios publicados, donde el nivel de interacción se da sólo a través de la oferta de información para el ciudadano. El segundo nivel de madurez incluye interacción de una sola vía, donde el ciudadano puede obtener información de la dependencia o poder gubernamental, pero no concluir el trámite en línea. El último nivel de madurez es aquél en el que se puede realizar la transacción completa a través de Internet. La administración de relaciones con el cliente mide el grado en el que los gobiernos entienden las necesidades de los usuarios, ciudadanos y empresas, y la forma en la que ofrecen servicios integrados para satisfacer estas necesidades. La medición se da a través de 5 elementos clave para lograr estos objetivos: intuición, servicio a clientes, interacciones, organización y redes, y soporte. Intuición se relaciona con la habilidad de los sitios de “recordar” al ciudadano que ha visitado algún portal o servicio. Servicio al cliente se refiere a la provisión de información personalizada sobre el trámite a realizar en base a interacciones pasadas. Organización y redes se relaciona con el grado en el que los servicios se organizan de acuerdo a las necesidades individuales y de negocio, y a los vínculos que se ofrecen a otros servicios que pueden agregar valor al usuario aunque no sean ofrecidos directamente por el gobierno. Soporte, finalmente, se refiere a la integración del servicio como parte de una estrategia multi-canal de oferta de servicios (integrando por ejemplo con un centro de llamadas o kioscos de servicios. Los resultados sobre madurez de los servicios de gobierno electrónico se complementan con investigación cualitativa que describe el contexto del país y de su sistema de gobierno. Algunos ejemplos de la información obtenida para estos efectos incluyen la historia, pertenencia y responsables de la iniciativa de gobierno electrónico, cambios políticos y legales recientes, y detalles sobre los procesos de la implementación del gobierno electrónico en los países. Finalmente, el estudio incluye una encuesta entre los ciudadanos, en la que se obtienen datos sobre el uso de los servicios de gobierno, sus actitudes hacia los servicios de e-gobierno y su interés por algunos servicios específicos. El reporte no ofrece detalles sobre la forma en la que se agregan los resultados sobre madurez de los servicios, y la información cualitativa se presenta separada del reporte de madurez en forma de fichas de información para cada uno de los 22 países incluidos en la encuesta. 3.2.9. Creando gobierno electrónico basado en medidas de desempeño [DESEM] El Instituto para el Desempeño (The Performance Institute) trabajó en forma conjunta con Fujitsu, El consejo para la Excelencia en Gobierno, La Academia Nacional de Administración Pública, La Sociedad Americana de Administración Pública (ASPA), y el Instituto para el Progreso en Política (PPI) desarrollaron un marco de referencia para el desarrollo de gobierno electrónico basado en Medidas de Desempeño (DeMaio et al., 2002). El modelo general propuesto, incluyendo las categorías de medidas de desempeño se muestran en el cuadro 3.7. 37 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… CUADRO 3.7 CATEGORÍAS DE MEDICIÓN DE GOBIERNO ELECTRÓNICO Entradas Procesos/Actividades Salidas Eficiencias en Costos Niveles de Transacción Recursos Financieros Recursos Humanos Resultados Intermedios Mejoras en el acceso Mejoras en Capacidades Resultados Finales Mejora en Resultados asociados a la misión. Fuente: elaboración propia. Las medidas de mejoras en resultados asociados a la misión son aquéllas en las que el uso de la tecnología tiene un efecto directo sobre resultados asociados a la misión crítica de la dependencia o poder gubernamental. Estas medidas son poco comunes, pero deben ser incluidas cuando se considere conveniente en el caso de negocios. Las medidas para la mejora en capacidades se refieren a aquéllos efectos del uso de tecnologías que mejoran las capacidades del ciudadano, como por ejemplo, realizar declaraciones de impuestos en línea. Las medidas de mejora en el acceso se refieren a hacer más accesibles o amigables los servicios de gobierno. Las medidas de transacción se refieren al volumen de la demanda atendida a través de aplicaciones de gobierno electrónico. Las medidas de eficiencia de costos se refieren al costo unitario por transacción en términos monetarios o de tiempo. Aunque este modelo presenta una visión completa e integral del proceso interno y los resultados de los proyectos de gobierno electrónico, no incluye factores contextuales que impactan de forma directa también las posibilidades de mejora en los resultados asociados a la misión. Por ejemplo, qué impacto en la salud pública tendría un programa de telemedicina cuando las zonas donde no existen clínicas médicas tampoco cuentan con servicios de Internet. 3.2.10. Índices de e-Readiness [MINGUES] En el marco del programa Sociedad de la Información de la CEPAL, Mingues (2005) realizó una revisión de 12 índices que evalúan e-readiness para efectos de comparar el nivel de desarrollo y uso de TIC en diferentes países. El reporte es relevante para efectos del presente trabajo por dos razones principalmente. La primera de ellas radica en la identificación de debilidades de algunos de los e-índices existentes, las que constituyen aquéllos problemas a evitar en el presente modelo. La segunda se relaciona con las sugerencias de categorías e indicadores básicos para ser incluidos en un e-índice, los cuales son relevantes para el presente proyecto, ya que constituyen factores contextuales o de demanda que influyen en el impacto potencial de los proyectos de gobierno electrónico (ver cuadro 3.8 para la lista de indicadores). Los principales problemas de los e-índices identificados por Mingues en el reporte son los siguientes: • Limitados para dar seguimiento a la evolución del desarrollo de las TIC. • Existe poco nivel de acuerdo en cuanto a cómo agrupar indicadores en las diferentes categorías usadas en distintos índices. • El cálculo de los índices es poco transparente. • La selección de indicadores es deficiente, ya que no siempre se seleccionan los mejores en cada categoría. • Algunos índices usan indicadores subjetivos, y en algunos casos, los indicadores subjetivos difieren de la realidad. 38 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… • Los índices son exclusivos en el sentido de que no existe una comunidad que dé retroalimentación sobre el proceso, y excluyentes, ya que no incluyen a todos los países.4 • Dificultad para desagregar los datos para analizar diferencias causadas por geografía o factores demográficos. • Poco relevantes para la situación de países en desarrollo, por ejemplo por incluir indicadores que favorecen el uso individual en lugar del acceso compartido. CUADRO 3.8 CATEGORÍAS E INDICADORES BÁSICOS SOBRE ICT Infraestructura Líneas telefónicas por cada 100 habitantes Abonados a telefonía celular móvil por cada 100 habitantes Computadoras por cada 100 habitantes Abonados a Internet por cada 100 habitantes Abonados a Internet banda ancha por cada 100 habitantes Ancho de banda internacional de Internet por habitante Porcentaje de la población con cobertura de telefonía celular móvil Acceso y uso de TIC por hogares e individuos Acceso y uso de TIC por los negocios Sector de las TIC Proporción de hogares con aparato de televisión Proporción de hogares con línea telefónica fija Proporción de hogares con teléfono celular móvil Proporción de hogares con computadora Proporción de hogares con acceso a Internet en el propio hogar Proporción de individuos que usan Internet Proporción de empresas que utilizan computadoras Proporción de empleados que utilizan computadoras Proporción de empresas que utilizan Internet Proporción de empleados que utilizan Internet Proporción de empresas con presencia en la Web Proporción de empresas que reciben pedidos por Internet Proporción de empresas que hacen pedidos por Internet Proporción de la fuerza de trabajo total que pertenece al sector de las TIC Valor agregado del sector de las TIC (como porcentaje del valor agregado total del sector empresarial) Importación de bienes relacionados con las TIC como porcentaje del total de importaciones Exportación de bienes relacionados con las TIC como porcentaje del total de exportaciones Fuente: MINGUES, 2005 En base a las debilidades identificadas, se realizan las siguientes recomendaciones: • • Promover que el índice se reproduzca en el tiempo para poder dar seguimiento longitudinal al desarrollo. • Incluyente en términos del número de países a incluir. • Objetivo de modo que los datos puedan verificarse y probarse. • Transparente en términos de las fuentes de datos y la forma en la que se categorizan. • Uso adecuado de indicadores. • Parsimoniosidad en cuanto al número de indicadores y la selección de los proxies adecuados. • 4 Armonización de categorías entre distintos índices, idealmente siguiendo un enfoque modular. Contar con la documentación adecuada sobre su uso. De hecho se ha encontrado que existe una tendencia a incluir únicamente a países con mayor población en ciertos reportes comparativos: entre más población tiene un país, este tiene más posibilidad de ser evaluado por las agencias que hacen las mediciones. 39 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 3.2.11. Indicadores clave de las tecnologías de la información y la comunicación [PARTNER] Hacia finales del año pasado y como resultado de un proceso de análisis de indicadores del uso de las tecnologías de información y comunicación, y de un proceso de consultas con organismos de estadística de diferentes países, la Organización de las Naciones Unidas y el Partnership para la Medición de las TIC para el Desarrollo publicaron una propuesta de indicadores clave sobre el uso de las TIC en hogares y empresas (ONU, 2005). El reporte incluye definiciones y aspectos metodológicos sobre la recopilación de información para la obtención de los indicadores. El listado de indicadores se incluye en esta sección ya que consideramos que constituyen un requisito importante para que iniciativas de gobierno electrónico puedan tener impacto en el desarrollo de países como los de América Latina y el Caribe. Los indicadores se encuentran organizados en 4 conjuntos o series (ver cuadro 3.9). El primer conjunto incluye indicadores de infraestructura y acceso. El segundo y tercer conjuntos incluyen indicadores del uso de las TIC en hogares y empresas respectivamente. Finalmente, el cuarto conjunto incluye indicadores del sector industrial de las TIC. Cada conjunto de indicadores incluye indicadores básicos (B) y extendidos (E). CUADRO 3.9 LISTA DE INDICADORES DE TECNOLOGÍAS DE INFORMACIÓN Y COMUNICACIONES Indicador Líneas telefónicas por cada 100 habitantes5 B Abonados a telefonía celular móvil por cada 100 habitantes B Computadoras por cada 100 habitantes B Abonados a Internet por cada 100 habitantes B Infraestructura de las TIC y acceso a ellas Tipo de Indicador B Serie de Indicadores Abonados a Internet banda ancha por cada 100 habitantes B Ancho de banda internacional de Internet por habitante B B B B Porcentaje de la población con cobertura de telefonía celular móvil Tarifas de acceso a Internet (20 horas mensuales), en dólares de EEUU y como porcentaje del ingreso per cápita Tarifas de telefonía celular móvil (100 minutos de uso por mes), en dólares de EEUU y como porcentaje del ingreso per cápita Porcentaje de localidades con centros de acceso público a Internet por número de habitantes (rurales/urbanos) E E B Proporción de hogares con aparato de radio B Proporción de hogares con aparato de televisión Proporción de hogares con línea telefónica fija B Proporción de hogares con teléfono celular móvil B 5 Aparatos de televisión por cada 100 habitantes B Uso de las TIC y acceso a ellas por parte de hogares e individuos Aparatos de Radio por cada 100 habitantes Proporción de hogares con computadora Todos los indicadores sugieren tomar como base del cálculo a la población total, y no a la población activa. 40 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Proporción de individuos que usaron computadora (en cualquier lugar) en los últimos 12 meses Proporción de hogares con acceso a Internet en el propio hogar B Proporción de individuos que usaron Internet (en cualquier lugar) en los últimos 12 meses B Lugar de uso de Internet en los últimos 12 meses B Actividades realizadas por individuos en Internet en los últimos 12 meses E Proporción de individuos que utilizan teléfono móvil E Proporción de hogares con acceso a Internet, por tipo de acceso E Frecuencia de acceso de individuos a Internet en los últimos 12 meses (en cualquier lugar R Proporción de hogares con servicio de electricidad B Proporción de empresas que utilizan computadoras B Proporción de empleados que utilizan computadoras B Proporción de empresas que utilizan Internet B Proporción de empleados que utilizan Internet B Proporción de empresas con presencia en la Web B Proporción de empresas con Intranet B Proporción de empresas que reciben pedidos por Internet B Proporción de empresas que hacen pedidos por Internet E Proporción de empresas que utilizan Internet clasificadas por tipo de acceso E Proporción de empresas con red de área local (LAN) E Proporción de empresas con Extranet E Proporción de empresas que utilizan Internet clasificadas por tipo de actividad B Sector de las TIC y comercio de bienes vinculados con ellas Indicador B Uso de las TIC por empresas Tipo de Indicador B Serie de Indicadores Proporción total del sector empresarial que corresponde al sector de las TIC B B B Valor agregado del sector de las TIC (como porcentaje del valor agregado total del sector empresarial) Importación de bienes relacionados con las TIC como porcentaje del total de importaciones Exportación de bienes relacionados con las TIC como porcentaje del total de exportaciones Fuente: elaboración propia. 3.2.1.2. Manual de Lisboa [LISBOA] El Manual de Lisboa es el resultado de un esfuerzo conjunto de la Red Iberoamericana de Indicadores de Ciencia y Tecnología (RICYT-CYTED), la Agencia para la Sociedad del Conocimiento (UMIC), y el Instituto Superior de las Ciencias del Trabajo y la Empresa (ISCTE). En su estado actual (RICYT-CYTED et al., 2006), el manual constituye un documento de trabajo que propone un marco conceptual para la medición de la sociedad de la Información y el 41 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Conocimiento. El marco propuesto sugiere monitorear 4 sectores o actividades base de la sociedad del conocimiento (telecomunicaciones, servicios de TI de alto valor agregado, educación y ciencia y tecnología) como factores contextuales que influyen en la capacidad de los diferentes actores en un país para obtener beneficios de la sociedad del conocimiento. Los actores principales incluidos en el parco conceptual son las empresas, los hogares, el gobierno y otras instituciones. Para monitorear el nivel de aprovechamiento de los recursos tecnológicos por cada uno de estos actores, el marco conceptual sugiere desarrollar indicadores en 4 áreas: infraestructura, capacidades, inversiones y aplicaciones. El modelo define las dos primeras áreas como variables stock y las dos últimas como variables de flujo o actividad. Desafortunadamente, el documento no incluye una definición clara de cada una de estas 4 áreas o variables, de modo que resulta difícil identificar el tipo de indicadores que podrían ser incluidos en las áreas de capacidades y aplicaciones. Más aún, aunque resulta más o menos claro que el término capacidades se refiere a acumulaciones o stocks, no es igualmente clara la asociación del término aplicaciones con flujos o actividades. En términos de la propuesta de medición del gobierno electrónico, el manual explora algunos de los modelos o índices de medición incluidos en este reporte, pero no toma una postura definitiva en cuanto al enfoque deseable para aplicarse en iberoamérica. Del análisis presentado, se puede resaltar la identificación de 3 aproximaciones en la medición de gobierno electrónico. La primera aproximación se concentra en la utilización de las TIC en organismos gubernamentales, especialmente en aplicaciones del back-office. La segunda aproximación se concentra en la disponibilidad de servicios públicos, principalmente a través del Internet (oferta), y la última aproximación se concentra en evaluar la utilización de servicios públicos por parte de los ciudadanos, también principalmente a través de Internet (demanda). Aunque el documento resalta la necesidad de lograr consenso en cuanto a una definición de gobierno electrónico, no existe una postura definitiva en el documento. No obstante, el grupo de trabajo muestra una preferencia por definiciones que se concentren en “el grado de difusión que presenta una vinculación basada en TIC en la relación gobierno-ciudadanos/empresas” (RICYT-CYTED et al., 2006: 21). Un factor importante a resaltar en el enfoque del documento es la necesidad de crear consensos sobre las dimensiones, variables e indicadores a incluir en cualquier modelo de medición, y el énfasis en que el modelo sólo presenta una forma de organización posible de estos conceptos. 3.3. Modelos de revistas académicas 3.3.1. Midiendo el desempeño del e-gobierno [STOWERS] El reporte realizado por Genie Stowers (2004) analiza la forma en la que dependencias o poderes gubernamentales de gobierno miden el desempeño de sus proyectos de gobierno electrónico. El reporte inicia describiendo los tipos de medición de desempeño que se encuentran en la literatura, y continúa con análisis estadístico mostrando la situación de la medición del desempeño en gobierno electrónico en los Estados Unidos. Después de describir algunas prácticas interesantes en diferentes dependencias y estados de la Unión Americana, el reporte concluye con algunas recomendaciones generales para desarrollar sistemas de medición del desempeño. Tradicionalmente, los servicios públicos han utilizado una serie de medidas de desempeño que pueden ser agrupadas en 6 conjuntos (ver Tabla 3.10 para algunos ejemplos): • Medidas de entrada (recursos necesarios para producir los servicios), Medidas de Salida (productos o servicios producidos). 42 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… • Medidas de proceso o actividad (miden actividades realizadas en el proceso de producción o entrega del servicio). • Medidas de eficiencia y productividad (razones de costo unitario). • Medidas de calidad del servicio, y medidas de resultados intermedios y finales (resultados esperados de la entrega del servicio). El uso de alguna combinación específica de indicadores de medición debería en el caso ideal estar vinculado con planes estratégicos claros, establecidos en la dependencia pública donde se desarrolla el proyecto. Los métodos de obtención de datos de desempeño en gobierno electrónico incluyen encuestas, software de monitoreo de páginas web,6 y datos administrativos de registros. Los procesos de obtención de datos pueden realizarse a través de entrevistas telefónicas, encuestas en línea que “se abren de forma automática” y encuestas en línea que se opta por contestar al hacer clic en un vínculo, análisis costo-beneficio, benchmarking o algunas tecnologías específicas para registrar actividad en el sitio web. El proceso de selección de indicadores de desempeño puede guiarse a través del uso de algunos criterios como los siguientes: • Relevancia del indicador (mide un aspecto importante del resultado esperado). • Claridad del indicador (es entendible para el usuario lo que se mide y reporta) • Influencia del programa en el resultado (efectos esperados del programa deberían ser incluidos como indicadores de desempeño, independientemente de que el efecto sea directo o indirecto). • Factibilidad (de obtener datos válidos sobre el indicador)7. • Costo (de colección de datos). • Unicidad (el indicador no duplica o se traslapa con otros indicadores). • Manipulabilidad (no escoger indicadores fáciles de manipular por personal en el programa). • Completitud (la lista de indicadores incluye todas las características de interés para los grupos de interés o stakeholders del proyecto). • Confiabilidad en la medición. • Especificidad (se usa para este aspecto o programa y no para otros). • Aceptación y justicia. Finalmente, los sistemas de medición deberían contar con las siguientes características: • • 7 Simples (fácil de interpretar) • 6 Enfocados a resultados (metas y misión del proyecto o programa) Desafiantes, pero realistas (promover que las dependencias gubernamentales se esfuercen, pero que logren resultados. o poderes Normalmente el software dedicado al monitoreo utiliza los registros de operaciones en los servidores donde residen los sitios de Internet. Tanto este indicador como el de costo de obtención de datos deben considerarse con precaución, ya que en ocasiones los indicadores más valiosos son aquéllos más difíciles de obtener o más costosos. 43 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… • Cascading down y folding back up, esto es, los individuos de cada nivel tienen objetivos claros que contribuyen al logro de la misión última de la dependencia, proyecto o programa. • Usado de forma generalizada, no sólo en reuniones de reporte • Visibles • Interactivos e informativos para promover el aprendizaje • Frecuentes y actualizados • Segmentables en categorías útiles para entender tendencias • Basados en hechos. TABLA 3.10 MEDIDAS DE DESEMPEÑO EN GOBIERNO ELECTRÓNICO Medidas de entrada Costos de personal de desarrollo Costos de personal de mantenimiento Costos de desarrollo Costos de mantenimiento Tiempo de personal de desarrollo Tiempo de personal de mantenimiento Tiempo de desarrollo Tiempo de mejoras y mantenimiento Costo y tiempo de vendedor de tecnología para desarrollo Costo y tiempo de vendedor de tecnología para mantenimiento Medidas de salida Número de sesiones de usuarios Número de documentos descargados Cantidad de tiempo por usuario en el sitio Número de transacciones completadas Dólares procesados en cada sitio Tiempo de respuesta a solicitudes de email Número de mensajes de email recibidos Número de solicitudes de email resueltas Número de aplicaciones desarrolladas Número de permisos procesados Veces que mapas han sido visualizados Número de aplicaciones utilizadas Número de licencias procesadas Número de páginas descargadas Número de accesos a bases de datos Frecuencia de acceso a bases de datos Medidas de resultados intermedios Accesibilidad a los servicios Exactitud de la información ofrecida (muestra) Adecuación de la información (encuesta) Adopción por grupos de usuarios Tiempo de respuesta a solicitudes de email Usabilidad (encuesta) Efectividad (encuesta) Satisfacción del ciudadano (encuesta) Número de referencias en otras páginas Tiempo de respuesta a solicitudes de info. Utilidad Número agencias participando 44 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Medidas de resultados finales Ahorros en costos Ahorros en tiempo de Staff Confianza en el gobierno (encuesta) Medidas de actividad Sesiones de comisiones transmitidas en línea Número de chats entre ciudadanos y representantes Medidas de calidad del servicio Accesibilidad a los servicios Exactitud de la información ofrecida (muestra) Adecuación de la información (encuesta) Errores mínimos en las páginas Tiempo de respuesta a solicitudes de email Usabilidad (encuesta) Efectividad (encuesta) Satisfacción del ciudadano (encuesta) Tiempo que el servidor no está disponible Oportunidad del servicio Medidas de eficiencia Costo de cada servicio entregado Costo por transacción Costo total por sesión de cada usuario Fuente: elaboración propia. 3.3.2. Marco de evaluación de gobierno electrónico [GUPTAJ] Si bien muchos de los proyectos de gobierno electrónico surgen por la presión del público de tener servicios “más rápidos, efectivos y baratos,” el impacto de los proyectos en el desempeño real del gobierno ha sido poco explorado (Gupta Jana, 2003). De este modo, y a partir del reconocimiento de la importancia de la evaluación como herramienta para valorar la efectividad de los programas de gobierno electrónico en términos de toma de decisiones, efectividad y reducción de costos, se propone un marco o modelo flexible para la medición de los beneficios tangibles e intangibles del gobierno electrónico (Gupta Jana, 2003). Dado que diferentes métodos de medición del desempeño generan diferentes resultados y con diferentes niveles de confiabilidad, los autores recomiendan el uso de marcos flexibles que incorporen diferentes tipos de medidas tanto cualitativas como cuantitativas, siguiendo un enfoque multi-método basado tanto en la obtención de observación objetiva como en la adquisición de observaciones más cualitativas de todos los principales interesados o stakeholders en los proyectos. Las diferentes formas de medición del desempeño se aplican al municipio de Nueva Delhi en la India. Como resultado de la aplicación, los autores concluyen que en el caso de proyectos aún nacientes como el de la ciudad de Nueva Delhi, no es posible capturar completamente los beneficios, haciendo muy complicado aún evaluar el retorno sobre la inversión en gobierno electrónico. Los métodos sugeridos y utilizados en el marco de medición se resumen en el cuadro 3.11, donde además de los métodos utilizados, incluimos una breve descripción de cada uno de ellos, y cuando es pertinente, algunos comentarios y/o ejemplos de indicadores utilizados en el estudio. 45 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… CUADRO 3.11 CONCENTRADO DE LOS ELEMENTOS DEL MARCO DE MEDICIÓN DEL GOBIERNO ELECTRÓNICO DE GUPTA Y JANA Tipo de Medición Método Características, consideraciones importantes o ejemplos Análisis de costo beneficio Comparación de costos y beneficios en términos monetarios. Dificultad de monetarizar costos y beneficios intangibles. Sugiere usar Valor Presente Neto como método de cálculo. Benchmarks en gobierno electrónico Obtiene medidas comparativas de desempeño entre gobiernos Algunas medidas: gasto en IT, nivel de servicio del servidor, uso del CPU, porcentaje de proyectos terminados en tiempo y presupuesto Métodos de calificación Se identifican todos los indicadores clave para dar seguimiento a los objetivos, y se les asigna una ponderación. Algunos ejemplos: facilidad de uso, confiabilidad, despliegue de datos, almacenamiento y recuperación, documentación, escalabilidad, reporteo, velocidad, soporte, precio, etc. Etapas del gobierno electrónico Clasifica el nivel de desarrollo del gobierno electrónico en base a las categorías elaboradas por Layne y Lee (2001) Etapas: catalogación, transacción, integración vertical, integración horizontal Ángulo Sociológico Encuesta de opinión entre los empleados sobre la aceptación de la tecnología. La tecnología puede ser rechazada por razones diversas como temor al reemplazo del humano por la computadora o la inconveniencia de tener gobiernos transparentes para algunos grupos de poder. 6 Niveles Retorno en e-gobierno Nivel 1: retorno sobre la inversión (unidades monetarias) Nivel 2: Costos e ingresos totales (unidades monetarias) Nivel 3: Mejoras en planeación y control (costo de planeación, tiempo de planeación, tiempo administrativo dedicado al control, grado de automatización, costo del control, envío de mensajes de problemas en el sistema) Nivel 4: Mejoras en decisiones (frecuencia de errores, no. de alternativas examinadas, tiempo de decisión, número de decisiones, Existencia de SSD) Nivel 5: Valor de la información (validez, precisión, claridad, periodicidad, suficiencia, oportunidad, confiabilidad, relevancia, contenido y costo) Nivel 6: Características del sistema (personal, equipo e infraestructura, frecuencia de caídas del sistema, entradas, salidas, número de formatos, número de operaciones, número y calidad de bancos de datos, flexibilidad, simplicidad, grado de automatización, satisfacción del usuario, tasas de errores, facilidad de mantenimiento y modificación, ahorros, costos, etc. Medidas duras Medidas blandas Jerarquía de Medidas Fuente: elaboración propia. 3.3.3. Mediciones comparativas (benchmark) de servicios de gobierno [KAYLOR] Si bien los esfuerzos de desarrollo de modelos de evaluación que incluyen estándares son útiles en términos de la guía que pueden dar a los desarrolladores de política, Kaylor y sus colegas (2001) argumentan por la necesidad de utilizar mediciones comparativas o benchmarking para poder guiar a los tomadores de decisiones en base al avance de otros proyectos o portafolios de 46 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… proyectos similares a los que ellos dirigen. Específicamente, el estudio de Kaylor et al. (2001) representa los esfuerzos en búsqueda de las prácticas actuales de gobierno electrónico a nivel de ciudades en los Estados Unidos con el propósito de guiar a tomadores de decisiones en aquellos servicios en los que deberían invertir con los recursos que tienen, y aquellos que no deberían dejar de ofrecer para no perder en imagen. En el estudio se entiende por gobierno electrónico “la habilidad de cualquier persona que visite el sitio Web de la ciudad de comunicarse y/o interactuar con la ciudad a través de Internet en cualquier forma más sofisticada que un correo electrónico al administrador del sitio o Web.Master”. De este modo, Kaylor y sus coautores desarrollaron una rúbrica en la que incluyeron 12 dimensiones con algunos servicios en cada una de ellas (ver cuadro 3.12), evaluando cada servicio en una escala de 1 a 4, donde 1= Existe información sobre el tema en el sitio web 2= Existe una liga a información de una persona contacto en el sitio (ya sea teléfono o correo electrónico) 3= Existen formas descargables en el sitio web relacionadas al tema 4= Existen transacciones u otras interacciones que se pueden realizar completamente en línea Después de calificar cada elemento, el número final o e-puntuación de cada ciudad se obtuvo sumando todos los valores asignados para cada variable individual. CUADRO 3.12 LISTA DE LAS DIMENSIONES FUNCIONALES Y LOS SERVICIOS INCLUIDOS EN EL BENCHMARKING REALIZADO POR KAYLOR ET AL. (2001) Dimensión Variables observadas Pagos Servicio de luz y gas, impuestos, multas, permisos y registros Registros Instalaciones, cursos, votantes Permisos Construcción, estacionamiento, uso temporal, derecho de tránsito, vendedor ambulante, cena en la acera Servicio al cliente Quejas, refuerzo de un código, árbitro de estacionamiento, historias de pago, informes sobre horarios de operación, solicitudes de información, inicio/fin de servicios Comunicación Cierre incidental, administración de emergencias, cierre de carreteras y desviaciones Licencias Bicicletas, perro, taxi, negocios Imágenes GIS en línea, imágenes documentando variaciones en construcciones, planos de manzanas, sistemas de administración de documentos Audio/Video Transmisión en video en línea de reuniones de consejo de la ciudad, cámaras de tráfico, transmisión en línea de conversaciones del consejo de la ciudad, visita guiada por la ciudad en video o imágenes, video guía en las instalaciones de gobierno Documentos Minutas, código de la ciudad, actas de fundación de la ciudad, reportes de presupuestos, formas descargables Solicitudes Solicitudes de empleo, para convertirse en proveedor de la ciudad y formatos del programa de acción afirmativa Compras Públicas Licitaciones o subastas inversas en línea Varios Valuación de propiedad, zonificación, encuestas en línea, foros de conversación y reuniones en línea programadas Fuente: elaboración propia. 47 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Kaylor y sus colegas finalizan su análisis puntualizando algunas debilidades que ellos encuentran en su rúbrica de comparación: 1. La rúbrica incluye demasiadas variables. 2. La escala no es tan transparente en el sentido de que una puntuación alta puede significar más servicios en línea, pero también podría significar un nivel más alto de desarrollo técnico del sitio. 3. A pesar de ser larga, la lista de servicios está lejos de comprender todos los servicios de gobierno ofrecidos por las ciudades en Estados Unidos. 4. La escala trata de describir niveles de desarrollo sin atender a estándares reconocidos en investigación. 3.3.4. Evaluación multidimensional de portales estatales en los Estados Unidos [GANT] Gant y Gant (2002) realizaron un análisis multidimensional de portales estatales en los Estados Unidos. El reporte establece que gobierno electrónico “se refiere a los esfuerzos del sector público para hacer llegar servicios e información hacia el público a través de tecnologías de información y comunicación”. Aunque la definición incluye un espectro más amplio que sólo los servicios ofrecidos a través de Internet, el análisis de Gant y Gant se enfoca en los portales de estado, entendidos como “una puerta de acceso integrada al sitio de Internet del gobierno estatal, y provee tanto a entidades externas como a personal de gobierno con un punto único de acceso en línea a recursos e información del estado”. En forma consistente con su entendimiento de gobierno electrónico y con otras conceptualizaciones como las presentadas en la sección 2, Gant y Gant reconocen que el nivel de funcionalidad de los portales depende del nivel de integración de las operaciones a las que dan soporte, es decir, la existencia de procesos integrados de gobierno facilita su ofrecimiento utilizando cualquier tipo de TIC. CUADRO 3.13 DIMENSIONES DE CALIDAD Y FUNCIONALIDAD DE PORTALES DE GOBIERNO DE ACUERDO CON GANT Y GANT (2002) Dimensión Descripción Apertura Se refiere al grado en el que el portal ofrece información y servicios a los ciudadanos. Se midió registrando el número y tipo de servicios ofrecidos a través del portal. Personalización Se refiere a la capacidad del portal de crear contenido o visualización específicos para cada ciudadano. Se midió revisando la posibilidad de que el ciudadano pudiera obtener información o “vistas” personalizadas a través de un proceso de registro o identificándose con algunas comunidades reconocidas dinámicamente por el portal Transparencia Se refiere a qué tan fácil es para el usuario valorar la legitimidad del contenido en el portal. Se midió registrando la existencia de contactos alternos vía correo electrónico, teléfono o correo regular, la fecha de actualización del sitio, procedimientos de retroalimentación para el webmaster y la existencia de políticas de privacidad y seguridad. Usabilidad Usabilidad se refiere a la facilidad de navegación del usuario en el portal, incluyendo a aquellos usuarios con capacidades diferenciadas. Para evaluar usabilidad se registraron elementos de diseño para facilitar la navegación como mapas de sitio y herramientas de búsqueda, y se realizó un análisis automático del cumplimiento de los portales con las recomendaciones del consorcio para la WWW (W3C) utilizando análisis Bobby (hoy WebXact). Fuente: elaboración propia. 48 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… En lugar de analizar el nivel de funcionalidad siguiendo el enfoque evolutivo como el de la Organización de las Naciones Unidas o el propuesto por Layne y Lee (2001), Gant y Gant analizan el desarrollo de los portales en términos de distintas dimensiones de calidad y funcionalidad. Las dimensiones de calidad seleccionadas por Gant y Gant son cuatro: Apertura, Personalización, Transparencia y Usabilidad (ver cuadro 3.13). Apertura es el grado en el cual un portal de Gobierno proporciona información y servicios, manteniendo una oportuna comunicación para todas las audiencias públicas. Personalización refiere a la habilidad de crear contenidos específicos para el usuario, incluyendo diferentes contenidos y arreglos para su presentación. La usabilidad se refiere a la facilidad con la cual los usuarios pueden tener acceso y navegar alrededor de un Portal. Los Portales bien diseñados tienen interfaces agradables que sean fáciles de utilizar. Finalmente, transparencia es un indicador de qué tan fácil es para el usuario determinar la legitimidad del contenido de un Portal. Los detalles de la evaluación de cada una de las dimensiones y la forma en las que éstas se agregan para llegar a un solo índice no se explican en el documento. Se intentó contactar al autor para obtener detalles técnicos, pero no se obtuvo respuesta de su parte. 3.3.5. Uso de herramientas de diagnóstico automático para analizar aplicaciones de gobierno electrónico [CHOUD] Siguiendo un enfoque similar al de Gant y Gant (2002), Choudrie y sus colegas (2004) realizaron una evaluación de 5 portales nacionales de gobierno enfocándose en elementos para evaluar su calidad. Con el propósito de eliminar elementos subjetivos en la evaluación, Choudrie et al. (2004) decidieron utilizar únicamente herramientas automáticas para evaluar la calidad de los portales en términos de accesibilidad, privacidad, vínculos rotos, esquemas de color y propia escritura de código html (ver cuadro 3.14). CUADRO 3.14 HERRAMIENTAS UTILIZADAS PARA EL DIAGNÓSTICO AUTOMÁTICO DE SITIOS WEB DE GOBIERNO Herramienta Dirección electrónica Funcionalidad Webxact webxact.watchfire.com Evalúa sitios de Internet en términos de: accesibilidad (cumplimiento de recomendaciones de W3C), calidad (tiempo de descarga, uso de metadatos, etc.) y privacidad (uso de cookies, P3P y niveles de cifrado) Netmechanic www.netmechanic.com Búsqueda de vínculos rotos HTML validator validator.w3.org Validar el código HTML en las páginas Vizcheck www.vizcheck.com Revisa combinaciones de colores y sus efectos para personas con problemas de daltonismo. Fuente: elaboración propia. Al igual que otros reportes, Choudrie et al. Consideran que gobierno electrónico es un concepto amplio que “incluye el uso de las tecnologías de información y comunicación, desde las máquinas de fax hasta asistentes digitales personales inalámbricos para facilitar la administración diaria del gobierno”. Sin embargo, el reporte también reconoce que al igual que el comercio electrónico, la interpretación popular de gobierno electrónico lo define exclusivamente como una actividad a través de Internet para mejorar el acceso de los ciudadanos a información y servicios de gobierno. 49 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… A pesar de reconocer esta debilidad, el ejercicio de evaluación realizado en este reporte incluye únicamente el análisis de portales de gobierno electrónico. Los datos obtenidos de cada una de las herramientas se analizan de manera independiente sin tratar de ser agregados de alguna forma para comparar de manera global a los portales analizados. 3.3.6. Benchmarking de sitios web como herramienta de evaluación y mejora [MISJOHN] Misic y Johnson (1999) sugieren el uso del Benchmarking como herramienta para descubrir las mejores prácticas en el desarrollo de sitios Web. Aunque de hecho el reporte no mide sitios web de gobierno, se incluye como una referencia adicional de mediciones utilizadas para evaluar portales Web (ver cuadro 3.15). CUADRO 3.15 MEDICIONES USADAS EN EL BENCHMARK DE SITIOS WEB Dimensión Indicadores Accesibilidad El sitio o una de sus partes están dentro de los primeros 50 resultados en una máquina de búsqueda al introducir términos de búsqueda genéricos. Funcionalidad Información de la división (tel, email, dirección), velocidad para encontrar la página principal de divisiones, velocidad de descarga de las páginas, facilidad de navegación, facilidad para regresar a la página principal. Contenido y estilo Contador de visitas, fecha de actualización, uso efectivo de gráficas y colores, consistencia de color y estilo, uso profesional del lenguaje Información de contactos E-mail, responsable de mantenimiento, teléfono, dirección de correo terrestre, directorio de personas. Fuente: elaboración propia. 3.4. Experiencias de países 3.4.1. Brasil: Estado de Sao Paulo [Brasil] Como parte del plan multi-anual de gobierno promovido por la Secretaría de Economía y Planeación, el gobierno de Sao Paulo realizó un plan incluyendo más de 600 proyectos organizados en 100 acciones en cuatro categorías: Infraestructura, transacciones internas, transacciones con la sociedad, e inclusión digital (ESTADO DE SÃO PAULO, 2005). Como parte del proceso de planeación para el período 2004-2007, el gobierno del estado desarrolló también una serie de indicadores para dar seguimiento al avance en cada una de las 4 áreas o dimensiones prioritarias. Los indicadores se enlistan en la cuadro 3.16. 50 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… CUADRO 3.16 INDICADORES DE EVALUACIÓN DE GOBIERNO ELECTRÓNICO EN SAO PAULO Dimensión Indicadores Infraestructura Integración de unidades administrativas a la red intragov Computadoras personales por funcionarios Uso de VOIP8 por unidades administrativas Transacciones internas Número de servidores incluidos en el sistema de administración de personal Procesos operativos informatizados Servidores con correo electrónico Índice de uso del protocolo único para las Secretarías de Estado Transacciones con la sociedad Atención al contribuyente Número de páginas visitadas en el portal de gobierno Crecimiento porcentual anual de atención en Poupatempo Servicios disponibles en Internet Volumen de compras por medios electrónicos Inclusión digital Número de servicios ofrecidos por el programa Acessa Número de personas atendidas por el programa Acessa Número de puntos públicos de acceso a Internet Porcentaje de prefecturas con acceso a Internet Porcentaje de funcionarios con acceso a Internet en el trabajo Fuente: elaboración propia. 3.4.2. Colombia: modelo de medición de las TIC [COLOMBIA] El Departamento Administrativo Nacional de Estadística (DANE), como parte de la política de Estado Agenda de Conectividad: C@mino a la Sociedad del Conocimiento, lleva a cabo el proceso de Medición de las Tecnologías de la Información y las Comunicaciones, produciendo estadísticas estratégicas e indicadores que permiten conocer y analizar el estado del arte de estas tecnologías en cuanto a: cobertura, acceso, infraestructura, contenido y aprovechamiento, en los sectores: productivo (industria, comercio, servicios y micro-establecimientos); estado y comunidad; y educación formal regular y educación superior (DANE, 2003).9 El reporte al que se tuvo acceso en este proceso de revisión incluye 1 de los 3 sectores considerados en la Agenda de Conectividad: Estado y Comunidad. No se tuvo acceso a los indicadores de los sectores productivo y educativo. En términos del apartado relativo al Estado, DANE realizó una encuesta en línea entre octubre del 2001 y mayo del 2002, recuperando información en las áreas de Infraestructura y cobertura (información relacionada con la existencia de computadoras en la entidad, la tecnología de las computadoras, el sistema operativo o plataforma computacional, la arquitectura computacional, la disponibilidad de impresoras), el aprovechamiento y usos (información sobre el software, personal ocupado, personal promedio vinculado a las TIC) y acceso y conexión (acceso a Internet, tipo de conexión a Internet, empleados con acceso a Internet, pago al proveedor de servicios y clase de servicios de Internet utilizados). En el caso del apartado relativo a Comunidad, DANE se apoyó en la Encuesta Nacional en Hogares, en la que se incluyeron 3 apartados asociados al uso de las TIC en los hogares. El primer apartado incluye el aprovechamiento y uso de las TIC (número de personas que usan 8 9 VOIP se refiere al uso de telefonía por Internet. Este reporte no es una evaluación de gobierno electrónico, sino una encuesta de uso de tecnologías de información y comunicación en hogares. 51 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… computadora, número de personas que usan computadora en el hogar, principales actividades que se realizan con el computador en el hogar, etc.), la infraestructura y cobertura (número de computadoras en uso y en desuso en el hogar, características de las computadoras, software, número de impresoras en uso y en desuso, tipo de impresoras y el tipo de mantenimiento que se les hace a estos equipos), y acceso y conexión a las TIC (número de líneas telefónicas en los hogares, número de hogares con conexión a Internet, empresa que presta el servicio de Internet, principales usos que se le da a Internet en el hogar, etc.) Aunque no se cuenta con los apartados relacionados con los sectores productivo y educativo, se infiere de los apartados analizados que los sectores no analizados incluyen también 3 secciones de variables investigadas, una relacionada con la infraestructura y cobertura, otro asociado con el aprovechamiento y uso, y una última relacionada con el acceso y conexión. Las variables incluidas en ella pueden ser similares a las incluidas en el apartado de estado. El modelo completo se representa en la cuadro 3.17. CUADRO 3.17 MODELO DE MEDICIÓN DE LAS TIC EN COLOMBIA (DANE) Dimensión Productivo Comunidad Estado Educación Infraestructura y cobertura Aprovechamiento y uso Acceso y conexión Indicadores de disponibilidad de computadoras e impresoras, en el caso de los sectores productivo, educativo y estado, incluye información sobre sistemas operativos y arquitecturas tecnológicas Sector Usos principales de la computadora y conocimiento de los usos que se puede dar a la misma. Tipo de conexión a Internet y otras TIC, y cobertura de acceso a Internet en los sectores estado, productivo y educativo. Fuente: elaboración propia. 3.4.3. Chile [CHILE] En un esfuerzo ambicioso por documentar el progreso del gobierno electrónico en Chile, el Ministerio Secretaría General de la Presidencia sistematizó la experiencia Chilena del año 2000 al 2005 en el libro Gobierno Electrónico en Chile 2000-2005 (Sepúlveda T. et al., 2006). El libro presenta un panorama general de las metas y resultados del proyecto de gobierno electrónico en Chile, incluyendo los principales aspectos contextuales, legales e institucionales. Partiendo de la idea de que gobierno electrónico consiste en “facilitar el acceso, uso y generar impacto, mediante el uso de tecnologías de información y comunicaciones, de los ciudadanos, organizaciones y gobierno a información, servicios y/o diálogo con la administración pública, en todos los niveles jerárquicos, organizacionales y territoriales” (p. 10), el documento describe los antecedentes internacionales, institucionales y de estrategia, así como el conjunto medular de proyectos de gobierno electrónico que han ubicado a Chile como uno de los países líderes en la región. De especial interés para esta revisión es el Capítulo 8 del libro, en el que se describe el modelo de evaluación de gobierno electrónico en Chile. Los criterios básicos considerados en el modelo incluyen (p. 106): • Infraestructura de gobierno electrónico: se considera en este tipo de medidas todo aquello que ha permitido que opere las soluciones de gobierno electrónico, es decir, la infraestructura tecnológica, tal como la redes de conexión, el ancho de banda, los 52 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… medios de acceso (terminales, teléfonos, PDA, etc.), software utilizado (básico y de aplicaciones), computadores y servidores existentes. • Uso de gobierno electrónico: se considera los niveles de uso de las diferentes soluciones, de manera de conocer cómo ha sido el logro en relación a la sustitución de la provisión de productos y servicios públicos de forma presencial por vía electrónica. • Impacto del gobierno electrónico: entendido como el valor público generado por las diferentes iniciativas, percibido por los diferentes agentes, en las distintas dimensiones del valor público. De acuerdo con el reporte, el énfasis del proceso de evaluación de gobierno electrónico en Chile es en el impacto del proyecto, tanto en el sentido monetario del beneficio producido por cada $1 invertido en una iniciativa de e-gobierno comparada con el mismo peso invertido en un programa o proyecto alternativo, así como desde el punto de vista más general de creación de valor público. En este sentido, el impacto de un servicio de gobierno electrónico se evalúa en base a dos criterios fundamentales: el valor de red (refiriéndose a los beneficios que la iniciativa crea para otras iniciativas), y el valor del servicio no sólo en términos monetarios, sino como un valor que “afecta a distintos agentes en distintas formas”. Partiendo de un modelo de análisis económico de la oferta y la demanda de servicios, se sugiere que la introducción de TIC para ofertar servicios de gobierno no tendrá ningún impacto en el costo unitario si no se incrementa la capacidad de oferta del servicio, ya que se tendría dos canales de oferta (tradicional y en línea) operando de forma paralela. Adicionalmente, la demanda adicional producida por el incremento en el acceso al servicio puede tener también un efecto sobre el costo total, aunque podría generar ventajas a través de los efectos de red generados a partir de la posibilidad de ofrecer nuevos servicios novedosos o servicios integrados a través de ventanillas únicas. El capítulo sugiere que cualquier indicador debe estar amarrado a los objetivos y prioridades propias de cada gobierno, y expresados en los documentos rectores de cada administración. No obstante, se sugieren algunos indicadores que podrían utilizarse de forma general y que se relacionan en la Tabla 3.18. TABLA 3.18 INDICADORES DE EVALUACIÓN DE GOBIERNO ELECTRÓNICO EN CHILE Dimensión Variables Indicadores Medición del impacto Diversidad de canales de atención remota Facilidad de atención Seguridad y confianza en el acceso a productos y servicios Trazabilidad durante el proceso administrativo de productos y servicios Calidad del servicio en la entrega final Acceso a canales de consulta, reclamos y sugerencias Satisfacción de los usuarios Costos de transacción Niveles de transparencia e igualdad Anticipación en la obtención de beneficios Cantidad de nuevos servicios de valor agregado Medición de uso o flujo Incremento en el rendimiento global de atención a la ciudadanía Mayores niveles de productividad Mejor desempeño de los funcionarios Disminución de costos de provisión de productos y servicios Número y porcentaje de visitantes por canal remoto Tasa de sustitución electrónica Quiebre de servicio (veces que se desea utilizar y no está disponible) Número y porcentaje de documentos descargados para su utilización 53 CEPAL – Colección Documentos de proyectos Medición de Infraestructura u oferta Hacia un modelo multi-dimensional de medición del gobierno electrónico… Oferta de gobierno electrónico Cobertura de acceso en términos geográficos y socioeconómicos Penetración de uso de hardware de tipo doméstico Variedad y canales de acceso Mecanismos de interoperabilidad Cantidad y calidad del acceso a Internet Tiempo de disponibilidad/tiempo de operación Funcionarios capacitados en TIC Preguntas en mesa de ayuda Normas que regulan intercambios electrónicos Procedimientos y protocolos de seguridad Uso e impacto de las TIC Fuente: elaboración propia. El capítulo finaliza con una reflexión sobre la importancia de considerar las audiencias y usos de los procesos de evaluación en la forma de presentar los resultados y mediciones de gobierno electrónico. 3.4.4. México [MEXICO] La Organización para la Cooperación y Desarrollo Económico (OCDE) realizó un estudio de caso sobre el gobierno electrónico en México, en el que se detallan las principales características del gobierno electrónico en México (OECD, 2005). El reporte se construyó en base a una encuesta aplicada durante el año 2004, y entrevistas realizadas a funcionarios de gobierno en 2003 y 2004. Al igual que el libro que describe la experiencia chilena, el libro describe los principales antecedentes de gobierno electrónico en México, así como los elementos contextuales, legales e institucionales que han contribuido al estado actual de desarrollo. El capítulo 8 del informe se concentra en la descripción de las características del sistema de evaluación y monitoreo de las iniciativas de gobierno electrónico. México es uno de los países donde las metas de gobierno electrónico se monitorean con mayor frecuencia, y el proceso está estrechamente vinculado con los ciclos anuales de elaboración de presupuestos y asignación de recursos. De acuerdo con la encuesta aplicada por la OCDE, Los criterios de evaluación más utilizados por el gobierno de México son: satisfacción del usuario, contribución a la reforma administrativa, número de servicios ofrecidos, ganancias de eficiencia en procesos, razones costo/beneficio tanto para la organización como para los usuarios, incremento en el número de usuarios, mejora en la efectividad de la organización, calidad técnica de los servicios, contribución a la política económica, mejora en la colaboración con otras dependencias de gobierno y complejidad de los servicios. El proceso de evaluación y monitoreo inicia cada año con un proceso de negociación de metas entre la oficina de la presidencia y cada uno de los secretarios o ministros de estado. Para dar seguimiento a estas metas, se ha generalizado el uso de un sistema de semáforos (luces de tránsito), que representa el progreso en cada una de las metas (luz verde significa que la meta se lleva a cabo en tiempo y forma, luz ámbar apunta a la necesidad de atención a problemas potenciales, y luz roja representa retrasos o problemas en el logro de la meta. La sensación general de los usuarios del proceso es que las metas son válidas e importantes una vez que han sido negociadas y plasmadas en planes estratégicos y de proyectos, considerando su actividad principal mantener cada meta en color verde. Si bien esta estrategia de evaluación es muy efectiva para promover una cultura orientada a resultados, dificulta el análisis más profundo del impacto de los proyectos de gobierno electrónico. 54 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 3.5. Comparaciones entre los reportes explorados El presente apartado contiene algunas reflexiones y evaluaciones preliminares resultado de la revisión de los marcos de medición presentados en esta sección. Para hacer referencia a cada uno de los reportes analizados dentro de los cuadros comparativos que se presentan, se utilizará el código que se asignó a cada reporte al inicio de esta sección, y que se repite a continuación para facilitar al lector la referencia a cada uno de ellos. CUADRO 3.19 REPORTES, ÍNDICES Y DOCUMENTOS REVISADOS ID Nombre Abreviatura Referencias 1 Reporte global de gobierno electrónico de la Universidad de Brown [BROWN] (West, 2001, 2002, 2003, 2004b, 2005b) 2 Reporte de gobierno electrónico de las Naciones Unidas [UNPAN] (UN ASPA, 2002; UNPAN, 2003, 2004, 2005) 3 Eurostat [EUROSAT] (Eurostat, 2005; Reis, 2005) 4 Reporte de gobierno electrónico en Europa del Observatorio para la Interoperabilidad en la entrega de servicios de e-gobierno para la administración pública, los negocios y los ciudadanos [IDABC] (Chevallerau, 2005) 5 Indicador de la Sociedad de la Información [ISI] (CELA-IESE DMR Consulting, 2005) 6 Índice norteamericano de satisfacción del cliente [ACS] (ACSI, 1994) 7 Estados digitales [ESTDIG] (Lassman, 2001) 8 Liderazgo en gobierno electrónico [ACCENT] (Accenture, 2004) 9 Gobierno electrónico basado en desempeño [DESEM] (DeMaio et al., 2002) 10 Índices de e-readiness [MINGUES] (Minges, 2005) 11 Indicadores clave de las TIC [PARTNER] (ONU, 2005) 12 Manual de Lisboa [LISBOA] (RICYT-CYTED et al., 2006) 13 Desempeño de e-gobierno de la Fundación para el Negocio de Gobierno [STOWERS] (Stowers, 2004) 14 Marco de evaluación de gobierno electrónico [GUPTAJ] (Gupta Jana, 2003) 15 Benchmark de servicios de gobierno [KAYLOR] (Kaylor et al., 2001) 16 Evaluación multidimensional de portales de gobierno [GANT] (Gant et al., 2002) 17 Diagnóstico automático para analizar aplicaciones de gobierno [CHOUD] (Choudrie et al., 2004) 18 Benchmark de sitios web [MISJOHN] (Misic Johnson, 1999) 19 Sao Paulo [BRASIL] (ESTADO DE SÃO PAULO, 2005) 20 Colombia [COLOMBIA] (DANE, 2003) 21 Chile [CHILE] (Sepúlveda T. et al., 2006) 22 México [MEXICO] (OECD, 2005) Fuente: elaboración propia. 55 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 3.5.1. Definiciones de gobierno electrónico Un punto que inmediatamente salta a la vista en los reportes analizados es la falta de una definición explícita de gobierno electrónico o e-gobierno. Sólo 5 de los 21 documentos incluidos en esta sección contienen una definición explícita de gobierno electrónico (ver cuadro 3.20). De las 5 definiciones expuestas en la tabla, la primera de ellas limita el concepto de gobierno electrónico a las aplicaciones de Internet, y sólo aquéllas aplicaciones de Internet en las que la interacción se ubica al nivel de transacción, esto es, sólo aquéllas aplicaciones en las que todo el servicio puede ser proveído o entregado a través de Internet. No es de sorprender que 3 de los 5 reportes que incluyen tal definición se encuentran entre los reportes académicos, mientras que sólo uno de los índices comparativos y sólo uno de los reportes de países incluyen este punto conceptual de partida. No obstante, es posible inferir de una proporción de los reportes que mantienen el supuesto de que gobierno electrónico se refiere únicamente a servicios ofrecidos a través de páginas de Internet. CUADRO 3.20 DEFINICIONES DE GOBIERNO ELECTRÓNICO ENCONTRADAS EN LOS REPORTES Reporte Definición [KAYLOR] La habilidad de cualquier persona que visite el sitio Web de la ciudad de comunicarse y/o interactuar con la ciudad a través de Internet en cualquier forma más sofisticada que un correo electrónico al administrador del sitio o Web.Master. [GANT] Se refiere a los esfuerzos del sector público para hacer llegar servicios e información hacia el público a través de tecnologías de información y comunicación. [CHOUD] Incluye el uso de las tecnologías de información y comunicación desde las máquinas de fax hasta asistentes digitales personales inalámbricos para facilitar la administración diaria del gobierno. [UNPAN] Gobierno electrónico es un gobierno que utiliza las TIC para transformar relaciones internas o externas. A través de la aplicación de las TIC, un gobierno no altera sus funciones ni su obligación de permanecer útil, legítimo, transparente y responsable. [CHILE] Facilitar el acceso, uso y generar impacto, mediante el uso de tecnologías de información y comunicaciones, de los ciudadanos, organizaciones y gobierno a información, servicios y/o diálogo con la administración pública, en todos los niveles jerárquicos, organizacionales y territoriales. [LISBOA] El uso de tecnologías de información y comunicación, y particularmente el Internet, como herramientas para alcanzar un mejor gobierno (OECD, 2003) [LISBOA] El uso de tecnologías de información y comunicación en las administraciones públicas combinadas con cambio organizacional y nuevas habilidades para mejorar los servicios públicos y procesos democráticos y fortalecer el apoyo a las políticas públicas (European Commission, 2003). [LISBOA] La incorporación exitosa de las modernas TIC en todas las actividades gubernamentales (Hilbert, 2001). Fuente: elaboración propia. Aunque el manual de Lisboa no presenta una definición única, sí presenta tres concepciones comunes (ver cuadro 3.20). La primera definición implica principalmente aplicación y uso del Internet para mejorar actividades de gobierno. La segunda toma una postura de transformación de la actividad de gobierno, apoyando diversas áreas de actividad como la oferta de servicios, la participación ciudadana y el apoyo a las políticas públicas. La tercera aproximación incluye todas las actividades de gobierno, aunque restringe sólo a aquellas aplicaciones exitosas. Si se considera que se estima que alrededor de 85% de las iniciativas de gobierno electrónico no dan los resultados esperados en países en desarrollo (Heeks, 2003), esta 56 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… definición incluye potencialmente sólo al 15% de la actividad gubernamental de uso de TIC en la región de América Latina y el Caribe. La ausencia de una definición clara que guíe la selección de variables e indicadores es una debilidad de los documentos analizados. Es cierto que aún no existe un consenso sobre el significado de gobierno electrónico, pero debería incluirse alguna definición de trabajo como punto de partida que guíe el esfuerzo. La definición de gobierno electrónico propuesta en la sección 0 como punto de partida para la creación del modelo parece ser suficientemente integral como para guiar el proceso de evaluación, dado que es amplia en su conceptualización de aceptar cualquier aplicación de las TIC en el gobierno, y en las diferentes áreas de actividad asociadas con el mismo, el front-end y el back-end, la efectividad de los programas y el desarrollo de un ambiente que propicie el desarrollo de la sociedad del conocimiento. 3.5.2. Nivel de análisis En cuanto al nivel de análisis, 12 de los reportes analizados consideran que su proceso de evaluación se dirige a nivel de país, dos a nivel estatal, dos a nivel de ciudad, tres a nivel de proyecto individual, y tres constituyen más bien marcos genéricos de evaluación del desempeño que pudrían aplicarse en cualquiera de los niveles antes mencionados utilizando diferentes niveles de agregación. Los reportes [DESEM] y [STOWERS] presentan un esquema consistente al que surgió como resultado de la revisión de literatura de la sección 2 del presente documento, aunque organizan los indicadores no en términos de determinantes, características y beneficios del gobierno electrónico, sino en términos de entradas, actividades, salidas y resultados tanto intermedios como de impacto en la efectividad de las políticas. Esta forma de organizar los indicadores también es consistente con la organización presente en el reporte de evaluación de gobierno electrónico presentado por [CHILE]. CUADRO 3.21 NIVELES DE ANÁLISIS DE LOS REPORTES ANALIZADOS País Estado Ciudad Proyecto/Portal Genérico [BROWN] [UNPAN] [EUROSAT] [IDABC] [ISI] [ACCENT] [MINGUES] [PARTNER] [GUPTAJ] [COLOMBIA] [CHILE] [MEXICO] [ESTDIG] [GANT] [KAYLOR] [BRASIL] [ACS] [CHOUD] [MISJOHN] [DESEM] [STOWERS] [LISBOA] Fuente: elaboración propia. Resulta importante mencionar que los reportes que evalúan a nivel país consideran en algunos casos un solo país dando una descripción de diferentes dimensiones o indicadores del mismo, como [IDABC] o [CHILE]. En otros casos, especialmente en aquellos casos en los que se desea construir un índice comparativo, se selecciona una muestra de ministerios o dependencias de gobierno que se utilizan de forma consistente para efectos de comparación entre países, como es el caso de [BROWN] y [UNPAN]. Otros reportes se enfocan en el análisis de servicios 57 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… específicos como [EUROSAT] y [ACCENT], combinando el enfoque con encuestas de satisfacción o uso por parte de los ciudadanos. 3.5.3. Enfoque principal de los reportes Los reportes analizados en esta sección del documento también difieren en términos del enfoque principal que sigue cada uno de ellos (ver cuadro 3.22). CUADRO 3.22 ENFOQUE PRINCIPAL SEGUIDO EN LOS REPORTES ANALIZADOS Funcionalidades Servicios Calidad Indicadores TIC Proceso Características técnicas [BROWN] [MISJOHN] [GANT] [ESTDIG] [KAYLOR] [ACS] [ISI] [MINGUES] [PARTNER] [COLOMBIA] [MEXICO] [CHOUD] Combinación [UNPAN] [EUROSAT] [IDABC] [ACCENT] [DESEM] [STOWERS] [GUPTAJ] [BRASIL] [CHILE] [LISBOA] Fuente: elaboración propia. Los 3 reportes que se enfocan en diferentes funcionalidades de los proyectos de gobierno electrónico incluyen aspectos como la cantidad de información y servicios ofrecidos, así como elementos de privacidad y seguridad, accesibilidad y transparencia. Dos de estos tres reportes utilizan evaluación automática de los portales analizados para valorar la accesibilidad en base a las recomendaciones del consorcio del World Wide Web. Los que se concentran puramente en servicios utilizan una lista estándar de servicios y construyen una rúbrica calificando los servicios seleccionados en una escala que inicia con sólo proveer información sobre el servicio hasta su entrega por completo en línea. El reporte que se enfoca en la calidad del servicio utiliza encuestas de expectativas y satisfacción por parte del ciudadano. Los reportes que se enfocan en los indicadores TIC (o de la sociedad de la información), usan de forma consistente indicadores de infraestructura, y de uso por parte de los individuos y las empresas. [MINGUES] y [PARTNER] incluyen un conjunto de indicadores relacionados con la industria de las TIC, mientras que [ISI] incluye indicadores contextuales, institucionales, económicos y sociales. El reporte [MEXICO] se concentra en indicadores de seguimiento a metas y proyectos en proceso. Los reportes que usan una combinación siguen diferentes enfoques. El reporte [UNPAN] combina indicadores de TIC con indicadores de funcionalidades de gobierno electrónico. Los reportes [EUROSAT] y [ACCENT] combinan indicadores de servicios con indicadores de calidad en el servicio. Los reportes [DESEM], [STOWERS], [CHILE] y [BRASIL] utilizan un enfoque más integral en el que se combinan diferentes indicadores de insumos, infraestructura, resultados y actividad. Finalmente, reportes como [IDABC] y [GUPTAJ] se concentran en ofrecer una descripción que mezcla datos cuantitativos y cualitativos para obtener una visión más completa del desarrollo del gobierno electrónico en el contexto nacional en el que se desarrolla. En cierto sentido, los reportes completos de [MEXICO] y [CHILE] persiguen el mismo objetivo centrándose en un solo país. El Manual de [LISBOA] propone medir una serie de variables asociadas con la sociedad de la Información y el Conocimiento. 58 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 3.5.4. Variables incluidas en los marcos de medición Finalmente, los marcos de medición analizados en esta sección difieren también en cuanto a las variables que utilizan en su análisis. En el cuadro 3.23 se organizan los marcos de medición en términos de las principales variables encontradas en la revisión de literatura de este documento. CUADRO 3.23 MAPEO DE LOS MARCOS DE MEDICIÓN CON LOS DETERMINANTES, CARACTERÍSTICAS Y RESULTADOS ENCONTRADOS EN LA LITERATURA Determinantes Características Resultados Calidad de la Información y Datos Existentes para Alimentar los Sistemas Calidad de la Información Disponible en los Sitios y Sistemas [BROWN][ESTDIG][STOWERS] [KAYLOR][GANT][CHOUD] [MISJOHN][CHILE][MEXICO] Estadísticas de Uso de los Sistema [DESEM][STOWERS][BRASIL] [CHILE] Infraestructura Tecnológica y Compatibilidad [IDABC][BRASIL] [COLOMBIA][CHILE] [LISBOA] Características Organizacionales y Gerenciales [IDABC][ESTDIG][DESEM] [STOWERS][MEXICO] Marco Legal e Institucional Existente [IDABC] Demanda Potencial [UNPAN][EUROSTAT] [IDABC][ISI][MINGUES] [PARTNER][COLOMBIA] [CHILE][LISBOA] Servicios [BROWN] [UNPAN] [EUROSTAT][IDABC][ESTDIG] [ACCENT][KAYLOR][BRASIL] [CHILE][MEXICO][LISBOA] Interacción [BROWN] [UNPAN][MISJOHN] Integración [ACCENT] Personalización [ACCENT][GANT] Calidad de los Servicios Públicos. [ACS][STOWERS][CHILE] Eficiencia y Productividad [DESEM][STOWERS][CHILE] Eficacia de Programas y Políticas [DESEM] Transparencia y Rendición de Cuentas [STOWERS][CHILE] Participación Ciudadana [ESTDIG] Cambios en el Marco Regulatorio Seguridad [BROWN] Privacidad [BROWN] Accesibilidad [BROWN][STOWERS][GANT] Usabilidad y utilidad [ACS][STOWERS][GANT] [MISJOHN] Fuente: elaboración propia. Como se puede observar en la tabla, ningún marco incluye un balance entre variables asociadas con los determinantes, las características y los resultados del gobierno electrónico encontrados en la literatura. Más aún, la mayor parte de los indicadores se limitan a analizar el estatus de variables de determinantes y características de gobierno electrónico. Muy pocos modelos incluyen variables de resultados, y de los que las incluyen, dos son únicamente modelos conceptuales de evaluación que no se han llevado a la práctica ([STOWERS] y [DESEM]). El Modelo que se presenta en las dos siguientes secciones del documento constituiría el primer esfuerzo por medir variables en estas tres categorías de forma simultánea e integral. 59 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 3.6. Conclusiones En la presente sección del documento se describieron y compararon 22 reportes con indicadores de gobierno electrónico y/o de la sociedad de la información con el propósito de describir el estado del arte ya no en términos de los desarrollos teóricos del gobierno electrónico, sino en términos de evaluación y medición del mismo en la práctica. En general, se encuentra una falta de claridad conceptual en la mayoría de los modelos por la falta de una definición explícita de gobierno electrónico, aunque implícitamente, una proporción de estos reportes se enfocan únicamente en la provisión de servicios a través de Internet, permitiéndonos inferir que su concepto de gobierno electrónico se circunscribe a este ámbito. Esta falta de claridad conceptual es reflejo de la falta de teoría en el área por ser relativamente nueva. De este modo, muchos de los modelos se fundamentan en las intuiciones prácticas de los participantes en su desarrollo. El esfuerzo de organizar la literatura en un marco de medición integral es una aportación de este documento. Esto es, se propone un marco de referencia integral basado no sólo en la intuición de los autores (la que sin duda juega un papel importante en el proceso), sino que agrupa y organiza en tres dimensiones tanto variables contextuales como institucionales, organizacionales, características de las aplicaciones y de resultados. Los reportes seleccionados para su análisis se enfocan en su mayoría a nivel país, considerando los desarrollos a nivel central, excluyendo los desarrollos en los niveles regional y local. Diez de los 22 reportes utilizan un enfoque combinado en la medición de gobierno electrónico, aunque sólo 5 de ellos utilizan un enfoque integral en la medición de gobierno electrónico. El modelo que se presenta en las siguientes secciones constituye el primer esfuerzo por operacionalizar en la práctica mediciones asociadas de forma balanceada e integral con los determinantes, las características y los resultados del gobierno electrónico que se documentan en la literatura académica como importantes en el entendimiento y medición de este fenómeno. Los indicadores utilizados en cada uno de los reportes analizados fueron uno de los principales insumos para la selección de indicadores del modelo propuesto. 60 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… IV. Descripción conceptual del modelo 4.1. Introducción Esta sección del documento tiene como propósito describir los principales elementos del modelo, las variables que éste incluye y algunas formas en las que podría ser utilizado tanto por parte de CEPAL como por parte de los encargados de gobierno electrónico en los países de América Latina y El Caribe. Las variables están organizadas en las tres grandes dimensiones identificadas en la revisión de literatura. El marco conceptual presentado en el capítulo 2 define gobierno electrónico como un concepto multidimensional en el que se caracteriza al gobierno electrónico como un conjunto de aplicaciones con características específicas, que promete un conjunto de resultados, y que ambos, las características y los resultados son afectados por un conjunto de determinantes. Más aún, como se mostró en la sección anterior, esta selección de variables no se limita a lo que otros modelos de medición han considerado, sino que constituye una propuesta que en cuanto a su organización es consistente con modelos integrales de evaluación como el de [STOWERS], el modelo de medición de gobierno electrónico basado en el desempeño [DESEM], y los esfuerzos de evaluación realizados en [CHILE]. Consideramos estos modelos como integrales dado que incluyen e integran de forma simultánea variables que sirven como indicadores de entradas, procesos y resultados, en lugar de concentrarse en un conjunto de indicadores limitado sólo a una de estas categorías o dimensiones. Existen formas alternativas de organizar variables relevantes para medir y evaluar procesos de gobierno electrónico. La que se presenta en este documento es sólo una forma de hacerlo que se considera útil para la creación –en el mediano plazo—de un instrumento para comprender mejor el fenómeno de gobierno electrónico en la región de América Latina y el Caribe. El modelo presentado en esta sección puede ser utilizado para la comparación y ordenamiento de los países de la región en base a su nivel de desarrollo de Gobierno Electrónico. Se busca, además, tener una herramienta que ayude a tener una visión más detallada de la situación en cada uno de los países de la región (este proyecto sólo abarcará a Chile, Colombia y México). Adicionalmente, el modelo puede ser utilizado como apoyo en procesos decisorios, identificando áreas de oportunidad de desarrollo en cada país, como será ilustrado más adelante. Más aún, cuando se colecten los datos de los países de la región, el modelo podrá ser utilizado 61 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… para probar hipótesis sobre relaciones causales entre las variables incluidas en el mismo, facilitando la comprensión de la problemática en la región.10 Esta sección inicia con una presentación de los componentes del modelo: dimensiones, variables e indicadores. La sección continúa con ejemplos que ilustran los posibles usos del modelo como herramienta de comparación y de apoyo a procesos decisorios. De forma complementaria, se presenta un modelo causal genérico y la forma general de las ecuaciones correspondientes para ilustrar la manera en la que el modelo de medición podría ser utilizado para entender mejor el fenómeno de gobierno electrónico en la región. Finalmente, la sección concluye con algunas consideraciones generales de la aplicación del modelo. 4.2. Descripción general del modelo Como se observa en la cuadro 4.1, el modelo de medición para evaluar gobierno electrónico a nivel nacional en la región de América Latina y el Caribe está organizado en las tres grandes dimensiones encontradas a partir de la revisión de literatura: determinantes, características y resultados. Estas tres dimensiones están relacionadas con modelos conceptuales de evaluación directamente asociados con fenómenos de Gobierno Electrónico como los que se incluyen en la sección 0 del reporte como son [DESEM] y [STOWERS]. Estos modelos utilizan como dimensiones entradas, salidas y resultados. Más aún, estas dimensiones también son comúnmente utilizadas por evaluadores en otras áreas de las ciencias sociales como por ejemplo el muy citado modelo de Daniel Stufflebeam (2003) comúnmente conocido como modelo CIPP (Contexto, Insumo, Proceso y Producto). Entradas y Salidas están estrechamente relacionadas con los determinantes y las características descritas en la literatura de gobierno electrónico. Los resultados, por su parte, están vinculados con los Resultados en la literatura de gobierno electrónico. La decisión de utilizar como dimensiones determinantes, características y resultados en lugar de entradas/salidas/resultados o Contexto/Insumo/Proceso/Producto responde a que son los términos utilizados en la literatura de gobierno electrónico y algunas de sus disciplinas base como administración pública, ciencia política y sistemas de información, y se considera que su uso puede ser más significativo para expertos en estas áreas del conocimiento, así como comprensible para los tomadores de decisiones quienes van a usar el modelo. Más aún, esta es sólo una de las posibles formas de organizar las principales variables asociadas al fenómeno de gobierno electrónico. Como se describió en la sección 2 del documento, la primera dimensión incluye los determinantes del éxito de gobierno electrónico. Estos determinantes de éxito son incluidos en algunos de los modelos revisados (IDABC, ESTDIG, STOWERS) como entradas o factores contextuales (IDABC, EUROSTAT, UNPAN). Estos determinantes son incluidos en el modelo dado que el entendimiento de las características y los resultados del gobierno no es suficiente para comprender el impacto de las iniciativas de gobierno electrónico y poder tomar decisiones que influyan en la situación actual. Es decir, se requiere contar con los conocimientos necesarios para influir sobre los factores contextuales (determinantes) y cambiar la situación. Los determinantes miden los factores que se han identificado como causas o variables que afectan las características y resultados de iniciativas de gobierno electrónico. Un puntaje agregado de los determinantes sería equivalente a un índice de e-readiness, considerando por un lado la demanda potencial por servicios de gobierno electrónico, y por otro la infraestructura de gobierno en términos de datos, equipamiento, recursos humanos y marco legal para el desarrollo de aplicaciones. 10 La forma general del modelo causal y las ecuaciones que se pudieran derivar una vez que los datos se hayan recolectado de la mayoría de los países de América Latina y El Caribe se presentan más adelante en esta sección. 62 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Las características representan los niveles de funcionalidad y aspectos técnicos de los sistemas y aplicaciones de gobierno electrónico. En nuestra opinión, las características proporcionan una forma de medición del éxito de los sistemas en términos de su cumplimiento con requerimientos técnicos como usabilidad, calidad de información, privacidad o seguridad. Adicionalmente, reflejan el nivel de sofisticación de estos sistemas, diferenciando, por ejemplo, entre aplicaciones que sólo proporcionan información y aquéllas que sirven para la realización de trámites o servicios públicos asociados con la obtención de financiamientos para proyectos productivos, salud o educación, entre otros. Estas características son comúnmente observadas en portales de gobierno, y utilizadas para realizar comparaciones entre estados y países (ver como ejemplos los modelos de CHOUD, GANT, KAYLOR, UNPAN, BROWN). Un índice agregado de las características representa la oferta de servicios y la calidad de los mismos medida a través de los niveles de integración, personalización, seguridad y privacidad entre otros. Los resultados representan los beneficios que se han identificado como efectos o impactos del gobierno electrónico. Los resultados proveen una forma simplificada del estado en que se encuentra el gobierno electrónico en un país. Sin embargo, ello no necesariamente implica que la iniciativa tenga un objetivo único, pero sí ayuda a ponderar la importancia relativa de ciertos objetivos, especialmente en casos donde pudieran existir contradicciones o las acciones necesarias compiten por los mismos recursos escasos (Ej., eficiencia versus transparencia). De forma similar, conociendo los resultados potenciales, los tomadores de decisiones y administradores de proyectos pueden reflexionar sobre los objetivos y metas últimas del proyecto de gobierno electrónico en su país (educación, salud, etc.) y decidir cuál(es) de estos resultados potenciales son los más adecuados para guiar los esfuerzos de gobierno electrónico. Un índice agregado de los resultados muestra el impacto de los servicios de gobierno electrónico mediado por los determinantes en cada país. CUADRO 4.1 VARIABLES MODELO CONCEPTUAL DE EVALUACIÓN DEL DESEMPEÑO DE GOBIERNO ELECTRÓNICO11 Determinantes B. Calidad de la Información y datos existentes para alimentar los sistemas C. Infraestructura tecnológica y compatibilidad D. Características organizacionales y gerenciales E. Marco legal e institucional existente F. Demanda potencial Características G. Calidad de la información disponible en los sitios y sistemas Resultados P. Estadísticas de uso de los sistema Q. Calidad de los servicios públicos H. Servicios R. Eficiencia y productividad I. Interacción S. Eficacia de programas y políticas J. Integración T. Transparencia y rendición de cuentas K. Personalización U. Participación ciudadana L. Seguridad V. Cambios en el marco regulatorio M. Privacidad N. Accesibilidad O. Usabilidad y utilidad Fuente: elaboración propia. 11 La primera variable está identificada con la letra B, ya que la letra A ha sido usada para referirse a preguntas diseñadas para obtener algunos datos generales de cada país y la organización de la función de TIC. El uso de estas preguntas se describe con detalle al final de esta seccion del documento. 63 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… La dimensión de resultados incluye tanto las variables relacionadas conceptualmente con los niveles de actividad de los sistemas y aplicaciones de gobierno electrónico, como a las variables que miden los beneficios esperados del gobierno electrónico. Dentro de los modelos de medición revisados, estas variables se agrupan como variables que miden los niveles de actividad de las aplicaciones (DESEM, CHILE, STOWERS), los resultados intermedios y finales (DESEM, CHILE, STOWERS) o el impacto de la realización de proyectos de gobierno electrónico (ACS, CHILE, STOWERS). Aunque modelos de evaluación como el de [STOWERS] recomiendan la inclusión de este tipo de variables, su uso en la práctica no es tan común como se mostró en el apartado 0 del presente documento. En la siguiente sección se hace una descripción de las fuentes de información que se planea utilizar para construir los índices asociados a cada variable. Posteriormente, se describirán cada una de las variables e indicadores propuestos para cada una de estas dimensiones. 4.3. Fuentes de información y construcción de los índices El modelo considera el uso de diversas fuentes de información para conformar los índices de las 21 variables incluidas en el mismo. En general, los índices de cada variable del modelo incorporan información de indicadores nacionales asociados con tecnologías de información y comunicaciones, indicadores presupuestales y organizacionales de diferentes dependencias o poderes gubernamentales (ejecutivo, legislativo y judicial) en cada uno de los países, datos sobre la calidad de portales de Internet representativos de cada uno de estos ministerios y poderes, y datos obtenidos a través de una encuesta a los responsables de las áreas de tecnologías de información y comunicación en las mismas unidades de estudio (dependencias y poderes gubernamentales). Los indicadores nacionales se han obtenido preliminarmente de organizaciones como la Unión Internacional de Telecomunicaciones, la Organización Mundial de la Salud, el Foro Económico Mundial (World Economic Forum), el Banco Mundial, la UNESCO, Transparencia Internacional, y las oficinas de estadística de cada país (hasta ahora hemos consultado principalmente las bases de datos de INEGI en México). Estos datos serán enviados al Coordinador Nacional de Gobierno Electrónico en cada país para ser validados y/o actualizados. La información sobre indicadores presupuestales y organizacionales, así como los datos subjetivos asociados a cada variable, se obtendrán a través de un cuestionario que se enviará a cada uno de los ministerios o poderes que serán utilizados como unidades de análisis. Los ministerios o poderes propuestos para la aplicación inicial en los tres países seleccionados son:12 • • El poder ejecutivo en cada país • El poder legislativo en cada país • El poder judicial en cada país • El ministerio de finanzas • 12 La Coordinación Nacional de Gobierno Electrónico El ministerio de economía Estas unidades de análisis sugeridas provienen de la revisión de otros modelos como el de West o el de UNPAN. Sin embargo, serán ajustadas de acuerdo a la retroalimentación de CEPAL y los gobiernos de los tres países. 64 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… • El ministerio de salud • El ministerio de educación Finalmente, una de las preguntas en el cuestionario para cada uno de los responsables de tecnología en los ministerios y poderes propuestos solicita que nos proporcionen las direcciones de cinco páginas de Internet que ellos consideren las más representativas de su dependencia o poder gubernamental. Estas páginas serán evaluadas por los consultores, y las observaciones obtenidas de esta manera se incorporarán a algunas de las variables en el modelo. De este modo, el proceso de construcción del índice para una variable puede representarse de forma genérica en el diagrama de la gráfico 4.1. Como se indica en el diagrama, los indicadores que se utilizarán para la construcción del índice de cada variable estarán contenidos en los cuestionarios contestados por los responsables del área de tecnología de cada uno de los ministerios o poderes, o en las formas de observación de los portales representativos para cada uno de ellos. La información proveniente de fuentes de información ya existentes como la UNESCO o la Unión Internacional de Telecomunicaciones serán, como se observa en la figura, pre-llenados antes de ser enviados a los responsables de cada país. Más aún, es importante notar que esta sección del cuestionario será enviada sólo al responsable de gobierno electrónico de cada país, e interviene en la construcción sólo de algunos índices. Una vez colectada la información de los países, los datos de cada variable serán extraídos y procesados para cada ministerio o poder, utilizando las fórmulas que se presentan en las siguientes secciones del documento, obteniendo así un índice por cada unidad de análisis. Estos índices serán agregados utilizando un promedio para obtener el índice de la variable para cada país. Se sugiere el uso de la media aritmética ya que se considera que los ministerios y poderes sugeridos como unidades de análisis tienen la misma importancia para un país. El Anexo 1 del documento contiene una descripción del proceso que se siguió para operacionalizar las variables y conformar los índices. GRÁFICO 4.1 PROCESO DE CONSTRUCCIÓN DEL ÍNDICE PARA CADA VARIABLE DEL MODELO Cuestionario y forma de observación de portales para responsable de país Cuestionario y forma de observación de portales para poder o ministerio 1 Cuestionario y forma de observación de portales para poder o ministerio 2 . . . Índice para responsable de país Captura y Fórmula para calcular índice Pre-llenado del cuestionario Cuestionario y forma de observación de portales para poder o ministerio n Índice para poder o ministerio 1 Índice para poder o ministerio 2 . . . Índice para poder o ministerio n Fuente: elaboración propia. 65 Índice asociado a una variable del Modelo CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 4.4. Variables e indicadores del modelo Para describir cada una de las variables del modelo, se presenta a continuación una breve definición y una justificación de la inclusión de la misma en el modelo. Adicionalmente, se presenta para cada variable los indicadores propuestos, la forma de recolectarlos y la forma de combinarlos para obtener valores en una escala de 100 puntos para cada variable. Como se explica en la sección anterior, la formula presentada en cada variable es utilizada para hacer el cálculo del índice para cada unidad de análisis. Estos resultados se agregan usando una media aritmética para obtener el total del país. Para facilitar la comprensión de cada una de las fórmulas, los indicadores se agruparon en sub-variables que ayudan a explicar la agregación del índice y la ponderación otorgada a cada grupo de indicadores. Un resumen tabular de las variables y sus indicadores se presenta en el Anexo 2. Como se menciona en la introducción de este documento, los indicadores sugeridos no son perfectos, y fueron seleccionados utilizando como criterio principal que estuvieran disponibles o que fueran fáciles de obtener. De este modo, es posible generar un prototipo de bajo costo que muestre el valor de contar con los índices y que propicie una conversación sobre los mejores indicadores para cada variable y las formas de institucionalizar su recolección en los países de la región. Así, el modelo aquí presentado es más el inicio que el final del proyecto. Sigue el trabajo colaborativo de definición consensuada de indicadores que incrementen el valor del modelo. A pesar de esta limitante, decidimos no excluir variables para las que no contamos con indicadores ideales porque hacerlo implica no incluir una variable importante, y esa alternativa es la única que estamos seguros que está equivocada. 4.4.1. Calidad de la información y datos existentes Esta variable mide la existencia de información confiable sobre dependencias o poderes gubernamentales, procesos y servicios de gobierno en medios tradicionales, de modo que pueda ser colocada en línea u ofrecida a través de cualquier otro canal, o pueda ser utilizada para la integración de sistemas convergentes que faciliten la oferta de servicios integrados para el ciudadano. Como se menciona en la sección 2, la calidad de las estructuras y definiciones de estos datos tiene una gran influencia en el tipo de sistema que se puede desarrollar y sus efectos se ven reflejados en la poca utilidad de los sistemas para apoyar procesos y decisiones al interior de la organización. Más aún, la inexistencia de datos, o la baja calidad de los mismos es uno de los principales costos en el proceso de desarrollo de sistemas de información, y es por ello que se incluye como una de las variables en la dimensión de determinantes. Los datos disponibles y su calidad determinan las funcionalidades que se pueden incluir en las aplicaciones de gobierno electrónico. Como todos los índices asociados a las variables del modelo, los valores a obtenerse en esta variable toman valores en una escala de 100 puntos. En el caso de esta variable, los indicadores son respuestas a preguntas que serán incluidas en el cuestionario a los responsables de las áreas de informática de las unidades de análisis con una escala de 10 puntos. Las preguntas propuestas, y que se muestran a continuación, fueron seleccionadas de un grupo de más de 100 reactivos que se ha utilizado de forma exitosa para valorar qué tan listas están las organizaciones de gobierno para iniciar proyectos TIC que involucran la integración de sistemas (Cresswell et al., 2005; Dawes, Pardo, Cresswell, 2004). B1. En general, existe toda la información necesaria para crear sitios y sistemas B2. La información necesaria para crear sitios y sistemas está completa B3. La información necesaria para crear sitios y sistemas está libre de errores 66 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… B4. La información necesaria para crear sitios y sistemas se puede obtener en el momento que se requiere B5. Mantenemos diccionarios de datos precisos para todos los datos que necesitamos para la creación de sitios y sistemas B6. Hay metadatos disponibles y de alta calidad para todos los datos que necesitamos para la creación de sitios y sistemas Para efectos de la integración del índice, los indicadores se agruparon en tres subvariables, como se muestra en las siguientes fórmulas. Decidimos dar mayor ponderación a la calidad de los datos y sus definiciones que a la sola existencia de los mismos. B= 2/10 Existencia de la información + 4/10 Calidad de la información + 4/10 Calidad y definiciones de datos B = 2/10 B1 *10 + 4/10 (B2+B3+B4)/3 *10 + 4/10 (B5+B6)/2*10 4.4.2. Infraestructura tecnológica y compatibilidad Como se menciona en la sección 2 del documento, un determinante importante en proyectos de gobierno electrónico es la disponibilidad de infraestructura tecnológica adecuada. Dos de las principales características de la tecnología que impactan su éxito es su utilidad para los objetivos concretos de la organización y el grado de dificultad que presenta para los usuarios. En algunos casos existe la tecnología necesaria, pero ésta no es necesariamente compatible entre departamentos o dependencias gubernamentales lo que limita la utilidad y el éxito de los proyectos. Así, esta variable se refiere a la existencia de infraestructura tecnológica en las dependencias o poderes de gobierno, así como qué tan adecuada es la infraestructura para el logro de los objetivos de la dependencia y para facilitar la interoperabilidad. La variable toma valores en una escala de 100 puntos, compuestos parcialmente en base a preguntas sobre la percepción de la adecuación de la infraestructura para el logro de objetivos y sobre el grado en el que facilitan la interoperabilidad entre dependencias. Estas preguntas serán respondidas en una escala de 10 puntos. Adicionalmente, se incluyen preguntas asociadas al número de computadoras y conexiones de red en cada unidad de análisis. Estas preguntas pretenden ayudar en la valoración de la disponibilidad de equipo para los usuarios potenciales en las dependencias. El primer grupo de preguntas (C1 a C4) fueron seleccionadas del instrumento mencionado en la pregunta anterior (Cresswell et al., 2005; Dawes, Pardo, Cresswell, 2004). La selección respondió a los elementos que aparecen como más relevantes en la literatura. Las preguntas sobre el equipamiento (A6 y C5 a C6) fueron seleccionadas de entre los diferentes indicadores de infraestructura que se identificaron en los modelos de medición revisados. Se decidió incluir sólo los indicadores de cómputo personal, dejando fuera otras capacidades tecnológicas como servidores o impresoras, considerando que la plataforma en general está siendo evaluada con las preguntas C1 a C4. No obstante, los equipos personales fueron incluidos como un indicador de la disponibilidad de equipo para los funcionarios de gobierno. Las preguntas son las siguientes: C1. La infraestructura tecnológica existente es adecuada para los objetivos y metas de nuestros proyectos de tecnologías de información C2. Nuestras plataformas de cómputo están diseñadas para apoyar completamente la colaboración y la interoperabilidad entre dependencias o poderes gubernamentales C3. Nuestras aplicaciones de software son adecuadas para compartir información e interoperar 67 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… C4. El personal está capacitado para dar uso a la infraestructura de cómputo con la que cuenta la dependencia A6. Número de empleados en su dependencia C5. Número de computadoras en su dependencia C6. Número de computadoras conectadas en red C7. Número de computadoras con acceso a Internet Como se sugirió en párrafos anteriores, existen dos sub-variables para esta variable, una asociada con la percepción de la adecuación de la tecnología y la otra con el equipamiento. Dado que el conteo de las computadoras personales sólo tiene impacto partiendo del supuesto de que todas son usadas de forma productiva, se privilegió en la ponderación a la percepción de la adecuación de la infraestructura. C = 3/4 Percepción de adecuación de infraestructura + ¼ Indicadores de equipamiento C = 3/4 (C1+C2+C3+C4)/4*10 + 1/4 (IF(A6=C4,C5/A6,1)+ IF(A6=C5,C6/A6,1)13 + IF(A6=C6,C7/A6,1)/3)*100 4.4.3. Características organizacionales y gerenciales Como en muchos otros proyectos que involucran cambio organizacional, ciertas características de la estructura organizacional o del estilo gerencial son también determinantes del éxito o fracaso para iniciativas de gobierno electrónico. Elementos como el tamaño del proyecto, la diversidad de usuarios, la resistencia al cambio y la compatibilidad entre los objetivos del proyecto y las metas organizacionales son algunos de los indicadores identificados en la literatura. Los marcos de medición revisados incluyen elementos de planeación, evaluación y seguimiento de proyectos, así como factores de presupuestación y financiamiento de los proyectos. Así, esta variable se refiere a la existencia de infraestructura organizacional en las dependencias o poderes de gobierno. La variable toma valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas por los responsables de informática en cada unidad de análisis en una escala de 10 puntos. Se solicitan adicionalmente datos relacionados con el presupuesto y seguimiento de proyectos. Las preguntas a incluirse en el cuestionario se muestran a continuación. D1. Presupuesto total en el último año del área de tecnologías de información expresado en dólares estadounidenses D1a. Presupuesto total en el último año de su dependencia expresado en dólares estadounidenses D2. Número de proyectos de TIC que se desarrollaron durante el último año (nuevas aplicaciones, nuevos módulos, nuevos servicios al público en línea, etc.) D3. Número de proyectos de TIC a los que se da seguimiento siguiendo una metodología de administración de proyectos (del total en D2) D4. Número de proyectos para los que se utilizó alguna herramienta de análisis para calcular el retorno sobre la inversión (del total en D2) D5. El presupuesto destinado en nuestra dependencia para el desarrollo de tecnologías de información y comunicación es adecuado 13 La notación utilizada sigue la siguiente forma general IF(condición, valor si la condición es verdadera, valor si la condición es falsa) 68 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… D6. Contamos con un encargado de tecnologías de información (CIO o equivalente) que provee liderazgo y dirección a los proyectos del área D7. La ubicación en el organigrama del encargado de tecnologías de información (CIO o equivalente) es congruente con sus funciones D8. Desarrollamos nuestra estrategia de tecnologías de información con la participación de todas las áreas involucradas D9. Tenemos una estrategia clara de tecnologías de información Las preguntas D1 a D4 se pueden agrupar como indicadores del presupuesto, planeación y seguimiento de proyectos. El resto de las preguntas buscan capturar la percepción de un ambiente organizacional favorable, asociados con la adecuación del presupuesto, la estructura organizacional y el desarrollo de estrategias. Los indicadores tratan de ser una muestra representativa de factores organizacionales relevantes. Igual que para la variable anterior, se beneficia en la ponderación a los indicadores de percepción sobre la adecuación de un ambiente organizacional favorable sobre los indicadores más objetivos. D = 1/4 Presupuesto, planeación y seguimiento a proyectos + 3/4 Percepción de características organizacionales favorables D = 1/4 ((D1/D1a)+(D3/D2)+ (D4/D2))/3 *100 + 3/4 (D5+D6+D7+D8+D9)/5*10 4.4.4. Marco legal e institucional Como se menciona en la sección 2 del documento, el gobierno es creado y opera bajo un marco legal que promueve ciertas acciones y prohíbe otras. El marco legal no solo promueve directrices, sino que determina y enmarca lo que hace el gobierno, es obligatorio. Las iniciativas de gobierno electrónico están también influenciadas por las leyes y reglamentos, que se pueden convertir en incentivos y catalizadores, pero también en barreras y retos a ser superados. Así, la variable se refiere a la existencia de un marco legal y normativo que facilite (o no) el desarrollo de proyectos e iniciativas de gobierno electrónico que trasciendan las fronteras de dependencias o poderes gubernamentales individuales. De manera semejante a otras variables, ésta se compone en base a preguntas que serán respondidas por los responsables de informática en una escala de 10 puntos. Los indicadores seleccionados son los siguientes. E1. Tenemos leyes y reglamentos que apoyan y fomentan la aplicación de soluciones de tecnologías de información E2. Las leyes y reglamentos sobre información son implementadas y aplicadas E3. Las leyes y reglamentos favorecen la colaboración y el desarrollo de proyectos conjuntos entre dependencias o poderes gubernamentales E4. Las políticas y reglamentos internos sobre manejo y uso de información son consistentes para todas las organizaciones a nivel federal En este caso particular, y por tratarse sólo de indicadores sobre la percepción de la adecuación del marco legal, todas las respuestas tendrán la misma ponderación. E = Percepción del marco legal, institucional y normativo E = (E1+E2+E3+E4)/4*10 69 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 4.4.5. Demanda potencial Los gobiernos y las iniciativas de gobierno electrónico no se encuentran en el vacío, sino que operan en contextos sociales, económicos y políticos concretos. Un elemento contextual importante, reflejado en 8 de los 22 modelos explorados es la demanda potencial por servicios de gobierno digital. Esta demanda no sólo empuja el desarrollo de gobierno electrónico, sino que actúa como un determinante del impacto de los servicios. Esto es, las expectativas que los ciudadanos, las empresas y otros grupos de interés tienen sobre el gobierno electrónico y sus aplicaciones específicas tienen un impacto en las decisiones sobre el uso de tecnologías de información y comunicación, así como en los criterios utilizados para evaluar los resultados de estas iniciativas. Más aún, el alcance potencial de los servicios en términos de los ciudadanos que pueden accesarlos determina el impacto de los mismos. El primero de estos dos componentes puede es evaluado en algunos de los modelos revisados en base a encuestas a los ciudadanos o empresas (ACS y EUROSTAT, por ejemplo). El segundo componente se refiere a la penetración, uso y potencial de crecimiento de las tecnologías de información y comunicaciones en países, y se mide en algunos reportes a través del acceso a TIC por parte de los ciudadanos. Dado que no contamos con esfuerzos sistemáticos de evaluación a través de encuestas ciudadanas (existen esfuerzos aislados como el de la Asociación Mexicana de Internet), los indicadores seleccionados para esta variable se enfocan principalmente en el acceso a las TIC por parte de los ciudadanos. Los indicadores seleccionados serán pre-llenados en el cuestionario dirigido a los coordinadores de gobierno electrónico a nivel nacional en base a fuentes secundarias como la UNESCO, el Banco Mundial (BM) y la Unión Internacional de Telecomunicaciones (UIT). Los valores, que se obtendrán en forma de porcentajes, se agregan para crear un índice en una escala de 100 puntos. Los indicadores seleccionados se muestran a continuación, y fueron escogidos dada su disponibilidad y los avances logrados en la institucionalización de su recolección por parte de la Organización de las Naciones Unidas (PARTNER). F1. Líneas telefónicas por cada 100 habitantes (Fuente: UIT) F2. Abonados a telefonía celular móvil por cada 100 habitantes (Fuente: UIT) F3. Número de computadoras por cada 100 habitantes (Fuente: UIT) F4. Abonados a Internet por cada 100 habitantes (Fuente: UIT) F5. Porcentaje de abonados a Internet banda ancha del total de abonados a Internet (Fuente: UIT) F6. Usuarios de computadora por cada 100 habitantes (Fuente: Agencia de estadística del país) F7. Usuarios de Internet por cada 100 habitantes (Fuente: UIT) F8. Porcentaje de empresas que utilizan computadoras (Fuente: Agencia de estadística del país) F9. Porcentaje de empresas que utilizan Internet (Fuente: Agencia de estadística del país) F10. Porcentaje de adultos alfabetizados (Fuente: UNESCO) F11. Porcentaje de participación en la educación terciaria (población Inscrita/población total*100) (Fuente: UNESCO) F12. Tarifas de acceso a Internet (20 horas mensuales), como porcentaje del ingreso per cápita (Fuente: UIT) F13. Ingreso per cápita, en dólares de EEUU (Fuente: BM) F14. Población total (Fuente: BM) 70 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Los datos se enviarán para verificación o actualización por parte de los coordinadores nacionales de gobierno electrónico en los países. Los indicadores se agrupan en 4 sub-variables a las que se da la misma ponderación. F = ¼ Penetración de ICT en individuos + ¼ Uso de computadoras e Internet por individuos + ¼ Penetración de computadoras e Internet en empresas + ¼ Potencial de crecimiento de base de usuarios F= ¼ (F1+F2+F3+F4+F5)/5 + ¼(F6+F7)/2 + ¼ (F8+F9)/2 + ¼(F10+F11+F12)/3 4.4.6. Calidad de la información disponible en los sitios y sistemas Esta variable es la primera que se incluye en la dimensión de características del gobierno electrónico. Como todas las variables en la dimensión, está orientada a medir niveles de funcionalidad o características técnicas de los sistemas. En este caso, se refiere a la característica técnica de la calidad de información disponible en forma electrónica tanto en las páginas de Internet del gobierno como en sus sistemas de información. Esta variable está relacionada con la que se llama “Calidad de la Información y Datos Existentes”. La calidad de la información y los datos existentes se refiere a la información y los datos disponibles para alimentar los sistemas, y por ello se clasifica como un determinante, y esta variable a los datos de salida de los sistemas, y por tanto se clasifica como una característica de los sistemas de gobierno electrónico. Dada la facilidad para observarlas, se incluyeron como indicadores de esta variable características técnicas de los sitios de Internet (G1 a G10). Es cierto que otras características de calidad de datos son más importantes que la selección de indicadores de las páginas de Internet como podría ser la exactitud de los datos de un expediente médico electrónico. Este tipo de datos no fueron incluidos dado que es difícil contar con indicadores objetivos asociados con estos datos. No obstante, se incluyeron indicadores subjetivos, los que serán valorados en una escala de 10 puntos por los responsables de informática de cada unidad de análisis. G1. La página contiene título G2. La página contiene datos del autor G3. La página contiene una descripción G4. La página contiene palabras clave G5. Número de vínculos rotos G6. Número de anclas rotas G7. Número de faltas de ortografía G8. Número de elementos sin texto alternativo G9. Número de elementos sin altura y ancho G10. Número de alertas al acceder la página G11. Existe información sobre las dependencias gubernamentales, sus procesos y servicios en sus sitios en Internet (o sistemas) G12. La información necesaria para crear sitios y sistemas está completa G13. La información necesaria para crear sitios y sistemas está libre de errores G14. La información necesaria para crear sitios y sistemas se puede obtener en el momento que se requiere G15. La información existente en los sitios/sistemas está actualizada 71 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Los primeros 10 indicadores formarán parte de una forma de observación de portales de gobierno, y la mayor parte de ellos puede ser evaluada de forma automática y gratuita por el servicio WebXact. Los primeros 4 indicadores tomarán los valores de 1 ó 0, dependiendo si la característica existe o no respectivamente. Como los valores serán recogidos de las 5 páginas más representativas de cada poder o ministerio en base al juicio del responsable de informática, la situación de los portales puede agregarse como una proporción de los sitios que tienen la característica de acuerdo a la siguiente fórmula. Del G1 al G4 = Σ Gj / n14 Donde n representa el número de portales observados Los indicadores del G5 al G10 representan conteos automáticos también arrojados por WebXact. En este caso, los valores de cada página representan número de defectos, los que se propone normalizar utilizando los valores máximos y mínimos observados para el total de páginas monitoreadas, de acuerdo con la siguiente fórmula. El número normalizado se resta de 1 por tratarse de conteos de defectos, invirtiendo los resultados de modo que el número mayor represente la mejor situación. Del G5 al G10 = 1- (Σ Gj – Σ Gmin)/(Σ Gmax – Σ Gmin)15 Los resultados serán entonces agregados dando una mayor ponderación a los indicadores de la percepción de la calidad de la información, de acuerdo con las siguientes fórmulas. G = ¼ Indicadores WebXact + ¾ Percepción de calidad de la información en los sitios y sistemas G = ¼ (G1 +G2 +G3 +G4 +G5 +G6 +G7 +G8 +G9 +G10)/10 *100 + ¾ (G11+ G12+ G13+ G14+ G15)/5*10 4.4.7. Servicios Una característica más de los sistemas de gobierno electrónico se enfoca en el nivel de desarrollo de servicios en línea en cada una de las unidades de análisis, en combinación con una muestra de servicios generales que serán los mismos para todos los países. De este modo, los primeros 5 indicadores serán incluidos como preguntas para cada uno de los responsables de informática en las unidades de análisis, mientras que los indicadores 6 al 20 sólo serán incluidos en el cuestionario para el coordinador nacional de gobierno electrónico. Esta variable es relevante dado que es un indicador de la oferta de servicios a través de Internet. Aunque es cierto que esta oferta de servicios puede ofrecerse a través de otros canales como números de atención telefónica o kioscos de servicios al ciudadano, el tenerlos disponibles en Internet facilita la apertura de estos otros canales de distribución. De hecho, los kioscos de servicio en México están equipados con computadoras conectadas a Internet, y los empleados de ventanilla sirven como intermediarios entre el ciudadano y el sistema. El índice de la variable tomará valores en una escala de 100 puntos, compuestos en base a documentos y procesos en línea de cada unidad de observación (H1 a H5), así como una evaluación del nivel de desarrollo de un conjunto de servicios a ciudadanos y empresas evaluados con una escala de 7 puntos (H6 a H20). La escala de 7 puntos propuesta es la siguiente: 14 15 En esta fórmula, al igual que en todas las fórmulas que incluyen un subíndice, el subíndice representa los números de indicador a los que se puede aplicar la fórmula. En este caso particular, por ejemplo, el subíndice puede tomar los valores 1, 2, 3 y 4. En esta fórmula, el subíndice j se interpreta de la misma forma que en el caso anterior, y los subíndices min y max se asocian a los valores máximo y mínimo en cada indicador. Esta regla se aplica a todas las fórmulas conteniendo estos subíndices. 72 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 1. No existe el servicio 2. El servicio existe pero sólo de puede llevar a cabo en una oficina gubernamental 3. Se puede obtener información sobre los pasos a seguir para obtener el servicio por teléfono, fax, correo electrónico o Internet 4. Algunos procesos del servicio (ej., obtener formatos o información sobre el trámite) se pueden llevar a cabo por teléfono, fax, correo electrónico o Internet 5. El servicio se puede completar vía teléfono, fax, correo electrónico o Internet con excepción del pago 6. El servicio se puede llevar a cabo en su totalidad vía teléfono, fax, correo electrónico o Internet de la dependencia (incluyendo el pago) 7. El proceso del servicio se encuentra a un nivel de estandarización tal que puede ser ofrecido en su totalidad (incluyendo el pago) de forma indistinta a través de cualquier canal en línea o fuera de línea, especialmente a través de “ventanillas únicas” como kioscos o portales de gobierno. H1. Número total de servicios en el catálogo o manual de trámites en su dependencia H2. Número de procesos documentados en línea en su dependencia (toda la información necesaria está disponible en Internet) H3. Número de formatos en línea (para realizar un servicio o trámite) en su dependencia H4. Número de servicios que se pueden realizar parcialmente en línea (no necesariamente incluyendo el pago) H5. Número de servicios que se pueden realizar completamente en línea (incluyendo el pago) H6. Declaración de impuestos al ingreso H7. Búsqueda de trabajo en secretarías o ministerios del trabajo H8. Documentos personales H9. Registro de autos H10. Licencias de conducir H11. Solicitud y entrega de certificados (nacimiento, matrimonio) H12. Servicios asociados a la salud (ej. cita en hospital) H13. Contribuciones sociales de los empleados H14. Declaración de impuestos corporativa H15. Declaración de impuesto al valor agregado H16. Registro de una nueva empresa H17. Envío de datos a oficinas de estadística H18. Declaración de aduanas H19. Permisos relacionados con el medio ambiente H20. Compras/Adquisiciones públicas Los indicadores se agrupan en 3 sub-variables. La primera hace referencia a la disponibilidad servicios en las unidades de análisis. Como se observa en la fórmula, se otorga una 73 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… mayor ponderación a los servicios que pueden ser realizados parcial o totalmente en línea. La segunda sub-variable agrupa los servicios al ciudadano, y la tercera sub-variable a los servicios a las empresas. Las tres sub-variables se agregan dando a cada una de ellas la misma ponderación. Disponibilidad de servicios por dependencia = (H2/H1 + H3/H1 + 2H4/H1 + 3H5/H1)*100/7 Evaluación de servicios al ciudadano = (H6+H7+H8+H9+H10+H11+H12)*100/49 Evaluación de servicios a empresas = (H13+H14+H15+H16+H17+H18+H19+H20)*100/56 H = 1/3 Promedio de disponibilidad de servicios en las dependencias encuestadas + 1/3 Evaluación de servicios al ciudadano + 1/3 Evaluación de servicios a empresas 4.4.8. Interacción Una de las principales características a ser explicadas de las TIC modernas es la capacidad de conectar personas para interactuar unas con otras. De esta manera, la variable Interacción mide la capacidad de interacción entre usuarios y ministerios o poderes de gobierno a través de diferentes mecanismos de contacto y retroalimentación por parte del ciudadano al ministerio o poder de gobierno. Esta variable difiere de la anterior en que la variable Servicios se refiere al nivel de disponibilidad de diferentes servicios a través de medios electrónicos, y la variable Interacción contempla tanto la existencia de medios alternos de interacción así como el grado de institucionalización percibida de estos medios de interacción. La oferta de múltiples puntos de contacto es una de las características de sistemas desarrollados de uso de TIC, así como el uso de los mismos como herramientas para mejorar el servicio. Los indicadores seleccionados para su observación directa (I1 a I4) tienen nuevamente la debilidad de enfocarse en aplicaciones de Internet dada la facilidad de observarlas. Otros indicadores que fueron eliminados están asociados con la efectividad de teléfonos de soporte o efectividad de ventanillas de quejas o kioscos de servicio, que resulta más difícil observar directamente. No obstante, se trata de incluir estos elementos con los indicadores que capturan la percepción del responsable de informática de cada unidad de análisis (I6 a I10). Nuevamente, el índice de la variable tomará valores en una escala de 100 puntos. Los primeros 4 indicadores constituyen una serie valores dicótomos que serán recogidos de las páginas de Internet de las unidades de análisis a través del formato de observación (valores de 0 y 1), y el resto de los indicadores serán preguntas en el cuestionario para los responsables de informática de las unidades de análisis que serán respondidas en una escala de 10 puntos. I1. Las páginas en Internet cuentan con correos electrónicos de servidores públicos I2. Las páginas en Internet cuentan con números telefónicos de dependencias y servidores públicos I3. Los sitios en Internet cuentan con direcciones de las dependencias I4. Los sitios en Internet cuentan con foros o chats electrónicos para comunicarse con funcionarios gubernamentales I6. Un ciudadano promedio puede contactar fácilmente a funcionarios gubernamentales desde su hogar (teléfono, fax, correo electrónico, chat, foro) I7. Un ciudadano promedio puede contactar a funcionarios a través de kioscos de servicio I8. Se realizan encuestas de satisfacción sobre la calidad de los servicios entre ciudadanos y/o usuarios internos 74 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… I9. Se recopilan sistemáticamente quejas y sugerencias de los ciudadanos y/o usuarios internos I10. Se atienden y se da respuesta a quejas y sugerencias de los ciudadanos y/o usuarios internos Dado que se observarán 5 páginas representativas para cada poder o ministerio, los primeros 4 indicadores se agregarán inicialmente como una proporción de las páginas que cuentan con la característica. Del I1 al I4 = Σ Ij / n Donde n representa el número de portales observados Posteriormente, los indicadores son agrupados en 3 sub-variables a las que se da la misma ponderación. No obstante, cabe hacer notar que los indicadores de percepción tienen nuevamente una mayor ponderación, dado que tanto los puntos de contacto como las formas de retroalimentación están constituidos principalmente por indicadores preceptúales. I = 1/3 Formas de interacción + 1/3 Puntos de contacto + 1/3 Formas de retroalimentación I = 1/3 ((I1+I2+I3+I4)/4*100) + 1/3 ((I6+I7)/2*10 + 1/3 (I8+I9+I10)/3*10) 4.4.9. Integración Al describir la evolución de las aplicaciones de gobierno electrónico, tanto la literatura académica como los modelos de medición revisados incluyen descripciones en base a etapas o estadios de desarrollo (ver por ejemplo el modelo de [UNPAN]). El nivel más alto de desarrollo de las aplicaciones de gobierno en estos modelos implica la integración o convergencia de los sistemas a través de las fronteras de los ministerios o poderes. De acuerdo con [GANT] esta característica de integración en el back-office facilita la oferta de servicios integrados y el desarrollo de portales de Internet más sofisticados. Más aún, la integración también facilita la entrega de servicios a través de múltiples canales como kioscos de servicio o teléfonos móviles. Así, esta variable está orientada a medir el nivel de integración vertical y horizontal que se tiene entre diferentes ministerios, poderes y niveles de gobierno. Como gran parte de este proceso es invisible para el ciudadano (de hecho el propósito es que así sea), la alternativa seleccionada para crear el índice de esta variable consistió en seleccionar indicadores que midieran la percepción de integración de los sistemas por parte de los responsables de informática en cada una de las unidades de análisis. Al igual que otras variables, el índice asociado a ésta toma valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos. Los indicadores incluidos se enlistan a continuación. J1. Contamos con portales en Internet o sistemas que ofrecen información y servicios de dependencias de distintos niveles de gobierno (nacional, estatal o local) sobre un mismo tópico (educación, salud, migración, etc.) pero no necesariamente con una forma única de pago J2. Participamos en portales en Internet o sistemas que ofrecen información y servicios de diferentes dependencias del nivel federal sobre diferentes tópicos (educación, salud, migración, etc.) pero no necesariamente con una forma única de pago J3. Participamos en portales en Internet o sistemas que ofrecen un carrito de compras único al que se pueden agregar servicios de múltiples dependencias de gobierno J4. Contamos con bases de datos integradas sobre las operaciones de la dependencia o poder de gobierno (a través de un GRP, por ejemplo) J5. Contamos con almacenes de datos (datawarehouses o datamarts) que integran información interna y externa para apoyar la toma de decisiones 75 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… La forma de agregar el índice se presenta en la siguiente fórmula que da el mismo peso a cada una de las preguntas. J = Percepción sobre la integración de información en portales y sistemas J = (J1+J2+J3+J4+J5) /5*10 4.4.10. Personalización Las últimas 5 variables en esta dimensión, representan características técnicas facilitadas y/o requeridas por las aplicaciones modernas de TIC. Estas 5 características son mencionadas de forma continua en la literatura, e incluidas en los modelos de medición revisados (ver por ejemplo [ACCENT], [GANT], [BROWN], [MISJOHN], [CHOUD] y [STOWERS]). Así, consideramos que un modelo de medición integral debe considerar estas características técnicas que reflejan el uso de buenas prácticas en el desarrollo de soluciones de gobierno electrónico. Aunque estas características técnicas de los sistemas de calidad son deseables para cualquier solución tecnológica, no resulta fácil observarlas en el caso de los sistemas internos. Así, 4 de los modelos que incluyen estas variables realizan observaciones de portales de Internet, en ocasiones apoyadas por herramientas automáticas de evaluación como WebXact ([GANT], [BROWN], [MISJOHN] y [CHOUD]). El modelo de [ACCENTURE] trata de abarcar los diversos sistemas a través del uso de una encuesta de opinión. Así, nosotros proponemos que se incluyan estas variables combinando ambos enfoques. La observación directa a los portales, complementada con preguntas de opinión para los responsables de informática de los poderes y ministerios incluidos en el estudio. En el caso concreto de la variable de Personalización, esta se refiere al grado en el que los sistemas y sitios de Internet de ministerios o poderes de gobierno ofrecen un trato personalizado a los usuarios en base a mecanismos manuales o automáticos. Manualmente, los visitantes a los sitios o usuarios de los sistemas seleccionan los temas que les son relevantes o crean alertas que les permiten mantenerse actualizados en cambios en los temas que les interesan como en las formas de obtener una cita con el médico o los cambios en las leyes de impuestos. Automáticamente, los sistemas y sitios responden a las acciones de los usuarios usando herramientas tecnológicas como filtros colaborativos y agentes inteligentes. Como se ha mencionado, el índice de esta variable se construirá en una escala de 100 puntos, compuestos en base a una serie de indicadores dicótomos (0 ó 1) que serán recogidos de las páginas de Internet de las unidades de análisis (K1 a K4) y preguntas que serán respondidas en una escala de 10 puntos (K5 a K8). K1. Se puede seleccionar los elementos a ser incluidos en la pantalla de la página K2. Se pueden cambiar los colores de la página K3. La página recuerda los cambios (personalización) efectuados por el usuario K4. La página cuenta con categorías de usuarios y presenta la información de forma personalizada para cada categoría K5. Nuestros sitios/sistemas recuerdan al usuario que los visitó con anterioridad K6. Nuestros sitios/sistemas permiten personalizar la vista y organización por parte del usuario K7. Nuestros sitios/sistemas cuentan con secciones de usuarios registrados K8. Nuestros sitios/sistemas reaccionan dinámicamente a la conducta del usuario usando tecnologías como por ejemplo filtros colaborativos 76 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… El índice se construye de acuerdo a la siguiente fórmula, que otorga una mayor ponderación a los elementos perceptuales sobre las observaciones de los portales, ya que se considera que las percepciones proveen información más significativa que las observaciones en los portales de Internet. K = ¼ Personalización en las páginas en Internet + ¾ Percepción sobre el Nivel de Personalización ofrecido por Portales y Sistemas K = ¼ ((K1+K2+K3+K4)/4*100) + ¾(K5+K6+K7+K8)/4*10 Al igual que con otras variables, las observaciones de los portales de Internet de cada unidad de análisis se agregan como la proporción de páginas observadas que cumplen con la característica. Del K1 al K4 = Σ Kj / n Donde n representa el número de portales observados 4.4.11. Seguridad Seguridad es la segunda característica técnica de los sitios y sistemas de gobierno electrónico. Aunque la seguridad de los sistemas siempre ha sido importante, el advenimiento del Internet ha multiplicado las oportunidades para atacar sitios y sistemas de cualquier tipo. Así, esta variable mide el grado en el que dependencias, poderes y servicios de gobierno cuentan con políticas y mecanismos para asegurar el desarrollo de transacciones seguras. Más aún, el desarrollo de aplicaciones de gobierno electrónico requiere de la existencia de mecanismos de seguridad para proteger y resguardar la información de cualquier otra aplicación. De manera semejante a la característica anterior, se incluyen como indicadores algunas preguntas (en una escala de 10 puntos) que evalúan la percepción sobre la seguridad de los sistemas del encargado de informática de cada unidad de análisis (L1 al L5), y observaciones de los sitios de Internet de cada ministerio o poder incluido en el estudio (L7 y L8). Adicionalmente, se pregunta al responsable de informática como otro indicador el número de incidentes de seguridad en los últimos 12 meses (L6). Al igual que otras variables, los indicadores se agregan en un índice en una escala de 100 puntos. Los indicadores se enlistan a continuación. L1. Existe una política de seguridad informática para nuestra dependencia L2. Existen procedimientos y protocolos de seguridad informática en la dependencia, los que incluyen –por ejemplo—protocolos sobre “passwords” o seguridad física de los equipos L3. Realizamos evaluaciones sistemáticas de nuestras vulnerabilidades en lo concerniente a la seguridad informática L4. Las políticas y procedimientos de seguridad de datos corresponden con la naturaleza de la información y las necesidades de confidencialidad L5. Empleamos revisiones formales que evalúan la conformidad con las políticas de seguridad L6. Mencione el número de incidentes de seguridad en su dependencia durante los últimos 12 meses (virus, robo de equipo, ataques al sistema, DoS, fraude, sabotaje, etc) L7. La página cuenta con transacciones L8. La página cuenta con transacciones seguras Como se sugiere en párrafos anteriores, los indicadores se agrupan en 3 sub-variables: la percepción sobre la seguridad, los incidentes de seguridad y las transacciones seguras en las 77 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… páginas de Internet. Como se muestra en la fórmula se da mayor ponderación a las percepciones de los directores de informática que a los incidentes de seguridad y a la proporción de transacciones seguras, como se ha hecho en otras variables. L = ½ Percepción sobre la Seguridad Informática en la Organización + ¼(Incidentes de Seguridad) * 100 + ¼(Proporción de transacciones seguras) *100 Los incidentes de seguridad se normalizan utilizando los valores máximo y mínimo reportados en la muestra. El resultado se resta de 1 para que los números mayores representen las mejores condiciones de seguridad. L6 = 1- (Σ Lj – Σ Lmin)/(Σ Lmax – Σ Lmin) Los indicadores L7 y L8 son valores dicótomos (0 ó 1) que representan la existencia de transacciones y de transacciones seguras en los sitios observados. Antes de ser incorporados en la fórmula, se suman los valores para cada unidad de análisis como se muestra a continuación. L7 y L8 = Σ Lj Finalmente, la fórmula para agregar los indicadores es la siguiente. L = ½ (L1+L2+L3+L4+L5)/5*10 + ¼ (L6) * 100 + ¼ (IF(L7≠0,L8/L7,0) *100 4.4.12. Privacidad La siguiente característica importante de los sistemas de gobierno es la protección de la privacidad de los usuarios que intercambian datos con los ministerios o poderes de gobierno. Nuevamente, aunque este es un requerimiento de cualquier sistema, ya sea electrónico o no, los procesos de integración de bases de datos facilitados por el Internet, y la realización de transacciones electrónicas crean nuevos riesgos a la privacidad de los usuarios que necesitan ser abordados por los diseñadores de aplicaciones. Así, esta variable mide la existencia de políticas para asegurar la privacidad de la información de los usuarios que interactúan con el gobierno. Esta característica puede entrar en conflicto con el principio de garantizar acceso a información. No obstante, el gobierno debe reflexionar entre estos dos valores, de modo que se proteja la información de los usuarios de sus servicios y de los ciudadanos en general. Siguiendo el patrón de este último bloque de 5 características, se incluyen como indicadores preguntas (en una escala de 10 puntos) que evalúan la percepción sobre la privacidad de los sistemas del encargado de informática de cada unidad de análisis (M1 al M5), y observaciones de los sitios de Internet de cada unidad de análisis (M6). Al igual que otras variables, los indicadores se agregan en un índice en una escala de 100 puntos. Los indicadores se enlistan a continuación. M1. Existe una política de privacidad para los usuarios de sitios gubernamentales y sistemas en nuestra dependencia M2. Se cuenta con un análisis minucioso de las necesidades de privacidad de datos para las aplicaciones de TI en nuestra dependencia M3. Realizamos evaluaciones sistemáticas de nuestras vulnerabilidades en lo concerniente a la privacidad M4. Los procedimientos y políticas para asegurar la privacidad de los ciudadanos son comunicadas efectivamente a todos los involucrados M5. Empleamos revisiones formales que evalúan la conformidad con las políticas de privacidad M6. La página cuenta con una política de privacidad 78 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Las observaciones de los portales se agregan como la proporción de los sitios que cuentan con una política de privacidad. M6 = Σ Mj / n Donde n representa el número de portales observados Los indicadores se agregan dando mayor peso a la percepción sobre la privacidad de los sitios y sistemas de la organización. M = ¾ Percepción sobre la privacidad de los usuarios de sitios y sistemas en la organización + ¼ Existencia de políticas de privacidad en las páginas observadas M = ¾ (M1+M2+M3+M4+M5)/5*10 + ¼ (M6)*100 4.4.13. Accesibilidad Esta es la cuarta característica técnica que se recomienda considerar al evaluar la calidad de las aplicaciones de las TIC modernas en soluciones de gobierno que proponemos se incluya como parte del modelo. Esta característica se concentra en aplicaciones de gobierno electrónico en sitios Web, y normalmente mide la facilidad de acceso a los servicios, así como el nivel de conformidad con lineamientos de diseño para garantizar la accesibilidad sugeridos por el Consorcio del World Wide Web (W3C). La característica es importante dado el impacto de las aplicaciones está asociado con la facilidad de acceso por parte de los usuarios, individuales y corporativos. Al igual que las otras 5 variables en este bloque de características, se sugiere considerar indicadores perceptuales (N1 a N3) y observaciones de los sitios de Internet sugeridos por los responsables de informática en cada una de las unidades de análisis (N4 a N9). El índice asociado a la variable toma valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos y conteos de errores en base a las recomendaciones prioridad 1, 2 y 3 del W3C. El conteo de errores se realizará de forma automática utilizando la herramienta gratuita WebXact. Los indicadores propuestos se relacionan a continuación. N1. La información y servicios en los sitios Web o sistemas son accesibles para personas con alguna discapacidad N2. Realizamos evaluaciones de accesibilidad entre los usuarios de los sitios Web de forma sistemática N3. Evaluamos sistemáticamente el cumplimiento de las recomendaciones del W3C para facilitar acceso a personas con capacidades diferenciadas (discapacitados) en nuestros sitios N4. Número de errores Prioridad 1 N5. Número de ocurrencias de errores Prioridad 1 N6. Número de errores Prioridad 2 N7. Número de ocurrencias de errores Prioridad 2 N8. Número de errores Prioridad 3 N9. Número de ocurrencias de errores Prioridad 3 Al igual que en otras variables, se otorga un mayor peso a los indicadores preceptúales por considerarlos más significativos que la evaluación de los portales. N = ½ Percepción sobre la accesibilidad de los sistemas + ½ Promedio normalizado errores detectados por WebXact en los sitios mencionados 79 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Como se observa en la fórmula, se da mayor ponderación a los errores de prioridad 1, seguidos de los errores de prioridad 2 y prioridad 1. Las prioridades están definidas como estándares por el consorcio de la World Wide Web. N= ¾ (N1+N2+N3)/3*10 + ¼(3*N4*N5+2*N6*N7+N8*N9)/6 * 100 Los productos de los errores observados en las páginas serán normalizados utilizando los valores máximos y mínimos obtenidos en la muestra de sitios observados. Dado que los productos representan errores, se restan de 1 para hacer que los mejores sitios tengan los valores más altos. N4*N5, N6*N7 ó N8*N9 = 1- (Σ (N4*N5)j – Σ(N4*N5)min)/(Σ (N4*N5)max – Σ(N4*N5)min) Los valores de los productos obtenidos para cada portal se promedian utilizando la media aritmética para obtener el puntaje de cada unidad de análisis. 4.4.14. Usabilidad y utilidad La usabilidad y utilidad de los sitios y sistemas es la última característica técnica incluida en el modelo. Usabilidad se refiere a la facilidad de uso de los sitios y sistemas, mientras que utilidad se refiere a que los usuarios encuentren útiles estos sistemas. La investigación ha mostrado que la usabilidad y utilidad de los sistemas son factores que influyen en la adopción de los mismos. Aunque la mejor medida de usabilidad y utilidad es la opinión de los usuarios, decidimos utilizar la percepción de los responsables de informática por la dificultad y costos involucrados en la recolección de datos de los usuarios. Reconociendo esta debilidad de los indicadores, se incluyeron, además de los indicadores que evalúan la percepción de usabilidad y utilidad de los sitios y sistemas (O1 a O4), indicadores orientados a verificar si la evaluación de usabilidad y utilidad se encuentra institucionalizada en los poderes o ministerios incluidos en la muestra (O6 y =7). El índice asociado a esta variable toma valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos. Los indicadores se enlistan a continuación. O1. Los sitios en Internet o sistemas son fáciles de usar para cualquier persona O2. Los sitios en Internet o sistemas son usados ampliamente O3. Para los usuarios es fácil buscar información en los sitios en Internet y/o sistemas O4. Los sitios en Internet o sistemas son útiles para los usuarios O5. Realizamos evaluaciones de usabilidad y utilidad entre los usuarios de los sitios en Internet y/o sistemas de forma sistemática O6. Realizamos evaluaciones de usabilidad y utilidad entre los usuarios de los sitios en Internet y/o sistemas al menos una vez al año Como se sugirió en párrafos anteriores, los indicadores se agrupan en 2 sub-variables a las que se asigna el mismo peso. O = ½ Percepción sobre el nivel de usabilidad y utilidad de portales y sistemas + ½ Realización de evaluaciones de usabilidad y utilidad O= ½ (O1+O2+O3+O4)/4*10 + ½(O5+O6)/2*10 4.4.15. Estadísticas de uso de los sistemas Las últimas 7 variables del modelo pertenecen a la dimensión de resultados y están orientadas a medir los impactos y beneficios esperados de las aplicaciones de gobierno electrónico como se 80 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… describió en la sección 2 del documento. Esta primera variable perteneciente a la dimensión se refiere únicamente al nivel de uso y adopción de los sistemas y servicios de gobierno, entendidos como el nivel de actividad de los mismos. Modelos integrales como [STOWERS] o [DESEM] consideran estas medidas de actividad como resultados intermedios. Esto es, para poder capitalizar los beneficios sociales de las aplicaciones, su uso es una condición necesaria, aunque no suficiente. La variable es reconocida como importante también en modelos desarrollados en entidades de gobierno de la región de América Latina (ver [CHILE] y [BRASIL]). Así, esta variable mide el nivel de uso y actividad de los sitios y servicios de gobierno. Una de las principales debilidades de los indicadores seleccionados es su énfasis en las aplicaciones de Internet, dejando de lado el nivel de uso de sistemas internos de gobierno que también debería ser observado. Se incluyen sólo estadísticas de uso de los sitios de Internet por considerarse que es más probable que el encargado de informática de las unidades de análisis tenga acceso a estas estadísticas de uso, que a las estadísticas de uso de los sistemas internos. El índice asociado con esta variable se agregará tomando valores en una escala de 100 puntos, compuestos en base a estadísticas de uso que serán solicitadas a los responsables de informática de cada unidad de análisis. Los indicadores se relacionan a continuación. P1. Número total de sesiones de usuarios en los últimos 3 meses P2. Número de páginas en su sitio de Internet visitadas en los últimos 3 meses P3. Total de páginas disponibles en su sitio en Internet P4. Número total de documentos o formatos descargados en los últimos 3 meses P5. Número de trámites o transacciones realizadas en su sitio durante los últimos 3 meses Cada uno de los indicadores se normaliza utilizando el número de usuarios de Internet en el país. F7 y F14 representan el número de usuarios de Internet por cada 100 habitantes y la población total respectivamente. Del P1 al P5 = Pi /(F7/100*F14) Posteriormente, todos los indicadores de la variable se agrupan utilizando la media aritmética. P= Promedio normalizado de uso P= (P1+P2+P3+P4+P5)/5 *100 4.4.16. Calidad de los servicios públicos Como se mencionó en la sección 2 del documento, uno de los principales resultados potenciales del gobierno electrónico que se ha identificado en estudios previos es el mejoramiento de la calidad en los servicios públicos. Esto no sólo se refiere a la conveniencia de tener acceso a información y servicios gubernamentales 24 horas del día los 7 días de la semana, sino también al mejoramiento substancial de los productos, procesos y atención a los ciudadanos. Esta variable entonces mide la calidad de los servicios ofrecidos. Aunque los mejores indicadores asociados a esta variable se obtendrían a través de una encuesta de satisfacción ciudadana, nuevamente usamos las percepciones de los responsables de informática dado el costo y esfuerzo que implica la encuesta para este primer esfuerzo. No obstante, tratamos de cubrir esta limitante incluyendo preguntas a los mismos responsables de informática relativas a acreditación de procesos y a la recepción de premios o reconocimientos por la entrega de servicios electrónicos de gobierno. Los indicadores que se muestran a continuación están agrupados en tres sub-variables. La primera es la percepción de la calidad del servicio (Q1 a Q5 con valores en una escala de 10 puntos). La segunda incluye el número de procesos certificados por ISO u otra agencia 81 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… certificadora de calidad (Q6), y finalmente se incluyen indicadores relacionados con premios obtenidos por entrega de servicios de gobierno (Q7 y Q8). Todas las preguntas serán incluidas en el cuestionario a los encargados de informática de cada una de las unidades de análisis. Q1. Los servicios o transacciones que están disponibles en el sistema responden a las necesidades y solicitudes ciudadanas Q2. La calidad de los servicios o transacciones que están disponibles en el sistema es igual o mejor que la calidad del mismo servicio o transacción llevada a cabo sin usar el sistema Q3. Los usuarios están muy satisfechos con los servicios o transacciones disponibles en el sistema Q4. Realizamos de forma sistemática encuestas de satisfacción sobre la calidad de los servicios que ofrecemos Q5. Usamos de forma sistemática las estadísticas de uso del sistema para mejorar la calidad de los servicios que ofrecemos Q6. Número de servicios y procesos certificados por ISO u otra agencia acreditadora de calidad Q7. Número de premios o reconocimientos de calidad otorgados por agencias en su país a los servicios que ofrece su dependencia o poder gubernamental Q8. Número de premios o reconocimientos de calidad otorgados por agencias internacionales a los servicios que ofrece su dependencia o poder gubernamental Como en otras variables, se otorga mayor ponderación al componente perceptual. Q= ½ Percepción de calidad de los servicios + ¼ Certificaciones + ¼ Premios y reconocimientos Q = ½ (Q1+Q2+Q3+Q4+Q5)/5*10 + ¼ Q6 + ¼ (Q7+Q8)/2 *100 Antes de ser agregadas en el índice, las respuestas a las preguntas Q6, Q7 y Q8 se normalizan utilizando los valores máximos y mínimos recogidos en la muestra. Del Q6 al Q8 = (Qj – Qmin)/(Qmax – Qmin) 4.4.17. Eficiencia y productividad Como se menciona también en la sección 2 del documento, las labores gubernamentales son muy diversas y los recursos siempre son escasos. Una de las promesas del gobierno electrónico es elevar la productividad de las organizaciones públicas y eficientar los procesos y acciones desarrolladas por entidades gubernamentales. Para algunos estudiosos estos resultados están ligados a transformaciones estructurales y cambios substanciales en los procesos que actualmente son utilizados. Sin embargo, algunos estudios han encontrado que la introducción de tecnologías de información tiene efectos directos en el desempeño o productividad, pero no necesariamente en las estructuras organizacionales. Así, esta variable está orientada a capturar ahorros en costos y tiempos de procesamiento que promueven un gobierno más eficiente y productivo. Los indicadores incluidos en esta variable incluyen 3 sub-variables. La primera se relaciona con los ahorros obtenidos como una proporción de la inversión en TIC en cada unidad de análisis (R7). La segunda considera la percepción del responsable de informática sobre los ahorros y eficiencias logradas a través del uso de las TIC (R1 a R3), y la última sub-variable agrega la percepción de los efectos de las TIC en la productividad y la creación de valor (R4 a R6). Los indicadores enlistados a continuación serán incluidos en el cuestionario para el responsable de tecnologías de cada poder o ministerio en la muestra. Como en el resto de 82 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… variables, los indicadores R1 al R6 obtendrán valores en una escala de 10 puntos, y el valor R7 el valor real o estimado de los ahorros expresado en dólares americanos. R1. El uso de tecnologías de información y comunicación ha permitido que nuestra dependencia sea más eficiente en el manejo de recursos R2. Hemos ahorrado tiempo de personal al incorporar el uso de tecnologías de información y comunicaciones R3. Hemos ahorrado dinero al facilitar acceso a información y servicios por medio de las tecnologías de información y comunicaciones R4. El uso de tecnologías de información y comunicación ha permitido que nuestra dependencia sea más productiva en sus actividades R5. El uso de tecnologías de información y comunicaciones nos ha ayudado a mejorar los procesos y servicios de creación de valor en nuestra dependencia R6. Tenemos indicadores claros para monitorear la mejora de procesos y servicios de creación de valor R7. Ahorro estimado en el último año derivado del uso de tecnologías de información en su dependencia, expresado en dólares estadounidenses Como se observa en la fórmula, se otorga mayor ponderación a los componentes preceptúales, aunque existe un balance entre indicadores de ahorro y de productividad y creación de valor. El indicador D1 representa el presupuesto del área de informática para el ministerio o poder que contesta la encuesta, expresado también en dólares americanos. R = ¼ Ahorro sobre la inversión + ¼ Percepción sobre eficiencia y ahorros + ½ Productividad y creación de valor R = ¼ (R7/D1) *100 + ¼(R1+R2+R3)/3 *10 + ½(R4+R5+R6)/3 *10 Antes de ser incluidos en el índice, los valores de ahorro sobre la inversión son normalizados en términos de los valores máximo y mínimo encontrados en la muestra. R7/D1= ((R7/D1)j – (R7/D1)min)/((R7/D1)max – (R7/D1)min) 4.4.18. Eficacia de programas y políticas Como se mencionó en la sección 2 del documento, mejorar la calidad de los servicios o eficientar las operaciones gubernamentales pueden ser también considerados resultados intermedios, dado que los objetivos más importantes del gobierno electrónico tienen que ver con lograr políticas públicas y programas gubernamentales más eficaces. Este resultado es tal vez uno de los más importantes y al mismo tiempo uno de los más difíciles de medir, pues presupone la existencia de buenos indicadores de desempeño para la política o programa objetivo (Ej., salud, educación, desarrollo económico, etc.). De este modo, esta variable esta orientada a medir la efectividad del uso de las TIC para la mejora en eficacia de los programas de gobierno. La variable combina indicadores que capturan la percepción de los funcionarios, particularmente el encargado de informática en los ministerios y poderes seleccionados, combinándolo con indicadores nacionales de salud, educación, economía e innovación obtenidos de fuentes secundarias, y que serán enviados al coordinador nacional de gobierno electrónico para su revisión pre-llenados en el cuestionario. El índice asociado a la variable tomará valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos (S1 a S4), e indicadores de 83 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… economía (S5), educación (S6 y S7) y salud (S8 y S9). Los indicadores se enlistan a continuación, mencionando la fuente para aquéllos indicadores que se tomen de fuentes secundarias. S1. El uso de tecnologías de información y comunicación ha permitido que los programas y políticas de nuestra dependencia sean más eficaces S2. El uso de tecnologías de información y comunicación ha permitido que nuestra dependencia cumpla de mejor manera con las metas planteadas S3. El uso de tecnologías de información y comunicaciones ha ampliado la cobertura de nuestros programas y políticas S4. El uso de tecnologías de información y comunicaciones nos ha permitido llegar de forma más eficaz a nuestra población objetivo S5. Índice de crecimiento de competitividad del país (Fuente: World Economic Forum) S6. Eficiencia terminal de educación básica (Fuente: UNESCO) S7. Porcentaje de egresados de educación básica que ingresan en educación secundaria (Fuente: UNESCO) S8. Esperanza de vida sana al nacer en hombres (Fuente: Organización Mundial de la Salud) S9. Esperanza de vida sana al nacer en mujeres (Fuente: Organización Mundial de la Salud) Al igual que en otras variables, los indicadores son agrupados en las 4 sub-variables que se sugieren en párrafos anteriores. De forma consistente con la decisión que se ha tomado en otras variables, se da mayor ponderación al componente perceptual. Encuesta a responsables de TIC dependencias de gobierno federal. S = ¾ Percepción del efecto de las TIC en la efectividad de programas y políticas + ¼ ((Economía e innovación) + (Educación) + (Salud))/3 La variable S5 toma valores entre 1 y 10, las variables S6 y S7 toman valores entre 0 y 100. S = ¾ (S1+S2+S3+S4)/4*10 + ¼(S5)*10 + (S6+S7)/2 + (S8+S9)/2*100)/3 Dado que las variables S8 y S9 toman valores en años, éstas se normalizarán utilizando los valores máximo y mínimo en la muestra observada como se muestra a continuación. S8 y S9 = (Sj – Smin)/(Smax – Smin) 4.4.19. Transparencia y rendición de cuentas Uno de los resultados esperados especialmente interesante para países con problemas de corrupción, es que las tecnologías de información y comunicación pueden fomentar y facilitar la transparencia de las labores gubernamentales y los procesos de rendición de cuentas. Como se mencionó en la sección 2, el acceso y disponibilidad de información relevante sobre finanzas, recursos humanos y otros temas que hasta hace algunos años eran sólo accesibles para un grupo de actores sociales, tiene el potencial de transformar radicalmente las relaciones entre el aparato administrativo del gobierno, los ciudadanos y sus representantes políticos. De este modo, se espera que el gobierno electrónico promueva la transparencia y los procesos de rendición de cuentas. Así, esta variable mide el grado de transparencia y rendición de cuentas como resultado del uso de las TIC. Los indicadores seleccionados para esta variable son nuevamente una combinación de indicadores secundarios obtenidos de Transparencia Internacional (T1 que toma valores de 1 a 10, donde 10 significa menor corrupción), y preguntas que serán respondidas por los encargados de 84 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… informática en las unidades de análisis seleccionadas en una escala de 10 puntos (T2 a T4). Los indicadores se enlistan a continuación. T1. Índice de corrupción (Fuente: Transparencia Internacional) T2. El uso de las tecnologías de información y comunicación ha incrementado la transparencia del gobierno T3. El uso de las tecnologías de información y comunicación ha incrementado la confianza de los ciudadanos en el gobierno T4. El uso de las tecnologías de información y comunicación ha incrementado la rendición de cuentas del gobierno El índice de corrupción publicado por transparencia internacional constituye una de las sub-variables de esta variable. La otra es un agregado de las preguntas contestadas por los responsables de informática que contestarán la encuesta. La fórmula para obtener el índice se presenta a continuación. Nuevamente damos mayor ponderación a la sub-variable que captura la percepción de los responsables de informática. T = ¼ Índice de Corrupción + ¾ Mejora en transparencia y rendición de cuentas T = ¼ (T1)*10 + ¾ (T2+T3+T4)/3 *10 4.4.20. Participación ciudadana Como se menciona en la sección 2 del documento, las oportunidades de participación por parte de los ciudadanos en las decisiones públicas constituyen una condición importante para que un gobierno democrático funcione. Las tecnologías de información y comunicación tienen el potencial de facilitar esta participación, y es uno más de los resultados esperados del gobierno electrónico. Algunos mecanismos específicos son foros virtuales y “chats”, en donde los ciudadanos pueden externar sus opiniones desde cualquier lugar. Como en el caso de la transparencia y la rendición de cuentas, las TIC hacen que procesos de participación que solían ser para una minoría han comenzado a beneficiarse con opiniones de una base ciudadana más amplia. Así, esta variable mide el nivel de participación ciudadana a través de canales facilitados por el uso de las TIC y el desarrollo de proyectos de gobierno electrónico. De igual manera que para otras variables, ésta incluye un conjunto de indicadores que representan, por un lado, la percepción de los efectos de las TIC en los procesos de participación por parte de los encargados de informática (U5 a U8), y un componente que recurre a indicadores que pueden considerarse más objetivos (U1 a U4). En el caso específico de esta variable, los indicadores más objetivos están asociados con observaciones dicótomas en los sitios de Internet de cada unidad de análisis. La percepción de los responsables de informática en cada una de ellas se captura a través de preguntas en una escala de 10 puntos. El conjunto de indicadores se combina para generar un índice en una escala de 100 puntos. Los indicadores se relacionan a continuación. U1. La página cuenta con discusiones/participaciones en los chats, foros, etc. U2. La página cuenta con consultas a usuarios en línea (generadas por el gobierno) U3. La página cuenta con discusiones en línea (generadas por los usuarios) U4. Las herramientas de participación (chats, foros, etc.) en la página cuentan con al menos una discusión/participación en las últimas 2 semanas U5. El uso de las tecnologías de información y comunicación ha incrementado la participación de nuestros usuarios en las decisiones de nuestra dependencia 85 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… U6. El uso de las tecnologías de información y comunicación ha incrementado la participación de los ciudadanos en las decisiones gubernamentales U7. El uso de las tecnologías de información y comunicación ha incrementado la participación de las empresas privadas en las decisiones gubernamentales U8. El uso de las tecnologías de información y comunicación ha incrementado la participación de organizaciones no gubernamentales en las decisiones gubernamentales Forma de observación de páginas apoyado por WebXact. Las dos sub-variables arriba mencionadas se combinan dando una mayor ponderación a la percepción de los actores, dado que los indicadores más objetivos tienen la debilidad de sólo incluir mecanismos de participación a través de páginas de Internet. La percepción de los responsables de informática captura otros mecanismos de participación más difíciles de observar directamente. U = ¼ Mecanismos de participación en páginas + ¾ Impacto de las TIC en la participación ciudadana U = ¼ (U1+U2+U3+U4)/4*100+ ¾(U5+U6+U7+U8)/4*10 Las observaciones dicótomas (0 o 1) se agregan como una proporción de los sitios observados que cuentan con la característica como se muestra a continuación. Del U1 al U4 = Σ Uj / n Donde n representa el número de portales observados 4.4.21. Cambios en el marco regulatorio Esta variable está estrechamente relacionada con la variable E, que representa el marco legal e institucional existente. En este caso, la variable se enfoca a los cambios ocurridos en este marco legal como resultado del uso de las TIC en el gobierno. La literatura en gobierno electrónico basada en la teoría de la estructuración o el nuevo institucionalismo (por ejemplo Fountain (2001)) argumentan que la aplicación de tecnologías está delimitada por el marco normativo, pero que el desarrollo de aplicaciones “empuja” las modificaciones a este mismo marco legal como se menciona en diversos puntos de la revisión de literatura. Visto de otro modo, y como se sugiere en el marco de [LISBOA], el marco legal al que hace referencia la variable E es una capacidad o stock que determina la posibilidad de desarrollar aplicaciones de gobierno electrónico y su impacto potencial, mientras que esta variable es un flujo o actividad que resulta del desarrollo de aplicaciones de gobierno electrónico. El índice asociado a la variable tomará valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas por los responsables de informática en cada uno de los poderes o ministerios seleccionados en una escala de 10 puntos. Los indicadores propuestos son los siguientes. V1. Como resultado del uso de tecnologías de información en el gobierno se han creado o modificado leyes y/o reglamentos en los últimos 12 meses V2. Como resultado del uso de tecnologías de información en el gobierno se han creado o modificado leyes y/o reglamentos que mejoran la privacidad de los usuarios de servicios de gobierno apoyados en TIC en los últimos 12 meses V3. Como resultado del uso de tecnologías de información en el gobierno se han creado o modificado leyes y/o reglamentos que mejoran la seguridad de los usuarios de servicios de gobierno apoyados en TIC (ej. Firmas digitales, protección de datos) en los últimos 12 meses 86 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… V4. Como resultado del uso de tecnologías de información en el gobierno se crearon o codificaron leyes y/o reglamentos que mejoran el acceso a información gubernamental en los últimos 12 meses La fórmula para generar el índice es la siguiente. V = Cambios al marco regulatorio como resultado del uso de TIC en el gobierno V = (V1+V2+V3+V4)/4*10 4.5. Usos del modelo La presente sección tiene como propósito ilustrar algunos de los posibles usos del modelo de medición propuesto en este documento utilizando algunos ejemplos numéricos. La sección inicia con una descripción breve de la forma en la que se generó el ejemplo numérico principal, y después ilustra el uso del modelo como una herramienta para describir la situación de gobierno electrónico en un país. En seguida, continuamos ejemplificando usos potenciales del modelo como herramienta de comparación y como herramienta de soporte a las decisiones. La sección finaliza proponiendo algunos modelos causales que podrían ser usados con los datos de toda la región para entender mejor las relaciones entre las variables o dimensiones del modelo en el caso específico de América Latina y el Caribe. 4.5.1. Datos usados para el ejemplo numérico En la presente sección se utilizará un ejemplo numérico que representa de forma hipotética el caso de México. Los datos utilizados para este ejemplo son números aleatorios para todos los indicadores asociados a percepciones y datos que serán proporcionados por los responsables de informática de los ministerios y poderes en la muestra. Para generar los valores, se utilizaron distribuciones normales truncadas para ajustarse a los valores posibles de cada indicador. El mismo proceso aleatorio se siguió para la generación de los indicadores asociados a las observaciones de sitios y portales de Internet de las dependencias. Los datos reales que se incluyen en este ejemplo son aquéllos asociados a indicadores que se obtendrán de fuentes secundarias, y que serán pre-llenados en el cuestionario dirigido al coordinador nacional de gobierno electrónico en cada país. La fuente para cada uno de estos indicadores fue definida de forma específica al definir cada variable. En términos generales, los indicadores en esta categoría son aquéllos asociados con telecomunicaciones, educación, salud, economía y transparencia. También en términos generales, las fuentes utilizadas fueron la Unión Internacional de Telecomunicaciones, el Banco Mundial, el World Economic Forum, Transparencia Internacional, UNESCO y el INEGI para el caso de México. 4.5.2. Usando el modelo como herramienta de descripción de la situación de un país El cuadro 4.1, presentada al inicio de esta sección, no sólo constituye una forma de presentar las variables en el modelo, sino que también es una forma de presentar los resultados a los responsables de gobierno electrónico en los países de la región, funcionando como un tablero de control, donde cada tomador de decisiones puede observar la situación general de su país. Aunque se pueden realizar descripciones generales en base al tablero, los valores de las variables toman un significado más relevante cuando se interpretan en base a los objetivos y planes de cada país. El cuadro 4.2 representa el ejemplo numérico generado como se explicó en la sección anterior. Observando el tablero, se tienen 24 índices que describen la situación de gobierno 87 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… electrónico en el México hipotético generado principalmente de forma aleatoria. Tres de los índices corresponden a la media aritmética para las variables de cada dimensión, y los otros 21 a las diferentes variables que conforman el modelo. Observando los índices que totalizan cada dimensión, se podría decir que este país se encuentra relativamente balanceado en las tres dimensiones, con una calificación hacia el centro de la escala en cada uno de ellos. La dimensión en la que este país se encuentra más avanzado es la dimensión de características (49.1), seguida por la de determinantes (47.4) y resultados (45.9). No obstante, este país tiene oportunidad de mejora en cada una de las tres dimensiones. Es importante recordar que la dimensión de determinantes incluye factores de éxito de los proyectos que pueden ser contextuales como el caso de la demanda potencial, institucionales como el caso del marco legal, de infraestructura tecnológica en el gobierno o elementos organizacionales. Las características miden el nivel de desarrollo de las aplicaciones en cantidad y en niveles de funcionalidad y calidad. Los resultados, miden los impactos de las aplicaciones y proyectos de gobierno electrónico. La respuesta a cómo mejorar o en donde poner esfuerzos puede encontrarse en las variables de cada dimensión, y por supuesto, en los objetivos a alcanzar planteados en la estrategia de cada país. En este país, por ejemplo, la variable en la que se tiene más oportunidad de mejora en la dimensión de determinantes es la de demanda potencial (30.8), esto es, la cobertura de una infraestructura de telecomunicaciones que facilite el acceso a los servicios de gobierno electrónico. CUADRO 4.2 EJEMPLO NUMÉRICO DEL TABLERO DE CONTROL PARA EL CASO DE MÉXICO16 Determinantes Características Resultados 50.6 B. Calidad de la información y datos existentes para alimentar los sistemas C. Infraestructura tecnológica y compatibilidad D. Características organizacionales y gerenciales E. Marco legal e institucional existente F. Demanda potencial Total determinantes 52.4 G. Calidad de la información H. Servicios I. Interacción J. Integración K. Personalización L. Seguridad M. Privacidad N. Accesibilidad O. Usabilidad y utilidad 52.7 48.9 47.5 52.0 52.4 53.0 45.9 47.8 53.3 30.8 47.4 Total características 50.4 28.4 P. Estadísticas de uso de los sistemas Q. Calidad de los servicios públicos R. Eficiencia y productividad S. Eficacia de programas y políticas T. Transparencia y rendición de cuentas U. Participación ciudadana o de los usuarios V. Cambios en el marco regulatorio Total resultados 47.3 53.0 53.3 41.9 47.4 50.0 45.9 Fuente: elaboración propia. En el caso de las características, el área de mayor oportunidad de desarrollo es el área de privacidad de los sistemas, seguida de la accesibilidad y la interacción. Estas áreas de oportunidad están asociadas con la protección de los datos de los usuarios en sitios y sistemas, canales alternos de comunicación para los usuarios de los servicios y cumplimiento con las recomendaciones de accesibilidad del consorcio del World Wide Web. Si bien estas variables son las que muestran las mayores posibilidades de mejora, el responsable de gobierno electrónico en el país podría decidir en dedicar mayores esfuerzos a incrementar la usabilidad y utilidad de los sistemas y los sitios de 16 Este tablero se generó con una proporción importante de indicadores aleatorios (Ver sección 0). Sólo se incluye para ilustrar posibles usos del modelo, y no representa de ningún modo la situación de México. 88 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Internet si es que los objetivos estratégicos de su plan así se lo marcaran. De hecho, el tablero podría constituirse en una forma de establecer objetivos en planes de desarrollo y darles seguimiento. En el área de los resultados, el área que tiene mayores oportunidades de mejora es en la variable de uso de los sistemas. El índice de esta variable podría estar relacionado con el de la Demanda Potencial, y probablemente esfuerzos de promoción de los sitios y sistemas no se traduzcan en resultados en los niveles de utilización y adopción si no se acompañan de esfuerzos e inversiones para incrementar la demanda. El tablero puede ser adaptado por los países para encontrar índices que representen mejor la situación nacional de acuerdo a sus metas y objetivos. Esto es, en el ejemplo aquí presentado, los índices agregados por cada dimensión son obtenidos a través de una media aritmética, y quizá sea la mejor forma de hacerlo en el prototipo inicial, ya que cualquier ponderación diferente debería ser consensuada entre los usuarios del modelo. No obstante, cada país tendría la posibilidad de asignar sus propias ponderaciones de acuerdo a los objetivos en su estrategia de desarrollo de gobierno electrónico, obteniendo índices que reflejen mejor la situación en referencia a su estrategia. El ejemplo es ilustrativo del uso que se puede dar a los índices del modelo como una herramienta de descripción, y aunque se ha sugerido en este apartado que las variables con valores menores son aquéllas en las que se tiene mayor oportunidad de mejora, quizá la mejor respuesta acerca de cuáles son las áreas en las que los gobiernos deberían poner más atención o más recursos se encuentra en la estrategia de cada país. Esto es, el gobierno de cada país tiene en mayor o menor grado de articulación una estrategia de desarrollo de gobierno electrónico, la que constituye un criterio importante para determinar la importancia de cada una de las variables en el modelo. Más aún, los objetivos de la estrategia podrían ayudar a determinar niveles aceptables en algunos de los índices, así como sus ponderaciones. Así, los índices más importantes para cada gobierno serán aquéllos mejor alineados con su estrategia. De hecho, cada gobierno podría seguir el proceso usado en este modelo tomando como punto de partida su estrategia y crear su propio tablero de control. Por otro lado, la recolección de datos en toda la región ofrece la oportunidad de crear modelos estadísticos que puedan ser utilizados como otro criterio en la identificación de las variables más importantes, y por tanto, guiar también el monitoreo de las mismas. Este uso potencial del modelo se describirá más adelante. 4.5.3. Usando el modelo como herramienta de comparación Otra forma de interpretar los índices de un país es comparándolos con los índices de los demás países de la región, y de hecho este es un segundo uso potencial del modelo. Dado que el modelo cuenta con 24 índices, se tienen 24 valores para comparar la situación de los países en la región. A manera de ejemplo, el gráfico 4.3 muestra únicamente los índices de las 3 dimensiones para México y otros 3 países hipotéticos. 89 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… GRÁFICO 4.3 TABLA COMPARATIVA ENTRE PAÍSES CON LOS ÍNDICES PARA LAS 3 DIMENSIONES17 País Determinantes Características Resultados México País 1 País 2 País 3 47.4 63.1 25.1 65.1 50.4 40.3 30.0 60.2 45.9 70.2 27.4 81.3 Media Desv. Estándar 50.2 16.0 45.2 11.3 56.2 21.0 Fuente: elaboración propia. Los índices de los países pueden ser utilizados, por ejemplo para crear rankings de los países en la región. En el área de determinantes, el país 3 ocupa el primer lugar, mientras que el país 2 es el peor de esta pequeña región imaginaria. Esto es, el impacto de los proyectos y aplicaciones de gobierno electrónico en el país 2 pueden estar limitados en impacto o resultados, incluso cuando logren niveles de funcionalidad y calidad adecuados si no se invierte en el área de determinantes. El país 3 es el mejor posicionado en las 3 dimensiones del modelo, y probablemente sea interesante para el resto de los países analizar su estrategia que parece ser exitosa, de modo que se puedan transferir algunas de sus prácticas si se considera posible y pertinente. El país 1, por su parte, ocupa el segundo lugar en las dimensiones de determinantes y resultados, aunque ocupa la tercera posición en la dimensión de características. La media y la desviación estándar en cada columna de la figura sirven además como valores de referencia. El país 2, por ejemplo, se encuentra alejado más de una desviación estándar a la izquierda de la media. El país 3 se encuentra alejado más de una desviación estándar a la derecha de la media en las dimensiones de características y resultados. Los otros dos países en este grupo se encuentran en la parte central de la distribución. Es probable que el lector considere en este punto que la interpretación de algunos de estos índices podría ser más significativa si se contara con algunos elementos cualitativos y cuantitativos que contextualizaran el valor del índice para cada país. Como se menciona en el pie de página 12 al inicio de esta sección, la letra de la primera variable en el modelo es la B porque la letra A se destinó a preguntas contextuales que se incluyen en el cuestionario para el responsable de gobierno electrónico en cada país, y que serán usadas para crear pequeñas viñetas de la situación del país que ayuden a dar este contexto. Esta información incluirá un perfil del país en términos de tamaño de la población, producto interno bruto y geografía, y descripciones de los principales actores, políticas, objetivos y proyectos de gobierno electrónico, y se describe con más detalle al final de la sección. 4.5.4. Usando el modelo como herramienta de apoyo a las decisiones Dado que el tablero de control principal resulta de agregar tableros de control generados en poderes o ministerios de gobierno individuales, el tomador de decisiones puede rastrear qué dependencias o poderes son aquéllos donde se encuentran los valores de las variables más problemáticos, y aplicar estrategias y políticas enfocadas al problema específico que se observa. Adicionalmente, este tablero de control podría agregarse por poder o ministerio (ej. Salud, 17 Los índices de las tres dimensiones para los países hipotéticos 1, 2 y 3 fueron generados directamente por los autores, usando su juicio, para ilustrar el uso del modelo como herramienta de comparación. 90 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… educación) permitiendo comparaciones no sólo entre países, sino también entre diferentes poderes y ministerios de gobierno en la región. La forma en la que se construye el índice facilita que los resultados puedan ser desglosados de forma que faciliten la comprensión de la situación de un país específico, y potencialmente apoyando el desarrollo de programas y políticas públicas que ayuden a mejorar la situación. El ejemplo que se muestra en el gráfico 4.4 y el gráfico 4.5 fue construido utilizando la función de tablas dinámicas de Excel sólo para efectos de este ejemplo18. Las figuras contienen los índices para las variables de la dimensión de características en nuestro México hipotético. Como se recordará de las descripciones anteriores, la variable con el índice más bajo es Privacidad (45.9). El tomador de decisiones en el país podría, si así lo deseara, desplegar también las sub-variables de esta variable para analizar más a detalle la situación específica en su país (ver gráfico 4.4). Al desplegar estos resultados, es posible identificar que la sub-variable de existencia de políticas de privacidad es el que tiene el valor más bajo en esta variable. De este modo, el tomador de decisiones encontraría que una forma de mejorar en esta variable es promoviendo la incorporación de políticas de privacidad en los sitios de Internet de los ministerios y poderes de gobierno. GRÁFICO 4.4 EJEMPLO EN EL QUE SE DESAGREGA LA VARIABLE “PRIVACIDAD” EN SUS COMPONENTES O SUBCATEGORÍAS Fuente: elaboración propia. 18 La función de tablas dinámicas de Excel no tiene muchas funcionalidades, y si se considera útil, esta aplicación podría convertirse en un sistema más sofisticado que va más allá de los alcances de este proyecto. 91 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… GRÁFICO 4.5 EJEMPLO DEL TABLERO DE CONTROL MOSTRANDO LOS VALORES DE UNA DE LAS SUBCATEGORÍAS PARA CADA UNA DE LAS UNIDADES DE OBSERVACIÓN Figura ¡Error! No hay texto con el estilo especificado en el documento.-1 Fuente: elaboración propia. Si así se deseara, podría desagregarse también la sub-variable para cada una de las unidades de análisis observadas (ministerios y poderes gubernamentales), identificando las áreas con las principales oportunidades de mejora (ver gráfico 4.5). En este caso, por ejemplo, el tomador de decisiones podría ver que la Secretaría de Economía es la que tiene el índice más bajo en la subvariable “Existencia de Políticas de Privacidad” y tomar las medidas que considere necesarias. Contar con información desglosada de cada una de las variables incluidas en el modelo, puede ayudar tanto a equipos de tomadores de decisiones como a investigadores interesados en el fenómeno en la región a construir modelos estadísticos que les ayuden a identificar las variables de decisión que producen más impacto en los resultados del gobierno electrónico. La siguiente sección describe algunos de estos posibles modelos que podrían ser construidos al contar con los datos para todos los países de la región. 4.5.5. Relaciones causales entre determinantes, características y resultados del gobierno electrónico Consideramos que el contar con indicadores que representen cada una de las variables en este modelo multi-dimensional presenta ya ventajas para los tomadores de decisiones pues esta sólidamente basado en estudios anteriores y provee una forma más integral de medición del gobierno electrónico, además de contar con la ventajas que ya se han explicado en los primeros apartados de esta sección. Sin embargo, creemos que para lograr un entendimiento más completo de la situación actual y las alternativas a seguir en cuanto a iniciativas de gobierno electrónico en América Latina y el Caribe, es también importante entender las dinámicas existentes entre los determinantes, las características y los resultados del gobierno electrónico. Una vez recolectados los datos para todos los países de la región se tendrá el potencial de crear modelos estadísticos 92 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… que examinen las relaciones causales entre las distintas variables incluidas en las tres dimensiones del modelo. Desafortunadamente la mayoría de los estudios desarrollados hasta el momento asumen un efecto directo y una relación demasiado simple entre los determinantes, las características y los resultados del gobierno electrónico, cuando es presentada (ver gráfico 4.6). GRÁFICO 4.6 CADENA CAUSAL SIMPLE ENTRE DETERMINANTES, CARACTERÍSTICAS Y RESULTADOS DEL GOBIERNO ELECTRÓNICO Determinantes Características Resultados Fuente: elaboración propia. Nosotros proponemos que para que un modelo de medición pueda proveer información adecuada, se deben asumir relaciones más complejas entre los determinantes, las características y los resultados. El gráfico 4.7 representa de forma general el planteamiento de las relaciones causales entre las tres principales categorías o dimensiones del modelo. De hecho, las descripciones anteriores han sugerido este modelo causal. GRÁFICO 4.7 RELACIONES ENTRE DETERMINANTES, CARACTERÍSTICAS Y RESULTADOS DEL GOBIERNO ELECTRÓNICO Determinantes Resultados Características Fuente: elaboración propia. La forma genérica de las fórmulas para las variables incluidas en la dimensión resultados sería entonces la siguiente: ResultadoW = b0 + b1Determinante1 + b2 Determinante2 +… + bnDeterminanteN+ bn+1Característica1 + bn+2Característica2 + … + bn+mCaracterísticaM + e 93 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Donde: • ResultadoW representa cualquiera de las variables incluidas en la dimensión Resultados (ej., Calidad de los Servicios Públicos, Eficiencia y Productividad, etc.) • Determinante1 representa la primera variable incluida en la dimensión Determinantes, Determinante2 representa la segunda variable incluida en la dimensión Determinantes, y DeterminanteN representa la última variable incluida en la dimensión Determinantes. • Característica1 representa la primera variable incluida en la dimensión Características, Característica2 representa la segunda variable incluida en la dimensión Características, y CaracterísticaM representa la última variable incluida en la dimensión Características. • “e” representa el error. Para ilustrar el uso potencial de modelos estadísticos en el entendimiento de las relaciones causales entre las diferentes variables en el modelo utilizaremos el ejemplo de la variable “Eficiencia y Productividad” que es parte de la dimensión denominada Resultados. El gráfico 4.8 muestra un modelo causal simplificado usando “Eficiencia y Productividad” como variable dependiente y todas las variables incluidas en las dimensiones determinantes y características como variables independientes. Este tipo de modelos se podrían desarrollar tanto para variables específicas, como en este caso, como para conjuntos de variables creando escalas (integrando todas o algunas de las variables en una dimensión). GRÁFICO 4.8 EJEMPLO MODELO CAUSAL (VARIABLE DEPENDIENTE: EFICIENCIA Y PRODUCTIVIDAD Calidad de la Información y Datos Características Organizacionales y Gerenciales Infraestructura Tecnológica y Compatibilida Marco Legal e Institucional Existente Demanda Potencial Eficiencia y Productividad Calidad de la Información Disponible Personalizació Servicios o Transacciones Electrónicas Seguridad Interacción Privacidad Integración Accesibilidad Fuente: elaboración propia. 94 Usabilidad y utilidad CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Siguiendo la lógica de la fórmula genérica y usando las letras que representan cada variable en el cuadro 4.1, la fórmula para el modelo presentado en el gráfico 4.8 quedaría de la siguiente forma para “Eficiencia y Productividad” como variable dependiente: R = b0 + b1B + b2C + b3D + b4E + b5F + b6G + b7H + b8I + b9J + b10K + b11L + b12M + b13N + b14O + e Donde: • R es el índice correspondiente a la variable “Eficiencia y Productividad”. • Las letras mayúsculas de la B a la F representan los índices correpondientes a cada una de las variables incluidas en la dimensión Determinantes. • Las letras mayúsculas de la G a la O representan los índices correspondientes a cada una de las variables incluidas en la dimensión Características. • Las letras con subíndices b0 a b14 representan los coeficientes obtenidos mediante análisis de regresión, modelación de ecuaciones estructurales o algún otro método estadístico. • “e” representa el error. Sin embargo, de forma complementaria se podrían y deberían calcular una serie de ecuaciones para las variables incluidas en la dimensión denominada Características. Como ejemplo pondremos las ecuaciones para las variables “Interacción” y “Seguridad” (nuevamente usando las letras de el cuadro 4.1): I = c0 + c1B + c2C + c3D + c4E + c5F + e Donde: • I es el índice correspondiente a la variable “Interacción”. • Las letras mayúsculas de la B a la F representan los índices correspondientes a cada una de las variables incluidas en la dimensión Determinantes. • Las letras con subíndices c0 a c5 representan los coeficientes obtenidos mediante análisis de regresión, modelación de ecuaciones estructurales o algún otro método estadístico. • “e” representa el error. L = d0 + d1B + d2C + d3D + d4E + d5F + e Donde: • L es el índice correspondiente a la variable “Seguridad”. • Las letras mayúsculas de la B a la F representan los índices correspondientes a cada una de las variables incluidas en la dimensión Determinantes. • Las letras con subíndices d0 a d5 representan los coeficientes obtenidos mediante análisis de regresión, modelación de ecuaciones estructurales o algún otro método estadístico. • “e” representa el error. 4.6. Consideraciones finales en la aplicación del modelo Se ha descrito hasta ahora la forma en la que se pueden obtener datos cuantitativos que faciliten la caracterización del nivel de desarrollo del gobierno electrónico en los países de la región. No 95 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… obstante, en los párrafos anteriores se sugiere que para comprender mejor la importancia de cada una de las variables en un país específico resulta importante conocer elementos cualitativos asociados –por ejemplo- con la estrategia de cada país. Así, nuestra primera consideración destaca las ventajas de contar con información cualitativa y cuantitativa que describa el contexto general del país, lo que ayuda al lector del reporte a interpretar los resultados numéricos de cada una de las variables incluidas en el modelo. De este modo, se sugiere incluir en los requerimientos de información a los países información en las siguientes áreas19: • Perfil del país: Área, población, capital, idioma, moneda, inflación, Deuda/PIB, Déficit/PIB, estructura política, jefe de estado, jefe de gobierno. • Historia del e-gobierno: cronología con noticias y hechos importantes iniciando con el más reciente. • Estrategia del e-gobierno: visión, objetivos, principios, procesos de colaboración • Marco legal para el e-gobierno: Listado y descripción de todas las leyes relevantes como podrían ser Ley de e-gobierno, Ley de Acceso a la Información, Ley de Protección de Datos, Ley de E-Commerce, Ley de Firma electrónica, Ley de Abastecimiento, etc. • Actores: narrativa que describe dependencias o poderes gubernamentales que: desarrollan política, coordinan, planean, implementan, dan soporte, auditan o participan de alguna otra forma en el ámbito de gobierno electrónico, tanto a nivel nacional como regional o local. Por otro lado, algunas de las variables (servicios, interacción, resultados del sistema, etc.) pueden ser más útiles para el tomador de decisiones cuando se miden en un ministerio o poder gubernamental específico, agregándolas posteriormente para tener una visión de la situación en el país. Por ello, se ha sugerido usar diferentes ministerios o poderes gubernamentales como unidades de análisis. Para facilitar la comparación en estas variables, se sugiere que los requerimientos de información se recojan en las mismas unidades de análisis en todos los países. Por otro lado, y aunque para fines de comparación se requiera únicamente la información de un conjunto limitado de dependencias o poderes gubernamentales, esto no impide al gobierno de cada país aplicar la misma metodología de captura de datos a otros ministerios/poderes. El listado inicial de las unidades de análisis sugeridas se encuentra al inicio de esta sección. Esta lista esta completamente abierta a discusión, tanto ahora como con los responsables de los países con los que se aplique el modelo. Finalmente, el proceso de recolección de datos para alimentar el modelo implica 3 instrumentos diferentes. El primero es un cuestionario para el responsable de gobierno electrónico en cada país. El segundo es un cuestionario para los responsables de informática de cada una de las unidades de análisis seleccionadas. Este instrumento será muy similar al del coordinador nacional, excluyendo las preguntas asociadas con indicadores nacionales, que serán pre-llenadas e incluidas sólo para el cuestionario del coordinador nacional. El último instrumento es un formato de observación de sitios de Internet representativos de cada unidad de análisis. Así, el paquete de datos por cada país incluye un cuestionario de coordinador nacional, 7 cuestionarios de responsables de informática (uno por cada unidad de análisis adicional a la coordinación nacional), y 40 formas de observación de sitios de Internet (5 por cada unidad de análisis). 19 La información sugerida a continuación es la que hemos identificado con la letra A en los cuestionarios para los países. Como se mencionó anteriormente, la información que esté disponible será pre-llenada y se pedirá al coordinador nacional de gobierno electrónico que la corrobore o actualice. Si la información está disponible en un sitio de Internet, el coordinador nacional podrá referir a este sitio en su respuesta. 96 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… V. Consideraciones finales y pasos a seguir En el presente documento se han presentado los resultados preliminares del proyecto de desarrollo de un modelo multidimensional para la medición del gobierno electrónico en los países de América Latina y el Caribe. A partir de un análisis de la literatura de gobierno electrónico y de la revisión de las prácticas de evaluación del mismo se llegó a un modelo que agrupa 21 variables en 3 dimensiones: Determinantes de gobierno electrónico, Características de gobierno electrónico y Resultados de gobierno electrónico. Adicionalmente, se ha desarrollado una descripción detallada de cada una de las variables y una lista de indicadores a ser utilizados para cada una de ellas. Para efectos de comparación, se sugiere que los requerimientos de información a los países -que servirán para recolectar la información para algunas de estas variables- se organicen en función de un grupo estándar de ministerios, poderes y servicios gubernamentales, y que se soliciten algunos datos adicionales que ayuden a quien interpreta los datos a valorarlos en el contexto específico de cada país. A continuación, finalizamos este reporte parcial con un listado de los pasos a seguir para continuar con el desarrollo del proyecto. 1. El modelo, las variables y los indicadores necesitan ser validados por el grupo de investigadores/consultores de CEPAL. 2. Los encargados del proyecto conformarán los cuestionarios o instrumentos que se harán llegar a los países donde se probará el modelo (las preguntas están presentes la sección 4 de este documento y en la matriz del anexo 2, sólo se trata de ponerlas en cada uno de los diferentes instrumentos). 3. Los instrumentos deben ser enviados a los contactos en los países para la recopilación de información. 4. La información así recopilada deberá ser procesada por los responsables del proyecto para comentarla con los responsables de gobierno electrónico en cada uno de los países seleccionados. 5. Se requiere programar una visita a cada uno de los tres países seleccionados para obtener retroalimentación de los responsables de gobierno electrónico, así como para obtener información cualitativa que permita triangular los resultados obtenidos por los datos cuantitativos. 6. Finalmente, y en base a este proceso de validación, se revisará el modelo y se preparará el reporte final del proyecto. 97 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… 98 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Bibliografía 6, P. (2001). E-governance. Do Digital Aids Make a Difference in Policy Making? In J. E. J. Prins (Ed.), Designing E-Government. On the Crossroads of Technological Innovation and Institutional Change (pp. 7-27). The Hague, Netherlands: Kluwer Law International. Accenture. (2004). eGovernment Leadership: High Performance, Maximum Value: Accenture. ACSI. (1994). American Customer Satisfaction Index, 2006, from http://www.theacsi.org/overview .htm Alcazar Díaz de Léon, L., Castillo Camacho, D., Luna-Reyes, L. F. (2006, May 25-27). Análisis de la funcionalidad de los portales de gobierno estatal en México. Paper presented at the XIX Congreso Latinoamericano de Estrategia, Cholula, México. Ambite, J. L., Arens, Y., Bourne, W., Feiner, S., Gravano, L., Hatzivassiloglou, V., et al. (2002). Data Integration and Access. In W. J. McIver A. K. Elmagarmid (Eds.), Advances in Digital Government. Technology, Human Factors, and Policy. Norwell, MA: Kluwer Academic Publishers. Andersen, D. F., Belardo, S., Dawes, S. S. (1994). Strategic Information Management: Conceptual Frameworks for the Public Sector. Public Productivity and Management Review, 17(Summer), 335-353. Andersen, D. F., Dawes, S. S. (1991). Government Information Management. A primer and Casebook. Englewood Cliffs, NJ: Prentice Hall. Bajjaly, S. T. (1999). Managing Emerging Information Systems in the Public Sector. Pubic Performance Management Review, 23(1), 40 - 47. Barki, H., Rivard, S., Talbot, J. (1993). Toward an assessment of software development risk. Journal of Management Information Systems, 10, 203-223. Barrett, K., Greene, R. (2000). Powering Up: How Public Managers Can Take Control of Information Technology. Washington, DC: Congressional Quarterly Press. Bellamy, C. (2000). The Politics of Public Information Systems. In G. D. Garson (Ed.), Handbook of Public Information Systems. New York: Marcel Dekker. Bretschneider, S. (2003). Information Technology, E-Government, and Institutional Change. Public Administration Review, 63(6), 738-741. 99 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Brown, M. M. (2000). Mitigating the Risk of Information Technology Initiatives: Best Practices and Points of Failure for the Public Sector. In G. D. Garson (Ed.), Handbook of Public Information Systems. New York: Marcel Dekker. Brown, M. M. (2001). The Benefits and Costs of Information Technology Innovations: An Empirical Assessment of a Local Government Agency. Pubic Performance Management Review, 24(4), 351 - 366. Brown, M. M., Brudney, J. L. (2003). Learning Organizations in the Public Sector? A Study of Police Agencies Employing Information and Technology to Advance Knowledge. Public Administration Review, 63(1), 30-43. Brown, M. M., Brudney, J. L. (2004). Achieving Advanced Electronic Government Services: Opposing Environmental Constraints. Public Performance Management Review, 28(1), 96-114. Caffrey, L. (1998). Information Sharing Between Within Governments. London: Commonwealth Secretariat. CELA-IESE, DMR Consulting. (2005). Indicador de la Sociedad de la Información. Barcelona: IESE/DMR Consulting. Chen, Y.-C., Perry, J. (2003). Outsourcing for E-Government: Managing for Success. Public Performance and Management Review, 26(4), 404-421. Chevallerau, F.-X. (2005). eGovernment in the Member States of the European Union. Brussels: IDABC eGovernment Observatory. Choudrie, J., Ghinea, G., Weerakkody, V. (2004). Evaluating Global e-Government Sites: A View using Web Diagnostic Tools. Electronic Journal of E-Government, 2(2), 105-114. Cook, M., LaVigne, M. (2002). Making the Local E-Gov Connection. Retrieved May 24, 2002, from www.urbanicity.org/FullDoc.asp?ID=36 Cresswell, A. M. (2004). Return on Investment In Information Technology: A Guide for Managers. Albany, NY: Center for Technology in Government, University at Albany, SUNY. Cresswell, A. M., LaVigne, M. F. (2003, August 2003). ROI Analyses for IT Projects Must Focus on Strategic Objectives. PA Times, p. 3 and 6. Cresswell, A. M., Pardo, T. A., Canestraro, D. S., Dawes, S. S., Juraga, D. (2005). Sharing Justice Information: A Capability Assessment Toolkit. Albany, NY: Center for Technology in Government, University at Albany, SUNY. DANE. (2003). Modelo de Medición de las Tecnologías de la Información y las Comunicaciones: Estadísticas e Indicadores del Sector Estado y Comunidad. Bogotá: Departamento Administrativo Nacional de Estadística (DANE). Davis, F. D. (1989). Perceived Usefulness, Perceived Ease to use, and User Aceptance of Information Technology. MIS Quarterly, 13(3), 319-340. Dawes, S. S. (1996). Interagency information sharing: Expected benefits, manageable risks. Journal of Policy Analysis and Management, 15(3), 377-394. Dawes, S. S., Nelson, M. R. (1995). Pool the risks, share the benefits: Partnership in IT innovation. In J. Keyes (Ed.), Technology trendlines. Technology success stories from todays visionaries. New York: Van Nostrand Reinhold. Dawes, S. S., Pardo, T. A. (2002). Building Collaborative Digital Government Systems. Systematic Constraints and Effective Practices. In W. J. McIver A. K. Elmagarmid (Eds.), Advances in Digital Government. Technology, Human Factors, and Policy (pp. 259-273). Norwell, MA: Kluwer Academic Publishers. Dawes, S. S., Pardo, T. A., Cresswell, A. M. (2004). Designing Electronic Government Information Access Programs: A Holistic Approach. Government Information Quarterly, 21(1), 3-23. Dawes, S. S., Pardo, T. A., Simon, S., Cresswell, A. M., LaVigne, M., Andersen, D., et al. (2004). Making Smart IT Choices: Understanding Value and Risk in Government IT Investments. Albany, NY: Center for Technology in Government. 100 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Dawes, S. S., Prefontaine, L. (2003). Understanding new models of collaboration for delivering government services. Communications of the ACM, 46(1), 40-42. DeMaio, C. D., Frost, M., Street, T., Tettelbach, B., Parker, D., DAgostino, D., et al. (2002). Creating a Performance-Based Electronic Government. Arlington, VA: The Performance Institute. Edmiston, K. D. (2003). State And Local E-Government: Prospects and Challenges. American Review of Public Administration, 33(1), 20-45. Estado de Sao Paulo. (2005). Indicadores de Governo Eletronico no governo do Estado de Sao Paulo. Sao Paulo. Eurostat. (2005, 27-28 April). Measuring E-Government. Paper presented at the Working Party on Indicators for the Information Society, Paris. Finger, M., Pécoud, G. (2003). From e-Government to e-Governance? Towards a model of eGovernance. Electronic Journal of e-Government, 1(1), 1-10. Fountain, J. E. (2001). Building the Virtual State. Information Technology and Institutional Change. Washington, D.C.: Brookings Institution Press. Fountain, J. E. (2003). Prospects for improving the regulatory process using e-rulmaking. Communications of the ACM, 46(1), 43-44. Galindo, F. (2002). e-Government Trust Providers. In Å. Grönlund (Ed.), Electronic Government: Design, Applications, and Management (pp. 121-150). Hershey, PA: IDEA Group Publishing. Gant, D. B., Gant, J. P., Johnson, C. L. (2002). State Web Portals: Delivering and Financing EService. Arlington, VA: The PricewaterhouseCoopers Endowment for The Business of Government. Garson, G. D. (2004). The Promise of Digital Government. In A. Pavlichev G. D. Garson (Eds.), Digital Government: Principles and Best Practices (pp. 2-15). Hershey, PA: Idea Group Publishing. Gil-García, J. R. (2004). Information Technology Policies and Standards: A Comparative Review of the States. Journal of Government Information, 30(5), 548-560. Gil-García, J. R. (2005). Exploring the Success Factors of State Website Functionality: An Empirical Investigation. Paper presented at the National Conference on Digital Government Research, Atlanta, GA. Gil-García, J. R., Helbig, N. (2006). Exploring E-Government Benefits and Success Factors. In A.-V. Anttiroiko M. Malkia (Eds.), Encyclopedia of Digital Government. Hershey, PA: Idea Group Inc. Gil-García, J. R., Luna-Reyes, L. F. (2003). Towards a Definition of Electronic Government: A Comparative Review. In A. Mendez-Vilas, J. A. Mesa Gonzalez, J. Mesa Gonzalez, V. Guerrero Bote F. Zapico Alonso (Eds.), Techno-legal Aspects of the Information Society and New Economy: An Overview. Badajoz, Spain: Formatex. Gil-García, J. R., Luna-Reyes, L. F. (2006). Integrating Conceptual Approaches to EGovernment. In M. Khosrow-Pour (Ed.), Encyclopedia of E-Commerce, E-Government and Mobile Commerce (pp. 636-643). Hershey, PA: Idea Group Inc. Gil-García, J. R., Pardo, T. A. (2005). E-Government Success Factors: Mapping Practical Tools to Theoretical Foundations. Government Information Quarterly, 22(2), 187–216. Gupta, M. P., Jana, B. (2003). E-Government Evaluation: A Framework and a Case Study. Government Information Quarterly, 20(4), 365-387. Harris, N. D. (2000). Intergovernmental Cooperation in the Development and Use of Information Systems. In G. D. Garson (Ed.), Handbook of Public Information Systems. New York: Marcel Dekker. Heeks, R. (2003). Success and Failure Rates of eGovernment in Developing/Transitional Countries: Overview, 2006, from www.egov4dev.org/sfoverview.htm Heeks, R. (2005). Implementing and Managing eGovernment : An International Text. London: SAGE Publications. 101 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Heintze, T., Bretschneider, S. (2000). Information Technology and Restructuring in Public Organizations: Does Adoption of Information Technology Affect Organizational Structures, Communications, and Decision Making? Journal of Public Administration Research and Theory, 10(4), 801-830. Helbig, N., Gil-García, J. R., Ferro, E. (2005, August 11-14). Understanding the Complexity of Electronic Government: Implications from the Digital Divide Literature. Paper presented at the Americas Conference of Information Systems 2005, Omaha, NE, USA. Hiller, J. S., Bélanger, F. (2001). Privacy Strategies for Electronic Government. In M. A. Abramson G. E. Means (Eds.), E-Government 2001 (pp. 162-198). Lanham, Maryland: Rowman Littlefield Publishers. Ho, A. T.-K. (2002). Reinventing Local Governments and the E-Government Initiative. Public Administration Review, 62(4), 434-444. Holden, S. H., Norris, D. F., Fletcher, P. D. (2003). Electronic Government at the Local Level: Progress to Date and Future Issues. Public Performance and Management Review, 26(4), 325-344. Holley, L. M., Dufner, D., Reed, B. J. (2002). Got SISP?: Strategic Information Systems Planning in U.S. State Governments. Public Performance and Management Review, 25(4), 398-412. Holley, L. M., Dufner, D., Reed, B. J. (2004). Strategic Information Systems Planning in U.S. County Governments: Will the Real SISP Model Please Stand Up? Public Performance Management Review, 27(3), 102-127. Holmes, D. (2001). e.gov. e-business Strategies for Government. London: Nicholas Brealey Publishing. Jiang, J., Klein, G. (2000). Software development risks to project effectiveness. The Journal of Systems and Software, 52, 3-10. Kaplan, D., Krishnan, R., Padman, R., Peters, J. (1998). Assessing Data Quality in Accounting Information Systems. Communications of the ACM, 41(2), 72-77. Kaylor, C., Deshazo, R., Van Eck, D. (2001). Gauging e-government: A report on implementing services among American cities. Government Information Quarterly, 18(4), 293-307. Kellogg, W. A., Mathur, A. (2003). Environmental Justice and Information Technologies: Overcoming the Information-Access Paradox in Urban Communities. Public Administration Review, 63(5), 573-585. Klein, H. K. (2000). System Development in the Federal Government: How Technology Influences Outcomes. Policy Studies Journal, 28(2), 313. Kraemer, K. L., King, J. L., Dunkle, D. E., Lane, J. P. (1989). Managing Information Systems. Change and Control in Organizational Computing. San Francisco, CA: Jossey-Bass. La Porte, T. M., Demchak, C. C., de Jong, M. (2002). Democracy And Bureaucracy In The Age Of The Web: Empirical Findings and Theoretical Speculations. Administration and Society, 34(4), 411-446. La Porte, T. M., Demchak, C. C., Friis, C. (2001). Webbing governance: global trends across national-level public agencies. Communications of the ACM, 44(1), 63-67. Landsbergen, D. J., Wolken, G. J. (2001). Realizing the Promise: Government Information Systems and the Fourth Generation of Information Technology. Public Administration Review, 61(2), 206-220. Lassman, K. (2001). The Digital State 2001. Washington, DC: The Progress Freedom Foundation. LaVigne, M. (2002). Electronic Government: A Vision of a Future that is Already Here. Syracuse Law Review, 52(4), 1243-1251. Layne, K., Lee, J. (2001). Developing fully functional E-government: A four stage model. Government Information Quarterly, 18, 122-136. 102 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Lee, G., Perry, J. L. (2002). Are computers boosting productivity? A test of the paradox in state governments. Journal of Public Administration Research and Theory, 12(1), 77-103. Luna-Reyes, L. F., Andersen, D. L. (2003). Collecting and Analyzing Qualitative Data for System Dynamics : Methods and Models. System Dynamics Review, 19(4), 271-296. Mahler, J., Regan, P. M. (2003). Developing Intranets for Agency Management. Public Performance and Management Review, 26(4), 422-432. Melitski, J. (2003). Capacity and E-Government Performance: An Analysis Based on Early Adopters of Internet Technologies in New Jersey. Public Performance and Management Review, 26(4), 376-390. Minges, M. (2005). Evaluation of e-Readiness Indices in Latin America and the Caribbean. Santiago: CEPAL. Misic, M. M., Johnson, K. L. (1999). Benchmarking: a tool for Web site evaluation and improvement. Internet Research: Electronic Networking Applications and Policy, 9(5), 383-392. Moon, M. J. (2002). The Evolution of E-Government among Municipalities: Rhetoric or Reality? Public Administration Review, 62(4), 424-433. Moynihan, D. P. (2004). Building Secure Elections: E-Voting, Security, and Systems Theory. Public Administration Review, 64(5), 515-528. Nicholson-Crotty, S., Theobald, N. A., Nicholson-Crotty, J. (2006). Disparate Measures: Public Managers and Performance-Measurement Strategies. Public Administration Review, 66(1), 101-113. OECD. (2003). The e-Government Imperative. Paris, France: Organisation for Economic Cooperation and Development. OECD. (2005). OECD e-Government Studies: México. Paris: OECD Publications. ONU. (2005). Indicadores clave de las tecnologías de la información y de las comunicaciones. Santiago de Chile. Pidd, M. (1998). Tools for Thinking: Modelling in Management Science. Chichester: Wiley. Prins, C. (2001). Electronic Government. Variations on a Concept. In J. E. J. Prins (Ed.), Designing E-Government. On the Crossroads of Technological Innovation and Institutional Change (pp. 1-5). The Hague, Netherlands: Kluwer Law International. Redman, T. C. (1998). The Impact of Poor Data Quality on the Typical Enterprise. Communications of the ACM, 41(2), 79-82. Reis, F. (2005). e-Government: Internet based interaction with the European businesses and citizens. Luxembourg: Eurostat. RICYT-CYTED, UMIC, ISCTE. (2006). Manual de Lisboa. Retrieved Agosto, 2006, 2006, from http://www.oei.es/mlisboa.htm Rocheleau, B. (2003). Politics, Accountability, and Governmental Information Systems. In G. D. Garson (Ed.), Public Information Technology: Policy and Management Issues (pp. 2052). Hershey, PA: Idea Group Publishing. Rogers, J. D., Kingsley, G. (2004). Denying Public Value: The Role of the Public Sector in Account of the Development of the Internet. Journal of Public Administration Research Theory, 14(3), 371-393. Roy, J. (2003). The Relational Dynamics of E-Governance: A Case Study of the City of Ottawa. Public Performance and Management Review, 26(4), 391-403. Sandoval, R., Gil-García, J. R. (2005, May 15-18). Assessing E-Government Evolution in Mexico: A Preliminary Analysis of the State Portals. Paper presented at the 2005 Information Resources Management Association International Conference, San Diego. Schelin, S. H. (2003). E-Government: An Overview. In G. D. Garson (Ed.), Public Information Technology: Policy and Management Issues (pp. 120-137). Hershey, PA: Idea Group Publishing. Sepúlveda T., M. A., Gutiérrez G., P., Vásquez V., Á. (2006). Gobierno Electrónico en Chile 2000-2005: Estado del Arte II. Santiago: Maval Ltda. 103 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Smith, L. D., Campbell, J. F., Subramanian, A., Bird, D. A., Nelson, A. C. (2001). Strategic Planning for Municipal Information Systems: Some Lessons From a Large U.S. City. American Review of Public Administration, 31(2), 139-157. Sterman, J. D. (2000). Business Dynamics : Systems Thinking and Modeling for a Complex World. Boston: Irwin/McGraw-Hill. Stowers, G. N. L. (2004). Measuring the Performance of E-Government. Washington, DC: The Center for the Business of Government. Stufflebeam, D. L. (2003). The CIPP Model for Evaluation. Paper presented at the Annual Conference of the Oregon Program Evaluators Network (OPEN), Portland, Oregon. Thomas, J. C., Streib, G. (2003). The New Face of Government: Citizen-Initiated Contacts in the Era of E-Government. Journal of Public Administration Research and Theory, 13(1), 83-101. UN ASPA. (2002). Benchmarking E-government: A Global Perspective. New York: United Nations Division of Public Economics and Public Administration and the American Society for Public Administration. UNPAN. (2002). UNPAN E-government. Retrieved July 8, 2002, from www.unpan.org/egovernment.asp UNPAN. (2003). World Public Sector Report 2003: E-Government at the Crossroads: United Nations Publications. UNPAN. (2004). Global E-Government Readiness Report 2004: Toward Access for Opportunity: United Nations Publications. UNPAN. (2005). UN Global E-government Readiness Report 2005 From E-government to Einclusion: United Nations Publications. Welch, E. W., Hinnant, C. C., Moon, M. J. (2005). Linking Citizen Satisfaction with EGovernment and Trust in Government. Journal of Public Administration Research Theory, 15(3), 371-391. Welch, E. W., Wong, W. (2001). Global information technology pressure and government accountability: the mediating effect of domestic context on website openness. Journal of Public Administration Research and Theory, 11(4), 509-539. West, D. M. (2001). Global E-Government, 2001, 2005, from http://www.InsidePolitics.org/ West, D. M. (2002). Global E-Government, 2002, 2005, from http://www.InsidePolitics.org/ West, D. M. (2003). Global E-Government, 2003, 2005, from http://www.InsidePolitics.org/ West, D. M. (2004a). E-Government and the Transformation of Service Delivery and Citizen Attitudes. Public Administration Review, 64(1), 15-27. West, D. M. (2004b). Global E-Government, 2004, 2005, from http://www.InsidePolitics.org/ West, D. M. (2005a). Digital Government. Technology and Public Sector Performance. Princeton, NJ: Princeton University Press. West, D. M. (2005b). Global E-Government, 2005, 2005, from http://www.InsidePolitics.org/ 104 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Anexos 105 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Anexo 1. Proceso de operacionalización de las variables y descripción general de la construcción de los índices Proceso de operacionalización de las variables La operacionalización de las 21 variables del modelo se llevó a cabo en un proceso que se realizó en tres etapas. La primera etapa consistió en la enumeración de todos los indicadores que idealmente podrían ser utilizados para cada una de las variables, incluyendo en cada una de ellas tanto indicadores objetivos como subjetivos. El propósito de esta primera etapa fue buscar que cada variable cubriera el universo de indicadores que aseguraran la validez de contenido de los indicadores. Para esta etapa del proceso, la revisión de los marcos de revisión fue un insumo importante. Esta etapa fue guiada tanto por las variables encontradas en la revisión de literatura como por los indicadores previamente usados por otros modelos de medición. En la segunda parte del proceso, y respondiendo a las recomendaciones de CEPAL, se procedió a analizar cuidadosamente cada uno de los indicadores y preguntas incluidas en la operacionalización de cada variable. Para asegurar el balance de indicadores en cada una de las variables, éstos se agruparon en subcategorías, depurando las preguntas e indicadores en un proceso iterativo. Este proceso incluyó una búsqueda de indicadores nacionales en fuentes disponibles en Internet. La última etapa del proceso consistió en la construcción de las fórmulas necesarias para la creación de los índices asociados a cada una de las variables, donde nuevamente se ajustaron y depuraron los indicadores y preguntas para asegurar la consistencia interna del modelo. Descripción general de la construcción de los índices Estrechamente entrelazado con el proceso final de operacionalización de las variables del modelo, se desarrollaron una serie de fórmulas para transformar los distintos indicadores y preguntas seleccionadas para cada variable. Todas las fórmulas para la creación de los índices (valores numéricos de las variables) dan como resultado números en el rango de 0 a 100, y aunque no fue posible en todas las variables, se buscó incluir indicadores tanto objetivos como subjetivos. Los indicadores objetivos tienen la ventaja de no estar tan ligados a percepciones de individuos en particular, pero normalmente son menos ricos en significado, y representan únicamente un aspecto de la variable de interés. Por otro lado, los indicadores subjetivos están más ligados a la percepción de un individuo en particular, pero son mejores capturando significados (como un todo integrado) en lugar de solo un aspecto de la misma (Luna-Reyes Andersen, 2003). Además, si se tienen las opiniones de varias personas, por ejemplo diferentes dependencias, los promedios de sus percepciones ya no representan únicamente su opinión sino el agregado interorganizacional sobre una variable. Aunque posteriormente presentaremos las fórmulas de cada variable, en esta sección usaremos una como ejemplo para mostrar la forma en la que se construye el índice para una variable en un país. Tomemos por ejemplo la variable “C. Infraestructura Tecnológica y Compatibilidad”. Esta variable está conformada por dos subcategorías, una a la que hemos denominado “Indicadores de Equipamiento” y otra a la que se ha llamado “Percepción de Adecuación de la Infraestructura”. La primera de ellas utiliza indicadores objetivos sobre el número de computadoras con las que cuenta cada unidad de análisis e indicadores subjetivos que están orientados a capturar si el número de equipos y la conectividad de la dependencia o poder gubernamental son percibidas suficientes, y con las capacidades necesarias para apoyar la colaboración hacia el interior y el exterior de la dependencia o poder gubernamental (nivel de adecuación). 106 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… A continuación se enlistan las preguntas relacionadas con la “Percepción de adecuación de la infraestructura”. Los valores posibles de respuesta estarán en una escala del 1 al 10: C1. La infraestructura tecnológica existente es adecuada para los objetivos y metas de nuestros proyectos de tecnologías de información. C2. Nuestras plataformas de cómputo están diseñadas para apoyar completamente la colaboración y la interoperabilidad entre dependencias o poderes gubernamentales. C3. Nuestras aplicaciones de software son adecuadas para compartir información e interoperar. Los indicadores objetivos, que se solicitarán también a cada unidad de análisis (dependencia o poder gubernamental) son los siguientes: A6. Número total de funcionarios/empleados en su dependencia.20 C4. Número de computadoras en su dependencia. C5. Número de computadoras conectadas en red. C6. Número de computadoras con acceso a Internet. Una vez obtenidos los indicadores para cada una de las unidades de análisis, se utilizará la siguiente fórmula para obtener el índice: Ci = ¾ Percepción de adecuación de infraestructura + ¼ Indicadores de equipamiento Ci = ¾ (C1+C2+C3)/3*10 + ¼ (C4/A6+ C5/A6+ C6/A6)/3)*100 21 En general, hemos decidido dar mayor peso en la ponderación a los elementos subjetivos, ya que consideramos que son los que añaden más valor a la variable. En el caso de esta variable en particular, por ejemplo, el número de computadoras o conexiones de red por sí mismo no es tan importante como el uso que se les da y si son suficientes y adecuados para que la dependencia o poder gubernamental desempeñe sus funciones. El valor obtenido con la fórmula para cada una de las unidades de análisis será después agregado obteniendo la media aritmética de todas las unidades de análisis para obtener el índice del país, C = Σ Ci / n donde n se refiere al número de unidades de análisis (poderes/dependencias) considerados. 20 21 Este indicador es preguntado en la primera sección del cuestionario “A” y es utilizado en las fórmulas de indicadores para varias de las variables incluidas en este modelo. El valor máximo de las proporciones C4/A6, C5/A6, y C6/A6 se forzará siempre a no ser mayor a uno, incluso en los casos en los que la cantidad de computadoras sea mayor que el número de funcionarios. 107 CEPAL – Colección Documentos de proyectos Hacia un modelo multi-dimensional de medición del gobierno electrónico… Anexo 2. Resumen tabular de las variables e indicadores del modelo Introducción A partir de las descripciones generales que se presentaron en la sección anterior, esta sección contiene las definiciones de las variables del modelo, los indicadores propuestos para cada una de ellas y las fórmulas para calcular los índices respectivos (valores numéricos de las variables). Estos indicadores han sido revisados una vez por los investigadores y consultores de CEPAL y la versión presentada en este documento refleja los comentarios que recibimos. Para la recolección de datos se requerirá crear tres instrumentos diferentes, un cuestionario para el responsable o coordinador nacional de gobierno electrónico, un cuestionario para el responsable del área de tecnologías de información en cada una de las unidades de análisis seleccionadas y un formato de observación de páginas de Internet que será utilizado para registrar las observaciones de las páginas sugeridas por cada responsable en los países. Indicadores En las siguientes páginas se presenta una matriz en la que se relacionan las 21 variables del modelo descritas en base a diferentes aspectos. Cada uno de estos aspectos se describe a continuación: Definición.- Una definición conceptual de la variable de acuerdo a lo encontrado en la revisión de literatura. Razón de ser.- Breve justificación sobre la inclusión de la variable en el modelo. Tipo de Variable.- Describe si la variable es cualitativa o cuantitativa. En caso de ser cuantitativa, describe el nivel de medición en el que se ubica la variable, ordinal, intervalo o razón. Valores posibles.- Valores que puede tomar la variable. Indicadores.- Lista de indicadores asociados a la variable. Método de recolección.- Forma en la que se obtendrán valores para los indicadores. Método de análisis.- Tratamiento que se dará a los indicadores antes de colocarlos en el tablero de control (fórmula para obtener el índice). 108 CEPAL Hacia un modelo multi-dimensional de medición del gobierno electrónico para América Latina y el Caribe CUADRO A2.1 MATRIZ DE VARIABLES E INDICADORES DEL MODELO DE MEDICIÓN Variable Definición Razón de ser Calidad de la Información y Datos Existentes Esta variable mide la existencia de información confiable sobre dependencias o poderes gubernamentales, procesos y servicios de gobierno en medios tradicionales, de modo que pueda ser colocada en línea u ofrecida a través de cualquier otro canal. Una condición importante para poder hacer pública la información de una dependencia de gobierno es tenerla y tenerla actualizada. Más aún, el principal costo en la integración de sistemas está asociado con la obtención y limpieza de los datos. Para poder obtener beneficio de las aplicaciones de gobierno electrónico, los funcionarios de gobierno deben tener acceso a estas tecnologías. Los beneficios más importantes surgen de proyectos de colaboración que implican interoperabilidad. Infraestructura Tecnológica y Compatibilidad 22 Se refiere a la existencia de infraestructura tecnológica en las dependencias o poderes de gobierno, así como qué tan adecuada es la infraestructura para facilitar la interoperabilidad. Tipo de Variable Ordinal/ Intervalo Ordinal/ Intervalo Valores posibles Indicadores Valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos. B1. En general, existe toda la información necesaria para crear sitios y sistemas B2. La información necesaria para crear sitios y sistemas está completa B3. La información necesaria para crear sitios y sistemas está libre de errores B4. La información necesaria para crear sitios y sistemas se puede obtener en el momento que se requiere B5. Mantenemos diccionarios de datos precisos para todos los datos que necesitamos para la creación de sitios y sistemas B6. Hay metadatos disponibles y de alta calidad para todos los datos que necesitamos para la creación de sitios y sistemas C1. La infraestructura tecnológica existente es adecuada para los objetivos y metas de nuestros proyectos de tecnologías de información C2. Nuestras plataformas de cómputo están diseñadas para apoyar completamente la colaboración y la interoperabilidad entre dependencias o poderes gubernamentales C3. Nuestras aplicaciones de software son adecuadas para compartir información e interoperar C4. El personal está capacitado para dar uso a la infraestructura de cómputo con la que cuenta la dependencia A6. Número de empleados en su dependencia C5. Número de computadoras en su dependencia C6. Número de computadoras conectadas en red C7. Número de computadoras con acceso a Internet Valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos y preguntas asociadas al número de computadoras y conexiones de red en la unidad de análisis. Método de recolección Encuesta a responsables de TIC de dependencias de gobierno federal. Método de análisis22 B= 2/10 Existencia de la Información + 4/10 Calidad de la Información + 4/10 Calidad y Definiciones de Datos B = 2/10 B1 *10 + 4/10 (B2+B3+B4)/3 *10 + 4/10 (B5+B6)/2*10 Encuesta a responsables de TIC dependencias de gobierno federal. C = 3/4 Percepción de Adecuación de Infraestructura + ¼ Indicadores de Equipamiento C = 3/4 (C1+C2+C3+C4)/4*10 + 1/4 (IF(A6=C4,C5/A6,1)+ IF(A6=C5,C6/A6,1) + IF(A6=C6,C7/A6,1)/3)* 100 La formula presentada en esta columna es la utilizada para hacer el cálculo del índice para cada unidad de análisis. Estos resultados se agregan usando una media aritmética para obtener el total del país. 109 CEPAL Hacia un modelo multi-dimensional de medición del gobierno electrónico para América Latina y el Caribe Variable Definición Razón de ser características Organizacionales y Gerenciales Se refiere a la existencia de infraestructura humana y organizacional en las dependencias o poderes de gobierno, además de la suficiencia de recursos financieros Para que los proyectos de gobierno electrónico puedan tener el impacto deseado, se requiere contar con los recursos humanos, financieros y organizacionales que den soporte a la estrategia y política informática. Se refiere a la existencia de un marco legal y normativo que facilite (o no) el desarrollo de proyectos e iniciativas de gobierno electrónico que trasciendan las fronteras de dependencias o poderes gubernamentales individuales. El marco legal y normativo es un factor que puede facilitar, pero también impedir el desarrollo de proyectos de gobierno electrónico. Marco Legal e Institucional Tipo de Variable Ordinal/ Intervalo Ordinal/ Intervalo Valores posibles Indicadores Valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos y datos relacionados con el presupuesto y seguimiento de proyectos. D1. Presupuesto Total en el último año del área de tecnologías de información expresado en dólares estadounidenses D1a. Presupuesto total en el último año de su dependencia expresado en dólares estadounidenses D2. Número de proyectos de TIC que se desarrollaron durante el último año (nuevas aplicaciones, nuevos módulos, nuevos servicios al público en línea, etc.) D3. Número de proyectos de TIC a los que se da seguimiento siguiendo una metodología de administración de proyectos (del total en D2) D4. Número de proyectos para los que se utilizó alguna herramienta de análisis para calcular el retorno sobre la inversión (del total en D2) D5. El presupuesto destinado en nuestra dependencia para el desarrollo de tecnologías de información y comunicación es adecuado D6. Contamos con un encargado de tecnologías de información (CIO o equivalente) que proveé liderazgo y dirección a los proyectos del área D7. La ubicación en el organigrama nacional del encargado de Tecnologías de Información (CIO o equivalente) es congruente con sus funciones D8. Desarrollamos nuestra estrategia de tecnologías de información con la participación de todas las áreas involucradas D9. Tenemos una estrategia clara de tecnologías de información E1. Tenemos leyes y reglamentos que apoyan y fomentan la aplicación de soluciones de tecnologías de información E2. Las leyes y reglamentos sobre información son implementadas y aplicadas E3. Las leyes y reglamentos favorecen la colaboración y el desarrollo de proyectos conjuntos entre dependencias o poderes gubernamentales E4. Las políticas y reglamentos internos sobre manejo y uso de información son consistentes para todas las organizaciones a nivel federal Valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos. 110 Método de recolección Encuesta a responsables de TIC dependencias de gobierno federal. Método de análisis22 D = 1/4 Presupuesto, planeación y Seguimiento a Proyectos + 3/4 Percepción de Características Organizacionales Favorables D = 1/4 ((D1/D1a)+(D3/D2)+ (D4/D2))/3 *100 + 3/4 (D5+D6+D7+D8+D9)/5* 10 Encuesta a responsables de TIC dependencias de gobierno federal. E = Percepción del Marco Legal, Institucional y Normativo E= (E1+E2+E3+E4)/4*10 CEPAL Hacia un modelo multi-dimensional de medición del gobierno electrónico para América Latina y el Caribe Variable Definición Razón de ser Demanda Potencial Se refiere a la penetración, uso y potencial de crecimiento de las tecnologías de información y comunicaciones en países Esta variable captura elementos de demanda que limitan o potencian el impacto social y la creación de valor público de las TIC y del uso de las mismas por parte del gobierno. Calidad de la Información disponible en los Sitios y Sistemas Esta variable se refiere a la calidad de información disponible en forma electrónica tanto en las páginas de Internet del gobierno como en sus sistemas de información. Esta variable está relacionada con la que se llama “Calidad de la Información y Datos Existentes”. La calidad de la información y los datos existentes se refiere a la información de los datos de entrada, y esta variable a los datos de salida. Tipo de Variable Ordinal/ Intervalo Ordinal/ Intervalo Valores posibles Indicadores Valores en una escala de 100 puntos, compuestos en base a indicadores presentados como porcentajes. F1. Líneas telefónicas por cada 100 habitantes F2. Abonados a telefonía celular móvil por cada 100 habitantes F3. Número de Computadoras por cada 100 habitantes F4. Abonados a Internet por cada 100 habitantes F5. Porcentaje de abonados a Internet banda ancha del total de abonados a Internet F6. Usuarios de computadora por cada 100 habitantes F7. Usuarios de Internet por cada 100 habitantes F8. Porcentaje de empresas que utilizan computadoras F9. Porcentaje de empresas que utilizan Internet F10. Porcentaje de adultos alfabetizados F11. Porcentaje de participación en la educación terciaria (Población Inscrita/Población total*100) F12. Tarifas de acceso a Internet (20 horas mensuales), como porcentaje del ingreso per cápita F13. Ingreso per cápita, en dólares de EEUU F14. Población total G1. La página contiene Título G2. La página contiene datos del autor G3. La página contiene una descripción G4. La página contiene palabras clave G5. Número de vínculos rotos G6. Número de anclas rotas G7. Número de faltas de ortografía G8. Número de elementos sin texto alternativo G9. Número de elementos sin altura y ancho G10. Número de alertas al acceder la página G11. Existe información sobre las dependencias gubernamentales, sus procesos y servicios en sus sitios en Internet (o sistemas) G12. La información necesaria para crear sitios y sistemas está completa G13. La información necesaria para crear sitios y sistemas está libre de errores G14. La información necesaria para crear sitios y sistemas se puede obtener en el momento que se requiere G15. La información existente en los sitios/sistemas está actualizada Valores en una escala de 100 puntos, compuestos en base a una serie de indicadores dicótomos que serán recogidos de las páginas de Internet de las unidades de análisis y preguntas que serán respondidas en una escala de 10 puntos. 111 Método de recolección UIT UNESCO Banco Mundial Agencias de Estadística en Chile Colombia y México. Los datos se enviarán para verificación o actualización por parte de los coordinadores nacionales de gobierno electrónico en los países. Forma de observación de páginas apoyado por WebXact. Encuesta a responsables de TIC dependencias de gobierno federal. Método de análisis22 F = ¼ Penetración de ICT en Individuos + ¼ Uso de Computadoras e Internet por Individuos + ¼ Penetración de Computadoras e Internet en Empresas + ¼ Potencial de Crecimiento de Base de Usuarios F= ¼ (F1+F2+F3+F4+F5)/5 + ¼(F6+F7)/2 + ¼ (F8+F9)/2 + ¼(F10+F11+F12)/3 G = ¼ Indicadores WebXact + ¾Percepción de Calidad de la Información en los Sitios y Sistemas G = ¼ (G1 +G2 +G3 +G4 +G5 +G6 +G7 +G8 +G9 +G10)/10 *100 + ¾ (G11+ G12+ G13+ G14+ G15)/5*10 Del G1 al G4 = Σ Gj / n* Del G5 al G10 = 1- (Σ Gj – Σ Gmin)/(Σ Gmax – Σ Gmin) * n representa el número de portales observados CEPAL Hacia un modelo multi-dimensional de medición del gobierno electrónico para América Latina y el Caribe Variable Definición Razón de ser Servicios Mide el nivel de desarrollo de servicios en línea en cada una de las unidades de análisis, utiliza también algunos servicios básicos como base para la comparación entre países. El grado de presencia en línea de un gobierno es un indicador de desarrollo de gobierno electrónico. Tipo de Variable Ordinal/ Intervalo Valores posibles Indicadores Valores en una escala de 100 puntos, compuestos en base a documentos y procesos en línea de cada unidad de observación, así como una evaluación del nivel de desarrollo de un conjunto de servicios a ciudadanos y empresas evaluados con una escala de 7 puntos. H1. Número total de servicios en el catálogo o manual de trámites en su dependencia H2. Número de procesos documentados en línea en su dependencia (toda la información necesaria está disponible en Internet) H3. Número de Formatos en Línea (para realizar un servicio o trámite) en su dependencia H4. Número de Servicios que se pueden realizar parcialmente en Línea (no necesariamente incluyendo el pago) H5. Número de Servicios que se pueden realizar completamente en Línea (incluyendo el pago) H6. Declaración de Impuestos al Ingreso H7. Búsqueda de trabajo en secretarías o ministerios del trabajo H8. Documentos Personales H9. Registro de Autos H10. Licencias de conducir H11. Solicitud y entrega de certificados (nacimiento, matrimonio) H12. Servicios asociados a la salud (ej. Cita en hospital) H13. Contribuciones sociales de los empleados H14. Declaración de Impuestos corporativa H15. Declaración de Impuesto al Valor Agregado H16. Registro de una nueva empresa H17. Envío de datos a oficinas de estadística H18. Declaración de aduanas H19. Permisos relacionados con el medio ambiente H20. Compras/Adquisiciones públicas 112 Método de recolección Encuesta a responsables de TIC dependencias de gobierno federal. Método de análisis22 H = 1/3 Promedio de Disponibilidad de Servicios en las Dependencias Encuestadas + 1/3 Evaluación de Servicios al Ciudadano + 1/3Evaluación de Servicios a Empresas Disponibilidad de Servicios por Dependencia = (H2/H1 + H3/H1 + 2H4/H1 + 3H5/H1)*100/7 Evaluación de Servicios al Ciudadano = (H6+H7+H8+H9+H10+ H11+H12)*100/49 Evaluación de Servicios a Empresas = (H13+H14+H15+H16+H 17+H18+H19+H20)*100 /56 CEPAL Hacia un modelo multi-dimensional de medición del gobierno electrónico para América Latina y el Caribe Variable Definición Razón de ser Interacción Mide la capacidad de interacción entre usuarios y dependencias o poderes de gobierno a través de diferentes mecanismos de contacto y retroalimentación por parte del ciudadano a la dependencia o poder de gobierno. La oferta de múltiples puntos de contacto es una de las características de sistemas desarrollados de uso de TIC y el uso de los mismos como herramientas para mejorar el servicio Mide el nivel de integración vertical y horizontal que se tiene entre diferentes dependencias, poderes y niveles de gobierno. El nivel de sofisticación de portales de Internet, así como la capacidad de ofrecer servicios a través de distintos canales está íntimamente relacionado con el nivel de integración de los sistemas. Integración Tipo de Variable Ordinal/ Intervalo Ordinal/ Intervalo Valores posibles Indicadores Valores en una escala de 100 puntos, compuestos en base a una serie de indicadores dicótomos que serán recogidos de las páginas de Internet de las unidades de análisis y preguntas que serán respondidas en una escala de 10 puntos. I1. Las páginas en Internet cuentan con correos electrónicos de servidores públicos I2. Las páginas en Internet cuentan con números telefónicos de dependencias y servidores públicos I3. Los sitios en Internet cuentan con direcciones de las dependencias I4. Los sitios en Internet cuentan con foros o chats electrónicos para comunicarse con funcionarios gubernamentales: _____ I6. Un ciudadano promedio puede contactar fácilmente a funcionarios gubernamentales desde su hogar (teléfono, fax, correo electrónico, chat, foro) I7. Un ciudadano promedio puede contactar a funcionarios a través de kioscos de servicio I8. Se realizan encuestas de satisfacción sobre la calidad de los servicios entre ciudadanos y/o usuarios internos I9. Se recopilan sistemáticamente quejas y sugerencias de los ciudadanos y/o usuarios internos I10. Se atienden y se da respuesta a quejas y sugerencias de los ciudadanos y/o usuarios internos J1. Contamos con portales en Internet o sistemas que ofrecen información y servicios de dependencias de distintos niveles de gobierno (nacional, estatal o local) sobre un mismo tópico (educación, salud, migración, etc.) pero no necesariamente con una forma única de pago J2. Participamos en portales en Internet o sistemas que ofrecen información y servicios de diferentes dependencias del nivel federal sobre diferentes tópicos (educación, salud, migración, etc.) pero no necesariamente con una forma única de pago J3. Participamos en portales en Internet o sistemas que ofrecen un carrito de compras único al que se pueden agregar servicios de múltiples dependencias de gobierno J4. Contamos con bases de datos integradas sobre las operaciones de la dependencia o poder de gobierno (a través de un GRP, por ejemplo) J5. Contamos con almacenes de datos (datawarehouses o datamarts) que integran información interna y externa para apoyar la toma de decisiones Valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos. 113 Método de análisis22 Método de recolección Forma de observación de páginas apoyado por WebXact. I = 1/3 Formas de Interacción + 1/3 Puntos de Contacto + 1/3 Formas de Retroalimentación Encuesta a responsables de TIC dependencias de gobierno federal. I = 1/3 ((I1+I2+I3+I4)/4*100) + 1/3 ((I6+I7)/2*10 + 1/3 (I8+I9+I10)/3*10) Del I1 al I4 = Σ Ij / n* * n representa el número de portales observados Encuesta a responsables de TIC dependencias de gobierno federal. J = Percepción sobre la Integración de Información en Portales y Sistemas J = (J1+J2+J3+J4+J5) /5*10 CEPAL Hacia un modelo multi-dimensional de medición del gobierno electrónico para América Latina y el Caribe Variable Definición Razón de ser Personalización Mide el grado en el que los sitios de dependencias o poderes de gobierno ofrecen un trato personalizado a los usuarios en base a mecanismos manuales o automáticos. Esta es una característica importante de las aplicaciones de Internet, su capacidad de ofrecer experiencias a la medida en base a información. Seguridad Mide el grado en el que dependencias, poderes y servicios de gobierno cuentan con políticas y mecanismos para asegurar el desarrollo de transacciones seguras. El desarrollo de aplicaciones de gobierno electrónico requiere de la existencia de mecanismos de seguridad, no sólo para llevar a cabo transacciones en línea, sino para proteger y resguardar la información de cualquier otra aplicación. Tipo de Variable Ordinal/ Intervalo Ordinal/ Intervalo Valores posibles Indicadores Valores en una escala de 100 puntos, compuestos en base a una serie de indicadores dicótomos que serán recogidos de las páginas de Internet de las unidades de análisis y preguntas que serán respondidas en una escala de 10 puntos. Valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos, observaciones en las páginas de Internet de las unidades de observación y preguntas sobre incidentes de seguridad. K1. Se puede seleccionar los elementos a ser incluidos en la pantalla de la página K2. Se pueden cambiar los colores de la página K3. La página recuerda los cambios (personalización) efectuados por el usuario K4. La página cuenta con categorías de usuarios y presenta la informaciónde forma personalizada para cada categoría K5. Nuestros sitios/sistemas recuerdan al usuario que los visitó con anterioridad K6. Nuestros sitios/sistemas permiten personalizar la vista y organización por parte del usuario K7. Nuestros sitios/sistemas cuentan con secciones de usuarios registrados K8. Nuestros sitios/sistemas reaccionan dinámicamente a la conducta del usuario usando tecnologías como por ejemplo filtros colaborativos L1. Existe una política de seguridad informática para nuestra dependencia L2. Existen procedimientos y protocolos de seguridad informática en la dependencia, los que incluyen -por ejemplo- protocolos sobre “passwords” o seguridad física de los equipos L3. Realizamos evaluaciones sistemáticas de nuestras vulnerabilidades en lo concerniente a la seguridad informática L4. Las políticas y procedimientos de seguridad de datos corresponden con la naturaleza de la información y las necesidades de confidencialidad L5. Empleamos revisiones formales que evalúan la conformidad con las políticas de seguridad L6. Mencione el número de incidentes de seguridad en su dependencia durante los últimos 12 meses (virus, robo de equipo, ataques al sistema, DoS, fraude, sabotaje, etc) L7. La página cuenta con transacciones L8. La página cuenta con transacciones seguras 114 Método de recolección Forma de observación de páginas apoyado por WebXact. Encuesta a responsables de TIC dependencias de gobierno federal. Método de análisis22 K = ¼ Personalización en las páginas en Internet + ¾ Percepción sobre el Nivel de Personalización ofrecido por Portales y Sistemas K=¼ ((K1+K2+K3+K4)/4* 100) + ¾(K5+K6+K7+K8)/4*10 Del K1 al K4 = Σ Kj / n* * n representa el número de portales observados Forma de observación de páginas apoyado por WebXact. Encuesta a responsables de TIC dependencias de gobierno federal. L = ½ Percepción sobre la Seguridad Informática en la Organización + ¼(Incidentes de Seguridad) * 100 + ¼(Proporción de transacciones seguras) *100 L=½ (L1+L2+L3+L4+L5)/5*1 0 + ¼ (L6) * 100 + ¼ (IF(L7≠0, L8/L7,0) *100 Del L7 al L8 = Σ Lj El L6 = 1- (Σ Lj – Σ Lmin)/(Σ Lmax – Σ Lmin) CEPAL Hacia un modelo multi-dimensional de medición del gobierno electrónico para América Latina y el Caribe Variable Definición Razón de ser Privacidad Mide la existencia de políticas para asegurar la privacidad de la información de los usuarios que interactúan con el gobierno. Además de garantizar acceso a información, el gobierno debe proteger la información de los usuarios de sus servicios y de los ciudadanos en general. Accesibilidad Mide la facilidad de acceso a los servicios, así como el nivel de conformidad con lineamientos de diseño para garantizar la accesibilidad sugeridos por el Consorcio del World Wide Web (W3C) Para que los servicios e información disponibles puedan tener un impacto, se requiere que puedan ser fácilmente accesados por parte de los usuarios, individuales y corporativos. Tipo de Variable Ordinal/ Intervalo Ordinal/ Intervalo Valores posibles Indicadores Valores en una escala de 100 puntos, compuestos en base a una serie de indicadores dicótomos que serán recogidos de las páginas de Internet de las unidades de análisis y preguntas que serán respondidas en una escala de 10 puntos. Valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos y conteos de errores en base a las recomendacione s prioridad 1, 2 y 3 del W3C. M1. Existe una política de privacidad para los usuarios de sitios gubernamentales y sistemas en nuestra dependencia M2. Se cuenta con un análisis minucioso de las necesidades de privacidad de datos para las aplicaciones de TI en nuestra dependencia M3. Realizamos evaluaciones sistemáticas de nuestras vulnerabilidades en lo concerniente a la privacidad M4. Los procedimientos y políticas para asegurar la privacidad de los ciudadanos son comunicadas efectivamente a todos los involucrados M5. Empleamos revisiones formales que evalúan la conformidad con las políticas de privacidad M6. La página cuenta con una política de privacidad N1. La información y servicios en los sitios Web o sistemas son accesibles para personas con alguna discapacidad N2. Realizamos evaluaciones de accesibilidad entre los usuarios de los sitios Web de forma sistemática N3. Evaluamos sistemáticamente el cumplimiento de las recomendaciones del W3C para facilitar acceso a personas con capacidades diferenciadas (discapacitados) en nuestros sitios N4. Número de errores Prioridad 1 N5. Número de ocurrencias de errores Prioridad 1 N6. Número de errores Prioridad 2 N7. Número de ocurrencias de errores Prioridad 2 N8. Número de errores Prioridad 3 N9. Número de ocurrencias de errores Prioridad 3 115 Método de recolección Forma de observación de páginas apoyado por WebXact. Encuesta a responsables de TIC dependencias de gobierno federal. Método de análisis22 M = ¾ Percepción sobre la Privacidad de los Usuarios de Sitios y Sistemas en la Organización + ¼ Existencia de Políticas de Privacidad en las Páginas Observadas M=¾ (M1+M2+M3+M4+M5)/ 5*10 + ¼ (M6)*100 M6 = Σ Mj / n* * n representa el número de portales observados Forma de observación de páginas apoyado por WebXact. Encuesta a responsables de TIC dependencias de gobierno federal. N = ½ Percepción sobre la Accesibilidad de los sistemas + ½Promedio normalizado errores detectados por WebXact en los sitios mencionados N= ¾ (N1+N2+N3)/3*10 + ¼(3*N4*N5+2*N6*N7+ N8*N9)/6 * 100 Los productos N4*N5, N6*N7 ó N8*N9 = 1- (Σ (N4*N5)j – Σ(N4*N5)min)/(Σ (N4*N5)max – Σ(N4*N5)min) CEPAL Hacia un modelo multi-dimensional de medición del gobierno electrónico para América Latina y el Caribe Variable Definición Razón de ser Usabilidad y utilidad Mide la usabilidad y utilidad de las aplicaciones, así como el interés de los gobiernos en evaluar la usabilidad de sus sistemas y sitios de Internet La investigación ha mostrado que la Usabilidad y utilidad de los sistemas son factores que influyen en la adopción de los mismos. Mide el nivel de uso y actividad de los sitios y servicios de gobierno. El primer impacto de las aplicaciones se refleja a través del uso de las mismas. Estadísticas de Uso de los Sistemas Tipo de Variable Ordinal/ Intervalo Ordinal/ Intervalo Valores posibles Indicadores Valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos. O1. Los sitios en Internet o sistemas son fáciles de usar para cualquier persona O2. Los sitios en Internet o sistemas son usados ampliamente O3. Para los usuarios es fácil buscar información en los sitios en Internet y/o sistemas O4. Los sitios en Internet o sistemas son útiles para los usuarios O5. Realizamos evaluaciones de usabilidad y utilidad entre los usuarios de los sitios en Internet y/o sistemas de forma sistemática O6. Realizamos evaluaciones de usabilidad y utilidad entre los usuarios de los sitios en Internet y/o sistemas al menos una vez al año P1. Número total de sesiones de usuarios en los últimos 3 meses P2. Número de páginas en su sitio de Internet visitadas en los últimos 3 meses P3. Total de páginas disponibles en su sitio en Internet P4. Número total de documentos o formatos descargados en los últimos 3 meses P5. Número de trámites o transacciones realizadas en su sitio durante los últimos 3 meses Valores en una escala de 100 puntos, compuestos en base a valores de uso como una proporción de los usuarios de Internet en el país y las caídas en los servidores. 116 Método de recolección Encuesta a responsables de TIC dependencias de gobierno federal. Método de análisis22 O = ½ Percepción sobre el Nivel de Usabilidad y Utilidad de Portales y Sistemas + ½ Realización de Evaluaciones de Usabilidad y Utilidad O= ½ (O1+O2+O3+O4)/4*10 + ½(O5+O6)/2*10 Encuesta a responsables de TIC dependencias de gobierno federal P= Promedio normalizado de uso P= (P1+P2+P3+P4+P5)/5 *100 Del P1 al P5 = Pi /(F7/100*F14) [Normalizados usando los usuarios de Internet] CEPAL Hacia un modelo multi-dimensional de medición del gobierno electrónico para América Latina y el Caribe Variable Definición Razón de ser Calidad de los Servicios Públicos Mide la calidad de los servicios ofrecidos en base a la satisfacción de los clientes, acreditación de procesos y al uso de información y estadísticas de uso para mejorar o crear sistemas. Este es uno de los principales beneficios potenciales del uso de la tecnología en las organizaciones. Tipo de Variable Ordinal/ Intervalo Valores posibles Indicadores Valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos y al número de reconocimientos y certificaciones recibidas por las unidades de análisis.. Q1. Los servicios o transacciones que están disponibles en el sistema responde a las necesidades y solicitudes ciudadanas Q2. La calidad de los servicios o transacciones que están disponibles en el sistema es igual o mejor que la calidad del mismo servicio o transacción llevada a cabo sin usar el sistema Q3. Los usuarios están muy satisfechos con los servicios o transacciones disponibles en el sistema Q4. Realizamos de forma sistemática encuestas de satisfacción sobre la calidad de los servicios que ofrecemos Q5. Usamos de forma sistemática las estadísticas de uso del sistema para mejorar la calidad de los servicios que ofrecemos Q6. Número de servicios y procesos certificados por ISO u otra agencia acreditadora de calidad Q7. Número de premios o reconocimientos de calidad otorgados por agencias en su país a los servicios que ofrece su dependencia o poder gubernamental Q8. Número de premios o reconocimientos de calidad otorgados por agencias internacionales a los servicios que ofrece su dependencia o poder gubernamental 117 Método de recolección Encuesta a responsables de TIC dependencias de gobierno federal. Método de análisis22 Q= ½ Percepción de Calidad de los Servicios + ¼ Certificaciones + ¼Premios y Reconocimientos Q=½ (Q1+Q2+Q3+Q4+Q5)/5* 10 + ¼Q6 + ¼ (Q7+Q8)/2 *100 Del Q6 al Q8 = (Qj – Qmin)/(Qmax – Qmin) CEPAL Hacia un modelo multi-dimensional de medición del gobierno electrónico para América Latina y el Caribe Variable Definición Razón de ser Eficiencia y Productividad Mide ahorros en costos y tiempos de procesamiento que promueven un gobierno más eficiente y productivo. Otro de los beneficios importantes prometidos por el uso de gobierno electrónico. Eficacia de Programas y Políticas Mide la efectividad del uso de las TIC para la mejora en eficacia de los programas de gobierno, en términos de la percepción de los funcionarios e indicadores nacionales de salud, educación economía e innovación. Al final, cualquier esfuerzo de gobierno está orientado a conducir programas más eficaces para mejorar las situaciones de los ciudadanos. Tipo de Variable Ordinal/ Intervalo Ordinal/ Intervalo Valores posibles Indicadores Valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos e información sobre ahorros promovidos por el uso de TIC. R1. El uso de tecnologías de información y comunicación ha permitido que nuestra dependencia sea más eficiente en el manejo de recursos R2. Hemos ahorrado tiempo de personal al incorporar el uso de tecnologías de información y comunicaciones R3. Hemos ahorrado dinero al facilitar acceso a información y servicios por medio de las tecnologías de información y comunicaciones R4. El uso de tecnologías de información y comunicación ha permitido que nuestra dependencia sea más productiva en sus actividades R5. El uso de tecnologías de información y comunicaciones nos ha ayudado a mejorar los procesos y servicios de creación de valor en nuestra dependencia R6. Tenemos indicadores claros para monitorear la mejora de procesos y servicios de creación de valor R7. Ahorro estimado en el último año derivado del uso de Tecnologías de Información en su dependencia, expresado en dólares estadounidenses S1. El uso de tecnologías de información y comunicación ha permitido que los programas y políticas de nuestra dependencia sean más eficaces S2. El uso de tecnologías de información y comunicación ha permitido que nuestra dependencia cumpla de mejor manera con las metas planteadas S3. El uso de tecnologías de información y comunicaciones ha ampliado la cobertura de nuestros programas y políticas S4. El uso de tecnologías de información y comunicaciones nos ha permitido llegar de forma más eficaz a nuestra población objetivo S5. Índice de crecimiento de competitividad del país S6. Eficiencia Terminal de educación básica S7. Porcentaje de egresados de educación básica que ingresan en educación secundaria S8. Esperanza de vida sana al nacer en hombres S9. Esperanza de vida sana al nacer en mujeres Valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos, e indicadores de economía, educación y salud. 118 Método de recolección Encuesta a responsables de TIC dependencias de gobierno federal. Método de análisis22 R = ¼ Ahorro sobre la inversión + ¼ Eficiencia y Ahorros + ½ Productividad y Creación de valor R = ¼ (R7/D1) *100 + ¼(R1+R2+R3)/3 *10 + ½(R4+R5+R6)/3 *10 R7/D1= ((R7/D1)j – (R7/D1)min)/((R7/D1)ma x – (R7/D1)min) World Economic Forum, UNESCO Organización Mundial de la Salud Encuesta a responsables de TIC dependencias de gobierno federal. S = ¾ Percepción del Efecto de las TIC en la Efectividad de Programas y Políticas + ¼ ((Economía e innovación) + (Educación) + (Salud))/3 S=¾ (S1+S2+S3+S4)/4*10 + ¼(S5*10 + (S6+S7)/2 + (S8+S9)/2*100)/3 S8 y S9 = (Sj – Smin)/(Smax – Smin) CEPAL Hacia un modelo multi-dimensional de medición del gobierno electrónico para América Latina y el Caribe Variable Definición Razón de ser Transparencia y Rendición de Cuentas Mide el grado de transparencia y rendición de cuentas como resultado del uso de las TIC. Otro beneficio esperado del gobierno electrónico radica en que su utilización promueve la transparencia y los procesos de rendición de cuentas. Participación Ciudadana Mide el nivel de participación ciudadana a través de canales facilitados por el uso de las TIC y el desarrollo de proyectos de gobierno electrónico Una de las promesas del gobierno electrónico es que puede ser una herramienta para favorecer la participación de la ciudadanía y la democracia Tipo de Variable Ordinal/ Intervalo Ordinal/ Intervalo Valores posibles Indicadores Valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos e indicadores internacionales de transparencia. Valores en una escala de 100 puntos, compuestos en base a una serie de indicadores dicótomos que serán recogidos de las páginas de Internet de las unidades de análisis y preguntas que serán respondidas en una escala de 10 puntos. T1. Índice de corrupción T2. El uso de las tecnologías de información y comunicación ha incrementado la transparencia del gobierno T3. El uso de las tecnologías de información y comunicación ha incrementado la confianza de los ciudadanos en el gobierno T4. El uso de las tecnologías de información y comunicación ha incrementado la rendición de cuentas del gobierno U1. La página cuenta con discusiones/participaciones en los chats, foros, etc. U2. La página cuenta con consultas a usuarios en línea (generadas por el gobierno) U3. La página cuenta con discusiones en línea (generadas por los usuarios) U4. Las herramientas de participación (chats, foros, etc.) en la página cuentan con al menos una discusión/participación en las últimas 2 semanas U5. El uso de las tecnologías de información y comunicación ha incrementado la participación de nuestros usuarios en las decisiones de nuestra dependencia U6. El uso de las tecnologías de información y comunicación ha incrementado la participación de los ciudadanos en las decisiones gubernamentales U7. El uso de las tecnologías de información y comunicación ha incrementado la participación de las empresas privadas en las decisiones gubernamentales U8. El uso de las tecnologías de información y comunicación ha incrementado la participación de organizaciones no gubernamentales en las decisiones gubernamentales 119 Método de recolección Transparencia Internacional Encuesta a responsables de TIC dependencias de gobierno federal. Forma de observación de páginas apoyado por WebXact. Encuesta a responsables de TIC dependencias de gobierno federal. Método de análisis22 T = ¼ Índice de Corrupción + ¾Mejora en Transparencia y Rendición de Cuentas T = ¼ (T1)*10 + ¾ (T2+T3+T4)/3 *10 U = ¼ Mecanismos de Participación en Páginas + ¾ Impacto de las TIC en la Participación Ciudadana U=¼ (U1+U2+U3+U4)/4*100 + ¾(U5+U6+U7+U8)/4*10 Del U1 al U4 = Σ Uj / n* * n representa el número de portales observados CEPAL Hacia un modelo multi-dimensional de medición del gobierno electrónico para América Latina y el Caribe Variable Definición Razón de ser Cambios en el Marco Regulatorio Mide la mejora al marco regulatorio como resultado del desarrollo de aplicaciones de gobierno electrónico La literatura en gobierno electrónico basada en la teoría de la estructuración o el nuevo institucionalismo argumentan que la aplicación de tecnologías está delimitada por el marco normativo, pero que el desarrollo de aplicaciones “empuja” las modificaciones a este mismo marco legal. Tipo de Variable Ordinal/ Intervalo Valores posibles Indicadores Valores en una escala de 100 puntos, compuestos en base a preguntas que serán respondidas en una escala de 10 puntos. V1. Como resultado del uso de tecnologías de información en el gobierno se han creado o modificado leyes y/o reglamentos en los últimos 12 meses V2. Como resultado del uso de tecnologías de información en el gobierno se han creado o modificado leyes y/o reglamentos que mejoran la privacidad de los usuarios de servicios de gobierno apoyados en TIC en los últimos 12 meses V3. Como resultado del uso de tecnologías de información en el gobierno se han creado o modificado leyes y/o reglamentos que mejoran la seguridad de los usuarios de servicios de gobierno apoyados en TIC (ej. Firmas digitales, protección de datos) en los últimos 12 meses V4. Como resultado del uso de tecnologías de información en el gobierno se crearon o codificaron leyes y/o reglamentos que mejoran el acceso a información gubernamental en los últimos 12 meses Fuente: elaboración propia. 120 Método de recolección Encuesta a responsables de TIC dependencias de gobierno federal. Método de análisis22 V = Cambios al Marco Regulatorio como Resultado del Uso de TIC en el Gobierno V= (V1+V2+V3+V4)/4*10