Los datos digitales están creciendo a un ritmo explosivo, gracias a soluciones de almacenamiento más grandes, rápidas y asequibles. Las empresas han aprovechado las plataformas basadas en la nube para recopilar cantidades masivas de datos desde que Google y Facebook comenzaron a hacerlo a principios de la década de 2000. Y la generación de datos solo puede crecer aún más enormemente a medida que la población mundial obtiene acceso a Internet. Se prevé que los datos globales superen los 180 zettabytes en 2025, frente a los 64,2 zettabytes de 2020. Esta cifra es el resultado de la creación diaria de 402,74 millones de terabytes o 403 billones de megabytes de diversos tipos de datos, generados, recopilados y copiados.
por Michael Smith – Indectron
| Año | Datos almacenados, creados y consumidos(En zettabytes) |
| 2010 | 2 |
| 2011 | 5 |
| 2012 | 6.5 |
| 2013 | 9 |
| 2014 | 12.5 |
| 2015 | 15.5 |
| 2016 | 18 |
| 2017 | 26 |
| 2018 | 33 |
| 2019 | 41 |
| 2020 | 64.2 |
| 2021 | 79 |
| 2022 | 97 |
| 2023 | 120 |
| 2024 | 147 |
| 2025 | 181 |
Fuente: https://www.statista.com/statistics/871513/worldwide-data-created/
El rápido crecimiento de los datos también ha cambiado para siempre la forma en que las empresas gestionan los datos. Estos conjuntos de datos diversos, de gran volumen y en crecimiento, llamados big data, que antes eran solo un subproducto de las operaciones comerciales, son cruciales para resolver problemas y tomar decisiones.
A continuación se muestra una cronología de los hitos de las herramientas de gestión de datos desde la década de 1990 hasta la actualidad, enumerados por el consultor de gestión y entrenador de preparación para la IA Achim Lelle.
| Año | Hito | Valor Agregado | Jugadores clave |
| Década de 1990 | Introducción de sistemas de gestión de bases de datos relacionales | Almacenamiento de datos estructurados y consultas eficientes | Oracle, IBM, Microsoft |
| Finales de la década de 1990 | El advenimiento del almacenamiento de datos y el procesamiento analítico en línea | Habilitó cálculos analíticos complejos que involucran grandes conjuntos de datos | SAP, Oracle, IBM |
| Principios de la década de 2000 | Aparición de la tecnología de big data | Capacidad para procesar y analizar grandes cantidades de datos no estructurados | Apache Hadoop, bases de datos NoSQL |
| Mediados de la década de 2000 | Auge de la computación en la nube | Almacenamiento y análisis de datos escalables y bajo demanda | AWS, Google Cloud, Microsoft Azure |
| Década de 2010 | Avances en IA y aprendizaje automático | Análisis predictivo y toma de decisiones mejorados | TensorFlow, PyTorch, IA de Google |
| Adopción de lagos de datos | Almacenamiento flexible para datos estructurados y no estructurados, compatible con análisis avanzados | Varios proveedores de nube, ecosistemas de Hadoop | |
| Proliferación de herramientas de BI | Capacidades de análisis de datos democratizadas | Tableau, Power BI, Qlik | |
| De 2010 a 2020 | Integración de IoT y análisis en tiempo real | Recopilación y análisis de datos en tiempo real de los dispositivos conectados | AWS IoT, Azure IoT |
| Finales de la década de 2010 a la década de 2020 | Introducción de mallas de datos | Arquitectura de datos descentralizada centrada en la propiedad y la accesibilidad de los datos orientadas al dominio | Líderes de opinión en arquitectura de datos y organizaciones que adoptan un enfoque descentralizado |
Entonces, ¿hacia dónde vamos? En este artículo se analizan las tendencias que dan forma al panorama de los datos.
6 tendencias de Big Data para 2024 y más allá
La velocidad, la escalabilidad, la gobernanza y la rentabilidad contribuyen a obtener información de datos relevante, procesable e impactante.
| Velocidad | Escama | Gobernanza | Rentabilidad |
| Menor tiempo de generación de información con menos recursos | Más recursos de datos, usuarios y usos (incluido el autoservicio) | Uso, acceso, actividades y cumplimiento gobernados | Mejora de la productividad y optimización de la infraestructura |
Fuente: https://www.atscale.com/blog/defining-the-modern-data-landscape/
Aquí hay seis formas en las que estos cuatro factores harán que el big data evolucione a corto y largo plazo:
1. Integración de IoT con Big Data y crecimiento de la red de IoT
El Internet de las cosas (IoT) se refiere a la red de dispositivos físicos (computadoras, electrodomésticos y máquinas de monitoreo sofisticadas en un establecimiento o ubicación) conectados a través de Internet. Pueden recopilar, recibir y enviar datos a través del software y los sensores que contienen.
Un pronóstico de Statista muestra que la cantidad de dispositivos IoT en todo el mundo crecerá a 32.1 mil millones en 2030, más del doble de los 15.9 mil millones registrados en 2023.
| Año | Número de dispositivos conectados a IoT en todo el mundo |
| 2022 | 13.8 mil millones |
| 2023 | 15.9 mil millones |
| 2024 | 18 mil millones |
| 2025 | 20.1 mil millones |
| 2026 | 22.4 mil millones |
| 2027 | 24.7 mil millones |
| 2028 | 27.1 mil millones |
| 2029 | 29.6 mil millones |
| 2030 | 32.1 mil millones |
| 2031 | 34.6 mil millones |
| 2032 | 37.1 mil millones |
| 2033 | 39.6 mil millones |
Fuente: https://www.statista.com/statistics/1183457/iot-connected-devices-worldwide/
Las herramientas de big data pueden procesar grandes flujos de información sin procesar para extraer patrones y tendencias en tiempo real sobre el rendimiento de la máquina, el comportamiento del usuario y las condiciones ambientales. Estos conocimientos pueden ayudar a las empresas a mejorar la eficiencia operativa o los servicios y predecir tendencias. Como resultado:
- Los fabricantes pueden predecir las necesidades de mantenimiento de los equipos.
- Los hospitales pueden brindar una mejor atención al paciente y detectar enfermedades a tiempo.
- Los minoristas pueden personalizar la experiencia del cliente.
- Los agricultores pueden mejorar el rendimiento de los cultivos y reducir los residuos.
- Las ciudades pueden mejorar la gestión del tráfico, la seguridad pública y el uso de la energía.
Según IoT Analytics, el IoT sigue siendo una de las prioridades de inversión corporativa, ocupando el segundo o tercer lugar detrás de la IA. Las tres principales tecnologías que representaron casi el 80% de todas las conexiones de IoT de 2023 fueron Wi-Fi, Bluetooth e IoT celular (2G a 5G, NB-IoT y LTE-M). Mientras tanto, el 51% de las empresas involucradas en el informe de verano de 2024 de IoT Analytics dijeron que planean aumentar sus presupuestos de IoT en 2024. El aumento es de hasta un 10%+ para el 22% de las empresas con este tipo de planes.
Se prevé que IoT tenga un valor de 153.200 millones de dólares en 2029, frente a los 64.800 millones de dólares de 2024, con una tasa compuesta anual del 18,8%.
2. Información específica de la industria impulsada por IA en tiempo real
Si bien las herramientas de análisis de big data abordan las necesidades específicas de la industria, todos los sectores se benefician de una mejor toma de decisiones, experiencia del cliente, operaciones y presupuestos.
| Área de Negocio | Beneficios del análisis de big data |
| Toma de decisiones | Procesamiento de datos en tiempo real y análisis predictivo (combina datos históricos con algoritmos estadísticos para pronosticar el comportamiento, los resultados y las tendencias) |
| Experiencia del cliente | Segmentación de clientes (basada en datos demográficos, psicográficos y comportamiento de compra) y personalización (mensajes personalizados, como recomendaciones de productos y anuncios dirigidos, en los canales de comunicación preferidos) |
| Operaciones y presupuesto | Gestión de la cadena de suministro (análisis a nivel de inventario, rendimiento de los proveedores, programas de producción y previsión de la demanda) y asignación de recursos |
Fuente: https://blog.emb.global/big-data-analysis-tools/
Mientras tanto, aquí hay algunas formas específicas en que el big data y su análisis impactan a las industrias.
| Industria | Impacto |
| Atención sanitaria | Las historias clínicas electrónicas permiten el análisis de datos de pacientes para la toma de decisiones clínicas, la identificación de riesgos para la salud para la intervención temprana o la prevención de enfermedades, los planes de atención personalizados, la gestión de la salud de la población, la innovación en investigación médica |
| Fabricación | Los sensores en la maquinaria ayudan a identificar cuellos de botella y otras anomalías para abordar o reducir los defectos. Esto evita el tiempo de inactividad y mejora la calidad del producto. Mientras tanto, puede realizar un seguimiento del inventario, la entrega y la demanda de productos para mejorar la satisfacción del cliente mediante la supervisión de la cadena de suministro. |
| Venta al por menor | Los sensores y cámaras de la tienda pueden recopilar datos, que las herramientas de big data pueden analizar para determinar las áreas de productos populares y los patrones de tráfico peatonal. Los minoristas también pueden utilizar los datos históricos de ventas y las tendencias del mercado para optimizar los precios de los productos y los niveles de inventario, predecir la demanda futura y minimizar el exceso de existencias. |
| Finanzas, banca y valores | El análisis de big data puede detectar actividades potencialmente fraudulentas, mejorar la evaluación del riesgo crediticio y personalizar las estrategias de inversión. |
| Logística | Los sistemas de gestión del transporte utilizan fuentes de big data para optimizar las rutas, lo que permite un movimiento de carga más eficiente y seguro. |
| Telecomunicaciones | Los resultados analíticos proporcionan la base para ajustar dinámicamente los precios de los servicios en función de las condiciones de la red y la dinámica de la demanda. Los hallazgos también permiten a los proveedores predecir las necesidades de los clientes, mejorando las ofertas y la retención de clientes. |
| Educación | Cuando los estudiantes pueden acceder a los sistemas de gestión del aprendizaje, los profesores pueden realizar un seguimiento de su progreso. Mientras tanto, las escuelas pueden utilizar fuentes de big data para evaluar el desempeño de los docentes. |
Fuentes: https://bytehouse.cloud/blog/relationship-bigdata-and-iot, https://datafloq.com/read/the-future-of-big-data-trends-and-predictions-in-2023/, https://blog.emb.global/big-data-analysis-tools/, https://eyer.ai/blog/the-use-cases-for-anomaly-detection/, https://www.simplilearn.com/tutorials/big-data-tutorial/big-data-applications
3. Opciones diversificadas de almacenamiento de datos
Los silos de datos son un reto al que se enfrenta el 60,9% de las organizaciones. Como respuesta de la industria, han surgido dos modelos para desglosarlos y mejorar el almacenamiento y el acceso: la arquitectura de tejido de datos centralizado y la malla de datos descentralizada. Sin embargo, los dos marcos no son mutuamente excluyentes. Muchas empresas suelen utilizar un modelo híbrido para aprovechar las fortalezas de cada sistema.
El enfoque de Data Fabric integra datos de diversas fuentes (bases de datos, servicios en la nube y lagos de datos) y los hace accesibles desde un solo lugar. Una plataforma centralizada simplifica el cumplimiento y la seguridad. Sin embargo, las operaciones de datos pueden ser rígidas y bloquear cualquier alteración cultural.
Mientras tanto, una infraestructura de malla de datos trata los datos como un producto que es propiedad y está gestionado por departamentos empresariales individuales o “dominios” que los generan y consumen. La naturaleza distribuida de la propiedad de los datos permite a los dominios crear productos adaptados a sus necesidades y tomar decisiones con más agilidad. Sin embargo, es necesaria una fuerte coordinación para garantizar la interoperabilidad y la coherencia.
| Tejido de datos | Híbrido | Malla de datos |
| Centraliza los datos en varias fuentes para una integración perfectaUtiliza la IA y el aprendizaje automático para automatizar la gestión y el análisis de datosAutomatiza los procesos para garantizar una calidad y una gobernanza de datos coherentes | Acceso, gestión y uso compartido de datos optimizadosCéntrese en la escalabilidad | Proporciona a los equipos acceso directo a los datos, lo que reduce la dependencia de los equipos centralesLos datos se tratan como un producto con un enfoque en la calidad y la seguridadLos equipos de dominio gestionan sus respectivos productos de datos |
Inspired by: https://dualitytech.com/blog/data-mesh-vs-data-fabric/, https://www.precisely.com/blog/datagovernance/unraveling-the-threads-data-fabric-vs-data-mesh-for-modern-enterprises, https://shelf.io/blog/data-mesh-and-data-fabric/
Edge computing has been described as a mesh network of “micro-data centres” that processes and stores data locally or within a network before sending bundled relevant data to the cloud. This setup is ideal when data is physically close to the users who generate and use it. Internet-enabled or IoT devices are edge computing tools, which can lower network latency or duration between data generation and processing. Healthcare and retail are prime candidates for this type of computing because real-time data processing is crucial to their operations.
4. Quantum Computing
Regular computing uses a binary system, wherein each bit is either a zero or a one. Meanwhile, quantum computing uses quantum bits or “qubits,” which can be both numbers simultaneously. The qubits’ ability to exist in multiple states simultaneously allows them to analyse or perform highly complex calculations involving large datasets at unprecedented speeds.
Such capability has applications in medicinal drug development, simulating the interaction of molecules. Because quantum computing can crack regular codes, it can help efforts to strengthen encryption for improved data security. Moreover, quantum-enhanced machine learning (ML) systems can develop models from analytics to more accurately predict stock market trends, disease outbreaks, and weather patterns. Google, IBM, and Cambridge have begun quantum computing projects to power ML models for real-world applications.
According to QuEra Computing, the majority of its 900+ poll respondents believe the top two drivers of quantum computing’s ROI are its ability to solve previously unsolvable problems and do it faster than classical computing. However, responses were varied based on segments.
| Source of Quantum Computing ROI | Company member who uses/is a potential user of quantum computing | Member of a quantum computing business | Academe | Analyst or member of the press | Enthusiast |
| Solve previously unsolvable problems | 82 | 99 | 227 | 13 | 72 |
| Solve problems faster than classical computing | 70 | 79 | 178 | 9 | 68 |
| Optimise existing operations | 59 | 63 | 113 | 7 | 47 |
| Develop new intellectual property | 35 | 80 | 103 | 6 | 22 |
| Innovation and product development | 58 | 94 | 133 | 4 | 59 |
| Novel academic publications | 19 | 56 | 247 | 5 | 19 |
| Energy savings relative to classical computing | 36 | 46 | 81 | 7 | 39 |
| Other | 5 | 4 | 12 | 0 | 4 |
5. Data Visualisation
Data visualisation has become a key facet of data democratisation or the granting of data analytics access to non-IT/technical staff. Tools that turn data into charts and other visuals make the information easier to understand as they immediately highlight what matters.
Moreover, AI-enabled tools let users ask questions using natural language (e.g., “What are my three top-selling products in the last quarter?”) for more customised results. As a result, marketing people and others without deep technical knowledge can make informed decisions and identify opportunities.
When presenting data to stakeholders, developing stories around statistics becomes more convenient and appealing through customisable charts, pre-designed templates, or interactive maps. Software can now display these figures in 3D using VR or AR for a more immersive experience.
Also, interactive dashboards with streaming or real-time visualisations may soon become the norm. These tools allow you to explore data in more detail and enable you to perform other functions while viewing graphs. For instance, you can sell a particular stock when it hits a price threshold.
| Top Data Visualisation Trends: |
| Real-time visualisation |
| Interactive dashboards |
| Automated storytelling |
| VR/AR integration |
Sources: https://www.ingentis.com/blog/trends-data-visualization/, https://www.kellton.com/kellton-tech-blog/top-emerging-data-visualization-trends
6. Data Stewardship
Stronger data governance overshadows AI when it comes to long-term business viability moves. Around a third of survey respondents in Immuta’s 2024 State of Data Security Report said that security controls top their organisational initiatives. Data architecture modernisation (22%) and AI integration (20%) came in second and third. Amid the excitement about how AI can improve operations, including data privacy, 56% of data professionals fear that AI prompts used by employees can inadvertently expose sensitive company information.
Moreover, companies continue to come under attack by cyber threats. In 2024, 60% of large companies, 48% of mid-sized firms, and 12% of small businesses experienced cyberattack-related data loss.
| Causes of Data Loss | 2020 | 2021 | 2022 | 2023 | 2024 |
| Software failure | 25% | 26% | 34% | 42% | 40% |
| Hardware failure | 25% | 21% | 26% | 26% | 29% |
| Cyber-attack or internal security breach | 23% | 26% | 38% | 52% | 46% |
Source: https://datahealthcheck.databarracks.com/2024/
At the same time, data governance is necessary to build trust. 73% of UK participants in a survey believe companies collect too much personal or financial data. The same percentage wants stronger protection of customer data once obtained. Britons also demand more transparency and regulation amid fears about unrestricted use of AI with their data.
Trust can make consumers more willing to share data, deepening data pools. However, they’re calling for disclosure over who their data is shared with and vetting of data security providers (77%).
Data use reporting has also become necessary to comply with regulatory frameworks (such as the General Data Protection Regulation in Europe and the California Consumer Privacy Act in the US) and support policy-making (such as the collaboration between the UK’s AI Council and various industries for the national AI strategy). Starting in 2024, the EU requires large and listed companies to report on the environmental and social impact of their activities as part of its sustainability directive.
6 Steps for Adapting to Emerging Trends
| Step 1 | Step 2 | Step 3 | Step 4 | Step 5 | Step 6 |
| Assess your current tech stack and big data sources. | Define your data management goals. | Review and update your data security measures. | Create a data strategy roadmap. | Budget for new investments. | Schedule quality checks, results monitoring, and maintenance. |
Sources: https://www.trinetix.com/insights/building-a-resilient-data-management-strategy-key-steps-and-best-practices, https://www.dataversity.net/data-strategy-trends-in-2024/, https://jake-jorgovan.com/blog/emerging-trends-in-big-data-analytics-what-businesses-need-to-know-for-the-future, https://www.avenga.com/magazine/trends-and-future-forecasts-in-big-data/, https://intelliarts.com/blog/building-big-data-strategy/
With executives under pressure to swiftly adapt to marketplace trends and show tangible impacts of their data planning, having a data strategy is vital to staying competitive and reaping the benefits of big data technology.
Here are six steps to help you achieve such a strategy:
1. Review your existing tech stack and big data sources.
Sit down with your IT team and assess and document your existing systems and capacities. Identify your big data sources—internal and external ones, as well as web and app-based analytics. Your future big data service provider or development team will need this documentation to assess your current situation.
2. Set your business objectives.
Sepa exactamente lo que quiere lograr con sus datos. Al definir sus necesidades de procesamiento de datos, tenga en cuenta lo siguiente:
- La naturaleza de los datos que maneja
- El volumen de datos que debe procesar (¿es coherente o está sujeto a fluctuaciones estacionales?)
- La complejidad de sus tareas de procesamiento de datos (¿implican análisis, integración y transformación?)
3. Evalúe y actualice sus medidas de seguridad de datos.
Revise sus políticas de gobernanza de datos para asegurarse de que cumplen con los estándares de la industria y las regulaciones relevantes: controles de acceso, cifrado de datos, monitoreo y detección proactivos, y copia de seguridad y recuperación. La documentación adecuada y los registros de auditoría deben ser SOP. Al mismo tiempo, los protocolos de protección de datos deben promover la honestidad y la responsabilidad en el almacenamiento, la recopilación y el uso de datos.
Casi un tercio de las empresas de todo el mundo tienen un director de datos (CDO), cuyas tres funciones principales incluyen la gobernanza de datos. En el Reino Unido, el 57% de las empresas con ingresos superiores a 50.000 millones de dólares tienen CDO.
| Principales responsabilidades de CDO en todo el mundo | Porcentaje |
| Estrategia de datos | 48.1% |
| Analítica | 16% |
| Gobernanza de datos | 14.1% |
| Gestión de datos | 12.3% |
| Casos de uso empresarial | 4.8% |
| Otro | 4.7% |
Fuente: https://www.statista.com/statistics/1362060/cdo-primary-responsibility-worldwide/
4. Crea una hoja de ruta de estrategia de datos.
Esta hoja de ruta describe cómo su organización accederá a los datos, los administrará y los almacenará. Debe proporcionar un análisis situacional sobre el que su empresa traza sus objetivos de datos. Luego, debe discutir sus planes tácticos, el cronograma para implementar estas medidas y el proceso de monitoreo / evaluación.
5. Presupuesto para nuevas inversiones.
Las inversiones deben abarcar tanto a la tecnología como a las personas. Equipe a su fuerza laboral con las habilidades para alfabetizar datos y dominar las herramientas para administrar e interpretar datos.
Una vez que haya determinado el nivel de soporte que necesitará de un proveedor de servicios, ya sea un centro de datos o una agencia de análisis de datos, busque, evalúe y seleccione en función de su:
- Especialización y experiencia en datos
- Trayectoria y reputación
- Seguridad de datos y cumplimiento normativo
- Herramientas (comprueba la compatibilidad con tu pila tecnológica)
- Escalabilidad
- Comunicación y enfoque colaborativo
6. Programar controles de calidad/seguimiento de resultados.
Realice revisiones periódicas para comprobar cómo está obteniendo valor de sus soluciones de big data. Evalúe el sistema o software en función del rendimiento, la eficiencia, la fiabilidad, la facilidad de uso y la seguridad.
El liderazgo en Big Data comienza con una estrategia orientada al futuro
A medida que las tecnologías que manejan big data continúen evolucionando, las empresas deben anticiparse a las interrupciones y mantenerse al día con las innovaciones para satisfacer las demandas de las partes interesadas. Mantenerse informado de las tendencias, como en los puntos mencionados anteriormente, puede prepararlo a usted y a su equipo para navegar por el futuro con una mentalidad basada en datos.
