Reflexiones tras leer "Big Data"

Hoy estamos en una era de big data y, a veces, los datos nos brindan pruebas poderosas. Las siguientes son 2000 palabras después de leer big data. ¡Bienvenidos a leer!

Lea "Big Data" 2000 palabras 1 En los últimos dos años, las ideas de big data y computación en la nube se han extendido por todas partes como la música de Little Apple. Cada empresa, ya sea una empresa de Internet o una empresa tradicional, hace alarde de su propio big data.

1. Internet físico de las cosas e Internet de las cosas virtual

Había una vez que el concepto de Internet de las cosas se popularizó. El enorme Internet de las cosas puede permitir detectar y conectar a Internet una gran cantidad de objetos en el mundo, incluidas personas, automóviles, casas y otros objetos que se pueden conectar a Internet. Estos objetos pueden percibirse de manera que su información pueda registrarse para su uso. Hace unos años, esto era algo que parecía fuera de nuestro alcance y no era realista etiquetar cada objeto con la llamada etiqueta RFID. Hoy en día, con el uso generalizado de los teléfonos móviles, los propios humanos también se han sumado al Internet de las Cosas. ¿Por qué IoT? ¿Para qué es esto? Para saber lo que hemos ganado con el Internet de las cosas, solo necesitamos mirar lo que hemos ganado con un objeto antes de que se uniera al Internet de las cosas y después de que se uniera al Internet de las cosas. Entonces, obviamente, necesitamos obtener información sobre el objeto de alguna manera. Esta información almacenada se llama datos.

Los datos que genera el Internet de las Cosas son información entre objetos físicos, y ahora en Internet, la mayor cantidad de datos son objetos virtuales u objetos virtuales de red. Dado que los objetos de la red son directamente parásitos de la red, tienen las características de fácil acceso a la red, lo que tiene grandes ventajas cuando aún es difícil obtener información sobre los objetos físicos. Sin embargo, en el futuro, la cantidad de datos generados por el Internet físico de las cosas definitivamente aumentará, tal vez superando la cantidad de datos conectados a las cosas en la red.

El uso generalizado de Internet facilita la generación y difusión de información. Todo aquel que accede a la red juega un papel determinado y es el creador de información en la red. En cuanto a la información generada, todo aquel que accede a la red tiene múltiples roles. Para los proveedores de servicios de red, él es el rol de usuario de la red; para los portales, él es el usuario de los sitios de redes sociales, nosotros desempeñamos el rol de usuario de la red; carácter de red virtual o real; para un navegador, es una serie de caracteres, navegar por páginas web, enumerar las acciones del mouse... Los diferentes caracteres dependen de la información que la otra parte necesita obtener de nuestras acciones. Si varios personajes de la red se consideran objetos virtuales, entonces el Internet de las cosas virtual compuesto por dichos objetos virtuales generará cantidades masivas de datos. He vivido días en los que siempre había falta de acceso a la información. Ahora que se ha vuelto tan fácil obtener información, inevitablemente marcaremos el comienzo de una era de explosión de la información: la era del big data.

2. Cambios en el pensamiento

A medida que la tecnología cambie, nuestra forma de pensar también cambiará. En la era pasada de los datos pequeños, obtener información, almacenar información y organizarla consumía mucho tiempo y trabajo, por lo que teníamos que tener cuidado y pensar en cómo recopilar la información más precisa posible con el menor costo y la forma más rápida. forma. La razón por la que se utilizan estadísticas de muestreo es porque debido a limitaciones técnicas, es imposible obtener todas las muestras, o incluso si se obtienen, no se pueden procesar en un tiempo razonable. Debido a que el costo de obtener información es alto, tenemos que pensarlo todo antes de comenzar a procesarla. Esto es como codificar en bolsas de papel en los primeros días de las computadoras. El costo de un error era demasiado alto y la gente tenía que verificar el código innumerables veces antes de ingresarlo. Las computadoras modernas han mejorado enormemente la eficiencia de la codificación, lo que permite a las personas crear software más potente. La gente no necesita pensar demasiado en el código antes de comenzar a codificar, porque la máquina resolverá algunos problemas por usted. Por lo tanto, aquellos que temen que la gente se vuelva perezosa o desconsiderada porque es demasiado conveniente obtener datos y el costo de procesamiento y análisis de datos es demasiado bajo, están realmente preocupados. Históricamente, el progreso tecnológico ha aumentado la productividad humana, pero no ha vuelto perezosas a las personas porque, al mismo tiempo, también han aumentado los deseos. La humanidad sólo será más grande.

Entonces, en la era del big data, cuando los datos son más completos, podemos involucrarnos en algunas áreas que antes no podían cubrirse debido a datos insuficientes, como la predicción. Este es un campo apasionante, pero ya está aquí y todos son beneficiarios. La función de asociación inteligente en el método de entrada que utilizamos habitualmente puede predecir las palabras que podemos ingresar a continuación en función de las palabras que ingresamos antes, ahorrándonos así tiempo de entrada. En este algoritmo no hay inteligencia artificial, sólo una gran cantidad de estadísticas sobre los hábitos de entrada de las personas. Es un método estadístico para hacer predicciones a través de estadísticas de grandes cantidades de datos, en lugar de agregar reglas o lógica únicas. Esto conduce a una forma importante de procesamiento de información en la era del big data. Basándonos en las estadísticas, podemos obtener correlaciones entre diferentes individuos, pero no necesitamos comprender sus relaciones causales. Nos beneficiamos de las correlaciones. Este enfoque puede parecer oportunista, pero puede darnos una ventaja en momentos críticos. Estamos acostumbrados a conocer primero la lógica de causa y efecto de algo y luego inferir los resultados correspondientes. Sin embargo, siempre habrá algunos fenómenos que no pueden explicarse mediante una lógica razonable. ¿No sería divertido si pudiéramos saltarnos la etapa lógica y disfrutar de algunos resultados directamente a través del análisis de big data (el caso de la cerveza y los pañales de Walmart)? Por supuesto, la lógica rigurosa siempre es digna de respeto.

3. La rigidez de Internet

En una era de captación de usuarios a través de nuevos trucos a gran escala, debido a la mejora de la tecnología, lo que un emprendedor desarrolla en un nuevo campo Puede ser fácilmente copiado por otros. En este momento la profundidad es muy importante. Especialmente para sitios web con una gran cantidad de información, como sitios web de compras, sitios web de bajo beneficio y sitios web de portales, cuanto más sepa sobre un usuario, mayor será su ventaja. Por lo tanto, en una era en la que la tecnología ya no es el factor más importante, la máxima prioridad es cómo aumentar la fidelidad y la fidelidad de los usuarios. A través de la información previa del usuario, podemos inferir las preferencias del usuario y recomendarle la información o los elementos correspondientes. Cuando conoces a un usuario mejor que otros, el usuario no podrá vivir sin ti. Existe su función de clasificación inteligente, la aplicación "Today's Toutiao" del portal de noticias y su algoritmo de recomendación en varios sitios web de compras (pero esto es puramente para aumentar el consumo en lugar de aumentar la fidelidad del usuario), que puede basarse en la navegación anterior del usuario. y preferencias. Dar recomendaciones apropiadas. La base de estos es tener registros del comportamiento de los usuarios, de lo contrario es imposible hablar de ello.

Todos los ámbitos de la vida están aprovechando frenéticamente la oportunidad de obtener datos. Con suficientes datos, todo es posible.

Después de leer "Big Data" en 2000 palabras, todo lo que pasó en el pasado es un preludio. Esta es una cita favorita en la industria de Big Data. Big data es la tendencia actual y la era de big data se considera una introducción a la comprensión de big data. Recientemente la vi dos veces seguidas y estoy escribiendo esta reseña por segunda vez. En general, vale la pena leerlo, pero es necesario discutir los detalles.

Explicación de Wikipedia sobre big data: Big data, también conocido como big data, big data y big data, se refiere a la enorme cantidad de datos involucrados que no se pueden interceptar, administrar y procesar en un tiempo razonable. , organizado en información que los humanos pueden interpretar.

Algunas personas dicen que ahora es la era de la lectura de imágenes. Además de las novelas y Sopa de pollo para el alma, la mayoría de los libros más vendidos ahora tienen imágenes. Este libro es un caso especial.

Primero, intente analizar las tres opiniones del autor, que son tres frases que a la industria del big data le gusta citar:

1. No es una muestra aleatoria, sino todos los datos. .

Creo que todos pueden darse cuenta de que el análisis de todos los datos es mejor que el análisis de muestras aleatorias, pero en realidad a menudo no podemos obtener todos los datos: primero, el método de recopilación de datos, cada método Todos tienen su ámbito de aplicación, y es imposible abarcarlo todo; en segundo lugar, a partir del análisis de los datos, los aviones de combate sólo pueden contar los agujeros de bala en los aviones que regresan, pero no en los que se estrellaron. Ward analizó el avión de combate en vuelo para determinar los puntos débiles con mayor probabilidad de causar el accidente. En tercer lugar, la potencia de procesamiento no puede seguir el ritmo. Al igual que el pronóstico meteorológico anterior, fue demasiado escandaloso porque no hubo tiempo para calcular los datos. "El análisis de muestreo es producto de la era de la escasez de información y la era de los datos analógicos con una circulación de información limitada". El autor obviamente sólo prestó atención a algunas de las razones.

Desde la perspectiva de la comprensión del lenguaje, ¿qué son todos los datos, ya sean "todos los datos que necesitamos" o "todos los datos que podemos recopilar"? En muchos casos comerciales del libro, solo procesamos “todos los datos que podamos recopilar” o “todos los datos que creemos que podemos”. La comprensión que la gente tiene de la naturaleza siempre es limitada y el existencialismo cree que el mundo no tiene un objetivo final. Por ejemplo, "Farecast hizo un pronóstico utilizando los datos de precios de cada aerolínea para un año completo". "Un año completo" es una muestra o "todos los datos que necesitamos".

Desde una perspectiva histórica, el único propósito de Ptolomeo al construir la Biblioteca de Alejandría en el extranjero era "reunir todos los libros del mundo" y hacer realidad su sueño de "reunir todo el conocimiento del mundo". En China, Qianlong compiló cuatro colecciones de libros y cada proceso de recopilación tenía elementos subjetivos. En ese momento, todos pensaron que podrían coleccionar todos los libros. Al final, no obtuvimos todos los libros de ese sueño.

No es exacto, pero es una mezcla.

Dado que hemos realizado muestreos en el pasado, se encuentra en un nivel de confianza con una clara tolerancia o sesgo. La humanidad siempre sabrá que trabajamos con una precisión limitada. Al mismo tiempo, el propio autor admite que "los errores no son una característica inherente del big data, sino un problema real que debe abordarse con urgencia y que puede persistir durante mucho tiempo". ¿Las características del big data son precisas o mixtas?

Esto lleva a la pregunta de cómo controlar la calidad de los big data: primero, no se requiere precisión, pero se debe definir el grado de inexactitud; de lo contrario, será un desastre. Desde otra perspectiva, si se definen las tolerancias, todo lo que cumpla las condiciones será exacto (¿o todavía estoy atrapado en la era de los datos pequeños? Todavía no he descubierto la lógica aquí. Al igual que la teoría de defecto cero propuesta por maestro de gestión de calidad Crosby, siempre he pensado que es una propuesta falsa y definitivamente existen fallas, dependiendo de cómo se defina; en segundo lugar, hay un gran margen de mejora en aplicaciones que no son SQL para procesar grandes cantidades de datos no estructurados, como por ejemplo; como cuantificación de noticias y análisis de sentimientos.

"Los problemas no ocurren instantáneamente, ocurren lentamente". Por supuesto, estoy de acuerdo con esta afirmación, pero eso no significa que podamos abandonar la precisión. Es necesario redefinir la precisión para la industria de la gestión de proyectos, si ocurre un problema grave en un proyecto, creemos que debe haber problemas con muchos factores y enlaces de procesos, y hemos perdido muchas oportunidades de recuperación. el resultado es evidentemente inaceptable.

3 No se trata de una relación causal, sino de una correlación.

Esta es la mayor contribución del libro a la teoría del big data, y también la más controvertida. Ni siquiera soporto la traducción.

Estoy muy familiarizado con esta relación. La adivinación en la escuela primaria es una típica "relación no causal, sino de correlación". La adivinación es en realidad un resumen de tendencias. Le dirá de qué debe alejarse y a qué debe acercarse dadas las condiciones, pero no por qué debería hacerlo.

A menudo hablamos de ciencia, pero nadie puede explicar claramente qué es la ciencia. Mi comprensión de la ciencia es: primero, hay un alcance claro; segundo, se establece un axioma obligatorio y correcto dentro de este alcance; tercero, hay un proceso de deducción claro que se puede replicar; La hegemonía de la ciencia se refleja en denunciar todo lo que no cumple estas cuatro condiciones como pseudociencia y superstición feudal, y utilizar lo que no cumple las dos primeras condiciones para excluir todos sus propios errores. Según esta definición, los big data no son científicos.

El efecto mariposa en la teoría del caos se centra principalmente en la correlación. Se refiere a la dependencia de la sensibilidad a las condiciones iniciales. Pequeñas diferencias en la entrada se amplificarán rápidamente en la salida, pero nadie sabe cuál será la salida.

Una vez que los humanos abandonan la búsqueda de la causalidad, también renuncian a su mejor cualidad: la fuerza de voluntad. Muchas personas no quieren creer en la adivinación porque les preocupa no poder luchar contra su destino una vez que lo sepan. Aunque creo en la adivinación, exploro los factores causales en las correlaciones. Una de las razones por las que renuncié a mi primer trabajo fue que estaba cansado de un mañana tan determinado: cuando se envía una tarea, probablemente puedo predecir qué enlace causará problemas. Mientras no los siga, lo más probable es que haya problemas en estos enlaces.

Después de analizar estos tres puntos de vista, aquí hay algunas preguntas sobre la teoría del big data. Los macrodatos son una parte importante de la popular economía de retroalimentación actualmente y se utilizan ampliamente en las industrias financiera y de Internet, ambas consideradas campos bien remunerados. Muchas veces me pregunto si las tendencias que genera la llamada mano invisible son invisibles. Por ejemplo, varias empresas promocionaron un concepto y dijeron que era tendencia, pero pronto se convirtió en tendencia. Ejemplos vivos a nuestro alrededor son Double Eleven de Tmall y JD.com. como 618. Un gigante abre el camino e innumerables personas lo siguen, creando naturalmente un festival de compras. En cuanto a si es razonable, tiene poca importancia investigarlo, porque muchas cosas son incomparables. Esto es diferente de una mente colmena donde no existe un centro de control coercitivo.

Después de leer este libro, siempre sentí que lo que decía el autor era demasiado absoluto, y tal vez mi comprensión era demasiado superficial, así que bajo la tentación, finalmente concluí:

El amor es inagotable, Si se agota, la desgracia nunca llega sola.

Las bendiciones no se pueden agotar, y cuando se agoten, se sentirán solos.

No se puede decir todo, pero es fácil decirlo todo.

Las reglas no son factibles y las cosas serán muy complicadas si se hacen.

；