郭超:阿里云Cassandra背后的故事

大家好,我是阿里云数据库产品事业部的玄陵,真名郭超。 本次的分享大概分三个部分Cassandra云数据库简介、Cassandra云数据库特性以及QA。 我们先了解一下Cassandra云数据库在阿里云上的部署和架构。首先这个架构主要反映了三个方向 安全保障和VPC隔离在阿里云上,Cassandra数据库的不同用户有不同的VPC。通过VPC隔离和白名单,可以保证在阿里云上用户之间的...

Mr.Zhang 阅读:99 评论:0 2020-08-13 22:01:24

Meow攻击删除不安全(开放的)的Elasticsearch(及MongoDB) 索引,建一堆以Meow结尾的奇奇怪怪的索引(如:m3egspncll-meow)

07月29日,早上一来,照例先连接Elasticsearch查看日志禁止转载,by CoderBaby,结果,咦,什么情况,相关索引被删除了当天正在写入数据的索引,不能被删除,产生了一堆以Meow结尾的奇奇怪怪的索引,如下图 一阵紧张、懵逼,赶紧查看日志,发现如下问题系统在远程连接并下载执行一个脚本,如下慌张 20200728T140202,540DEBUGo...

Mr.Zhang 阅读:288 评论:0 2020-08-13 22:01:23

基于Python的人口热力大数据初探

1、数据来源腾讯大数据平台宜出行大数据 2、爬取方式 获取基础行政区基础数据,根据范围经纬度进行数据爬取。 3、爬取过程获取腾讯大数据请求地址,根据相关参数进行数据解析。 核心代码 def getTecentDatacount4,rank0 先默认为从rank从0开始 url'httpsxingyun.map.qq.comapigetXingyunPoints'...

Mr.Zhang 阅读:487 评论:0 2020-08-13 22:01:19

ElasticSearch 7.8.1 从入门到精通

学前导读 ElasticSearch对电脑配置要求较高,内存至少4G以上,空闲2G内存,线程数4018 学习的时候,推荐将ElasticSearch安装到Linux或者mac上,极度不推荐装Windows上坑太多,服务器部署的时候,也不会部署到Window上,学习用Windows上玩,不是耽误自个时间麽。如果是Window用户想学这个,电脑自身至少16G,然后装虚拟机,在虚拟机上搞个Linu...

Mr.Zhang 阅读:71 评论:0 2020-08-13 22:01:19

Kafka源码分析(一)

Apache Kafka 是 一个分布式流处理平台. 这到底意味着什么呢? 我们知道流处理平台有以下三种特性 可以让你发布和订阅流式的记录。这一方面与消息队列或者企业消息系统类似。 可以储存流式的记录,并且有较好的容错性。 可以在流式记录产生时就进行处理。 Kafka适合什么样的场景? 它可以用于两大类别的应用 构造实时流数据管道,它可以在系统或应用之间可靠地获取数据。 相当于messag...

Mr.Zhang 阅读:505 评论:0 2020-07-30 22:01:25

Ubuntu安装Cloudera Manager以及CDH5.15.2

一、机子分配 注意,本安装教程是在真机上进行,而非虚拟机。另,此次搭建主要的目的是搭建测试环境,让Hadoop各组件能够运作起来即可,完成搭建后,将用小数据量进行相关数据的计算与测试。线上环境将会使用阿里云主机。 以下是四台真机配置 机子内网IP地址 主机名 内存大小 磁盘大小 CPU 192.168.0.29 bigdata01主 8GB 2T 1个物理CPU,4核 192.168.0.1...

Mr.Zhang 阅读:250 评论:0 2020-07-30 22:01:23

大数据技术栈浅述

最近在做企业安全建设,企业安全建设中最常见的一项就是做监控,监控的种类多种多样,但是底层的技术栈却基本是一致的大数据技术,下面我记录一下我最近学习到的一些大数据技术,下文只是描述个脉络而已。 大数据的技术栈,以及对应的上下依赖图如下 看完这个图,是不是觉得和之前学习过的网络协议、框架都非常相识,无非就是把里面的名词替换了一下而已。我感觉软件产品的设计思路都是要分模块化、解耦合,你看TCP...

Mr.Zhang 阅读:343 评论:0 2020-07-30 14:02:14

PHP操作Elasticsearch7.6

目录 安装操作Elasticsearch的PHP库 PHP连接Elasticsearch 创建索引和映射 添加文档 单一文档索引 批量bulk索引 获取文档 更新文档 部分更新 script更新 删除文档 首先打开Elasticsearch官网了解对应编程语言的API httpswww.elastic.coguideenelasticsearchclientindex.html...

Mr.Zhang 阅读:110 评论:0 2020-07-29 06:00:45

SQL 基础整理

SQL语句执行顺序 From 表连接 on连接条件,形成新的虚拟表 where 筛选条件 group by 生成新的结果集合 group by 分组列表 having 分组后筛选 select 选出显示的 order by 排序 limit 分页个数限制 子查询顺序 除了exists,先执行子查询,再外查询 exists相关子查询,先执行外查询,再根据子查询字段进行过滤。 分页查询 limit...

Mr.Zhang 阅读:114 评论:0 2020-07-27 22:01:03

IK分词器的安装与使用

分词器 什么是IK分词器? 分词即把一段中文或者别的划分成一个个的关键字,我们在搜索时会把自己的信息进行分词,会把数据库中或者索引库中的数据进行分词,然后进行一个匹配操作,Elasticsearch的标准分词器,会将中文分为一个一个的字,而不是词,比如“石原美里”会被分为“石”、“原”、“美”、“里”,这显然是不符合要求的,所以我们需要安装中文分词器IK来解决这个问题。 IK提供了两个分词算法...

Mr.Zhang 阅读:66 评论:0 2020-07-27 22:01:01

支持一下我的小程序