云计算

云计算

最近更新

  • 【Spring Cloud Alibaba】1.新版SpringCloudAlibaba整合Dubbo,配置多注册中心——Nacos+Zookeeper

    1.背景介绍新系统微服务体系使用 SpringCloudAibaba,版本为目前最新的2021.1;由于公司旧项目使用的技术栈为基于Dubbo+Zookeeper,新项目使用Nacos,且Dubbo支持同时注册多个注册中心,故而采用双注册的技术选型网上查询相关资料比较少,SpringCloudAibaba会出现各种依赖导致的问题,使用经反复测试及冲突解决、目前采用版本如下面模块所示,在这基础上进行调整可支持多个版本的Spring Cloud2.父模块pom.xml<propertie

    2021-12-05云计算【】

    阅读更多
  • structured streaming 入门级初使用(一)

    云计算structured streaming 入门级初使用(一)

    关于 structured streaming 的 从 0到1

    2021-12-05云计算【】

    阅读更多
  • 吃透Kafka三:详细分析生产和消费对消息的保障

    一,kafka消息传递的三种语义At most once:最多一次,消息可能会丢失,但不会重复。At least once:最少一次,消息不会丢失,可能会重复。Exactly once:只且一次,消息不丢失不重复,只且消费一次。我们使用kafka肯定是希望Exactly once,要保证Exactly once效率上面需要做出一定的牺牲,那么是要Exactly once还是效率就要结合具体业务来分析了。但是整体的消息投递语义需要 Producer 端和 Consumer 端两者来保证。二,Pr

    2021-12-05云计算【】

    阅读更多
  • Hadoop无法进行hdfs的问题[已解决]

    云计算Hadoop无法进行hdfs的问题[已解决]

    很久没打开集群,上课需要连接时start-all.sh后,显示连接被拒绝(忘记截图了,报错信息是这样)ls: Call From hadoop01/192.168.60.128 to hadoop01:9000 failed on connection exception: java.net.ConnectException: Connection refused;For more details see: http://wiki.apache.org/hadoop/ConnectionRefused

    2021-12-05云计算【】

    阅读更多
  • 数仓项目-拉链表技术精解

    在数据仓库的模型设计的过程中,通常我们会碰到那种非常大的业务基础信息表,如用户表;假如一个用户表有10亿条记录,50个列,就算使用orc压缩,但张表的存储也会超过100G,如果同步到Hive中按HDFS的默认备份,那就是300G,这样对磁盘的消耗也是非常大的。假设该表的某些字段在业务端会产生update操作,但是每次update的字段就那么1到2个,其它字段不变,那么这些变化不频繁的维度字段被称为缓慢渐变维,而且相同id的变update频率很小,每天update的记录只占全表记录的很小一部分。

    2021-12-05云计算【】

    阅读更多
  • Kafka结构图

    Kafka结构图看了《深入理解kafka核心设计与实践原理》总结了一下,如果理解错了望指正。

    2021-12-04云计算【】

    阅读更多
  • Ansible:Ansibl项目生产环境快速布局

    但是实际生产环境中一个服务往往有多个组件,比如部署大数据服务时,常常需要部署一个“大数据全家桶”:Hadoop、 Zookeeper、 Hive、 Mysql、 Flink 等。今天的文章着重解决一下这个问题:如何科学正确地划分 Ansible 应用的目录结构?

    2021-12-04云计算【】

    阅读更多
  • Redis 分布式锁笔记

    云计算Redis 分布式锁笔记

    Redis 分布式锁笔记

    2021-12-04云计算【】

    阅读更多
  • 如何给论文题目选题,如何写论文

    云计算如何给论文题目选题,如何写论文

    1.苦恼2022年的毕业论文,你还停留在老技术servlet,springboot上,题目一般很难审核通过,即便审题通过,在答辩时避免不了会被问到如何处理大量请求问题,如何处理快速搜索问题,如何处理高并发问题,如何处理支付,如何处理秒杀等等一些列难题,经常被老师怼过去。== 2.解决办法==我们尝试新技术springcloud微服务思想解决问题,后端采用:springclou微服务+spring+springmvc+mybatisplus,linux,mysql事务隔离与锁机制,redis,文件存储

    2021-12-04云计算【】

    阅读更多
  • Elasticsearch、ik分词器安装、SpringBoot整合、docker安装ES、Kibana、nginx

    一、简介​ Elasticsearch 是一个分布式的免费开源搜索和分析引擎,适用于包括文本、数字、地理空间、结构化和非结构化数据等在内的所有类型的数据。Elasticsearch 在 Apache Lucene 的基础上开发而成,由 Elasticsearch N.V.(即现在的 Elastic)于 2010 年首次发布。Elasticsearch 以其简单的 REST 风格 API、分布式特性、速度和可扩展性而闻名,是 Elastic Stack 的核心组件;Elastic Stack 是一套适用于数

    2021-11-30云计算【】

    阅读更多
  • 一些常用的hive sql函数

    一些工作中常用的 hive sql

    2021-11-30云计算【】

    阅读更多
  • zookeeper 浅谈zookeeper及其特点 重要机制 zookeepe应用汇场景 选举机制 监听原理 zookeeper客户端操作命令 zookeeper配置参数

    1、Zookeeper及其他大数据组件简介HDFS:是解决存的问题HBase:解决大表的问题,是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统Hive:是包装MapReducer的功能。基于Hadoop的一个数据仓库工具,可以将结构化的数据文件映射为一张表,并提供类SQL查询功能而zookeeper没有具体的功能,它在大数据区块中的位置比较特殊,好似一个润滑油,实际上它是协调大数据其他框架/组件之间的合作的。2、Zookeeper介绍Zookeeper是一个开源的分布式

    2021-11-30云计算【】

    阅读更多
  • 提交运行 spark 任务到 kubernetes

    云计算提交运行 spark 任务到 kubernetes

    一、目标运行 spark 任务到 kubernetes,spark on kubernetes。二、步骤

    2021-11-30云计算【】

    阅读更多
  • 小付博客目录

    在里面总结了平时学习的一些知识,以及处理异常的方法,若本文对你有所帮助,建议一键三连。一、项目案例总结:ssm项目案列总结大数据Vue项目单表案例大数据Vue项目异常总结JavaEE综合案例宿舍管理开发流程定时任务总结柱状图饼图二、异常总结:JavaWeb异常总结ssm项目异常总结JavaEE异常总结Vue异常总结如果我的博客对你有帮助,也是你所喜欢的内容,请“点赞” “评论” “收藏” 一键三连,就是对我最大的支...

    2021-11-29云计算【】

    阅读更多
  • HBase内部结构详解

    云计算HBase内部结构详解

    最近在看《HBase不睡觉书》,挺不错的,很适合入门,推荐大家看看。宏观架构Master:负责启动的时候分配Region到具体的RegionServer,执行各种管理操作。(Master在HBase中的功能比较弱,假如Master挂了,依然可以对数据进行增删改查,但不能创建表、修改列族配置等)。RegionServer:RegionServer上有一个或多个Region,我们读写的数据就存储在Region上。Region:存储一张表的一部分数据。HDFS:真正存储数据的载体。Zoo.

    2021-11-29云计算【】

    阅读更多
  • 【个人项目】东北大学软件学院2020级2021年夏季实训项目——东软颐养社区系统

    云计算【个人项目】东北大学软件学院2020级2021年夏季实训项目——东软颐养社区系统

    东北大学;实训项目;东软颐养社区系统

    2021-11-29云计算【】

    阅读更多
  • 什么是spark? spark与hadoop的对比

    云计算什么是spark? spark与hadoop的对比

    1.什么是SparkHadoop主要解决,海量数据的存储和海量数据的分析计算。Spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。2.Hadoop与Spark历史Hadoop的Yarn框架比Spark框架诞生的晚,所以Spark自己也设计了一套资源调度框架。3.Hadoop与Spark框架对比4.Spark内置模块Spark Core:实现了Spark的基本功能,包含任务调度、内存管理、错误恢复、与存储系统交互等模...

    2021-11-29云计算【】

    阅读更多
  • 2021年大数据ELK(十二):Elasticsearch编程(环境准备)

    云计算2021年大数据ELK(十二):Elasticsearch编程(环境准备)

    全网最详细的大数据ELK文章系列,强烈建议收藏加关注!新文章都已经列出历史文章目录,帮助大家回顾前面的知识重点。目录Elasticsearch编程一、环境准备1、准备IDEA项目结构2、准备POM依赖3、创建用于保存职位信息的实体类4、编写接口和实现类5、创建实现类Elasticsearch编程要将搜索的功能与前端对接,我们必须要使用Java代码来实现对Elasticsearch的操作。我们要使用一个JobService类来实现之前我们用RESTFul完...

    2021-11-29云计算【】

    阅读更多
  • 【Hadoop】【MapReduce】实现实例:FriendRecommendation

    云计算【Hadoop】【MapReduce】实现实例:FriendRecommendation

    MapReduceauthor:zoxiii1、新建工程Friend,点击Finish2、新建Java class代码如下:/** * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed with * this work for additional informatio.

    2021-11-29云计算【】

    阅读更多
  • HBase的Java代码开发(从Linux集群环境搭建开始)

    云计算HBase的Java代码开发(从Linux集群环境搭建开始)

    集群环境搭建1:注意事项1.1 windows系统确认所有的关于VmWare的服务都已经启动1.2 确认好VmWare生成的网关地址1.3 确认VmNet8网卡已经配置好了IP地址和DNS2:复制虚拟机2.1 将虚拟机文件夹复制三份,并分别重命名, 并使用VM打开重命名2.2分别设置三台虚拟机的内存 需要三台虚拟机, 并且需要同时运行, 所以总体上的占用为: $每台虚拟机内存 *3 在分配的时候, 需要在总内存大小的基础上, 减去...

    2021-11-29云计算【】

    阅读更多
  • EOS资源模型(2)资源使用

    1. 使用1.1 CPU与带宽:抵押/赎回按抵押的EOS通证比例分配CPU与带宽。消耗的网络和 CPU 带宽会随着时间自动释放,用户可以再次使用相同的抵押代币。eg. 如果用户持有全网1%的EOS通证,那就可以抵押这些通证来获得全网1%的CPU和带宽。1.1.1 抵押规则只有在新发起一笔交易时,才更新CPU和带宽使用量的数据。用掉CPU与带宽资源之后,恢复周期是24小时。如果原先的资源已经完全耗尽,则无法发起新的交易当不再需要CPU与带宽时,抵押的EOS通证可以赎回,在赎回

    2021-11-29云计算【】

    阅读更多
  • Golang学习路线图及go-starter.md

    云计算Golang学习路线图及go-starter.md

    背景为什么要学习golang最早接触golang是因为对区块链感兴趣,因为golang的并发和内置的网络库还有大公司的支持,先天比较适合区块链,很多著名的框架都是golang写,比如geth再后来,到新加坡Shopee工作,技术栈从Java切换成了golang,更要好好学习golang的语言特性了如下是之前列的一个学习路线图1.数据类型(含struct)每个类型占用多少字节最大值 最小值,有无封装;溢出怎么处理内置的map和slice两个特色的数据类型struct结构如何在

    2021-11-29云计算【】

    阅读更多
  • Hyperledger Indy笔记和翻译(一)

    云计算Hyperledger Indy笔记和翻译(一)

    Hyperledger Indy文档地址:https://indy.readthedocs.io/en/latest/Indy 提供工具,代码库和可复用的组建来提供区块链或者其他分布式账本上的数字身份,使得他们可以实现跨越管理层面,应用或者其他层面的互操作。如果你是研发?那么我们从hello world开始。Getting Start一些介绍,比如zoom会议地址和背景故事。背景故事https://hyperledger-indy.readthedocs.io/projects/sdk/en/

    2021-11-29云计算【】

    阅读更多
  • EOS账户系统(7)权限评估

    1. 评估过程简单的来讲就是从小到大进行逐级匹配。@alice 以 “Action” 类型发送一条消息给 @bobstep1. 检查 @alice 是否为 @bob.groupa.subgroup.Action 定义过权限映射。step2. 如果没有找到,紧接着检查 @bob.groupa.subgroup 映射,然后是 @bob.groupa,最后 @bob 将被检查。如果都没有找到,那么假定映射为命名的权限群组 @alice.active。一旦一个映射被识别,则使用相关联的签名验证权限。

    2021-11-29云计算【】

    阅读更多
  • 2021-08-26

    信息加密破解(没事瞎想的,错了请指教,我反正不改,哈哈!)在开发过程中,有数不胜数的加密方式,如:MD5、BASE64、3DES、SM4等等。信息加密的目的就是为了不让别人看到信息的真实内容。开发过程中有很多安全机制去防偷窥,也会有很多脱敏操作,但是加密是一种算法,一种逻辑,总是可以碰撞获取信息。案例:MD5加密,算法上是不可逆的。但是现在流行暴力破解,穷举、字典比对等等,耗电,效率不高,等待时间长。好像现在有对于MD5的差法破解,好像挺高级,算法机制不懂,数学不好,哈哈。多想一点:上次看了区块

    2021-11-29云计算【】

    阅读更多

本栏推荐

站点信息

  • 文章统计1073739篇文章
  • 浏览统计33957次浏览
  • 评论统计2个评论
  • 标签管理标签云
  • 统计数据:统计代码
  • 微信公众号:扫描二维码,关注我们