pengjunlee的博客

類 型 名 稱 數 量 u4 magic 1 u2 minor_version 1 u2 major_version 1 u2 constant_pool_count 1 ...

在 Linux 環境下工作的工程師，一定會對那些繁瑣的指令和參數命令行印象深刻吧。而且，可怕的不是繁瑣，而是需要大量重復輸入這些繁瑣的命令。在 Linux 下我們有個別名命令alias，可以將那些繁瑣的命令自定義為我們容易記住的別名，可以大大提高我們的效率。但是，alias 命令只對當前終端有效，當終端關閉之后，我們所設置的別名全部失效。所以如果想讓這些別名永久有效，我們就需要將它們添加到.bash_profile文件里。在本文里，良許將介紹 10 個非常實用，能夠提高你工作效率的命令別...

https://maimai.cn/article/detail?fid=1487618773&efid=XSVOrVdLgbgOaJLcefTsxA&use_rn=1

https://maimai.cn/article/detail?fid=1449084842&efid=x5ulZmoGc4Tgj0dLDgKIHQ&use_rn=1

首先，打開VisualStudio Code -- 最牛逼的免費開源IDEA工具！然后點擊Extensions，輸入"anyrule"，如下圖所示，點擊安裝后，需要重啟VS Code：接下來，新建一個文件（因為anyrule一定要在文本環境下才能生成正則表達式），然后按下快捷鍵"fn+F1"功能鍵（如果是Window系統的話，只需要按下F1即可），這時候就會彈出anyrule正則表達式搜索框，如下圖所示：接下來，只需要輸入你需要什么類型的正則表達式即可，比如身份證。你看，即有1代15位身份證號碼正則

本文介紹了作者常用的 4 個 Linux 監控工具，希望可以幫助讀者提高生產力。身為一個運維開發人員，如果你不知道眼下當前服務器底層操作系統中正在發生什么，那就有點合眼摸象了。其實，你可以根據相應數據做出一定的推測，但是要做到這一點，就需要原始數據，并且數據要有一定的實時性。你需要能夠根據操作系統當前的運行狀態，結合監控數據來做出合理判斷，采取相應措施。你是否曾經遇到過一臺服務器運行緩慢，但是 CPU 使用率看起來不是很高的情況？你是否遇到過服務器的網絡利用率很高，但是定位不到導致高網絡利用率的

一、引子對于互聯網公司，線上CPU飆升的問題很常見（例如某個活動開始，流量突然飆升時），按照本文的步驟排查，基本1分鐘即可搞定！特此整理排查方法一篇，供大家參考討論提高。二、問題復現線上系統突然運行緩慢，CPU飆升，甚至到100%，以及Full GC次數過多，接著就是各種報警：例如接口超時報警等。此時急需快速線上排查問題。三、問題排查不管什么問題，既然是CPU飆升，肯定是查一下耗CPU的線程，然后看看GC。3.1 核心排查步驟 執行top命令：查看所有進程占系統CPU的排序。極

?對于目前來說，微服務已經是程序員必會的技能之一了。Spring Cloud 作為一個優質的微服務框架，已經被很多公司使用。以下小編給大家整理35道Spring Cloud 的知識點，或者說是面試題都不沖突。后續還會繼續更新???1.什么是SpringCloud?Spring Cloud為開發人員提供了工具，以快速構建分布式系統中的一些常見模式（例如，配置管理，服務發現，斷路器，智能路由，微代理，控制總線，一次性令牌，全局鎖，領導選舉，分布式會話，群集狀態）。它們可以在任何分布式環境中正常工作，

最近在做一個項目，前后端分離，不可避免的遇到了跨域問題。起初是配置跨域：@Configurationpublic class CorsConfig extends WebMvcConfigurerAdapter { private CorsConfiguration buildConfig() { CorsConfiguration corsConfiguration = new CorsConfiguration(); corsConfiguration.a...

用過數據庫的都知道，數據庫索引與書籍的索引類似，都是用來幫助快速查找的。MongoDB的索引跟關系型數據庫的索引幾乎一致。1. 索引的創建mongodb采用ensureIndex來創建索引，如：db.user.ensureIndex({"name":1})表示在user集合的name鍵創建一個索引，這里的1表示索引創建的方向，可以取值為1和-1在這里面，我們沒有給索引取名字，mongodb會為我們取一個默認的名字，規則為keyname1_dir1_keyname2_dir2.

/** * @param id id * @param fields 要查詢的字段 * @return */ public InfoSupplementEntity findTest(String id, List<String> fields) { Query query = new Query(Criteria.where("id").is(id)); Field findFields = qu...

現象：SpringBoot集成Swagger2進行接口發布，SpringBoot版本：2.0.1，Swagger2版本：2.8.0IDEA直接運行可以直接訪問，但是maven打成war包通過tomcat發布，訪問swagger-ui.html就會出現Unable to infer base url.的報錯解決方法：不求甚解，嘗試幾種解決方法，問題解決方法1、Application增加@EnableSwagger2注釋方法2、Application 繼承 SpringBootServl

前言一般在項目中，除非定時任務涉及到的業務實在是太簡單，使用@Scheduled 注解來解決定時任務，否則大部分情況可能都是使用Quartz來做定時任務。在Spring Boot中使用Quartz ，只需要在創建項目時，添加Quartz依賴即可：創建項目創建一個Spring Boot項目，選擇Quartz依賴開啟定時任務項目創建完成后，也要添加開啟定時任務的注解@SpringBootApplication@EnableSchedulingpublic class Quart

https://www.cnblogs.com/efforts-will-be-lucky/p/7324789.html

1.為普通字段添加索引，并且為索引命名db.集合名.createIndex( {"字段名": 1 },{"name":'idx_字段名'})說明： （1）索引命名規范：idx_<構成索引的字段名>。如果字段名字過長，可采用字段縮寫。 （2）字段值后面的 1 代表升序；如是 -1 代表 降序。2.為內嵌字段添加索引db.集合名.createIndex({"字段名.內嵌字段名":1},{"name":'idx_字段名_內嵌字段名'})3.通過后臺創建索引d...

1. mongoDB中的使用示例文檔// 1{ "_id": "123", "age": 25, "likes": []}// 2{ "_id": "456", "age": 23, "likes": []}1.1 $in相當于sql中的indb.collcetion.find({"_id":{"$in":["123","456"]}})1.2 $gt(>) 大于 - $gt (<) 小于 - .

Java中BigDecimal取整方法BigDecimal bd = new BigDecimal("12.1");long l = bd.setScale( 0, BigDecimal.ROUND_UP ).longValue(); // 向上取整long l = bd.setScale( 0, BigDecimal.ROUND_DOWN ).longValue(); // 向下取整* 對于正數而言，ROUND_UP = ROUND_CEILING，ROUND_DOWN = ROUND

在工作中會經常遇到一些mongodb的聚合操作，特此總結下。mongo存儲的可以是復雜類型，比如數組、對象等mysql不善于處理的文檔型結構，并且聚合的操作也比mysql復雜很多。注：本文基于 mongodb v3.6目錄mongo與mysql聚合類比 aggregate簡介 aggregate語法 aggregate常用pipeline stage介紹(本文核心) node操作mongo聚合查詢（本文核心）mongo與mysql聚合類比為了便于理解，先將常見的mongo的聚合操作

在 MongoDB 中可以使用 "$project" 來控制數據列的顯示規則，可以執行的規則如下：普通列（{成員：1 | true}）：表示要顯示的內容 "_id" 列（{"_id"：0 | false}）：表示 "_id" 列是否顯示 條件過濾列（{成員：表達式}）：滿足表達式之后的數據可以進行顯示首先，準備一點點數據db.getCollection('sales').insertMany([{ "_id" : 1, "item" : "abc", "price" : 10, "quan

開發中，每次對類的修改，都需要重啟服務，很浪費時間，影響效率。下面介紹一種springboot熱部署的方法。1、在Maven的pom.xml文件中添加依賴 <!-- 熱部署 --> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-devtools</artifactId> ...

兜兜轉轉，嘗試了好多種方法，終于是好了，真的是沒有度娘解決不了的問題！哈哈哈哈Step 1:在日志（身為小白白的我，一開始日志在哪我都不知道！路徑：/usr/local/hadoop/app/hbase-0.98.8/logs/hbase-hadoop-master-Master.log(也就是安裝hbase下的logs文件夾中)）中尋找到錯誤的原因，如下圖：Step 2:運行hbase org.apache.hadoop.hbase.util.hbck.OfflineMetaRepai.

MongoDB 中的 $project在 MongoDB 中可以使用 "$project" 來控制數據列的顯示規則，可以執行的規則如下：普通列（{成員：1 | true}）：表示要顯示的內容 "_id" 列（{"_id"：0 | false}）：表示 "_id" 列是否顯示 條件過濾列（{成員：表達式}）：滿足表達式之后的數據可以進行顯示首先，準備一點點數據db.getCollection('sales').insertMany([{ "_id" : 1, "item" : "abc"

在根目錄中新建.gitignore文件，設置如下：.idealog/target/*.iml若沒有生效，是因為gitignore只能忽略那些原來沒有被 track 的文件，如果某些文件已經被納入了版本管理中，則修改 .gitignore 是無效的。解決方法是先把本地緩存刪除，然后再提交。git rm -r --cached .git add .git commit -m "update .gitignore"git push -u origin master...

1.問題表現源代碼為：Sort sort = new Sort(Sort.Direction.DESC, "login_time");Pageable pageable = new PageRequest(Integer.parseInt(page), Integer.parseInt(size), sort);報錯代碼為：'Sort(org.springframework.data.domain.Sort.Direction,java.util.List<java.lang.S

git push origin 分支名 --forceeg:cd 代碼目錄git push origin master --force運行結果:Total 0 (delta 0), reused 0 (delta 0)To https://bitbucket.org/jnj_edg/akg-solution.git+ f20ec88...d2128f5 master -> master (forced update)...

在github上只能刪除倉庫,卻無法刪除文件夾或文件, 所以只能通過命令來解決首先進入項目master文件夾下, Git Bash Here ,打開命令窗口$ git pull origin master# 將遠程倉庫里面的項目拉下來$ dir# 查看有哪些文件夾$ git rm -r --cached target# 刪除tar...

#!/bin/bash# 這里是要被判斷執行狀態的命令（成功或者失?。﹕ome command # 這里是判斷上條命令是否執行成功的語句塊if [ $? -eq 0 ]; then echo "succeed"else echo "failed"fi # linux 命令中，如果命令執行成功，則 $?值為 0，否則不為 0.# -eq 等于# -ne 不等于# -gt 大于# -lt 小于# -ge 大于等于# -le 小于等于...

jackson.ObjectMapper里的一個enableDefaultTyping方法過期了，項目每次編譯時提示，同時過期可能是有漏洞或者效率太低了，總而言之最好處理下看了下網上也沒有解決方案，我這邊記錄下解決方案。最好的解決辦法就是看過期方法的源碼，一般過期方法會給出新的方法來替換過期方法的說明可以看到@link 里已經給出了這個說明。我這邊修改的： ObjectMapper om = new ObjectMapper(); om.setVi...

首先看一下菜單的樣子根據這個樣子我們定義菜單類public class Menu { // 菜單id private String id; // 菜單名稱 private String name; // 父菜單id private String parentId; // 菜單url private String url; // 菜單圖標 private String icon; // 菜單順序 private int order; // 子菜單 private Li

因為在日常測試和生產中因為某些問題,需要配置很多不同包的依賴來對應不同的環境,java的maven的profile可以很好地幫我們解決這一問題以spark 的kafka包為例這里有兩個環境,一個local,一個product.我這里需要將不同的依賴導入<profiles> <profile> <!--本地環境--> <id>local</id> &...

之前寫的打包方式有問題，自已第二次用用那個方法都沒成功，所以不能坑別人- - ，重新寫一下。先寫方法，再說為什么。打包方式用的是spring-boot-maven-plugin插件打包。<plugins> <plugin> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-maven-plugin<...

<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/ma.

redis最新版下載地址githubredis官網安裝redis[root@master ~]# lsanaconda-ks.cfg redis-6.0.1.tar.gz[root@master ~]# tar xf redis-6.0.1.tar.gz [root@master ~]# cd redis-6.0.1/[root@master ~]# make && make install報錯1：/bin/sh: cc: command not found

第一種：@JsonInclude(JsonInclude.Include.NON_NULL)第二種：spring: jackson: default-property-inclusion: non_null

Read Write Separation

介紹：Kerberos 是一種由 MIT（麻省理工大學）提出的一種網絡身份驗證協議。它旨在通過使用密鑰加密技術為客戶端/服務器應用程序提供強身份驗證。在 Kerberos 認證中，最主要的問題是如何證明「你是你」的問題，如當一個 Client 去訪問 Server 服務器上的某服務時，Server 如何判斷 Client 是否有權限來訪問自己主機上的服務，同時保證在這個過程中的通訊內容即使被攔截或篡改也不影響通訊的安全性，這正是 Kerberos 解決的問題。在域滲透過程中 Kerberos 協議的

環境準備Linux：CentOS Linux release 7.2.1511 (Core) # 使用 cat /etc/redhat-release 命令查看 JDK：jdk1.8.0_211 Hadoop：3.2.1 Zookeeper：3.4.14 HBase：1.4.13安裝步驟# 將hbase安裝包下載至 /usr/lcoal/src 目錄cd /usr/local/srcwget http://archive.apache.org/dist/hbase/1.4.13/hb

1.下載對應版本，cdh目前還沒有pheonix啊，使用社區版吧，切記版本要對應上。否則會出現，問題：如下，Call failed on IOExceptionorg.apache.hadoop.hbase.DoNotRetryIOException: org.apache.hadoop.hbase.DoNotRetryIOException: SYSTEM.CATALOG: org.apache.hadoop.hbase.client.Scan.setRaw(Z)Lorg/apache/hadoo

最近在做性能優化的系列課程，其中MySQL數據優化部分用到了主從復制，在這里和大家分享下實現原理以及配置步驟。概念MySQL 主從復制是指數據可以從一個MySQL數據庫服務器主節點復制到一個或多個從節點。MySQL 默認采用異步復制方式，這樣從節點不用一直訪問主服務器來更新自己的數據，數據的更新可以在遠程連接上進行，從節點可以復制主數據庫中的所有數據庫或者特定的數據庫，或者特定的表。目的數據同步備份 主庫master發生故障后，可以馬上切換到從庫slave，降低服務風險。 讀寫分離 可

報錯內容:Error running 'ServiceStarter': Command line is too long. Shorten command line for ServiceStarter or also for Application default configuration.解法:修改項目下 .idea\workspace.xml，找到標簽<component name="PropertiesComponent"> ， 在標簽里加一行<propert...

TOC前言??寫過博客或者github上面的文檔的，應該知道Markdown語法的重要性，不知道的朋友們也別著急，一篇博客輕松搞定Markdown語法。話說這個語法超級簡單，一看就會，不信你點進來看看?？旖萱I功能快捷鍵加粗Ctrl + B斜體Ctrl + I引用Ctrl + Q插入鏈接Ctrl + L插入代碼Ctrl + K插入圖片Ctrl + G提升標題Ctrl + H有序列表Ctrl + O無序列表Ctrl +

查看運行容器docker ps查看所有容器docker ps -a進入容器其中字符串為容器ID:docker exec -it d27bd3008ad9 /bin/bash停用全部運行中的容器:docker stop $(docker ps -q)刪除全部容器：docker rm $(docker ps -aq)一條命令實現停用并刪除容器：docker stop $(docker ps -q) & docker rm $(docker ps

啟動 docker 映射到宿主機時出現如下錯誤時：/usr/bin/docker-current: Error response from daemon: driver failed programming external connectivity on endpoint sc_mysql (1bc03030afe9f722ae1e6b46166172a70cf87bcc3f02f0acdac0be2a7f0f0036): (iptables failed: iptables --wait -t na

3.7版本需要一個新的包libffi-devel，安裝此包之后再次進行編譯安裝即可。yum install libffi-devel -ymake install若在安裝前移除了/usr/bin下python的文件鏈接依賴，此時yum無法正常使用，需要自己下載相關軟件包安裝，為節省讀者時間，放上鏈接wget http://mirror.centos.org/centos/7/os/x86_64/Packages/libffi-devel-3.0.13-18.el7.x86_64.rpmr

一，gerapy框架Gerapy 是一款分布式爬蟲管理框架，支持 Python 3，基于 Scrapy、Scrapyd、Scrapyd-Client、Scrapy-Redis、Scrapyd-API、Scrapy-Splash、Jinjia2、Django、Vue.js 開發，Gerapy 可以幫助我們：更方便地控制爬蟲運行 更直觀地查看爬蟲狀態 更實時地查看爬取結果 更簡單地實現項目部署 更統一地實現主機管理 更輕松地編寫爬蟲代碼(幾乎沒用,感覺比較雞肋)各個框架的作用： Scr

scrapyd 是由scrapy 官方提供的爬蟲管理工具，使用它我們可以非常方便地上傳、控制爬蟲并且查看運行日志。參考官方文檔：http://scrapyd.readthedocs.org/en/latest/api.html使用scrapyd 和我們直接運行scrapy crawl myspider有什么區別呢？scrapyd 同樣是通過上面的命令運行爬蟲的，不同的是它提供一個JSON web service 監聽的請求，我們可以從任何一臺可以連接到服務器的電腦發送請求安排爬蟲運行，或者停..

在python目錄的Scripts目錄下，能找到一個scrapy-deploy的文件，但是無法運行。下面來講解決辦法：1.進到D:/python/Scripts 目錄下，創建兩個新文件：scrapy.bat 文件 scrapyd-deploy.bat 文件2. 編輯兩個文件：scrapy.bat文件中輸入以下內容 ：@echo offC:\Python36\python D:\Python36\Scripts\scrapy %*scrapyd-deploy.bat 文件中輸入以下

什么是curl命令？curl是利用URL語法在命令行方式下工作的開源文件傳輸工具。被廣泛應用在Unix、多種Linux發行版本中，并且有DOS和win32、win64下的移植版本。在Windows下使用curl命令安裝1：進入curl官網下載合適的版本，我這里下載的是Windows 64位的curl。2：解壓下載的curl；3：可以給Windows增加curl命令的環境變量，增加CURL_HOME環境變量，給PATH環境變量加上%CURL_HOME%；4：打開cmd.

git pull 失敗 ,提示：fatal: refusing tomergeunrelated histories其實這個問題是因為 兩個 根本不相干的 git 庫， 一個是本地庫， 一個是遠端庫， 然后本地要去推送到遠端， 遠端覺得這個本地庫跟自己不相干， 所以告知無法合并。有兩種方法來進行處理。方法一：從遠端庫拉下來代碼 ， 本地要加入的代碼放到遠端庫下載到本地的庫， 然后提交上去 ， 因為這樣的話， 你基于的庫就是遠端的庫， 這是一次update了方法二：使用這個強制的方..

版本沖突現狀在使用Spring的時候，經常會使用到第三方庫，一般大家都是根據經驗挑選一個版本號或挑選最新的，隨意性較大，其實這是有問題的，除非做過完整的測試，保證集成該版本的依賴不會出現問題，且后續集成其它第三方庫的時候也不會出現問題，否則風險較大，且后續擴展會越來越困難，因為隨著業務復雜度的增加，集成的第三方組件會越來會多，依賴之間的關聯也會也來越復雜。好消息是，Spring IO Platform能很好地解決這些問題，我們在添加第三方依賴的時候，不需要寫版本號，它能夠自動幫我們挑選一個最優的版本

Nginx("engine x")是一個高性能的HTTP和反向代理web服務器，同時也可以作為 IMAP/POP3/SMTP的代理服務器來使用。Nginx安裝下載安裝包Nginx官網下載網址：http://nginx.org/en/download.html ，如圖所示，推薦下載Nginx最新的穩定版安裝包。nginx-1.18.0 的下載鏈接為：http:/...

/opt/zbox/run/mysql/mysql -uroot -p禪道數據庫root默認密碼123456MariaDB [(none)]> show databases;+--------------------+| Database |+--------------------+| information_schema || mysql ...

QuickLook：像 macOS 通過空格鍵快速查看文件內容?？梢钥焖俨榭次募A信息；快速預覽圖片、音視頻、壓縮文件；甚至是文檔、表格、演示文稿文件或是 PDF 文件。一、功能舉例（1）文件夾可以查看最后修改的時間以及包含文件數和大小等（2）圖片可以打開 jpg、png、gif、webp、bmp、psd、camera raw 等格式的圖片（3）音...

想必用過mac的人都會知道一款效率神器Alfred，可快速啟動、計算、查找等，使用起來非常的方便。Win上面也有類似的效率神器，比如Listary和WOX。今天介紹的神器是WOX，這個真的算是每天必用的一款軟件。用起來非常的舒服，得心應手！點擊下載以后，會跳轉到GitHub，找到對應的文件下載即可，同時還附帶了Everything的下載鏈接，也是很棒了！下載之后，點擊文件，便可快速使用...

今天在github上查閱資料，但是頁面的圖片不顯示解決方法，打開路徑C:\Windows\System32\drivers\etc下的hosts文件在最后加上# GitHub Start192.30.253.112 github.com192.30.253.119 gist.github.com151.101.184.133 assets-cdn.gith...

PicGo是一個用于快速上傳圖片并獲取圖片URL鏈接的工具，目前支持七牛云，騰訊云COS，又拍云，GitHub，阿里云OSS，imgur 等多種常用圖床，功能強大，簡單易用。通過這個教程，你將學會如何通過 github 和 picgo 搭建一個屬于自己的在線云端相冊，超級簡單，絕對實用。一、新建倉庫登錄到GitHub，點擊頁面右上角的 + 按鈕==>選擇 New reposito...

python默認的pip源在國外，如果下載比較大的第三方庫時可能會非常非常慢，甚至會報錯，所以為了有一個更加友好的python使用體驗，建議為python的pip換一下源。命令行加參數的方法# 用默認源下載 pip install庫名==版本# 使用特定源下載pipinstall庫名==版本 -i 源地址推薦第二種方法，比如我用阿里云的pip源持久化配...

（1）下載安裝包文件。官網地址：https://dev.mysql.com/downloads/mysql/選擇下載mysql-8.0.19-winx64.zip。（2）解壓文件到安裝目錄我的安裝目錄是“D:\Program Files\mysql-8.0.19-winx64”。安裝目錄中文件如下：（3）修改Windows環境變量。操作路徑：電腦桌面-->...

名稱 是否需要重啟 值 允許值 描述 auto_increment_increment 否 1 1～65,535 auto_increment_increment和auto_increment_offset 用于master-to-master的復制，并可以用來控制AUTO_INCREMENT列的操作。 auto_increment_offs...

OAuth是一個關于授權（authorization）的開放網絡標準，在全世界得到廣泛應用，目前的版本是2.0版。本文對OAuth 2.0的設計思路和運行流程，做一個簡明通俗的解釋，主要參考材料為RFC 6749。更新：我后來又寫了一組三篇的《OAuth 2.0 教程》，更加通俗，并帶有代碼實例，歡迎閱讀。一、應用場景為了理解OAuth的適用場合，讓我舉一個假設的例子。有...

這組 OAuth 系列教程，第一篇介紹了基本概念，第二篇介紹了獲取令牌的四種方式，今天演示一個實例，如何通過 OAuth 獲取 API 數據。很多網站登錄時，允許使用第三方網站的身份，這稱為"第三方登錄"。下面就以 GitHub 為例，寫一個最簡單的應用，演示第三方登錄。一、第三方登錄的原理所謂第三方登錄，實質就是 OAuth 授權。用戶想要登錄 A 網站，A 網站讓用戶提供第...

上一篇文章介紹了 OAuth 2.0 是一種授權機制，主要用來頒發令牌（token）。本文接著介紹頒發令牌的實務操作。下面我假定，你已經理解了 OAuth 2.0 的含義和設計思想，否則請先閱讀這個系列的上一篇文章。RFC 6749OAuth 2.0 的標準是RFC 6749文件。該文件先解釋了 OAuth 是什么。OAuth 引入了一個授權層，用來分離兩種不同的角色：...

OAuth 2.0 是目前最流行的授權機制，用來授權第三方應用，獲取用戶數據。這個標準比較抽象，使用了很多術語，初學者不容易理解。其實說起來并不復雜，下面我就通過一個簡單的類比，幫助大家輕松理解，OAuth 2.0 到底是什么。一、快遞員問題我住在一個大型的居民小區。小區有門禁系統。進入的時候需要輸入密碼。我經常網購和外賣，每天都有快遞員來送貨。我必須找到一個辦...

js-cookie 官方文檔里面就詳細的介紹了es5怎么引用，以下是ES6以上的用戶。一、安裝npm install js-cookie --save二、引用import Cookies from 'js-cookie'三、一般使用存到Cookie去// Create a cookie, valid across the entire site:Cooki...

DepencyManagement應用場景當一個項目包含的模塊很多的時候，由于模塊太多，為了確保這些模塊中相同依賴項的版本一致，我們通常會抽象出一個parent層來管理這些模塊公共的依賴項。例如下面這個應用的 pom 繼承關系圖：Itoo-base-parent(pom.xml) <dependencyManagement> <depe...

上次搬家的時候，發了一個朋友圈，附帶的照片中不小心暴露了自己的 Chrome 瀏覽器插件之多，于是就有小伙伴評論說分享一下我覺得還不錯的瀏覽器插件。我下面就把我日常工作和學習中經常用到的一些 Chrome 瀏覽器插件分享給大家，隨便一個都能提高你的“生活品質”和工作效率。Markdown HereMarkdown Here可以讓你更愉快的寫郵件，由于支持 Markdown 直接轉...

matplotlib是python最常見的繪圖包，強大之處不言而喻。然而在數據科學領域，可視化庫-Seaborn也是重量級的存在。由于matplotlib比較底層，想要繪制漂亮的圖非常麻煩，需要寫大量的代碼。Seaborn是在matplotlib基礎上進行了高級API封裝，圖表裝飾更加容易，你可以用更少的代碼做出更美觀的圖。同時，Seaborn高度兼容了numy、pandas、scipy等...

http://mirrors.jenkins.io/Binaries debian osx opensuse redhat war windows Releases debian osx opensuse redhat war windows LTS Releases debian-stable ...

virtualenv簡介在開發Python應用程序的時候，我們的系統上通常只會安裝一個Python版本：例如 3.7。所有使用 pip 安裝的第三方包都會被安裝到Python的site-packages目錄下。如果我們同時開發多個應用程序，而這些應用程序需要使用的某一個第三方包的版本各不不同，該怎么辦？這種情況下，為每個應用程序“獨立”安裝一套Python運行環境顯然是不現實的。這個難題，使用...

環境準備安裝Hadoop訪問 Hadoop官網 ，下載Hadoop到Windows本地 ，本例中下載的是 hadoop-3.0.0.tar.gz 。將 Hadoop 解壓到合適的目錄，并設置環境變量：HADOOP_HOME=C:\DevTolls\hadoop-3.0.0并在 Path 環境變量增加兩項：%HADOOP_HOME%\bin;%HADOOP_HOME%\s...

相比傳統的行式存儲引擎，列式存儲引擎具有更高的壓縮比，更少的IO操作而備受青睞（注：列式存儲不是萬能高效的，很多場景下行式存儲仍更加高效），尤其是在數據列（column）數很多，但每次操作僅針對若干列的情景，列式存儲引擎的性價比更高。在互聯網大數據應用場景下，大部分情況下，數據量很大且數據字段數目很多，但每次查詢數據只針對其中的少數幾行，這時候列式存儲是極佳的選擇，目前在開源實現中，最有名的...

Scala簡介Scala（Scalable Language）是一門多范式（multi-paradigm）的編程語言，設計初衷是要集成面向對象編程和函數式編程的各種特性。Scala特性面向對象Scala是一種純面向對象的語言。函數式編程Scala也是一種函數式語言，其函數也能當成值來使用。Scala提供了輕量級的語法用以定義匿名函數，支持高階函數，允許嵌套多層函數，并支持柯...

當下，個性化推薦成了互聯網產品的標配。但是，人們對推薦該如何來做，也就是推薦技術本身，還不甚了解。為此，好學的你肯定在收藏著朋友圈里流傳的相關文章，轉發著微博上的相關討論話題，甚至還會不斷奔走在各種大小行業會議之間，聽著大廠職工們講那些干貨。我知道，這樣碎片化的吸收，增加了知識的同時，也增加了焦慮。因為技術的不平等廣泛存在于業界內，推薦系統也不例外。推薦系統從搜索引擎借鑒了不少技術和思想，比如內容...

Flink 認為 Batch 是 Streaming 的一個特例，所以 Flink 底層引擎是一個流式引擎，在上面實現了流處理和批處理。而窗口（window）就是從 Streaming 到 Batch 的一個橋梁。Flink 提供了非常完善的窗口機制，這是我認為的 Flink 最大的亮點之一（其他的亮點包括消息亂序處理，和 checkpoint 機制）。本文我們將介紹流式處理中的窗口概念，介紹 F...

一 簡介Flume 是Cloudera提供的一個高可用的，高可靠的，分布式的海量日志采集、聚合和傳輸的系統，Flume支持在日志系統中定制各類數據發送方，用于收集數據；同時，Flume提供對數據進行簡單處理，并寫到各種數據接受方（可定制）的能力。Agent主要由:source,channel,sink三個組件組成:Source從數據發生器接收數據,并將接收的數據以Flume的eve...

一、Hbase介紹HBase （Hadoop Database）是Apache的Hadoop項目的子項目。HBase不同于一般的關系數據庫，它是一個適合于非結構化數據存儲的數據庫。另一個不同的是HBase基于列的而不是基于行的模式,主要用來存儲非結構化和半結構化的松散數據（列存NoSQL數據庫）二、設計原則 2.1Rowkey長度原則Rowkey是一個二進制碼流，Row...

HMaster和HRegionServer是Hbase的兩個子進程，但是使用jps發現沒有啟動起來，所以去我們配置的logs查看錯誤信息。提示：Could not start ZK at requested port of 2181. ZK was started at port: 2182. Aborting as clients (e.g. shell) will not be abl...

HBase簡介HBase是一個構建在HDFS上的、分布式的、面向列的開源數據庫，它是Apache Hadoop生態系統中的重要一員。與mysql、oracle等關系型數據庫RDBMS基于行模式的存儲不同，HBase是基于列模式進行存儲的，這使得它非常適合于存儲海量非結構化或者半結構化的數據。通常HBase 需要構建在HDFS之上，并將其內部管理的數據文件全部存儲在HDFS中。...

HBase介紹HBase是一個分布式的、面向列的開源數據庫，該技術來源于 Fay Chang 所撰寫的Google論文“Bigtable：一個結構化數據的分布式存儲系統”。就像Bigtable利用了Google文件系統（File System）所提供的分布式數據存儲一樣，HBase在Hadoop之上提供了類似于Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBas...

MapReduce的起源&簡介MapReduce（"Map（映射）"和"Reduce（歸約））是一種編程模型，用于大規模數據集（大于1TB）的并行運算。它的核心思想來源于Google在2004年12月發表的一篇MapReduce論文：Our abstraction is inspired by the map and reduce primitives present in Lisp ...

騰訊分布式數據倉庫（Tencent distributed Data Warehouse, 簡稱TDW）基于開源軟件Hadoop和Hive進行構建，并且根據公司數據量大、計算復雜等特定情況進行了大量優化和改造，目前單集群最大規模達到5600臺，每日作業數達到100多萬，已經成為公司最大的離線數據處理平臺。為了滿足用戶更加多樣的計算需求，TDW也在向實時化方向發展，為用戶提供更加高效、穩定、豐富的服...

Easycode是idea的一個插件，可以直接對數據的表生成entity、controller、service、dao、mapper無需任何編碼，簡單而強大。1、安裝(EasyCode)我這里的話是已經那裝好了。建議大家再安裝一個插件，叫做Lombok。Lombok能通過注解的方式，在編譯時自動為屬性生成構造器、getter/setter、equals、hashcode、toStr...

前陣子剛發過：2020Postman都有女朋友Postwoman了！你還單著嗎！然后發現，有個idea插件貌似更方便，推薦給大家。接口調試是每個軟件開發從業者必不可少的一項技能，一個項目的的完成，可能接口測試調試的時間比真正開發寫代碼的時間還要多，幾乎是每個開發的日常工作項。所謂工欲善其事必先利其器，在沒有嘗到IDEA REST真香之前，postman（chrome的一款插件）確實是一...

#先引入模塊from urllib.request import quote>>> ff = '攝像頭'>>> ff = quote(ff)>>> ff'%E6%91%84%E5%83%8F%E5%A4%B4'>>> 解碼是另一個模塊from urllib import parse>>> a...

環境準備修改主機名sudo scutil --set HostName localhostssh免密登錄ssh-keygen -t rsa （一路回車直到完成）cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keyschmod og-wx ~/.ssh/authorized_keys設置完之后ssh loca...

編譯好的hadoop3.0.2的native 見https://download.csdn.net/download/qq_14811559/10413344本人的hadoop版本為3.0.0，用3.0.2源碼編譯的也可以。一、問題mac安裝hadoop3.0.0 后報錯：WARN util.NativeCodeLoader: Unable to load native-hadoop...

最近在學習JVM，需要運行jdk自帶的命令行，需要在特定jdk目錄下進行，所以需要查看jdk安裝目錄，之前也查過，忘記了。這次記錄下來為以后備用。1、打開終端，輸入：/usr/libexec/java_home -V注意：輸入命令參數區分大小寫(-v是不對的，必須是-V)如圖：3個紅框內依次為：輸入命令； 當前Mac已安裝jdk目錄； Mac默認使用的jdk版本；...

1.下載hadoop使用protocol buffer進行通信，需要下載和安裝protobuf-2.5.0.tar.gz。由于現在protobuf-2.5.0.tar.gz已經無法在 官網中下載了，本人將 protobuf-2.5.0.tar.gz 上傳到百度云盤供大家下載，地址：http://pan.baidu.com/s/1pJlZubT 。2.安裝使用tar -...

原因：自己修改了系統變量結果：導致終端顯示進程已完成錯誤信息：login： Could not determine audit condition [Process completed]解決方案：打開Finder（shift+Command+G）前往文件夾usr/bin/login文件夾，刪除login文件。...

一般情況下我們在使用mac系統過程中下載一些文件、新建一些項目之后，這些文件都會默認是只讀狀態，這時我們只需要簡單的一句權限設置命令就可以解決sudo chmod -R 777 你要修改文件上層目錄的路徑但是我們在對 usr/bin 目錄下的文件進行操作的時候往往會出現 operation not permitted ,這是因為一些mac用戶在升級系統之后，電腦啟用了SIP（System...

用原有的鏡像下載非常慢 => ????替換源，更新速度變成 => ????第一步：更換倉庫源homebrew 默認的源是在 github 上面，每次更新速度都會非常慢。所以我們更換成國內的鏡像源。就會快很多了。cd "$(brew --repo)"git remote set-url origin https://mirrors.tuna.tsinghua.edu.cn/git...

一、自動腳本(全部國內地址)（在Mac os終端中復制粘貼回車下面這句話)/bin/zsh -c "$(curl -fsSL https://gitee.com/cunkai/HomebrewCN/raw/master/Homebrew.sh)"成功的話，如上圖所示。二、手動操作（自動腳本安裝完，下面的不需要運行，兩種操作方式而已）第一步：通過命令刪除之前的brew、創建...

本文主要記錄如何基于 Scrapy 獲取21經濟網中金融分類下的新聞資訊內容。items.pyimport scrapyclass NewsItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() title = scrapy.Field(...

items.pyimport scrapyclass NewsItem(scrapy.Item): # define the fields for your item here like: # name = scrapy.Field() title = scrapy.Field() # 標題 summary = scrapy.Field() # 主旨 ...

標準輸入輸出輸出重定向> 代表以覆蓋的方式將命令的正確輸出輸出到指定的文件或設備當中。>> 代表以追加方式輸出。正確輸出和錯誤輸出同時保存[kathy@localhost testDir]$ lltotal 8-rw-rw-r--. 1 kathy kathy 12 Jul 31 10:15 test-rw-rw----. 1 roo...

腳本如下：export LANG=zh_CN.UTF-8spider1='spider1'kill -9 `ps -ef | grep $spider1 | grep -v grep | awk '{print $2}'`cd ~/work/virtual/ # 切換到虛擬環境的目錄,如果沒有使用虛擬環境，則不需要/usr/local/bin/pipenv shell # 激活虛...

通用Ctrl+Shift+P, F1 打開命令面板 Ctrl+P 快速打開文件 Ctrl+Shift+N 打開新窗口/實例 Ctrl+Shift+W 關閉窗口/實例 Alt+Shift+R 打開所在文件夾基礎編輯Ctrl+X 剪切當前行 Ctrl+C 復制當前行 Alt+ ↑ / ↓ 向上/向下移動當前行 Sh...

springboot使用mongodb查詢的時候會遇到服務器出口帶寬壓力大的情況，原因可能是查詢mongodb的時候把整個對象給拖下來了，事實上我們只需要其中的某些字段，多余的字段返回的話會給小水管的帶寬加上壓力，也就是說我們的mongodb查詢時只需要返回某些字段?？戳撕芏嗳说母鞣N文章感覺要么是哪里抄襲的要么是哪里拷貝的，根本不靠譜，自己去查詢了下官方文檔，實現方法很簡單：直接使用mon...

Query failed with error code 96 and error message 'Executor error during find command: OperationFailed: Sort operation used more than the maximum 33554432 bytes of RAM. Add an index, or specify a smal...

數據倉庫和數據倉庫分層數據倉庫的概念數據倉庫，英文名稱為Data Warehouse，可簡寫為DW或DWH。數據倉庫，是為企業所有級別的決策制定過程，提供所有類型數據支持的戰略集合。它是單個數據存儲，出于分析性報告和決策支持目的而創建。 為需要業務智能的企業，提供指導業務流程改進、監視時間、成本、質量以及控制。數據倉庫，并不是數據的最終目的地，而是為數據最終的目的地做好準備。這些準...